专利名称：基于非共面特征点的摄像机标定方法
技术领域：
本发明涉及摄像机标定技术，具体涉及一种基于非共面特征点的摄像机标定方 法。
背景技术：
近年来，利用数字摄像机进行二维、三维重建和尺寸检测获得了越来越多的运用 和研究。摄像机模型反映了图像平面与空间位置的映射关系，而摄像机标定就是确定反映 摄像机光学及几何特性的内部参数与外部的参数。其中，摄像机内参数为固定参数，不随着 摄像机位置变化而改变；摄像机外参数反映的为摄像机坐标系与参考物体坐标系的位姿关 系，该参数会随着摄像机位姿的变化而发生改变。传统标定方法是基于一个精确物体标定块作为空间参照物，通过建立参照物上已 知点与其图像点间的对应关系来计算摄像机参数的标定方法。传统标定方法根据标定模板 种类可分为共面点标定及非共面点标定，经典非共面点标定方法有DLT方法，Tsai方法， 陈刚方法，夏艳方法等；共面点标定方法有=Tsai方法、张正友方法。Tsai R Y.在文章"A versatile camera calibration technique for high accuracy 3D machine vision metrology using off the shelf TV cameras and lenses. R. Y. Tsai.，Robotics Automat 3，1987，pp. 323-344. ” 中给出 了一种基于径向约束(RAC) 的两步标定法，该方法同时利用共面或者非共面标定模板分别求取摄像机内外参数。该方 法对于畸变模型可以保证较高的精度，然而需要对图像中心等参数进行预标定。ZHANG Z Y.在文章"Flexible Camera Calibration by Viewing a Plane from Unknown Orientations. Zhengyou Zhang, Seventh International Conference on Computer Vision, 1999, Volume 1pp. 666. 〃中提出了一种更加灵活的使用二维平面标靶 的标定方法，该方法通过采集不同未知姿态下的平面图像(至少2张)，优化得到摄像机的 内外参数。当摄像机成像平面与参考面接近平行时，使用二维平面标靶的方法标定出的摄像 机参数误差较大甚至失败。针对这种情况，一些在摄像机成像平面与参考面接近平行时用 于摄像机标定的方法被提出”Camera calibration with coplanar calibration board near parallel to the imaging plane. ”(HongGen Luo LiMin Zhu and Han Ding，Sensors and Actuators A :Physical Volume 132，Issue 2，20November 2006，Pages 480-486.)。ZHANG Z Y.在文章"Camera Calibration with one-dimensional objects [J]. IEEETransactions on Pattern Analysis and Machine Intelligence，2004，26 (7) 892-899.“中提出了基于一维标靶的摄像机标定方法，虽然一维标靶加工较为容易、标定 精度高，但在标定过程中需要将一维标靶的一端固定，在实际使用中转动时很难保证固定 端的绝对固定，从而影响了标定的精度。WU F C, HU Z Y, ZHU H J.在文章"Camera calibration with moving one-dimensional objects [J]. Pattern Recognition, 2005, 38 (5) :755_765” 中提出的基于平面运动一维标靶的标定方法，虽然不需要将一维标靶一端固定，但在标定过程中需要 运动平台的支持。陈刚等人在文章“一种基于立体模板的双目视觉传感器现场标定方法.，，(陈刚， 车仁生，光学精密工程，2004，12 (6))中提出了一种使用立体模板标定的方法，陈刚方法没 有考虑摄像机成像畸变的影响，借助三坐标测量机得到一组精确的图像特征点及对应参考 坐标，通过线性变换方法确定摄像机内外参数，实用性低、抗干扰能力差且存在较大的误差。张广军等人在中国发明专利“一种基于柔性立体靶标的摄像机标定方法”(申请号 为200810114607. 7，授权公告号为CN100557635C)中提出了一种使用若干个小面积的平面 靶标组成柔性立体标靶进行摄像机标定的方法。该标定方法在本质上依旧为使用二维平面 标靶的ZHANG Z Y.标定方法，该方法进一步利用柔性标靶中各子平面的关系不变约束优化 摄像机参数。该方法对于大视场的摄像机具有一定的适用性，但是对于视场较小的摄像机 无法获取包含的多个平面标靶的图像，该方法并不适用。进一步考虑到平面标靶在与摄像 机成像平面接近平行时，ZHANG Z Y.标定方法无法标定出正确的摄像机参数的特点，张广 军的方法在放置柔性标靶位置时需要注意这个问题。张广军发明的标定方法需要使摄像机 相对与柔性标靶位置至少移动一次，在某些场合摄像机无法移动，且移动柔性立体标靶很 难保证各子标靶相对关系不变。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于非共面特征点的摄像机标 定方法，仅需要拍摄一张图像即可完成标定，且使用方法灵活，标定精度较高。为实现上述目的，本发明采用如下技术方案一种基于非共面特征点的摄像机标定方法，其特征在于，包括以下步骤步骤A、设置立体靶标，并建立立体靶标坐标系；所述立体靶标能够提供至少6个 非共面特征点；步骤B、用摄像机拍摄立体靶标图像，所拍摄图像中至少包含6个非共面特征点； 提取至少6个非共面特征点在图像坐标系下的坐标，求解立体靶标坐标系与图像坐标系之 间的单应矩阵；步骤C、根据步骤B得到的单应矩阵，求解摄像机的内部参数和外部参数。上述技术方案未考虑摄像机成像畸变的影响，得到的摄像机内部、外部参数可能 存在偏差，为解决此问题，可以引入畸变，使用牛顿迭代法、Levenberg-Marquardt等对步骤 C得到的内部、外部参数进行非线性优化。本发明采用Levenberg-Marquardt非线性优化方 法，即建立以摄像机内参数、外参数以及两阶径向畸变因子为参数且使投影误差最小的目 标函数，以步骤C求得的摄像机内部参数、外部参数为初始值，利用Levenberg-Marquardt 准则得到摄像机内部参数、外部参数的最优解。本发明技术方案中使用的立体靶标，可以使用两个相交的平面靶标组成，也可以 使用一个平面靶标与一个与其不共面的空间点构成，无论何种构成，只要满足靶标上有至 少6个非共面的特征点即可。
图1为本发明基于非共面特征点的摄像机标定方法流程图；图2为本发明具体实施方式
中立体靶标的示意图；图3a_e分别为本发明具体实施方式
中实验拍摄图像。
具体实施例方式下面结合附图对本发明的技术方案进行详细说明如附图1所示，本发明方法包括以下步骤步骤A、设置立体靶标，并建立立体靶标坐标系；所述立体靶标能够提供至少6个 非共面特征点；在本具体实施方式
中，为简化后续计算，采用了如附图2所示的立体靶标，该立体 标靶由两个相互之间垂直相交的平面靶标组成，每个平面靶标上有4条直线平行于两平面 靶标的交线，9条直线垂直于平面的交线，每条临近的平行直线间距为10mm，以直线间交点 作为特征点，则该立体靶标最多能够提供81个特征点。这里用OXYZ表示立体靶标坐标系，其中每个特征点在立体靶标坐标系下的坐标 分别表示为P1U1 Y1 Z1)……Pn(xn yn Zn)，其中η为选取特征点的总数，η》6。步骤B、用摄像机拍摄立体靶标图像，所拍摄图像中至少包含6个非共面特征点； 提取至少6个非共面特征点在图像坐标系下的坐标，求解立体靶标坐标系与图像坐标系之 间的单应矩阵；本步骤具体包括以下各步骤步骤Bi、用摄像机拍摄立体靶标图像，所拍摄图像中至少包含6个非共面特征点； 提取至少6个非共面特征点在图像坐标系下的坐标；步骤Β2、使用线性方程求解单应矩阵；记摄像机成像模型为= ^r1 r2 r3 ]Μ，其中M = [x ^ ζ if表示立
体标靶坐标系坐标，历=[w ν if表示图像平面坐标系坐标；止为摄像机内参数矩阵，
Λ r "ο
A= O fy V0，其中(UQ，yQ)表示图像主点的像素坐标，fx、fy分别表示X、Y轴向的等效 O O 1
焦距，尸表示成像平面倾斜因子；Cr1 r2 r3 t]为摄像机外参数矩阵，[Γι r2 r3]3X3、t分别描 述了立体标靶坐标系在摄像机坐标系描述下的旋转及平移的关系；s为任意的比例因子。
'K KKK单应矩阵H= λ At1 r2r3 t]，记单应矩阵丑=Kl ^22hiKl，为矩阵H的第i行A KZz33Vh 考虑到摄像机成像模型中比例因子S，不妨令单应矩阵元素h43= 1。特征点P1U1 Y1 Z1)对应图像坐标系坐标为(U1 V1),依次得到特征APn(Xn yn Zn)对应图像坐标系坐标 为(Un Vn)。
将特征点P1带入摄像机成像模型有
，消去占得
到方程组
；依次将各个特征点带入摄
像机模型中，直至特征点Pn并得到相应方程组为
由上述可知，η个特征点一共获得2η个方程，将这些方程组成方程组有 其中 显然当η彡6时，方程组存在唯一解，此时方程组解为X = (LTL)-1LtK,从而得到单 应矩阵H。此处可以看到，本发明方法的摄像机成像模型单应矩阵为3X4矩阵，而张正友方 法中的单应矩阵为本方法单应矩阵退化后的3X3矩阵。步骤Β3、对步骤Β2得到的单应矩阵H进行非线性优化；在实际中，由于获取图像点的过程中存在噪声干扰，使得M和m并不能满 足线性方程。假设图像点受到独立分布且均值为零的高斯噪声干扰，那么单映性矩 阵H的最优解可以通过使目标函数
最小得到，其中叫=(Ui, Vi)， 单应矩阵求解问题转化为非线性优化问题，使用Levenberg-Marquardt准 则求解单应矩阵H的最优解，其中L-M准则所需单应矩阵H的初始值使用步骤B2的 求解结果，参数优化使用数据为特征点P1……Pn。L-M优化的具体方法可参考文 献“The levenberg-marquardt algorithm，implementation and theory “ (J. More, In G. A. Watson, editor，Numerical Analysis, Lecture Notes in Mathematics 630， Springer-Verlag,1977)。
步骤C、根据步骤B得到的单应矩阵，求解摄像机的内部参数和外部参数；具体包 括以下各步骤步骤Cl、根据旋转矩阵的正交性建立仅与摄像机内参数相关的方程组；
量b = [B11 B12 B22 B13 B23 Β33]τ，则可得到如下方程组 步骤C2、根据方程组求解摄像机内参数；假设采集非共面特征点图像有m张，由步骤B可获得m个单应矩阵，进一步根据 步骤Cl，则可以获得5m个方程，记该方程组为Vb = 0，其中V为5mX6的矩阵。当m彡2 时，存在唯一解b;当m= 1时，令成像平面倾斜因子Y =0，即给方程组增加一个约束方 程Wl000]b = 0，则可以求求解出b。众所周知，方程组的解b为矩阵VtV最小特征值对 应的特征向量。由解b计算出矩阵B，根据ZHANG Z Y.标定方法中公式求解摄像机内参 数矩阵 A，具体求解过程参见文献〃 Flexible Camera Calibration by Viewing a Plane from Unknown Orientations" (Zhengyou Zhang,Seventh International Conference on Computer Vision, 1999, Volume lpp. 666)，此处不再赘述。步骤C3、根据摄像机内参数求解各个外参数；对于非共面特征点图像，由上述求解的内参数矩阵A，可得到外参数矩阵
对得到的矩阵Q= Lr1 r2 r3]进行正交化，根据ZHANG Z Y.标定方法，矩阵奇异值 分解为Q = USVt，则R = UVt为其对应的外参数。详细求解过程参见文献〃 Flexible Camera Calibration by Viewing a Plane from Unknown Orientations “ (Zhengyou Zhang， Seventh International Conference on Computer Vision，1999，Volume lpp. 666)，此处不 再赘述。步骤D、对步骤C得到的内部参数和外部参数进行非线性优化；本发明采用Levenberg-Marquardt非线性优化方法，即建立以摄像机内参数、外 参数以及两阶径向畸变因子为参数且使投影误差最小的目标函数，以步骤C求得的摄像机内部参数、外部参数为初始值，利用Levenberg-Marquardt准则得到摄像机内部参数、外部 参数的最优解；具体而言，按照以下方法 假设采集m张参考物图像，每张图像上取η个标定点，且图像点受到均值为零独立
m η-
分布的高斯噪声干扰。通过使投影误差目标函数
小优化摄像机参数。 在函数f中第i张图像第j个特征点Pij,其图像像素坐标值记为HIij = (Uij Vij.)， 对应标靶坐标系坐标记为Mij = (Xij. Yij Zij^kpk2分别为引入的一阶二阶畸变系数，A为 摄像机内参数，[Ri, tj为第i张图像时的摄像机外参数。ΙΟι^,Α，!^，!^)为由图像像素坐 标计算出的规格化图像坐标系坐标，Hr1,、为由物体参考坐标及外参数矩阵计算出的 规格化图像坐标系坐标。在优化时，将旋转矩阵Ri转化为俯仰滚(RPY)角度Φ，θ，识，并将 φ，θ，ρ作为参数进行优化。 目标函数中
，根据摄像机模型
可知 目标函数中
，其中(Xcdj Ycij Zcij)为点Pi1在摄像机坐标
系系下的坐标值，根据摄像机成像模型有 非线性最小化使用Levenberg-Marquardt准则求解。该准则需要一个初始值。其 中摄像机内外参数初始值为步骤C中计算得到的参数值。畸变系数k2，k2的初始值可以通 过下面的线性方法求解将特征点Pi1代入摄像机成像模型中得到 x(x2+y2) x(x2+y2)2' 其 由上可知每个特征点能够获得2个如上所示方程。将所有特征点代入摄像机成像模型，一个特征点可以得到2mn个方程，将所有方程组成方程组记为Mk = d，可以得到畸变 系数初始值 k= Lk1 k2]' = (MtM)-1MtcL为了验证本发明标定方法的效果，按照如下实验方法与ZHANG Z Y.标定方法进行 比较实验用摄像机镜头为9mm的AVT Guppy F_033B摄像机，其图像分辨率为 640X480 ；使用的立体靶标通过普通打印机打印平面表格，再贴到立方铁块上得到；在不 同位置拍摄立体靶标图像5张，序号编为1-5，各幅图像如附图3a_3e所示；分别采用本发 明的标定方法及ZHANG Z Y.标定方法对上述摄像机进行标定，然后比较两种标定方法得到 的标定值；由于摄像机外参数数据庞大，且一般摄像机标定主要是为了标定内参数，所以本 实验仅对摄像机内参数的标定值进行比较。考虑到ZHANG Z Y.标定方法使用共面特征点 进行标定，因此实验时选取构成该立体靶标的其中一个平面靶标用来进行ZHANG Z Y.方法 标定。实验结果如下所示，其中表1为使用ZHANG Z Y.标定方法仅拍摄一张图像时的标 定结果，表2为使用本发明方法仅拍摄一张图像时的标定结果，表3为使用ZHANG ZY.标定
方法拍摄多张图像时的标定结果，表4为使用本发明方法拍摄多张图像时的标定结果 表1 表 2 表3 表 4从以上实验结果可以看到，使用单张或较少图像时，使用非共面点比使用共面点 得到的摄像机参数更为稳定；随着图像使用数量增加，使用非共面点和使用共面点都趋于 得到一个稳定的摄像机参数。在上述实验中没有使用高精度标定块或特定的仪器，但使用本发明的标定方法最 终仍得到了一个稳定且较高精度的结果，进一步证明了本发明的实用性。为了进一步提高 摄像机参数精度，可以使用精度更高的3维标定块或者通过沿Zw轴移动平面标定块固定距 离得到位置精度较高的非共面特征点。
权利要求
一种基于非共面特征点的摄像机标定方法，其特征在于，包括以下步骤步骤A、设置立体靶标，并建立立体靶标坐标系；所述立体靶标能够提供至少6个非共面特征点；步骤B、用摄像机拍摄立体靶标图像，所拍摄图像中至少包含6个非共面特征点；提取至少6个非共面特征点在图像坐标系下的坐标，求解立体靶标坐标系与图像坐标系之间的单应矩阵；步骤C、根据步骤B得到的单应矩阵，求解摄像机的内部参数和外部参数。
2.如权利要求1所述基于非共面特征点的摄像机标定方法，其特征在于，所述步骤C后 还包括步骤D 对步骤C得到的内部参数和外部参数进行非线性优化。
3.如权利要求2所述基于非共面特征点的摄像机标定方法，其特征在于，所述 非线性优化是指建立以摄像机内参数、外参数以及两阶径向畸变因子为参数且使投 影误差最小的目标函数，以步骤C求得的摄像机内部参数、外部参数为初始值，利用 Levenberg-Marquardt准则得到摄像机内部参数、外部参数的最优解。
全文摘要
本发明公开了一种基于非共面特征点的摄像机标定方法，该方法包括以下步骤设置立体靶标，并建立立体靶标坐标系；所述立体靶标能够提供至少6个非共面特征点；用摄像机拍摄立体靶标图像，所拍摄图像中至少包含6个非共面特征点；提取至少6个非共面特征点在图像坐标系下的坐标，求解立体靶标坐标系与图像坐标系之间的单应矩阵；根据得到的单应矩阵，求解摄像机的内部参数和外部参数；对得到的内部参数和外部参数进行非线性优化。本发明提出的标定方法，靶标设置简单，仅需要拍摄一张图像即可完成标定，且使用方法灵活，标定精度较高。
文档编号G06T7/00GK101887585SQ20101022860
公开日2010年11月17日 申请日期2010年7月15日 优先权日2010年7月15日
发明者张捷, 戴先中, 李新德 申请人:东南大学