专利名称：基于一维靶标的双目视觉传感器校准方法
技术领域：
本发明属于测量技术领域，涉及对立体视觉三维测量中双目视觉传感器参数校准方法的改进。
背景技术：
双目立体视觉三维测量具有非接触、速度快、系统柔性好、精度较高等优点，广泛应用于三维模型重建、物体表面轮廓三维信息测量以及物体关键几何参数测量等领域。典型的双目视觉传感器主要由两台摄像机组成，以光学三角法为基础，基于立体视差原理，完成公共视场内的所有特征点的三维测量，如圆孔中心和角点特征等。双目视觉传感器的测量模型参数的校准是双目视觉传感器能否成功应用的关键，一直是三维视觉测量的一个重要研究内容，目前主要有以下方法一是基于已知三维坐标的三维靶标法。马颂德等在文献《计算机视觉-计算理论与算法基础》(马颂德，张正友著，科学出版社，pp.60～62，1998年)中陈述了这种方法。此种方法需要至少两个已知平面构成的高精度三维靶标，由于两个平面对光照的相互影响，只能在特定的位置和方位才可能获得高质量的校准图像，三维靶标的加工制造和维护较为困难，成本高，不适合现场在线校准。二是基于已知运动平面靶标法。张健新等在文章“两步法求取双目视觉传感器中摄像机位置关系”(光电工程，Vol.25，No.5，pp.37～41，1998)中陈述了这种方法。此种方法需要高精度移动导轨等辅助设备，校准过程较为复杂，不适合现场在线校准。三是基于未知运动平面靶标法。周富强等在文章“双目视觉传感器的现场校准技术”(仪器仪表学报，Vol.21，No.2，pp.142～145，2000)中陈述了这种方法。此种方法可以获得高质量的校准图像，能够满足在线校准的要求。尽管加工制造高精度二维精密靶标较为容易，但难以保证靶标上多个特征点经摄像机成像后的图像特征的质量，从而影响到校准精度。对于大测量范围的双目视觉传感器，由于需要大型校准靶标，因此以上三种校准方法都不适用大测量范围的双目视觉传感器的现场校准。
发明内容
本发明所要解决的技术问题是提供一种精度较高，基于未知运动一维靶标的双目视觉传感器参数现场校准方法，降低校准设备的成本，简化校准过程，改善其工程化应用的可操作性和便捷性。
本发明的技术解决方案是一种双目视觉传感器参数的校准方法，其特征在于，校准包括摄像机校准和传感器结构参数校准，摄像机校准可以离线进行，也可以在线现场进行，传感器结构参数在线现场进行，具体步骤为1、摄像机校准1.1、固定好由左摄像机和右摄像机组成的双目视觉传感器，打开摄像机电源。设定靶标1，靶标上有预先设置的特征点，靶标为一个二维平面，在靶标平面上布置黑白相间的棋盘格，黑白方块的边长为3～50mm，其边长精度为0.001～0.01mm，黑方块与白方块公有的顶点称为格点。选取靶面上格点作为特征点，特征点的数量为16～400个；1.2、首先在摄像机的视场范围内，自由、非平行地移动靶标[1]至少3个位置，每移动一个位置，拍摄一幅图像，称为摄像机校准图像，靶标[1]的特征点应包含在拍摄图像内。然后提取所有摄像机校准图像的特征点的图像坐标，并与特征点的世界坐标对应。最后利用提取的所有特征点的图像坐标及对应的世界坐标来校准摄像机内部参数，包括摄像机有效焦距、主点以及畸变系数；1.3、采用步骤1.2叙述的方法，分别校准左摄像机和右摄像机的内部参数，包括有效焦距、主点以及畸变系数；2、传感器结构参数校准2.1、设定靶标2，它为一个一维基线尺，在基线尺上设置成一行排列的圆孔，圆孔的数量为2～100个，圆孔的直径为3～20mm，其直径精度为0.001～0.02mm。基线尺上两端的圆孔中心之间距离为100～1500mm，其距离精度为0.001～0.02mm，其余圆孔均匀布置在两端圆孔之间，其圆心距离精度无特殊要求。选取圆孔的中心为特征点；2.2、在两个摄像机的公共视场内，自由、非平行地移动靶标2至少6个位置，每移动一个位置，左摄像机、右摄像机分别拍摄一幅图像，靶标2的特征点应包含在拍摄图像内，左摄像机拍摄图像称为传感器校准左图像，右摄像机拍摄图像称为传感器校准右图像；2.3、提取所有传感器校准左图像特征点的图像坐标，称为传感器校准特征点的左图像坐标，提取所有传感器校准右图像特征点的图像坐标，称为传感器校准特征点的右图像坐标；2.4、根据左摄像机的模型和内部参数，由左图像坐标计算传感器校准特征点的左投影坐标，根据右摄像机的模型和内部参数，由右图像坐标计算传感器校准特征点的右投影坐标；2.5、利用对应的传感器校准特征点的左投影坐标和右投影坐标，计算双目视觉传感器的本质矩阵E；2.6、求解双目视觉传感器结构参数的初始值。采用线性分解方法，将本质矩阵E分解为旋转矩阵R和带有比例因子的平移矢量t′，通过靶标2上两端圆孔中心之间的距离约束，计算得到平移矢量t；2.7、利用对应的传感器校准特征点的左投影坐标、右投影坐标和双目视觉传感器结构参数的初始值，采用非线性优化方法求解双目视觉传感器结构参数的最优值；2.8、将校准的左、右摄像机内部参数、双目视觉传感器结构参数的最优值保存到系统参数文件中，以备测量调用。
本发明的优点是本发明提出了一种新的基于未知运动一维靶标的双目视觉传感器参数校准方法。与现有的双目视觉传感器结构参数校准方法相比，该方法所需的校准靶标成本低，加工制造容易，维护和现场操作简单，不需要高成本辅助调整设备，可以简化校准过程，提高校准效率，非常适合现场在线校准。摄像机可以获取多幅高质量的校准靶标的图像，不存在三维靶标不同平面之间的相互遮挡问题，能够获得更多的高精度特征点，提高校准精度。相对于三维靶标和二维平面靶标，一维靶标的加工更灵活，因此可以适应大尺寸测量双目视觉传感器结构参数的现场校准需要。
图1是二维平面靶标示意图。图1中，1是靶标体。
图2是一维基线尺靶标。图2中，2是靶标体。
图3是摄像机投影模型。
图4是双目视觉传感器空间坐标测量数学模型。
具体实施例方式
下面对本发明方法做进一步详细说明。本发明首次使用简单无约束移动的一维靶标，对双目视觉传感器的结构参数进行了校准。
摄像机模型摄像机的模型如图3所示，πc为图像平面，πn为投影平面。三维世界坐标系为Owxwywzw，摄像机坐标系为Oxyz，图像坐标系为Ouxuyu，，投影坐标系为O′x′y′，Op为主点。定义Ox//Ouxu//O′x′，Oy//Ouyu//O′y′和Oz⊥πc。任意空间点Q在πc上的投影点q是直线OQ与πc的交点。设Q的三维摄像机齐次坐标为q~=xyz1T,]]>投影齐次坐标为q~'=x'y'1T,]]>则摄像机的透视投影模型为q~'=x/zy/z1T---[1]]]>
设无畸变图像坐标矢量为qu＝[xuyu]T，摄像机在x、y方向上的有效焦距为fx和fy，摄像机的主点坐标为(u0，v0′)，则有qu＝[fxx′+u0fyy′+v0]T[2]若考虑摄像机镜头的一次径向畸变，设畸变图像坐标矢量为qd＝[xdyd]T，则有qd=[1+k1(xu2+yu2)]qu---[3]]]>其中k1为径向畸变系数。
根据公式[1]～[3]，由实际图像坐标可以求得空间点经透视投影后的投影坐标。
双目视觉传感器三维测量模型由两台摄像机组成的双目视觉传感器的数学模型如图4所示。将测量坐标系Oxyz建立在左摄像机上，右摄像机坐标系为O2x2y2z2。左摄像机的投影坐标系为O′1x′1y′1，右摄像机的投影坐标系为O′2x′2y′2。设空间点Qi在左摄像机和右摄像机的投影分别为q1i和q2i。Qi在Oxyz中的齐次坐标为q~i=xiyizi1T,]]>在O2x2y2z2中的齐次坐标为q~2i=x2iy2iz2i1T.]]>q1i的齐次坐标为q~'1i=x'1iy'1i1T,]]>q2i的齐次坐标为q~'2i=x'2iy'2i1T.]]>由摄像机模型得到q~'1i=xi/ziyi/zi1Tq~'2i=x2i/z2iy2i/z2i1T---[4]]]>Oxyz与O2x2y2z2之间的欧氏变换可表示为λq~2i=[R|t]q~iλ≠0---[5]]]>其中R为3×3正交旋转矩阵；t为3×1平移矢量由公式[4]和[5]可知，Qwi与q1i和q2i之间的关系分别为λlq1i′~=[I|O]q~i=plq~iλl≠0---[6]]]>λ2q~'2i=[R|t]q~i=p2q~iλ2≠0---[7]]]>其中P1为3×4左摄像机投影矩阵；P2为3×4右摄像机投影矩阵；I为3×3单位矩阵。
如图4所示，Qi、O和O2确定一个平面，空间点在两个投影平面内的投影对应点满足极线约束关系。l1i为右投影点所对应的左投影平面内的极线，l2i为左投影点所对应的右投影平面内的极线。共面极线约束可以表示为IO2q2i·(IOO2×IOq1i)＝0，相应的代数表示为q~2i′T=Eq1i′~=0---[8]]]>其中E为本质矩阵。E包含了P2的全部参数，通过分解，可以得到P2。然后由两个摄像机获得的投影坐标，根据公式[6]和[7]，采用最小二乘方法可以计算出空间点的三维坐标。
根据摄像机的模型和双目视觉传感器的三维测量模型，双目视觉传感器的校准分为两步一是左摄像机和右摄像机内部参数的校准，二是传感器结构参数的校准。
本发明的摄像机校准的具体步骤如下1、固定好由左摄像机和右摄像机组成的双目视觉传感器，打开摄像机电源。设定靶标1，靶标上有预先设置的特征点，靶标为一个二维平面，在靶标平面上布置黑白相间的棋盘格，黑白方块的边长为3～50mm，其边长精度为0.001～0.01mm，黑方块与白方块公有的顶点称为格点。选取靶面上格点作为特征点，特征点的数量为16～400个。
2、首先在摄像机的视场范围内，自由、非平行地移动靶标1至少3个位置，每移动一个位置，拍摄一幅图像，称为摄像机校准图像，靶标1的特征点应包含在拍摄图像内。
然后提取所有摄像机校准图像的特征点的图像坐标，并与特征点的世界坐标对应。特征点图像坐标自动提取算法参见周富强著《双目立体视觉检测的关键技术研究》，北京航空航天大学博士后研究工作报告，2002。
最后利用提取的所有特征点的图像坐标及对应的世界坐标来校准摄像机内部参数，包括摄像机有效焦距、主点以及畸变系数。校准算法参见周富强著《双目立体视觉检测的关键技术研究》，北京航空航天大学博士后研究工作报告，2002。
3、采用步骤2叙述的方法，分别校准左摄像机和右摄像机的内部参数，包括有效焦距、主点以及畸变系数。
校准好摄像机后，进行传感器结构参数校准，具体步骤如下4、设定靶标2，它为一个一维基线尺，在基线尺上设置成一行排列的圆孔，圆孔的数量为2～100个，圆孔的直径为3～20mm，其直径精度为0.001～0.02mm。基线尺上两端的圆孔中心之间距离为100～1500mm，其距离精度为0.001～0.02mm，其余圆孔均匀布置在两端圆孔之间，其圆心距离精度无特殊要求。选取圆孔的中心为特征点。
5、在两个摄像机的公共视场内，自由、非平行地移动靶标2至少6个位置，每移动一个位置，左摄像机、右摄像机分别拍摄一幅图像，靶标2的特征点应包含在拍摄图像内，左摄像机拍摄图像称为传感器校准左图像，右摄像机拍摄图像称为传感器校准右图像。
6、提取所有传感器校准左图像特征点的图像坐标，称为传感器校准特征点的左图像坐标，提取所有传感器校准右图像特征点的图像坐标，称为传感器校准特征点的右图像坐标。圆孔中心的图像坐标提取算法参见周富强著《双目立体视觉检测的关键技术研究》，北京航空航天大学博士后研究工作报告，2002。
7、根据左摄像机的模型和内部参数，按照公式[1]～[3]计算传感器校准特征点的左投影坐标。根据右摄像机的模型和内部参数，按照公式[1]～[3]计算传感器校准特征点的右投影坐标。
8、利用对应的传感器校准特征点的左投影坐标和右投影坐标，计算双目视觉传感器的本质矩阵E。计算本质矩阵E的算法参见Richard I.Hartley的文章“为8点算法辩护”[In defense of the eight-point algorithm]，IEEE期刊《模式分析及机器智能化》，第19卷第6期，第580～593页，1997年。[IEEE Transactions on PatternAnalysis and Machine Intelligence，Vol.19，No.6，1997]。
9、求解双目视觉传感器结构参数的初始值。采用线性分解方法，将本质矩阵E分解为旋转矩阵R和带有比例因子的平移矢量t′。通过靶标2上两端圆孔中心之间的距离约束，计算得到平移矢量t。
计算t′的算法参见《计算机视觉中的多视图几何》，(Richard Hartley，AndrewZisserman著，韦穗，杨尚骏，章权兵，胡茂林译，安徽大学出版社，2002年)。
靶标2上两端圆孔中心之间的距离d已知，由比例意义上的P2，根据双目视觉的三维测量模型，可以计算出两个特征点的比例意义上的空间坐标，从而得到比例意义上的距离d′，则有d＝kd′k＝d/d′[9]其中k为比例系数。考虑到测量数据的误差，采用多组双对应点，分别计算出每组的比例因子，最终取平均值作为最后的比例因子。
k=dnΣi=1n1di′n>1---[10]]]>则传感器结构参数的平移矢量为t＝kt′。
10、利用对应的传感器校准特征点的左投影坐标、右投影坐标和双目视觉传感器结构参数的初始值，采用非线性优化方法求解双目视觉传感器结构参数的最优值。
设由双目视觉传感器模型计算出的任意两点的三维坐标分别为Qj(xj，yj，zj)和Qj+1(xj+1，yj+1，zj+1)，两点空间实际距离为d，计算距离为dmi，则有距离误差为edi＝|d-dmi(Qj，Qj+1)| i＝j/2[11]设由模型计算的投影点分别为q1i(x′1i，y′1i)和q2i(x′2i，y′2i)，实际得到的投影点分别为p1i(u′1i，v′1i)和p2i(u′2i，v′2i)，计算投影图像坐标与实际图像坐标存在偏差，采用非线性优化方法，使这种偏差达到最小，此时所对应的参数为最佳估计投影矩阵参数。建立目标误差函数epq＝d2(q1i，p1i)+d2(q2i，p2i)[12]由公式[11]和[12]，建立最终的目标优化函数f(R,t)=ρ1Σi=0,j=0i=(n-1)/2,j=n-1(d-dmi(Qj,Qj+1))2++ρ2Σj=0n-1(d2(qlj,plj)+d2(q2j,p2j))---[13]]]>其中ρ1，ρ2为权重系数。公式[13]中考虑在欧氏空间上的距离不变性，取ρ1＞＞ρ2，实际上可选取ρ1＝1000，ρ2＝1。R满足正交约束，只有3个独立变量，t有3个独立变量，需要求解的系统参数为6，本质矩阵至少需要8个点，才可以获得惟一解，因此需要至少4对空间对应点。为了保证R的正交约束，并给出比较稳定的数值解，将旋转矩阵以四元素形式表示为q＝(q0q1q2q3)T，满足约束||q||＝1。采用Levenberg-Marquardt方法对公式[13]表示的目标函数进行非线性优化，Levenberg-Marquardt算法参见《最优化理论与方法》，(袁亚湘、孙文瑜著，科学出版社，1999年)。
11、将校准的左、右摄像机内部参数、双目视觉传感器结构参数的最优值保存到系统参数文件中，以备测量调用。
实施例采用两台敏通MS368P摄像机(537×505)和50mm镜头组成双目视觉传感器和一维基线尺在现场进行，图像分辨率为768pixels×576pixels。传感器的工作距离是1500mm左右，测量范围为200mm×200mm。
首先利用图1所示的平面靶标对左摄像机和右摄像机的内部参数进行校准，获得的校准参数为左摄像机内部参数fx＝8338.661 fy＝8324.729u0＝396.503 v0＝299.245 k1＝-5.05×10-1右摄像机内部参数fx＝8392.925 fy＝8376.574u0＝412.012 v0＝276.325 k1＝-6.65×10-1
然后采用如图2所示的一维靶标，图中圆孔中心点为特征点。靶标惟一已知信息是一维靶标两端圆孔中心之间的距离，为114.5523mm。根据测量的需要将双目视觉传感器固定在适当的位置并建立各自坐标系，以左摄像机为基准，建立传感器的测量坐标系，将一维靶标摆放在传感器的测量空间中7个不同的位置，可以得到14个观测点，由摄像机的透视投影模型求出投影坐标，采用线性方法求解右摄像机的投影矩阵，然后作为初值，采用非线性优化方法求解最优传感器的结构参数。获得的校准双目视觉传感器结构参数为线性方法求解结果p2=9.584×10-11.182×10-3-2.855×10-1-4.184×102-1.634×10-39.999×10-11.359×10-3-1.685×100-2.855×10-11.770×10-39.583×10-11.197×102]]>非线性方法求解结果P2=9.775×10-12.479×10-22.094×10-1-3.573×1027.347×10-39.9965×10-18.367×10-2-4.002×100-2.107×10-18.026×10-29.742×10-11.070×102]]>表1为校准数据及其精度评估，采用7对点进行校准，根据校准结果计算出校准特征点的三维空间坐标，并计算两对点之间的距离，与标准长度比较，校准方均根误差为0.005mm。
将靶标放在测量空间的不同位置，用传感器检验出的靶标长度与其实际值(114.5523)进行比较。进行了5个任意位置的测量，按照校准精度评估的同样方法，得到测量的方均根误差为0.029mm。
权利要求
1.一种双目视觉传感器参数的校准方法，其特征在于，校准分为摄像机校准阶段和传感器结构参数校准阶段，摄像机校准可以离线进行，也可以在线现场进行，传感器结构参数在线现场进行，具体步骤如下1.1、摄像机校准阶段1.1.1、固定好由左摄像机和右摄像机组成的双目视觉传感器，打开摄像机电源。设定靶标[1]，靶标上有预先设置的特征点，靶标为一个二维平面，在靶标平面上布置黑白相间的棋盘格，黑白方块的边长为3～50mm，其边长精度为0.001～0.01mm，黑方块与白方块公有的顶点称为格点。选取靶面上格点作为特征点，特征点的数量为16～400个；1.1.2、首先在摄像机的视场范围内，自由、非平行地移动靶标[1]至少3个位置，每移动一个位置，拍摄一幅图像，称为摄像机校准图像，靶标[1]的特征点应包含在拍摄图像内。然后提取所有摄像机校准图像的特征点的图像坐标，并与特征点的世界坐标对应。最后利用提取的所有特征点的图像坐标及对应的世界坐标来校准摄像机内部参数，包括摄像机有效焦距、主点以及畸变系数；1.1.3、采用步骤1.1.2叙述的方法，分别校准左摄像机和右摄像机的内部参数，包括有效焦距、主点以及畸变系数；1.2、传感器结构参数校准阶段1.2.1、设定靶标[2]，它为一个一维基线尺，在基线尺上设置成一行排列的圆孔，圆孔的数量为2～100个，圆孔的直径为3～20mm，其直径精度为0.001～0.02mm。基线尺上两端的圆孔中心之间距离为100～1500mm，其距离精度为0.001～0.02mm，其余圆孔均匀布置在两端圆孔之间，其圆心距离精度无特殊要求。选取圆孔的中心为特征点；1.2.2、在两个摄像机的公共视场内，自由、非平行地移动靶标[2]至少6个位置，每移动一个位置，左摄像机、右摄像机分别拍摄一幅图像，靶标[2]的特征点应包含在拍摄图像内，左摄像机拍摄图像称为传感器校准左图像，右摄像机拍摄图像称为传感器校准右图像；1.2.3、提取所有传感器校准左图像特征点的图像坐标，称为传感器校准特征点的左图像坐标，提取所有传感器校准右图像特征点的图像坐标，称为传感器校准特征点的右图像坐标；1.2.4、根据左摄像机的模型和内部参数，由左图像坐标计算传感器校准特征点的左投影坐标，根据右摄像机的模型和内部参数，由右图像坐标计算传感器校准特征点的右投影坐标；1.2.5、利用对应的传感器校准特征点的左投影坐标和右投影坐标，计算双目视觉传感器的本质矩阵E；1.2.6、求解双目视觉传感器结构参数的初始值。采用线性分解方法，将本质矩阵E分解为旋转矩阵R和带有比例因子的平移矢量t′，通过靶标[2]上两端圆孔中心之间的距离约束，计算得到平移矢量t；1.2.7、利用对应的传感器校准特征点的左投影坐标、右投影坐标和双目视觉传感器结构参数的初始值，采用非线性优化方法求解双目视觉传感器结构参数的最优值；1.2.8、将校准的左、右摄像机内部参数、双目视觉传感器结构参数的最优值保存到系统参数文件中，以备测量调用。
全文摘要
本发明属于测量技术领域，涉及对立体视觉三维测量中双目视觉传感器校准方法的改进。本发明提出一种基于未知运动一维靶标的双目视觉传感器校准方法。当传感器安装完成后，由两个摄像机拍摄自由移动的一维靶标多幅图像，利用靶标上特征点的图像坐标和两个特征点之间的距离约束，采用非线性优化技术估计双目视觉传感器的结构参数。本方法不需要高成本的辅助调整设备，校准精度高，过程简单，效率高，能够满足大尺寸测量双目视觉传感器结构参数现场校准的需要。
文档编号G01B11/24GK1971206SQ20061016772
公开日2007年5月30日 申请日期2006年12月20日 优先权日2006年12月20日
发明者周富强, 张广军 申请人:北京航空航天大学