专利名称：三维扫描系统中的多个摄像机同步快速标定方法
技术领域：
本发明涉及视觉系统中的摄像机模型参数的标定问题，尤其涉及一种三维扫描系统中的基于立体标定物的多个摄像机参数的同步快速标定方法。
背景技术：
计算机视觉的基本任务之一，是从摄像机拍摄得到的图像出发，计算视场中物体的三维信息，由此来对三维物体进行重建和识别。物体表面点的三维几何信息与其在图像上的对应点之间的相互关系是由摄像机的成像模型决定的，建立这一几何模型的过程实际上就是摄像机参数的求解过程。因此，对摄像机参数的标定是这一建模过程的前提和关键。对摄像机参数的求解过程称为摄像机标定。
文献“Image Processing，Analysis，and Machine Vision”(M.Sonka，V.Hlavac，R.Boyle，International Thomson Publishing，1998)中阐述了一种较为通用的摄像机成像模型，该成像模型可以用以下公式来描述 其中，Xw，Yw，Zw是标定物的世界坐标系坐标，u，v是在以像素为单位的图像坐标系中的二维坐标，其中图像坐标系的横坐标轴和纵坐标轴分别称为u轴和v轴，λ为一标量，R，T为摄像机的外部参数矩阵，分别定义了世界坐标系的原点相对于摄像机坐标系的三维空间的姿态和位置，为摄像机内部参数矩阵，其中fx，fy分别表示u轴和v轴的尺度因子，又称有效焦距，s表示u轴和v轴轴间不垂直因子，(u0，v0)表示以像素为单位的图像的主点坐标，也称光学中心。摄像机标定就是计算摄像机模型参数的过程。
摄像机标定技术大致可以分成两类传统的标定方法和摄像机自标定方法。近年来，摄像机的自标定算法取得了很大的进展，已发表了相当数量的文献，其中一些算法获得了较为广泛的应用。但是由于自标定算法相比于传统标定算法精度要差，不适合诸如三维扫描等对检测精度要求非常高的场合。
摄像机传统标定方法精度要高于自动标定方法，所以在较精密的三维信息获取系统中得到了大量使用。传统标定方法所使用的标定物主要有两类，一是平面模板，二是三维立体标定块，常见的平面标定模板的设置方法是在平面模板上设置一些可以方便检测的标志点，如交叉点或者圆形，通过提取图像中标志点信息，得到空间平面模板与计算机图像中的标志点的数据匹配关系，进而求解摄像机的参数。文献“A flexible new technique for camera calibration”(Zhang Z Y.IEEE Transaction on Pattern Analysis and Machine Intelligence，2000，22(11)1330-1334)中公开了一种利用平面模板上标志点的对应关系以及摄像机内部参数的约束条件来求解摄像机参数的标定方法。该方法并不需要知道标准参照物的尺寸，仅仅利用平面模板上的特征点的对应关系，将平面模板在摄像机前任意转动两次或两次以上即可完成标定，无需了解模板的运动参数，使得标定过程变得更加容易方便。这种方法在应用于多个摄像机参数的同步快速标定时的缺点是需要多次人工干预，即手动的将平面标定模板旋转一定角度拍摄多幅图像，并且摄像机只有在一定角度下方可看见平面模板上的标志点，当摄像机光轴与平面模板夹角过小时，其上的标志点将无法在摄像机平面上准确显示，导致无法实现多个摄像机参数的同步快速标定。另一种常见的标定物是三维立体标定块，常见的三维标定块，制作复杂，制造要求精度高，并且一般只可观察到标定块上三个平面的表面信息。
发明内容
本发明提供一种三维扫描系统中的基于立体标定物的多个摄像机同步快速的标定方法，本发明具有标定精度高，可以实现空间中分布的多个摄像机的同步标定，具有标定过程简单、标定的复杂度小，稳定性好的优点，本发明可以用于标定单台摄像机参数，以及空间中所有的摄像机坐标系的统一。
本发明是一种三维扫描系统中的基于立体标定物的多个摄像机同步快速的标定方法，所述的多个摄像机包括两个以及两个以上的更多摄像机，具体摄像机数目依据三维扫描系统的具体要求来设置，多个摄像机的参数的标定包括单台摄像机参数的标定以及多台摄像机坐标系的统一，本发明的技术方案如下 首先设置一正四棱台立体标定物，八个标定球位于四棱台的顶点，并在上平面、下平面各选择两个基准标定球，摄像机拍摄标定物，用双阈值分割方法分别获取上下平面所对应的圆，并提取圆心，得到图像中的圆心与空间中标定球球心之间的对应关系，提取标定物中三个平面所对应的图像中的圆心点，建立三组对应关系，求解单应性矩阵获得内部参数矩阵以及外部参数矩阵的初始值，然后采用非线性优化方法求解单台摄像机参数的最优解，然后求取多台摄像机与空间中某一摄像机之间的外部参数矩阵，并采用非线性优化方法求解两摄像机之间的外部参数矩阵的最优解，依次完成空间中所有的摄像机坐标系的统一。
本发明方法包括下列操作步骤 第1步用摄像机参数标定方法对多摄像机系统中的摄像机进行逐台参数标定，得到各台摄像机的内部参数、外部参数以及畸变系数，其中内部参数矩阵Ai，i为1、2、3、......n，n为多摄像机系统中的摄像机总数，内部参数矩阵包括光学中心、有效焦距、轴间不垂直因子，外部参数包括旋转参数矩阵Ri，i为1、2、3、......n，n为多摄像机系统中的摄像机总数，以及平移参数矩阵Ti，i为1、2、3、......n，n为多摄像机系统中的摄像机总数，所述单台摄像机参数标定方法的具体步骤为 第1.1步设置立体标定物，该设置方法为在空间设置八个标定球，以八个标定球球心为顶点在空间中组成一个正四棱台，四棱台的上平面中的四个标定球的颜色为白色，下平面中的四个标定球的颜色为灰黑色，选定四棱台的上平面中两个相邻标定球为上平面第一、第二基准标定球，上平面第一基准标定球的半径大于上平面第二基准标定球的半径，上平面第二基准标定球的半径大于上平面中的其余两个标定球的半径，与上平面相对应的下平面的四个标定球采用相同的设置方法，测得四棱台中六个表面中每两个相邻表面之间的角度信息，以及八条边上每两个相邻标定球球心之间的距离， 第1.2步将立体标定物置入多摄像机视场中，调整标定物的空间位置，使计算机图像中能被分割、提取出超过六个标定球所对应的圆形，每个摄像机获取一幅标定物的图像，对摄像机所拍摄到的图像进行数据处理，得到计算机图像中的圆形标志点与标定球之间的数据匹配关系，对图像进行数据处理方法为 建立以像素点为单位的计算机图像坐标系(u，v)，坐标系的原点位于图像的左下方，横、纵坐标轴分别为u轴和v轴，对图像进行滤波，以及阈值分割，阈值分割采用双阈值分割方法，获取一高阈值和一低阈值，用高阈值来分割图像获得标定物的上平面中四个球所对应的圆，通过边界提取、轮廓跟踪、圆边界拟合及中心提取，获得圆心点的精确位置以及圆半径的大小，半径最大的圆为上平面第一基准标定球在图像中的第一基准圆，其序号为1，半径次之的为第二基准圆，其序号为2，第一基准圆圆心点与其余三个圆心点连线组成三条直线，设第一基准圆心点与第二基准圆心点的连线为基准直线，比较基准直线与其余两条直线的夹角的大小，夹角较小的直线上的圆序号为3，夹角较大的直线上的圆序号为4，提取图像中灰度值介于低阈值与高阈值之间的部分，获得标定物的下平面中四个球所对应的圆，采用与高阈值分割时相同的处理方法，得到标定物下平面中的四个标定球所对应的圆的序号， 第1.3步在图像中选取三组圆心，每组有四个圆心组成，每组圆心所对应的标定球的球心在同一个平面上，三组圆心的选取方法为第一组选取高阈值时分割出的图像中上平面标定球对应的四个圆，第二组和第三组的选取方法为依据上、下平面中的标定球在图像中的圆心点的序号关系，在图像中下平面标定球所对应的圆中任意选择两个，在图像中上平面标定球所对应的四个圆中选择相同序号的两个，在三组圆心对应的标定物的三个平面上建立三个世界坐标系，选择上平面为基准平面，在基准平面上建立第一世界坐标系(O1-X1Y1Z1)，第一世界坐标系的原点O1为上平面第一基准标定球的球心，上平面第一基准标定球球心与上平面第二基准标定球球心的连线方向为坐标系的O1X1轴，上平面第一基准标定球球心与上平面另外一个相邻标定球球心连线方向为坐标系的O1Y1轴，O1Z1轴垂直于标定物上平面且指向标定物外部方向，另外两个平面的世界坐标系的设置方法为选择该平面上的一个标定球的球心为坐标系的原点，该平面上的过坐标系原点的一条边为坐标系的X轴，在该平面上的经过坐标系原点做与坐标系的X轴相互垂直的直线，为该坐标系的Y轴，Z轴垂直于标定物上该平面且指向标定物外部方向，所选取的标定物三个平面中的每一个平面上的四个标定球的球心点坐标对应着计算机图像中的四个圆形的圆心点坐标，从而建立三组对应关系，求解单应性矩阵，然后依据单应性矩阵求取单台摄像机内部参数矩阵Ai以及摄像机与第一世界坐标系之间的组成外部参数矩阵的旋转参数矩阵Ri，i为1、2、3、......n，n为多摄像机系统中的摄像机总数和平移参数矩阵Ti，i为1、2、3、......n，n为多摄像机系统中的摄像机总数，并求取畸变系数， 第1.4步求取标定物上的八个标定球的球心在第一世界坐标系下的坐标，建立利用优化目标函数对单台摄像机的内部参数矩阵、外部参数矩阵以及畸变系数进行优化，所述的优化目标函数为
其中c代表图像中圆形的数目，
是第一世界坐标系下某球心点Mj通过摄像机成像模型在计算机图像上的投影点坐标，mj为该标定球在计算机图像中所对应的圆的圆心坐标。待优化的参数包括内参数矩阵Ai，畸变系数矩阵kpi＝[k1，k2，p1，p2]T，摄像机与第一世界坐标系之间的外部参数矩阵Ri，Ti，i为1、2、3、......n，n为多摄像机系统中的摄像机总数， 采用非线性优化方法求解单个摄像机的精确的内参数、外参数以及畸变系数的最优解， 第2步多台摄像机坐标系的统一，选择多台摄像机中的第一台为基准摄像机，其余摄像机为一般摄像机，求取一般摄像机与基准摄像机之间的旋转参数矩阵R1i，i为2、3、......n，n为多摄像机系统中的摄像机总数；平移参数矩阵T1i，i为2、3、......n，n为多摄像机系统中的摄像机总数，其实现的具体步骤为 第2.1步获取空间中摄像机与基准摄像机之间的旋转参数R1i和平移参数T1i的初始值， T1i＝T1-R1×Ti 其中R1、T1为基准摄像机与标定物基准平面之间的旋转参数矩阵、平移参数矩阵，Ri、Ti，i为2、3、......n，n为多摄像机系统中的摄像机总数，为除基准摄像机外其他摄像机与标定物基准平面之间的旋转参数矩阵、平移参数矩阵， 第2.2步利用双目立体视觉极线几何约束关系，获得一般摄像机所拍摄的图像中的圆心点在基准摄像机图像中的极线，该极线理想情况下通过基准摄像机图像中的圆心点，这个圆心点与一般摄像机图像中的圆心点相对应，建立如下优化目标函数 其中c代表图像中圆形的数目，n为多摄像机系统中的摄像机总数，u1ij、v1ij表示与第i台摄像机图像中的第j个圆相对应的基准摄像机图像中第j个圆的圆心点的横坐标和纵坐标，l1ij表示与第i台摄像机图像中的第j个圆相对应的基准摄像机中的极线，l1ij(u1ij)表示极线l1ij上对应于横坐标u1ij的纵坐标， 采用非线性优化方法，求解优化目标函数，获得一般摄像机与基准摄像机之间外部参数矩阵的最优参数解。
与现有技术相比，本发明具有如下优点 (1)本发明中采用立体标定球作为标定物上的特征标志点，具有图像中标志点位置提取准确的优点，且制作简单、易固定、准确，在标定过程中自动建立空间坐标系，自动获取和处理图像中的特征标志点，自动化程度高，使应用更加稳定可靠。
(2)与常见的立体标定物相比，本发明所采用的标定物，可获取的平面超过三个，为标定过程提供了更多的可供使用的平面。
(3)在进行多个摄像机同步快速标定时，本发明只需将标定物置于空间中，摄像机拍摄一次即可完成参数标定，简化了标定过程，减少了人为干预所引入的误差。
(4)本发明比较完整地标定了单个摄像机的内部参数与外部参数，包括光学中心、有效焦距、轴间不垂直因子、旋转参数矩阵及平移参数矩阵、畸变系数。
(5)采用非线性优化方法求解单台摄像机参数的最优解时立体标定物上的全部球心点均参与到求解过程中，提高了数据利用率，使得结果保持较高的精度。
(6)本发明完成了摄像机坐标系的统一，并且利用极线几何约束，建立了优化目标函数，采用非线性优化的方法求解两两摄像机之间的外部参数矩阵，使得结果更加精确。
图1是立体标定物的结构示意图，其中标定物上平面的边长小于标定物下平面的边长，标定球之间通过横杆相连，1、2、3、4分别表示上、下平面的第一基准标定球、第二基准标定球以及第三、四标定球。
图2是立体标定物的三视图，A为俯视图，B为左侧视图，C为前视图，D为主视图。
图3是多摄像机标定系统图，a，b，c，d，e，f代表了六个摄像机，B为背景，为一块黑布。
图4是以像素点为单位的计算机图像坐标系图。
图5是图像的灰度直方图，t1为通过双阈值分割方法获得的低阈值，t2为通过双阈值分割方法获得的高阈值。
图6是图像中圆序号的关系图。
图7是图像处理流程图。
图8是空间坐标系的设置图，分别建立了三个坐标系(O1-X1Y1Z1)，(O2-X2Y2Z2)，(O3-X3Y3Z3)。
图9是摄像机参数的初始值的获取流程图。
图10是单台摄像机参数标定流程图。
图11是双目立体视觉极线几何约束关系图，其中p代表空间中的一个球心点，表示基准摄像机成像平面，Ii表示第i台摄像机成像平面，表示基准摄像机光心，Ci表示第i台摄像机的光心，π为极平面，C1与Ci之间的连线为基线，p C1与I1交于p1为空间中p点在基准摄像机成像平面上所成的像，p Ci与Ii交于pij为空间中p点在一般摄像机成像平面上所成的像，pij对应着I1成像平面上的极线l1ij，对应关系由虚线表示。
图12是多台摄像机坐标系统一流程图。
图13是多摄像机同步快速标定系统实现流程图。
具体实施例方式 一种用于求取三维扫描系统中多个摄像机参数的同步快速标定方法，包括立体标定物的设置，拍摄立体标定物，结合针孔透视模型，求解单应性矩阵，求取单台摄像机的内部参数矩阵、外部参数矩阵以及畸变系数的初始值，并采用非线性优化的方法求解单台摄像机参数的最优解，将空间中多台摄像机的坐标系统一到同一个摄像机坐标系下，并利用极线几何约束关系求取两两摄像机之间旋转参数矩阵和平移参数矩阵的最优解。
下面参照附图，对本发明具体实施方案做出更为详细的描述 (1)空间立体标定物的设置 在空间设置八个标定球，以八个标定球球心为顶点在空间中组成一个正四棱台，如图2所示，相邻标定球之间用横杆相连，考虑到在一个球上同时连接三根延长线交于球心的横杆较为困难，一种解决办法如图1所示，即一个球只连接一根横杆，再用横杆连接横杆，四棱台的上平面中的四个标定球的颜色为白色，下平面中的四个标定球的颜色为灰黑色，使得上、下平面标定球的颜色的深度不同，并使得这种区分在摄像机所成图像中是容易区分的，横杆颜色为黑色。选定四棱台的上平面中两个相邻标定球为上平面第一、第二基准标定球，上平面第一基准标定球的半径大于上平面第二基准标定球的半径，上平面第二基准标定球的半径大于上平面中的其余两个标定球的半径，与上平面相对应的下平面的四个标定球采用相同的设置方法，设定与上平面第一基准标定球处于同一棱边上的下平面中的标定球为下平面第一基准标定球，设定与上平面第二基准标定球处于同一棱边上的下平面中的标定球为下平面第二基准标定球，且下平面第一基准标定球的半径大于下平面第二基准标定球的半径，下平面第二基准标定球的半径大于下平面中的其余两个标定球的半径。测得四棱台中六个表面中每两个相邻表面之间的角度信息，以及八条边上每两个相邻标定球球心之间的距离，测量的一种方法为通过已知的标定球的半径以及连杆的长度，采用空间立体几何的知识来求取，这种方法对标定物的设置要求较高，测量的另一种方法是使用两台已经精确标定的摄像机，采用双目视觉原理，通过两台摄像机转换出标定物的空间立体信息，确定标定物上标定球的球心位置，检验标定物的设置精度并求取相应的位置和角度信息。
(2)用摄像机参数标定方法对多摄像机系统中的摄像机进行逐台参数标定，得到各台摄像机的内部参数、外部参数以及畸变系数，其中内部参数矩阵Ai，i为1、2、3、......n，n为多摄像机系统中的摄像机总数，内部参数矩阵包括光学中心、有效焦距、轴间不垂直因子，外部参数包括旋转参数矩阵Ri，i为1、2、3、......n，n为多摄像机系统中的摄像机总数，以及平移参数矩阵Ti，i为1、2、3、......n，n为多摄像机系统中的摄像机总数，所述单台摄像机参数标定方法的具体步骤为 第2.1步将立体标定物置入多摄像机视场中，为了方便图像处理，标定物所置入的背景为一黑布，如图3所示，其中的多个摄像机包括两个以及两个以上的更多个摄像机，具体摄像机数目依据三维扫描系统的具体要求来设置，图3即给出了一个由六个摄像机组成的实例。调整标定物的空间位置，使计算机图像中能被分割、提取出超过六个标定球所对应的圆形，通过拍摄，每个摄像机获取一幅标定物的图像，对摄像机所拍摄到的图像进行数据处理，得到以像素点为单位的计算机图像中的圆形标志点与标定球之间的数据匹配关系，对图像进行数据处理方法为 如图4所示，建立以像素点为单位的计算机图像坐标系(u，v)，坐标系的原点位于图像的左下方，横、纵坐标轴分别为u轴和v轴，对图像进行滤波，去除干扰噪声，再对图像进行阈值分割，阈值分割采用双阈值分割方法，所采用的双阈值分割方法的实现方法为首先获取图像的灰度直方图，由于图像中的三种主要颜色为白色、灰黑色以及黑色，这三种颜色在灰度直方图中形成三个波峰、两个波谷，如图5所示，由于图像中标定物所占的像素点数远小于背景所占的像素点数，所以采用常见的迭代法可以首先获取标定物与背景之间的分隔阈值t1，采用该阈值可以将图像中的背景与标定物分割出来，该阈值即为双阈值分割方法中的低阈值，然后在低阈值与图像像素点的最大灰度值之间再次采用迭代法来获取另外一个阈值，该阈值介于图像中标定物上平面中的标定球所成圆形的灰度值与图像中下平面的标定球所成圆形的灰度值之间，为双阈值分割方法中的高阈值t2。其中迭代法的实现步骤为 首先，求出图像的最大灰度值和最小灰度值，分别记为Zmax和Zmin，令初始阈值S0＝(Zmin+Zmax)/2；进而根据阈值Sk，Sk初始值为S0，k的大小等于迭代次数，将图像分割为前景和背景，分别求出前景和背景的平均灰度值Zo和Zb；求出新阈值Sk+1＝(Zo+Zb)/2；如果Sk＝Sk+1，则所得Sk即为阈值；否则根据阈值Sk+1将图像再次分割为前景和背景，迭代计算。
通过上述方法获得图像的高阈值和图像的低阈值，用高阈值来分割图像获得标定物的上平面中四个球所对应的圆，通过边界提取、轮廓跟踪、圆边界拟合及中心提取，获得圆心点的精确位置以及圆半径的大小，如图6所示，半径最大的圆为上平面第一基准标定球在图像中的第一基准圆，其序号为1，半径次之的为第二基准圆，其序号为2，第一基准圆圆心点与其余三个圆心点连线组成三条直线，设第一基准圆心点与第二基准圆心点的连线为基准直线，比较基准直线与其余两条直线夹角的大小，夹角较小的直线上的圆序号为3，夹角较大的直线上的圆序号为4，提取图像中灰度值介于低阈值与高阈值之间的部分，获得标定物的下平面中四个球所对应的圆，采用与高阈值分割时相同的处理方法，得到标定物下平面中的四个圆的序号，如果图像中上平面中的标定球将下平面中的一个标定球遮挡住，即图像中只能获取下平面标定球所对应的三个圆形，此时确定图像中下平面标定球所对应的三个圆的序号的方法为首先提取图像中下平面标定球所对应的三个圆形，分别求得这三个圆形的半径和圆心坐标，寻找到半径最大的圆，求得该圆的圆心点与其余两个圆的圆心点的连线的斜率以及两连线之间的夹角关系，作为待匹配关系。由于图像中上平面中的标定球所对应的圆形的序号已经确立，从图像中上平面标定球所对应的四个圆中选择出三个圆，共可得到四组圆，如图6所示，这四组圆是第一组包括序号为1、2、3的圆，第二组包括序号为1、3、4的圆，第三组包括序号为1、2、4的圆，第四组包括序号为2、3、4的圆。分别求出第一组中序号为1的圆的圆心点与序号为2、3的圆的圆心点之间连线的斜率以及两连线之间的夹角，第二组序号为1的圆的圆心点与序号为3、4的圆的圆心点之间连线的斜率以及两连线之间的夹角，第三组中序号为1的圆的圆心点与序号为2、4的圆的圆心点之间连线的斜率以及两连线之间的夹角，第四组中序号为2的圆的圆心点与序号为3、4的圆的圆心点之间连线的斜率以及两连线之间的夹角，共得到四组关系，从这四组关系中选择一组与待匹配关系斜率以及夹角的大小最接近的一组，作为参考关系，由于标定物的上平面平行于下平面，且标定物上、下平面相对应的边相互平行，这种平行关系在计算机图像中为斜率相近的两条线。待匹配关系中半径最大的圆与参考关系中半径最大的圆的序号一致，待匹配关系中其余两个圆的序号的确立方法为待匹配关系中半径最大的圆形与其余两个圆形组成两条连线，对于每一条连线从参考关系中寻找与之斜率相近的连线，待匹配关系中该连线上的圆形的序号与参考关系中与之斜率相近的连线上的圆形的序号一致。
图像处理流程图如图7。
第2.2步在图像中选取三组圆心，每组有四个圆心组成，每组圆心所对应的标定球的球心在同一个平面上，三组圆心的选取方法为第一组选取高阈值时分割出的图像中上平面标定球对应的四个圆，第二组和第三组的选取方法为依据上、下平面中的标定球在图像中的圆心点的序号关系，在图像中下平面标定球所对应的圆中任意选择两个，在图像中上平面标定球所对应的四个圆中选择相同序号的两个，例如图像中下平面标定球对应圆形选择序号为1、2的圆，则图像中上平面标定球对应圆形亦选择序号为1、2的圆，这四个圆的圆心所对应的标定球的球心即位于同一个平面上。在三组圆心对应的标定物的三个平面上建立三个世界坐标系，选择上平面为基准平面，在基准平面上建立第一世界坐标系(O1-X1Y1Z1)，第一世界坐标系的原点O1为上平面第一基准标定球的球心，上平面第一基准标定球球心与上平面第二基准标定球球心的连线方向为坐标系的O1X1轴，上平面第一基准标定球球心与上平面另外一个相邻标定球球心连线方向为坐标系的O1Y1轴，O1Z1轴垂直于标定物上平面且指向标定物外部方向，另外两个平面的世界坐标系的设置方法为选择该平面上的一个标定球的球心为坐标系的原点，该平面上的过坐标系原点的一条边为坐标系的X轴，在该平面上的经过坐标系原点做与坐标系的X轴相互垂直的直线，为该坐标系的Y轴，Z轴垂直于标定物上该平面且指向标定物外部方向，如图8所示，选取了标定物的三组平面，并分别在其上建立了三个世界坐标系为(O1-X1Y1Z1)，(O2-X2Y2Z2)，(O3-X3Y3Z3)。通过已求得的标定物上球心之间的位置关系，可以求出在标定物同一世界坐标系下标定球的球心的世界坐标系坐标。所选取的标定物三个平面中的每一个平面上的四个标定球的球心点坐标对应着计算机图像中的四个圆形的圆心点坐标，从而建立三组对应关系，使用在文献“A flexible new technique forcamera calibration”(Zhang Z Y.IEEE Transaction on Pattern Analysis and MachineIntelligence，2000，22(11)1330-1334)中公开的求解摄像机内部参数矩阵和外部参数矩阵初始值方法，利用已知的三组关系求解单应性矩阵，然后依据单应性矩阵求取单台摄像机内部参数矩阵Ai以及摄像机与第一世界坐标系之间的组成外部参数矩阵的旋转参数矩阵Ri和平移参数矩阵Ti，i为1、2、3、......n，n为多摄像机系统中的摄像机总数，并求取畸变系数，所求取的摄像机内部参数以及摄像机与第一世界坐标系之间的外部参数以及畸变系数作为下一步优化目标函数的初始值。
摄像机参数的初始值的求取方法为 令世界坐标系的Zw分量为0，则理想针孔透视模型可表示为
其中
H＝λA[r1 r2 T]＝[h1 h2 h3]，ri(i＝1～3)和hi(i＝1～3)表示旋转矩阵R和矩阵H的列向量，矩阵A为内参数矩阵，w，λ为标量； H矩阵称为单应性矩阵，它表示了标定模板平面与图像平面之间的单应性，自由度是8，因此需要至少4个非共线对应点，才可以求出H矩阵。H矩阵的求解是一个非线性最小二乘问题，可以用Levenberg-Marquardt法进行非线性优化来解决。用非线性优化方法求解需要有一个合适的初始值来迭代，初始值获得方法如下 假设hi表示矩阵H的第i个行向量，可将摄像机理想针孔透视模型改写成
令从而将上式表示为
如果有n对给定的点，能得到n个上述的方程组，联立这n个方程组，就能得到一个形如LX＝0的矩阵方程，其中L是一个2n×9的矩阵，X的解是矩阵LTL的最小特征值对应的特征向量。实际求解过程中，观察L矩阵的构成可知，其元素有的是图像坐标系坐标，有的是世界坐标系坐标，有的则是这二者的乘积，即构成矩阵L的各元素数量值相差很大，因此L是一个非常病态的方程，需要对其进行改造。对图像坐标和世界坐标进行了归-化处理以改善矩阵L的病态性能。设各图像点坐标为(ui，vi)(i＝1，2，3，4)，各空间点的世界坐标系坐标为(Xwi，Ywi)(i＝1，2，3，4)，则整个步骤总结如下 1.)分别求u，v两轴上各坐标的平均值mu，mv为 则各图像点相对于平均值点的相对值Δui，Δvi为 Δui＝ui-mu，Δvi＝vi-mv 同样对世界坐标系坐标进行处理，可得其平均值和相对值为 ΔXwi＝Xwi-mx，ΔYwi＝Ywi-my 2.)分别求u，v两轴上及XW，YW两轴上所有相对坐标到质心的平均值duv，dxy为 3.)分别求u，v两轴上及XW，YW两轴上的比例缩放因子suv，sxy为 4.)u，v两轴上及XW，YW两轴上的变换关系可以用矩阵Tuv，Txy表示为 5.)设经过归一化处理的图像坐标与世界坐标系坐标分别为
与
则有下列关系成立
设用归一化处理后的图像坐标与世界坐标系坐标的单应性矩阵为
则原坐标系中图像平面与空间坐标系之间的单应性矩阵为 由于旋转矩阵R是单位正交矩阵，故r1，r2是单位正交向量，由此可得两个约束 令定义向量b＝[b1 b2 b3 b4 b5 b6]T，则上式可重新写为 其中vij＝[hi1hj1，hi1hj2+hi2hj1，hi2hj2，hi3hj1+hi1hj3，hi3hj2+hi2hj3，hi3hj3]T，hij为矩阵H的第i行，第j列元素。通过获取标定物上的n(n≥3)个平面的图像就可得到n个上述的方程组，从而求解出矩阵B。在求解出B后，通过乔里斯基分解就可标定出内参数矩阵A，包括等效焦距、轴间不垂直因子和主点坐标。标定出内参数矩阵A后，就可确定每幅图像的外部参数，即摄像机外部参数为 由上式确定的旋转矩阵R不满足正交性，因此采用奇异值分解方法将其正交化，得到摄像机的外部参数。
由于成像镜头本身的制造问题，对于非精密测量用的镜头而言，畸变的影响是很大的。考虑到镜头的径向畸变和切向畸变，建立一个完整的摄像机畸变模型。(u，v)是理想的以像素为单位的图像坐标系坐标，
是实际观测到的以像素为单位的图像坐标系坐标。理想点的成像模型遵从理想针孔透视模型。类似地，设(Xn，Yn)是理想的摄像机成像平面上的空间点的归一化图像坐标，
是实际观测的摄像机成像平面上的归一化图像坐标。可得 其中k1，k2是一阶和二阶径向畸变系数，p1，p2是切向畸变系数。像素点图像坐标系坐标和摄像机成像平面上归一化图像坐标的转换关系为
联立上述两式，可得
将上式改写成矩阵形式有
其中 C2＝2Xn(v-v0)， 在给出了标定物上的n个平面上的标定点数据后，将这些等式堆积起来就得到形如Dkp＝d的等式，其中kp＝[k1，k2，p1，p2]T为畸变系数，用线性最小二乘法解得 kp＝(DTD)-1DTd 从而求得摄像机参数的初值，这些参数由旋转参数矩阵R，平移参数矩阵T，内部参数矩阵A，畸变系数kp＝[k1，k2，p1，p2]T组成，每一台摄像机可求得一组由旋转参数矩阵、平移参数矩阵、畸变系数组成的参数，从而可以求得第i台摄像机的旋转参数矩阵Ri、平移参数矩阵Ti、畸变系数kpi，内部参数矩阵Ai，i为1、2、3、......n，n为多摄像机系统中的摄像机总数。
获取摄像机参数的初始值的算法流程见图9。
第2.3步利用标定物两相邻表面之间的角度信息以及两相邻标定球球心之间的距离，求取标定物上的八个标定球的球心在第一世界坐标系下的坐标，根据摄像机成像模型公式，利用优化目标函数对单台摄像机的内部参数矩阵、外部参数矩阵以及畸变系数进行优化，所述的优化目标函数为
其中c代表图像中圆形的数目，
是第一世界坐标系下某球心点Mj通过摄像机成像模型将空间点经过透视投影变换在计算机图像上的投影点坐标，mj为该标定球在计算机图像中所对应的圆的圆心坐标。待优化的参数包括内参数矩阵Ai，畸变系数矩阵kpi＝[k1，k2，p1，p2]T，摄像机与第一世界坐标系之间的外部参数矩阵Ri，Ti，i为1、2、3、......n，n为多摄像机系统中的摄像机总数。
采用非线性优化方法求解单个摄像机的精确的内参数、外参数以及畸变系数的最优解，常见的非线性优化方法有Levenberg-Marquardt方法，惩罚函数法或者遗传算法。
单台摄像机参数标定流程图如图10所示。
(3)多台摄像机坐标系的统一，选择多台摄像机中的第一台为基准摄像机，其余摄像机为一般摄像机，求取一般摄像机与基准摄像机之间的旋转参数矩阵R1i，i为2、3、......n，n为多摄像机系统中的摄像机总数；平移参数矩阵T1i，i为2、3、......n，n为多摄像机系统中的摄像机总数，其实现的具体步骤为 第3.1步利用已经求得的单台摄像机与标定物第一世界坐标系之间的外部参数矩阵，获取空间中摄像机与基准摄像机之间的旋转参数矩阵R1i和平移参数矩阵T1i的初始值 T1i＝T1-R1×Ti 其中R1、T1为基准摄像机与标定物基准平面之间的旋转参数矩阵、平移参数矩阵，Ri、Ti，i为2、3、......n，n为多摄像机系统中的摄像机总数，为除基准摄像机外其他摄像机与标定物基准平面之间的旋转参数矩阵、平移参数矩阵。
第3.2步利用双目立体视觉极线几何约束关系，获得一般摄像机所拍摄的图像中的圆心点在基准摄像机图像中的极线，实现过程为 已知基准摄像机和一般摄像机的内参数矩阵A1，Ai，i为2、3、......n，n为多摄像机系统中的摄像机总数。
极平面方程可以表示为 如图10，其中p1j为空间中一球心点在所对应的基准摄像机所拍摄图像中的齐次坐标，pij为空间中一球心点在所对应的一般摄像机所拍摄图像中的齐次坐标，i为2、3、......n，n为多摄像机系统中的摄像机总数，j为1、2、……、8为标定物上标定球的个数，A1-T代表A1矩阵的转置，Ai-1代表Ai矩阵的求逆，S为反对称矩阵且由平移矩阵定义为 i为2、3、......n，n为多摄像机系统中的摄像机总数t1ix，t1iy，t1iz为T1i矩阵中的三个分量。
然后利用极线几何约束关系，求取两个摄像机之间的基本矩阵F1i，i为2、3、......n，n为多摄像机系统中的摄像机总数 求取基本矩阵后，一般摄像机的图像中的某一圆心点，在基准摄像机图像下经过基本矩阵转换为一条直线 l1ij＝F1ipij 该极线理想情况下通过基准摄像机图像中的圆心点，这个圆心点与一般摄像机图像中的圆心点相对应，建立如下优化目标函数 其中c代表图像中圆形的数目，n为多摄像机系统中的摄像机总数，u1ij、v1ij表示与第i台摄像机图像中的第j个圆相对应的基准摄像机图像中第j个圆的圆心点的横坐标和纵坐标，l1ij表示与第i台摄像机图像中的第j个圆相对应的基准摄像机中的极线，l1ij(u1ij)表示极线l1ij上对应于横坐标u1ij的纵坐标。
采用非线性优化方法，求解优化目标函数，获得一般摄像机与基准摄像机之间外部参数矩阵的最优参数解，常见的非线性优化方法有Levenberg-Marquardt方法，惩罚函数法或者遗传算法。
多台摄像机坐标系统一流程图如图12。
整个多摄像机同步快速标定系统实现流程图如图13。
权利要求
1、一种三维扫描系统中的多个摄像机同步快速标定方法，其特征在于
第1步用摄像机参数标定方法对多摄像机系统中的摄像机进行逐台参数标定，得到各台摄像机的内部参数、外部参数以及畸变系数，其中内部参数矩阵Ai，i为1、2、3、......n，n为多摄像机系统中的摄像机总数，内部参数矩阵包括光学中心、有效焦距、轴间不垂直因子，外部参数包括旋转参数矩阵Ri，i为1、2、3、......n，n为多摄像机系统中的摄像机总数，以及平移参数矩阵Ti，i为1、2、3、......n，n为多摄像机系统中的摄像机总数，所述单台摄像机参数标定方法的具体步骤为
第1.1步设置立体标定物，该设置方法为在空间设置八个标定球，以八个标定球球心为顶点在空间中组成一个正四棱台，四棱台的上平面中的四个标定球的颜色为白色，下平面中的四个标定球的颜色为灰黑色，选定四棱台的上平面中两个相邻标定球为上平面第一、第二基准标定球，上平面第一基准标定球的半径大于上平面第二基准标定球的半径，上平面第二基准标定球的半径大于上平面中的其余两个标定球的半径，与上平面相对应的下平面的四个标定球采用相同的设置方法，测得四棱台中六个表面中每两个相邻表面之间的角度信息，以及八条边上每两个相邻标定球球心之间的距离，
第1.2步将立体标定物置入多摄像机视场中，调整标定物的空间位置，使计算机图像中能被分割、提取出超过六个标定球所对应的圆形，每个摄像机获取一幅标定物的图像，对摄像机所拍摄到的图像进行数据处理，得到计算机图像中的圆形标志点与标定球之间的数据匹配关系，对图像进行数据处理方法为
建立以像素点为单位的计算机图像坐标系(u，v)，坐标系的原点位于图像的左下方，横、纵坐标轴分别为u轴和v轴，对图像进行滤波，以及阈值分割，阈值分割采用双阈值分割方法，获取一高阈值和一低阈值，用高阈值来分割图像获得标定物的上平面中四个球所对应的圆，通过边界提取、轮廓跟踪、圆边界拟合及中心提取，获得圆心点的精确位置以及圆半径的大小，半径最大的圆为上平面第一基准标定球在图像中的第一基准圆，其序号为1，半径次之的为第二基准圆，其序号为2，第一基准圆圆心点与其余三个圆心点连线组成三条直线，设第一基准圆心点与第二基准圆心点的连线为基准直线，比较基准直线与其余两条直线的夹角的大小，夹角较小的直线上的圆序号为3，夹角较大的直线上的圆序号为4，提取图像中灰度值介于低阈值与高阈值之间的部分，获得标定物的下平面中四个球所对应的圆，采用与高阈值分割时相同的处理方法，得到标定物下平面中的四个标定球所对应的圆的序号，
第1.3步在图像中选取三组圆心，每组由四个圆心组成，每组圆心所对应的标定球的球心在同一个平面上，三组圆心的选取方法为第一组选取高阈值时分割出的图像中上平面标定球对应的四个圆，第二组和第三组的选取方法为依据上、下平面中的标定球在图像中的圆心点的序号关系，在图像中下平面标定球所对应的圆中任意选择两个，在图像中上平面标定球所对应的四个圆中选择相同序号的两个，在三组圆心对应的标定物的三个平面上建立三个世界坐标系，选择上平面为基准平面，在基准平面上建立第一世界坐标系(O1-X1Y1Z1)，第一世界坐标系的原点O1为上平面第一基准标定球的球心，上平面第一基准标定球球心与上平面第二基准标定球球心的连线方向为坐标系的O1X1轴，上平面第一基准标定球球心与上平面另外一个相邻标定球球心连线方向为坐标系的O1Y1轴，O1Z1轴垂直于标定物上平面且指向标定物外部方向，另外两个平面的世界坐标系的设置方法为选择该平面上的一个标定球的球心为坐标系的原点，该平面上的过坐标系原点的一条边为坐标系的X轴，在该平面上的经过坐标系原点做与坐标系的X轴相互垂直的直线，为该坐标系的Y轴，Z轴垂直于标定物上该平面且指向标定物外部方向，所选取的标定物三个平面中的每一个平面上的四个标定球的球心点坐标对应着计算机图像中的四个圆形的圆心点坐标，从而建立三组对应关系，求解单应性矩阵，然后依据单应性矩阵求取单台摄像机内部参数矩阵Ai以及摄像机与第一世界坐标系之间的组成外部参数矩阵的旋转参数矩阵Ri，i为1、2、3、......n，n为多摄像机系统中的摄像机总数，和平移参数矩阵Ti，i为1、2、3、......n，n为多摄像机系统中的摄像机总数，并求取畸变系数，
第1.4步求取标定物上的八个标定球的球心在第一世界坐标系下的坐标，建立优化目标函数，对单台摄像机的内部参数矩阵、外部参数矩阵以及畸变系数进行优化，所述的优化目标函数为
其中c代表图像中圆形的数目，
是第一世界坐标系下某球心点Mj通过摄像机成像模型在计算机图像上的投影点坐标，mj为该标定球在计算机图像中所对应的圆的圆心坐标。待优化的参数包括内参数矩阵Ai，畸变系数矩阵kpi＝[k1，k2，p1，p2]T，摄像机与第一世界坐标系之间的外部参数矩阵Ri，Ti，i为1、2、3、......n，n为多摄像机系统中的摄像机总数，
采用非线性优化方法求解单个摄像机的精确的内参数、外参数以及畸变系数的最优解，
第2步多台摄像机坐标系的统一，选择多台摄像机中的第一台为基准摄像机，其余摄像机为一般摄像机，求取一般摄像机与基准摄像机之间的旋转参数矩阵R1i，i为2、3、......n，n为多摄像机系统中的摄像机总数；平移参数矩阵T1i，i为2、3、......n，n为多摄像机系统中的摄像机总数，其实现的具体步骤为
第2.1步获取空间中一般摄像机与基准摄像机之间的旋转参数矩阵R1i和平移参数矩阵T1i的初始值，
T1i＝T1-R1×Ti
其中R1、T1为基准摄像机与标定物第一世界坐标系之间的旋转参数矩阵、平移参数矩阵；Ri、Ti，i为2、3、......n，n为多摄像机系统中的摄像机总数，为一般摄像机与标定物第一世界坐标系之间的旋转参数矩阵、平移参数矩阵，
第2.2步利用双目立体视觉极线几何约束关系，获得一般摄像机所拍摄的图像中的圆心点在基准摄像机图像中的极线，该极线理想情况下通过基准摄像机图像中的圆心点，这个圆心点与一般摄像机图像中的圆心点相对应，为空间中同一个标定球在不同摄像机中所成的圆形的圆心点，建立如下优化目标函数
其中c代表图像中圆形的数目，n为多摄像机系统中的摄像机总数，u1ij、v1ij表示与第i台摄像机所成图像中的第j个圆相对应的基准摄像机所成图像中第j个圆的圆心点的横坐标和纵坐标，l1ij表示与第i台摄像机图像中的第j个圆相对应的基准摄像机中的极线，l1ij(u1ij)表示极线l1ij上对应于横坐标u1ij的纵坐标，
采用非线性优化方法，求解优化目标函数，获得一般摄像机与基准摄像机之间旋转、平移参数矩阵的最优参数解。
2.根据权利要求1所述的三维扫描系统中的多个摄像机同步快速标定方法，其特征在于对可能出现的图像中上平面中的标定球将下平面中的一个标定球遮挡住的情形，确定图像中下平面标定球所对应的三个圆的序号的方法为首先提取图像中下平面标定球所对应的三个圆形，分别求得这三个圆形的半径和圆心点坐标，寻找到半径最大的圆，求得该圆的圆心点与其余两个圆的圆心点的连线的斜率以及两连线之间的夹角关系，作为待匹配关系，通过已确定的图像中上平面中的标定球所对应的圆形的序号，从图像中上平面标定球所对应的四个圆中选择出三个圆，共可得到四组圆，这四组圆是第一组包括序号为1、2、3的圆，第二组包括序号为1、3、4的圆，第三组包括序号为1、2、4的圆，第四组包括序号为2、3、4的圆，分别求出第一组中序号为1的圆的圆心点与序号为2、3的圆的圆心点之间连线的斜率以及两连线之间的夹角，第二组序号为1的圆的圆心点与序号为3、4的圆的圆心点之间连线的斜率以及两连线之间的夹角，第三组中序号为1的圆的圆心点与序号为2、4的圆的圆心点之间连线的斜率以及两连线之间的夹角，第四组中序号为2的圆的圆心点与序号为3、4的圆的圆心点之间连线的斜率以及两连线之间的夹角，共得到四组关系，从这四组关系中选择一组与待匹配关系斜率以及夹角最接近的一组作为参考关系，待匹配关系中半径最大的圆与参考关系中半径最大的圆的序号一致，待匹配关系中其余两个圆的序号的确立方法为待匹配关系中半径最大的圆形与其余两个圆形组成两条连线，对于每一条连线从参考关系中寻找与之斜率相近的连线，待匹配关系中该连线上的圆形的序号与参考关系中与之斜率相近的连线上的圆形的序号一致。
全文摘要
一种三维扫描系统中的多个摄像机同步快速标定方法，其实现步骤为(1)设置正四棱台标定物，八个标定球位于四棱台的顶点，在上、下平面各设置两个基准标定球；(2)摄像机拍摄标定物，用双阈值分割方法分别获取上、下平面所对应的圆，提取圆心，得到图像中的圆心点与空间中标定球球心之间的三组对应关系，求解单应性矩阵获得内部参数矩阵、外部参数矩阵，并求取畸变系数，将已求解摄像机参数作为初始值，采用非线性优化方法求得单台摄像机参数的最优解；(3)依次求取多台摄像机与空间某一摄像机之间的外部参数矩阵，利用双目立体视觉的极线几何约束关系，建立优化目标函数，采用非线性优化方法求解两摄像机之间的外部参数矩阵的最优解。
文档编号G06T7/00GK101299270SQ20081012387
公开日2008年11月5日 申请日期2008年5月27日 优先权日2008年5月27日
发明者达飞鹏, 邢德奎, 傅有成 申请人:东南大学