专利名称：：三维重构系统中双摄像机标定方法
技术领域：
：本发明涉及视觉系统中的双摄像机的标定问题，尤其涉及一种三维重构系统中双摄像机标定方法。
背景技术：
：计算机视觉的基本任务之一，从摄像机拍摄得到的图像出发，计算视场中物体的三维信息，由此来对三维物体进行重建和识别。物体表面点的三维几何信息与其在图像上的相应点之间的相互关系是由摄像机的成像模型决定的，建立这一几何模型的过程实际就是摄像机参数的求解过程。因此，对摄像机参数的标定是这一建模过程的前提和关键。对摄像机参数的求解过程称为摄像机标定。文献“ImageProcessing，Analysis，andMachineVision”(M.Sonka，V.Hlavac，R.Boyle，InternationalThomsonPublishing，1998)中阐述了一种较为通用的摄像机成像模型，该成像模型可以用以下公式来描述xy1=λARTXYZ1]]>其中，X，Y，Z是标定物的空间点坐标，x，y是在图像上的二维点坐标，R，T为摄像机的外部参数，分别定义了摄像机在三维空间的姿态和位置，A=fsx00fy0001]]>为摄像机内部参数，包括主距f，象素比例因子s，中心点位置(x0，y0)。摄像机标定就是计算摄像机外部参数和内部参数的过程。摄像机标定技术大致可以分成两类传统的摄像机标定方法和摄像机自标定方法。近年来，摄像机的自标定算法取得了很大的进展，已发表了相当数量的文献，其中一些算法获得了较为广泛的应用。但是由于自标定算法相对于传统标定算法精度要差，不适合诸如三维重构等对检测精度要求非常高的场合。传统的标定算法也得到了较为广泛的应用，同时也获得了较好的效果。例如文献“Aversatilecameracalibrationtechniqueforhighaccuracy3Dmachinevisionmetrologyusingoff-the-shelfTVcamerasandlenses”(TsaiRY.IEEERoboticsAutomation，1987，3(4)pages324-344)中公开了一种利用径向校准约束来获取外部参数、焦距和径向一次畸变的线性解。该方法迭代参数较少，且能自动提供较好的初始值，求解速度快，同时考虑了镜头的径向畸变，精度较高。缺点是该方法中，CCD阵列中感光元的横向间距和纵向间距被认为是已知，没有对成像中心进行修正。
发明内容本发明提供一种能够对摄像机的参数进行完整标定的三维重构系统中双摄像机标定方法，具有方法简单的优点。本发明采用如下技术方案一种三维重构系统中双摄像机标定方法，包括成像中心的标定、畸变参数的标定及外部参数及有效焦距的标定，其特征在于(1)成像中心的标定对标定板拍摄，得到数字图像，该标定板有按阵列分布的标志圆点，利用位于数字图像中间部分的16个点，求得一对灭点V1，V2，利用标定板上的由标志圆点构成的相互垂直的2组平行直线，得到由光心至上述2个灭点V1，V2的向量，并利用其垂直关系得到关于成像中心(u0，v0)的正交方程(u1-u0)(u2-u0)+(v1-v0)(v2-v0)+f2＝0；重复上述步骤，分别得到另外2对灭点V3，V4和V5，V6及相应的两个关于成像中心(u0，v0)的正交方程(u3-u0)(u4-u0)+(v3-v0)(v4-v0)+f2＝0及(u5-u0)(u6-u0)+(v5-v0)(v6-v0)+f2＝0，联立上述三个方程，求解得到成像中心(u0，v0)；(2)畸变参数的标定使用一组位于标定板上的平行线上的标志圆点，并利用平行线在像平面上投影交点(xc，yc)的约束条件以及畸变模型，得到一组过交点(xc，yc)的直线方程y-yc＝ki(x-xc)(i＝1，2，…，N)，其中ki为第i条直线的斜率，将上述直线方程组组合成AW＝B其中由最小二乘法解得W＝(AAt)-1AtB，其中，A和B矩阵是关于畸变系数d的函数，进而得到W＝[A(d)At(d)]-1At(d)B(d)，在一维空间利用变步长搜索法搜索畸变系数d，当||AW‾-B||=mind||AW-B||]]>时，d值即为畸变系数；上述步长采用如下方法确定镜头的畸变参数值都比较小，搜索区间可初选为(-10-6，10-6)，当畸变参数的精度达到10-9时，对像素的修正精度已达到0.02个像素左右，一般情况下，这已经达到标志点圆心的定位精度的极限，因此更进一步的搜索已经没有意义。(3)用两步法标定外部参数及有效焦距。与现有技术相比，本发明具有如下优点本发明主要用于各种基于平面标定板对双摄像机进行实时快速标定的应用场合。利用本专利的标定算法标定摄像机各参数，主要有以下优点(1)本专利算法比较完整地标出了理想摄像机的各参数，包括成像中心、畸变系数、有效焦距、姿态参数及平移参数，同时标出镜头的畸变参数，后续拍摄到的图像可根据该参数进行图像的畸变校正。(2)本专利算法中的运算均为线性运算，没有使用迭代，回溯等非线性运算，故计算速度快，能应用于各种对实时性要求高的场合。(3)本专利算法中均使用了平面标定物进行标定，平面标定物较立体标定物具有制作简单，精度高等优点，这就降低了标定过程中对高精度标定块的依赖，简化了标定过程。图1标定板图。图2灭点形成原理图。图3搜索畸变参数的流程图。图4深度模型示意图。图5三维扫描系统结构图。图6参数标定流程图。具体实施例方式一种三维重构系统中双摄像机标定方法，包括成像中心的标定、畸变参数的标定及外部参数及有效焦距的标定，其特征在于(1)成像中心的标定对标定板拍摄，得到数字图像，该标定板有按阵列分布的标志圆点，利用位于数字图像中间部分的16个点，求得一对灭点V1，V2，利用标定板上的由标志圆点构成的相互垂直的2组平行直线，得到由光心至上述2个灭点V1，V2的向量，并利用其垂直关系得到关于成像中心(u0，v0)的正交方程(u1-u0)(u2-u0)+(v1-v0)(v2-v0)+f2＝0；重复上述步骤，分别得到另外2对灭点V3，V4和V5，V6及相应的两个关于成像中心(u0，v0)的正交方程(u3-u0)(u4-u0)+(v3-v0)(v4-v0)+f2＝0及(u5-u0)(u6-u0)+(v5-v0)(v6-v0)+f2＝0，联立上述三个方程，求解得到成像中心(u0，v0)；(2)畸变参数的标定使用一组位于标定板上的平行线上的标志圆点，并利用平行线在像平面上投影交点(xc，yc)的约束条件以及畸变模型，得到一组过交点(xc，yc)的直线方程y-yc＝ki(x-xc)(i＝1，2，…，N)，其中ki为第i条直线的斜率，将上述直线方程组组合成AW＝B其中由最小二乘法解得W＝(AAt)-1AtB，其中，A和B矩阵是关于畸变系数d的函数，进而得到W＝[A(d)At(d)]-1At(d)B(d)，在一维空间利用变步长搜索法搜索畸变系数d，当||AW‾-B||=mind||AW-B||]]>时，d值即为畸变系数；上述步长采用如下方法确定镜头的畸变参数值都比较小，搜索区间可初选为(-10-6，10-6)，当畸变参数的精度达到10-9时，对像素的修正精度已达到0.02个像素左右，一般情况下，这已经达到标志点圆心的定位精度的极限，因此更进一步的搜索已经没有意义。(3)用两步法标定外部参数及有效焦距。下面参照附图，对本发明具体实施方案作出更为详细的描述本发明利用平面标定物——标定板进行双摄像机参数标定，板上阵列分布有圆标志点，如图1，圆标志点可以排列成相互平行的直线。通过对摄像机拍摄获取的图像进行处理，获得标志点的像方坐标及物方坐标。本专利中的标定算法利用这些圆心数据，对摄像机内外参数进行标定。具体步骤如下(1)成像中心的标定文献“一种新的手提相机自定标方法”(陈泽志，吴成柯.中国图像图形学报，2003，8(A版)(3)，241-346)提出了一种新的基于线性模型的摄像机自定标方法，该方法是首先利用三点透视投影图、灭点和向量正交的性质来得到一组非线性方程，然后将其转换为线性方程组求解标定参数。该文献中采用了具有三点透视的立方块作为标定参考物，而我们在标定过程中使用的平面标定板最多可行成二点透视，这就需要不同角度的标定板图像来弥补这一限制。我们所使用的平面标定上的标定点呈阵列分布，选择适当的点线可以组成若干组相互平行的直线。这里我们仅选取阵列的横向点和纵向点来构成两组平行线，同时，这两组平行线是相互垂直的。在拍摄过程中，投影平面和标定板平面保持一定的夹角，使得这两组平行在成像平面上的投影分别相交于一点。位于成像面中间部分的像点(这些点位于以图像中心为圆心，以图像的长和宽的1/3为长短轴椭圆区域内)可以将不考虑摄像机镜头的畸变因素，而直接使用线性摄像机模型，因此，这部分像点能够满足理想的投影几何关系。求灭点坐标我们利用位于数字图像中间部分的16个点(这些点位于以图像中心为圆心，图像的长和宽的1/3为长短轴椭圆区域内)，来求一对灭点V1，V2，设这两个灭点在数字图像坐标系下的坐标分别为(u1，v1)，(u2，v2)。下面以灭点(u1，v1)为例，给出求解过程。如图所示的横向4条直线相交于灭点(v1，v1)，其直线方程可表示为y-v1＝ki(x-u1)(i＝1，2，3，4)(1)其中ki为第i条直线的斜率。式(1)易化为kix+v1-kiu1＝y将各标定点坐标代入可得方程组AW＝B其中A为16×9矩阵，A=x110001-1000x120001-1000x130001-1000x140001-10000x210010-100···························0x240010-10000x310100-10···························00x340100-10000x411000-1···························000x441000-1;]]>W长度为9的列向量，Wt＝[k1k2k3k4yck1xck2xck3xck4xc]；B长度为16的列向量，Bt＝[y11y12y13y14y21…y24y31…y34y41…y44]。用最小二乘法解得W＝(AAt)-1AtB则u1＝W5，v1=W6+W7+W8+W9W1+W2+W3+W4.]]>求解成像中心由于标定板上横行和纵向排列的点构成的直线相互垂直，根据投影定理，如图2，光心O到V1，V2的连线OV1和OV2也相互垂直。V1，V2在摄像机坐标系下的坐标分别为((u1-u0)，(v1-v0)，f)和((u2-u0)，(v2-v0)，f)，其中f为摄像机有效焦距，(u0，v0)为成像中心。由于和相互垂直，则有OV1‾·OV2‾=0,]]>因此可得(u1-u0)(u2-u0)+(v1-v0)(v2-v0)+f2＝0(2)变换角度拍摄两幅或多幅标定板图像，这里以两幅为例。设相应的灭点分别为V3，V4和V5，V6，则有(u3-u0)(u4-u0)+(v3-v0)(v4-v0)+f2＝0(3)(u5-u0)(u6-u0)+(v5-v0)(v6-v0)+f2＝0(4)用式(2)分别减去式(3)和式(4)得(u1+u2-u3-u4)u0+(v1+v2-v3-v4)v0＝u1u2-u3u4+v1v2-v3v4(5)(u1+u2-u5-u6)u0+(v1+v2-v5-v6)v0＝u1u2-u5u6+v1v2-v5v6(6)联立式(5)和式(6)，可解得成像中心(u0，v0)。上述过程中至少需拍摄三幅标定板图像，实际应用中往往拍摄多幅图像，这样可得到多个类似式(5)和式(6)的方程，可求方程组的最小二乘解，这种情况下，求解数据结果的稳定性会更好一些。实际应用中将两个CCD摄像机按图5所示固定在架子上。按照标定算法的要求左右镜各拍摄三幅原始标定板图像信息，按上述步骤进行处理，求解得左右镜的成像中心。不断重复9次同一过程，得到测量结果表1表1左右镜成像中心的标定结果表3从上表3中可以看出，普通高速缓存对不可高速缓存的操作存在Penalty周期，该Penalty周期不仅仅使得ARM7TDMI的每一个不可高速缓存的操作多增加了等待时间，还将操作中的连续操作拆分为非连续操作，这大大影响了AHB总线性能。使用I-S操作模式及地址预测后，高速缓存的Penalty周期基本消除，这显著提高了系统性能，减少了处理器的等待时间。此外，使用地址预测后，ARM7TDMI的连续操作能够继续以连续操作模式在AHB总线上进行，因而能够极大地提高AHB总线的性能，而且保证连续操作模式不被拆分，对保证系统性能是非常有利的。其中由最小二乘法解得W＝(AAt)-1AtBA与B矩阵的各非常量元素是由标定点的理想坐标值构成，而理想坐标值是由畸变点坐标值经过畸变模型进行修正后的结果。因此，在选定了平行直线及相应的标定点以后，可以认为A与B矩阵是关于畸变系数d的函数，相应地W＝[A(d)At(d)]-1At(d)B(d)在一维空间利用变步长搜索法搜索畸变系数d，使得||AW‾-B||=mind||AW-B||]]>这时的d即我们所要求解的畸变参数。具体步骤如下1)搜索区间可初选为(-10-6，10-6)，首先以10-7为步长，搜索得该次搜索的结果d(1)；2)以区间(d(1)-10-7，d(1)+10-7)为搜索区间，以10-8为步长，搜索得该次搜索的结果d(2)；3)以区间(d(2)-10-8，d(2)+10-8)为搜索区间，以10-9为步长，搜索得该次搜索的结果d(3)。d(3)即为所求解的畸变参数d，见附图3。镜头的畸变参数值都比较小，搜索区间可初选为(-10-6，10-6)，当畸变参数的精度达到10-9时，对像素的修正精度已达到0.02个像素左右，一般情况下，这已经达到标志点圆心的定位精度的极限，因此更进一步的搜索已经没有意义。实际应用中将两个CCD摄像机按图5所示固定在架子上。按照标定算法的要求左右镜各拍摄一幅原始标定板图像信息，按上述步骤进行处理，求解得左右镜的畸变系数。不断重复9次同一过程，每次仅拍摄一幅图像，得到畸变系数结果表2表2左右镜畸变参数的标定结果<tablesid="table3"num="003"><tablewidth="604">序号左镜畸变参数(10-5)右镜畸变参数(10-5)10.00490.005620.00480.0059</table></tables>(3)外部参数及有效焦距的标定文献“AVersatileCameraCalibrationTechniqueforHigh-Accuracy3DMachineVisionMetrologyUsingOff-theShelfTVCamerasandLenses”(TsaiRY，IEEEJournalofRoboticsandAutomation，1987，RA-3(4)323-344)提出一种被称为两步法的标定算法，它主要是在第一步中利用径向平行约束的制约求解出摄像机的姿态参数，以及除深度因子外的两个平移分量。第二步中利用迭代求解深度因子，畸变参数及有效焦距。本专利中使用了该文献中的第一步算法，而对于该文献中的第二步算法，由于其采取了迭代运算，快速性和稳定性都无法保证，此外，由于本专利中已标出了畸变参数，故直接利用摄像机的深度模型对深度因子和有效焦距进行标定。然后再应用深度模型求解深度平移分量及有效焦距。如图4，过物点P作平面平行于成像平面，该平面交光轴于Po，且和分别平行于摄像机坐标系的xc和yc轴，PoPx和PoPy分别与PPx和PPy相互垂直，则由于平面PPxPoPy与成像平面平行，则在四棱锥oc-PPxPoPy中，满足如下几何关系opP0P=ocoocPo=oPxPoPx=oPyPoPy]]>即fzc=xxc=yyc]]>(xc，yc，zc)是任意一物点P在摄像机坐标系下的坐标值，设该点在世界坐标系下的坐标值为(xw，yw，0)，则有xc=r1xw+r2yw+txzc=r7xw+r8yw+tz]]>整理得[r1xw+r2yw+tx-x]ftz=x(r7xw+r8yw)]]>选择2个以上的标定点，即可求出摄像机深度平移分量和有效焦距。从上式可以看出，我们在标定深度平移分量时，应避免标定板与摄像机光轴垂直，即成像平面及标定板平面之间需保证一定大小的夹角，通常取20°～30°；此外，为提高标定结果的正确性，选取的标点相互之间应存在一定的深度层次，实际应用中可根据标定板的倾斜状况来选择标定点。实际应用中将两个CCD摄像机按图5所示固定在架子上。按照标定算法的要求左右镜各拍摄一幅原始标定板图像信息，按上述步骤进行处理，求解得左右镜的相对位置参数、相对姿态参数以及有效焦距。不断重复9次，每次仅拍摄一幅图像，得到外部参数即姿态参数及位置参数见表3，有效焦距见表4。表3左右镜相对姿态和位置标定结果表4左右镜的有效焦距标定结果整个标定过程按照附图6中的流程进行，依次标定成像中心、畸变系数、姿态参数、位置参数及有效焦距。权利要求1.一种三维重构系统中双摄像机标定方法，包括成像中心的标定、畸变参数的标定及外部参数及有效焦距的标定，其特征在于(1)成像中心的标定对标定板拍摄，得到数字图像，该标定板有按阵列分布的标志圆点，利用位于数字图像中间部分的16个点，求得一对灭点V1，V2，利用标定板上的由标志圆点构成的相互垂直的2组平行直线，得到由光心至上述2个灭点V1，V2的向量，并利用其垂直关系得到关于成像中心(u0，v0)的正交方程(u1-u0)(u2-u0)+(v1-v0)(v2-v0)+f2＝0；重复上述步骤，分别得到另外2对灭点V3，V4和V5，V6及相应的两个关于成像中心(u0，v0)的正交方程(u3-u0)(u4-u0)+(v3-v0)(v4-v0)+f2＝0及(u5-u0)(u6-u0)+(v5-v0)(v6-v0)+f2＝0，联立上述三个方程，求解得到成像中心(u0，v0)；(2)畸变参数的标定使用一组位于标定板上的平行线上的标志圆点，并利用平行线在像平面上投影交点(xc，yc)的约束条件以及畸变模型，得到一组过交点(xc，yc)的直线方程y-yc＝ki(x-xc)(i＝1，2，…，N)，其中ki为第i条直线的斜率，将上述直线方程组组合成AW＝B其中由最小二乘法解得W＝(AAt)-1AtB，其中，A和B矩阵是关于畸变系数d的函数，进而得到W＝[A(d)At(d)]-1At(d)B(d)，在一维空间利用变步长搜索法搜索畸变系数d，当||AW‾-B||=mind||AW-B||]]>时，d值即为畸变系数；上述步长采用如下方法确定镜头的畸变参数值都比较小，搜索区间可初选为(-10-6，10-6)，当畸变参数的精度达到10-9时，对像素的修正精度已达到0.02个像素左右，一般情况下，这已经达到标志点圆心的定位精度的极限，因此更进一步的搜索已经没有意义。(3)用两步法标定外部参数及有效焦距。全文摘要本发明提出了一种基于平面标定物的双摄像机标定方法。该方法比较完整地标出了摄像机系统内外参数，主要有成像中心，畸变参数，有效焦距以及外部参数。标定板有按阵列分布的标志圆点，利用位于数字图像中间部分的16个点，构成的相互垂直的2组平行直线，求得一对灭点后，得到由光心至上述2个灭点的向量，并利用其垂直关系得到关于成像中心的正交方程，联立多个正交方程即可求得成像中心。利用一组平行线的投影相交于一点的约束，来求解畸变参数，该方法同时使用了位于一组相互平行线上的标定圆点，利用平行线在成像面上的投影交于一点的约束条件列出一组线性方程，通过一维搜索求解畸变参数。利用二步法求解外部参数及有效焦距。文档编号G06T7/00GK1851752SQ200610039208公开日2006年10月25日申请日期2006年3月30日优先权日2006年3月30日发明者达飞鹏,尤伟申请人:东南大学