专利名称：基于相位法的三维轮廓测量方法
技术领域：
本发明涉及一种三维测量系统中摄像机和投影装置的相对位置可以任意设置的系统建模和标定方法，尤其涉及一种基于相位法的三维轮廓测量方法。
背景技术：
光学式三维物体轮廓测量技术通过对物体图像的分析，得到被测物体表面形状的三维信息。其中基于光栅投影的相位法轮廓测量技术对物体的表面反射率的变化不敏感，具有较高的测量精度，易实现自动测量，是一种比较有代表性的三维测量方法。相位法的测量原理是将一个被周期函数调制的光栅光场投射在被测物体的表面，由于物体表面高度的变化，使得各点的光栅条纹的相位发生了偏移，由测量系统的光路结构可找出相对偏移量与表面高度的关系，进而求解出物点的三维坐标。
传统的相位法对系统的光路结构，即投影装置、摄像机和参考面的相对位置关系要求严格，如光心和投影中心的连线平行于参考面，光轴(或投影轴)垂直于参考面，光轴和投影轴相交于参考面(或两轴平行)等。在系统校准时，由于光心是一个假想的空间点，光轴是一条假想的空间直线，具体的位置很难确定，投影中心和投影轴也是如此，实际操作中上述位置关系很难达到，导致标定时调整过程繁锁，标定时间长，可操作性不好，而且不能保证标定的精度，进而影响到整个系统的测量精度。
针对这种情况，近年来，一些新的测量方法在传统二维模型基础上进行改进，这些方法，有的放宽了对平行性的要求，有的放宽了对垂直性的要求，这些算法仍在传统模型的二维平面上求解物点高度，仍然需要满足光轴和投影轴相交于参考面，以及摄像机光轴和投影装置的纵轴互相平行等比较严格的位置条件，相应的算法简洁明了，标定时一旦满足了位置要求，用一个高度已知的块规(相当于参考面平移一到二次，或用特制的块规等)即可完成标定。还有一些将投影仪和摄像机视为一个整体，完全不考虑投影装置的投影模型以及相对于摄像机的位置模型，以物点的相位和在摄像机中的成像位置为输入，以物点三维坐标为输出，直接整体建模，在标定时，用一维平动靶，将标定面精确的置于一系列的位置进行标定。
发明内容
本发明提供一种基于相位法的三维轮廓测量方法，本发明的测量方法可以对三维测量系统的摄像机和投影装置的相对位置关系任意设置，实施测量和标定，具有系统构建简单、标定方便快速和精度较高的优点。
本发明的技术方案如下本发明的可以任意设置摄像机和投影装置相对位置关系的三维测量和标定方法包括首先标定摄像机参数；然后利用平面模板法标定模板上各点的三维坐标和相位值，得到样本点集合。对摄像机和投影装置的相对位置任意的三维空间结构建模，将样本点集合代入模型中，求出参数。最后测量时将物体图像的像点坐标和相位值代入模型，得到物体三维轮廓。
该方法的操作步骤为步骤1用非线性方法标定摄像机内部参数；步骤2构建测量系统将投影仪、摄像机分别与计算机相连，调整投影仪和摄像机的位置，使投影仪的投影区域和摄像机的视野可以同时覆盖被测物体需要测量的表面区域；步骤3建立系统测量关系式利用投影仪投影光栅条纹，由摄像机得到光栅图像，再用相位法求出图像上各像点的相位值，然后建立相位和物点三维坐标之间的测量关系式，该测量关系式为θ=a1Xc+a2Yc+a3Zc+a4a5Xc+a6Yc+a7Zc+a8]]>其中，(Xc，Yc，Zc)为物点在摄像机坐标系中的三维坐标，θ为相位值，a1、a2、a3、a4、a5、a6、a7和a8为待标定的系统参数；步骤4标定系统参数将标定板(如附图2所示)放置于测量范围内的某任意位置，用摄像机得到标定板的图像，由标定板上各标定点Qi(ai，bi)的像点坐标(mi，ni)(i＝1，2，…，k)，以及标定板坐标系、摄像机坐标系的相对旋转、平移关系，得标定板上点的图像坐标(m，n)与相应的物点坐标(Xc，Yc，Zc)的映射关系，再用投影仪投影光栅条纹，摄像机拍摄条纹图像，由相位法得到图像上各点(m，n)的相位值θ，将图像上点(m，n)对应的物点坐标和相位，即(Xc，Yc，Zc，θ)，称为一个样本点，遍历图像各点，得到不同样本点，再将标定板放置于2～3个不同位置，获得各个位置下的样本点，将所有的样本点集合起来，得到样本点集合，将最终得到的样本点集合代入步骤3建立的系统测量关系式中，解出系统参数a1、a2、a3、a4、a5、a6、a7和a8，上述测量范围定义为投影仪的投影区域和摄像机的视野相重叠的部分；步骤5测量被测物体将被测物体放置于测量范围内，用投影装置投影相移光栅条纹，由摄像机拍摄条纹图像，由相位法得到图像上不同像点(m，n)的相位值θ，将像点坐标(m，n)和相位值θ代入步骤3中的系统测量关系式和摄像机针孔模型，可解出(m，n)对应的物点的三维坐标(Xc，Yc，Zc)，得到物体的三维轮廓。
与现有技术相比，本发明具有如下优点(1)本发明中对摄像机和投影装置并无任何严格的平行，垂直或相交的要求。本发明中摄像机和投影装置的相对位置关系可以任意放置，这样在测量系统的构建过程中不需要严格的校正位置关系，一方面系统构建方便快捷，节省时间；另一方面避免了由于对位置关系严格的要求而导致的系统误差，提高了系统精度。
(2)本发明在标定过程中，对标定平面的位置也没有严格的要求，不需要精确的移动标靶，这样不需要一个位置固定的工作台或工作面进行标定，也不要求精确的调整标定平面和摄像机、投影仪的相对位置关系，使现场的标定过程简便快捷，降低了对工作台、面的要求，又保持较高的精度。
(3)本发明中使用了平面标定物进行标定，平面标定物较立体标定物具有制作简单，精度高等优点，降低了标定过程中对高精度标定物的依赖，简化了标定过程。
图1是测量系统图。
图2是标定板图。
图3是系统结构图。
图4是标定原理图。
图5是整体流程图。
图6是系统构建流程图。
图7是参数标定流程图。
图8是样本点采集流程图。
图9是测量过程流程图。
具体实施例方式
下面参照附图，对本发明具体实施方案作出更为详细的描述参见图1，2，本发明的测量系统包括计算机，通过图卡与计算机相连的摄像机，以及由计算机控制的投影装置(投影仪)和标定板。投影装置和摄像机之间的位置关系任意，无任何严格的平行，垂直或相交的要求，标定时对标定板的位置也无严格的要求。如附图2所示，标定板上阵列分布有二维坐标已知的圆标志点Qi(i＝1，2，…，k)，其二维坐标为(ai，bi)。
参见图3，Ωw、Ωc分别表示参考坐标系、摄像机坐标系，OP、Oc分别表示投影中心以及光心。o1mn表示摄像机成像面坐标系，(m，n)表示像点的图像坐标。参考坐标系OXYZ，即Ωw是根据投影装置建立的OXY平面平行于投影面，Y轴平行于光栅条纹，Z轴经过投影中心OP。矩阵Rw、Tw是描述Ωw和Ωc之间的相对位置关系的旋转、平移矩阵。
参见图4，Ωw、Ω0分别表示参考坐标系、标定板坐标系。Ω0的Z轴垂直于标定板面。
具体步骤如下(1)摄像机的标定首先对摄像机内部参数进行标定。物体表面点的三维几何信息与其在图像上的对应点之间的相互关系是由摄像机的成像模型决定的，建立这一几何模型的过程就是摄像机参数的求解过程，即摄像机标定。我们采用的摄像机模型是广泛使用的针孔模型，如下所述设物点在摄像机坐标系Ωc中的三维坐标为(Xc，Yc，Zc)，其在图像上像点坐标为(m，n)，有ρmn1=AcXcYcZc---(1a)]]>md=m+k1m(m2+n2)+k2m(m2+n2)2nd=n+k1n(m2+n2)+k2n(m2+n2)2---(1b)]]>式中ρ为比例因子，其中Ac为参数矩阵，Ac=fmγm00fnn0001]]>m0，n0为摄像机成像面上主点坐标，fm，fn分别为成像面m轴和n轴方向的放大系数，γ为两轴偏斜系数。(m，n)、(md，nd)分别为理想的无畸变图像坐标(m，n)和实际的畸变图像坐标之间的关系，k1，k2为镜头径向畸变参数。
m0、n0、fm、fn、γ、k1、k2就是摄像机内部参数。
本发明中，先使用非线性方法标定摄像机内部参数，如下所述给定一组三维坐标已知的标定点，用摄像机拍摄这组标定点的图像，得到其像点坐标。
设标定点在标靶上的三维坐标为(Xb，Yb，Zb)，在摄像机坐标系Ωc中的坐标为(Xc，Yc，Zc)，在图像上得到的实际的畸变像点坐标为(md，nd)，标定点的标靶坐标和摄像机坐标的坐标变换关系式为
XcYcZc=RbTbXbYbZb1---(2)]]>式中，Rb=rb1rb2rb3rb4rb5rb6rb7rb8rb9]]>为单位正交旋转矩阵。Tb=tb1tb2tb3]]>为平移矩阵。(RbTb)称为摄像机标定中的外部参数，描述了摄像机到标靶坐标系的旋转和平移关系。
在标定过程中，标定点在标靶上的三维坐标(Xb，Yb，Zb)已知，它的像点坐标(md，nd)(实际的畸变像点坐标)在图像中得到。将一系列标定点的(Xb，Yb，Zb)和(md，nd)代入(1)、(2)式，可得一组非线性方程，其未知数就是待标定的摄像机内部参数m0、n0、fm、fn、γ、k1、k2以及外部参数rb1、rb2、rb3、rb4、rb5、rb6、rb7、rb8、rb9、tb1、tb2和tb3。解出这个非线性方程组，即得到摄像机内部参数，标定完毕。
需要指出的是，直接从图像中得到的像点坐标是(md，nd)，将(md，nd)代入(1b)式得到理想的无畸变图像坐标(m，n)。如无特别说明，本发明中所说的像点坐标都是指理想的无畸变图像坐标(m，n)。
(2)测量系统的构建构建系统，如图1所示，将投影仪、摄像机分别与计算机相连，可由计算机控制投影出光栅条纹，摄像机用来拍摄图像，拍摄的图像经由图像采集卡输入计算机。调整投影仪和摄像机的位置，如下所述先将被测物体放置好(放在地上、桌子上或其他平台上皆可)，调整投影仪与被测物体的距离和方向，使投影仪的投影区域可以覆盖被测物体需要测量的表面区域；调整摄像机与被测物体的距离和方向，使摄像机的视野可以覆盖被测物体需要测量的表面区域；这样，当投影仪向被测物体投影光栅条纹时，摄像机可以拍摄到投影到物体表面的条纹的图像，进行测量工作。对于投影仪和摄像机的相对位置关系，并无其他要求，如平行、垂直、共面等。
本发明中将测量范围定义为投影仪的投影区域和摄像机的视野相重叠的部分。当物体表面位于测量范围内时，光栅条纹可以投影到物体上，而投影的条纹图像也可以同时被摄像机拍摄到。
系统构建流程图见附图6。
(3)系统测量关系式的建立如图1所示，将系统构建好之后，投影光栅条纹到物体表面，由摄像机拍摄光栅图像。对光栅图像，本发明采用相位法得到光栅图像的相位值，然后对相位值和物点三维坐标的关系进行建模，建立系统测量关系式。
相位法中，通常采用移相法从摄像机拍摄的投影光栅条纹图像中提取相位场定量的分布。本发明采用常用的4幅图相移法，如下所述。
通过精确移动投影光栅，使光栅条纹图像的相位场移相，得到4幅条纹图像，各图像可表示为Ii(m，n)＝I0(m，n)+γ(m，n)cos[θ(m，n)+αi]i＝1，2，3，4 (3)式中i表示第i次相移，Ii(m，n)为第i幅相移图上(m，n)点的灰度值，I0(m，n)为条纹图背景值，γ(m，n)为调制强度函数，θ(m，n)为待求相位场，即点(m，n)的相位值。αi为第i幅图的相移值。令相移分别为α1＝0，α2＝π/2，α3＝π，α4＝3π/2，由(3)得tanθ(m,n)=I4(m,n)-I2(m,n)I1(m,n)-I3(m,n)---(4)]]>对上式求反正切，再通过解相位的方法，可得到完整的相位值θ。
这样，相位值θ就通过相位法获得。在得到θ后，通过对系统空间关系的分析，建立系统测量关系式，如下所述。
如附图3所示，摄像机坐标系Ωc与参考坐标系Ωw的相对位置关系是任意的，如图，既不要求Oc位于OXZ平面内，也不要求OcOP平行于OXY平面，也不要求Zc轴与Z轴相交于O点。
设物点P在参考坐标系Ωw中的坐标为(X，Y，Z)，在摄像机坐标系Ωc中的坐标为(Xc，Yc，Zc)，有XYZ=RwTwXcYcZc1---(5)]]>式中，Rw=rw1rw2rw3rw4rw5rw6rw7rw8rw9]]>为单位正交旋转矩阵。Tw=txtytz]]>为平移矩阵。(RwTw)描述了摄像机到参考坐标系的旋转和平移关系。
附图3中，P点在摄像机成像面中成像于p(m，n)，相位为θ，P′为物点P在OXY平面上的投影。OPP与OXY平面交于D点。P″、D″分别是P′、D在OXY平面的X轴上的投影。
由P′和O分别是P和OP在OXY平面上的投影，所以PP′∥OPO，△DP′P∽△DOOP，得到OP′OD=OOP-P′POOP---(6)]]>P″和D″分别是P′和D在OXY平面的X轴上的投影，所以P″P′∥D″D，△OP″P′∽△OD″D，得到OP′′OD=OP′′OD′′---(7)]]>(6)(7)联立，得OP′′OD′′=OOP-P′POOP---(8)]]>式中，OOP＝l；因为P′是P在OXY平面上的投影，P″是P′在OXY平面的X轴上的投影，所以OP″，P′P分别是P点在OXYZ坐标系中的X和Z坐标；由于D″是D在OXY平面的X轴上的投影，而OXY面的Y轴平行于光栅方向，故D″的相位等于D的相位值，也等于P的相位θ，所以
OD′′=λ02π(θ-θo)---(9)]]>式中θo为原点O的相位，λ0为栅线节距。
将上述关系代入(8)式，得θ=(2πl/λ0)X-θoZ+lθol-Z---(10)]]>将(5)式代入(10)式，得θ=a1Xc+a2Yc+a3Zc+a4a5Xc+a6Yc+a7Zc+a8---(11)]]>式中，a1=2π(rw1-θ0rw7)l/λ0a2=2π(rw2-θ0rw8)l/λ0a3=2π(rw3-θ0rw9)l/λ0a4=2π(tx-θ0tz)l/λ0+θ0la5=-2πrw7l/λ0a6=-2πrw8l/λ0a7=-2πrw9l/λ0a8=-2πtzl/λ0+l]]>(11)式即测量关系式，描述了相位和物点三维坐标(在Ωc中的三维坐标)之间的关系，式中a1，a2，a3，a4，a5，a6，a7，a8为系统参数。
(4)系统参数的标定将标定板放置于测量范围内的某任意位置，如图4所示。摄像机拍摄标定板图像，由图像得到各标定点Qi(ai，bi)的像点坐标(mi，ni)(i＝1，2，…，k)。则标定板上点Q(a，b)在标定板坐标系Ω0中的三维坐标为(a，b，0)，在Ωc中的坐标为XcYcZc=R0T0ab01=r1r2r3T0ab01=r1r2T0ab1---(12)]]>式中，R0、T0表示Ω0到Ωc的旋转关系和平移关系。R0为3×3的单位旋转矩阵，T0为3×1的平移矩阵。r1，r2为旋转矩阵R0的前2列。故有‖r1‖2＝1，‖r2‖2＝1，r1·r2＝0(13)式中，″‖r‖2″表示向量r的2范数，″·″表示内积。
由(1)，(13)，Q(a，b)和其像点q(m，n)的关系为ρ′mn1=AcXcYcZc=Acr1r2T0ab1=Hab1---(14)]]>式中ρ′为比例因子，H＝Ac(r1r2T0)为3×3矩阵。令G=H-1=r1r2T0-1Ac-1=g1g2g3g4g5g6g7g8g9---(15)]]>由(14)，(15)得ab1=ρ′Gmn1=1m·g7+n·g8+g9Gmn1---(16)]]>将各标定点Qi(ai，bi)及其由图像中的像点坐标(mi，ni)(i＝1，2，…，k)。代入(16)式，得m1n11000-a1m1-a1n1-a1000m1n11-b1m1-b1n1-b1m2n21000-a2m2-a2n2-a2000m2n21-b2m2-b2n2-b2..................mknk1000-akmk-aknk-ak000mknk1-bkmk-bknk-bkg1g2g3g4g5g6g7g8g9=0---(17)]]>上式是一个含9未知数(g1...g9，即G矩阵的9个元素)的齐次线性方程组。当k≥4时，可以解得一个含有比例因子的解。再由(13)式，求出比例因子，得到G矩阵。
(15)，(16)代入(12)式，得
XcYcZc=1m·g7+n·g8+g9Ac-1mn1---(18)]]>对于图像上的各点(m，n)((m，n)表示点的图像坐标)，将(m，n)代入(18)式，即得到对应的物点坐标(Xc，Yc，Zc)。再用投影仪投影光栅条纹，摄像机拍摄条纹图像，由相位法得到图像上各点(m，n)的相位值θ。将图像上点(m，n)对应的物点坐标和相位，即(Xc，Yc，Zc，θ)，称为一个样本点。遍历图像各点，得到不同样本点，再将标定板放置于2～3个不同位置，获得各个位置下的样本点，将所有的样本点集合起来，得到样本点集合，将最终得到的样本点集合代入步骤3建立的系统测量关系式中，解出系统参数a1、a2、a3、a4、a5、a6、a7和a8。
上述测量范围就是步骤2中定义的测量范围，即投影仪的投影区域和摄像机的视野相重叠的部分。
参数标定流程图见附图7。其中“采集样本点”步骤的流程图见附图8。
(5)测量物体轮廓如附图(1)所示，将标定板撤走，将被测物体放置于测量范围内，用投影装置投影相移光栅条纹，由摄像机拍摄条纹图像，由相位法得到图像上不同像点(m，n)的相位值θ，将像点坐标(m，n)和相位值θ代入步骤3中的系统测量关系式(即(11)式)和摄像机针孔模型(即(1)式)，可解出(m，n)对应的物点的三维坐标(Xc，Yc，Zc)，得到物体的三维轮廓。
测量过程流程图见附图9。
本发明针对现有的传统光栅测量系统存在的缺点和限制，提出摄像机和投影装置可以任意位置摆放的三维测量方法和用一块二维标定板实现的标定方法。在每次进行三维测量时，在测量现场，先将标定板放置于测量范围内，得到包含物点的三维坐标和相位值的样本点，再根据系统三维空间结构关系，确定三维转换模型关系式，进行测量标定。本发明的目的在于设计一种能够更加契合工程实际应用的三维测量方法。该方法具有标定模板制作简单，现场标定简便快捷、精度高、速度快，系统结构要求简单、便于搭建的特点。
权利要求
1.一种基于相位法的三维轮廓测量方法，其特征在于步骤1用非线性方法标定摄像机内部参数；步骤2构建测量系统将投影仪、摄像机分别与计算机相连，调整投影仪和摄像机的位置，使投影仪的投影区域和摄像机的视野可以同时覆盖被测物体需要测量的表面区域；步骤3建立系统测量关系式利用投影仪投影光栅条纹，由摄像机得到光栅图像，再用相位法求出图像上各像点的相位值，然后建立相位和物点三维坐标之间的测量关系式，该测量关系式为θ=a1Xc+a2Yc+a3Zc+a4a5Xc+a6Yc+a7Zc+a8]]>其中，(Xc，Yc，Zc)为物点在摄像机坐标系中的三维坐标，θ为相位值，a1、a2、a3、a4、a5、a6、a7和a8为待标定的系统参数；步骤4标定系统参数将标定板(如附图2所示)放置于测量范围内的某任意位置，用摄像机得到标定板的图像，由标定板上各标定点Qi(ai，bi)的像点坐标(mi，ni)(i＝1，2，…，k)，以及标定板坐标系、摄像机坐标系的相对旋转、平移关系，得标定板上点的图像坐标(m，n)与相应的物点坐标(Xc，Yc，Zc)的映射关系，再用投影仪投影光栅条纹，摄像机拍摄条纹图像，由相位法得到图像上各点(m，n)的相位值θ，将图像上点(m，n)对应的物点坐标和相位，即(Xc，Yc，Zc，θ)，称为一个样本点，遍历图像各点，得到不同样本点，再将标定板放置于2～3个不同位置，获得各个位置下的样本点，将所有的样本点集合起来，得到样本点集合，将最终得到的样本点集合代入步骤3建立的系统测量关系式中，解出系统参数a1、a2、a3、a4、a5、a6、a7和a8，上述测量范围定义为投影仪的投影区域和摄像机的视野相重叠的部分；步骤5测量被测物体将被测物体放置于测量范围内，用投影装置投影相移光栅条纹，由摄像机拍摄条纹图像，由相位法得到图像上不同像点(m，n)的相位值θ，将像点坐标(m，n)和相位值θ代入步骤3中的系统测量关系式和摄像机针孔模型，可解出(m，n)对应的物点的三维坐标(Xc，Yc，Zc)，得到物体的三维轮廓。
全文摘要
本发明公开了一种基于相位法的、可以任意设置摄像机和投影装置相对位置关系的三维轮廓测量方法，其步骤包括(1)用非线性方法标定摄像机内部参数；(2)构建测量系统，使投影仪的投影区域和摄像机的视野可以同时覆盖被测物体需要测量的表面区域；(3)建立系统测量关系式，即相位和物点三维坐标之间的映射关系，测量关系式中的参数即为待标定的系统参数；(4)将标定板放置于测量范围内的3～4个不同的任意位置，采集样本点，将得到的样本点集合代入测量关系式中，解出系统参数；(5)得到系统参数后，将被测物体放置于测量范围内，由相位法得到条纹图像的相位值，代入系统测量关系式和摄像机模型，得到物体的三维轮廓。
文档编号G01C11/00GK101074869SQ200710021749
公开日2007年11月21日 申请日期2007年4月27日 优先权日2007年4月27日
发明者达飞鹏, 盖绍彦 申请人:东南大学