专利名称：投射多频光栅的物体表面三维轮廓的视觉测量方法
技术领域：
背景技术：
采用计算机视觉测量物体轮廓技术是目前三维测量的研究热点，它具有结构简单、非接触、高速度、高精度和高可靠性的优点。可广泛地应用于航空航天、机械制造、医疗诊断、计算机辅助设计与制造、逆向工程设计、虚拟现实和三维动画制作等领域。
用二维光学图像恢复物体的三维几何信息，主要有两方面的技术难点一是光学图像的灰度虽然反映了三维物体的几何信息，但又与物体的材料、纹理、光源等其它许多因素有关，因此，由二维图像恢复物体三维几何形状是一个具有多解性的反问题；二是用多幅二维图像恢复三维信息，必须解决点的“对应”问题，即确定多幅图像间特征点之间的对应关系，这也是一个多解问题。
通过将具有正弦分布的光栅投射到被测物体的表面，由摄像机采集由于物体表面的起伏使光栅条纹发生畸变的图像，通过相位移动技术，获取与物体高度相关的相位信息。这项技术为解决用二维光学图像恢复物体的三维几何信息的多解性问题提供了条件。然而，投射光栅条纹提取的相位在-π与π之间折叠，存在着2π折叠问题，需要进行相位展开才能得到真实相位。对于理想的简单相位图，相位展开十分简单，在展开方向上，比较两个相邻点的相位，如果两者的相位差大于-π，则后一点加上2π，如果两者的相位差大于π，则后一点减去2π。但是，如果物体表面的变化也使得两个相邻点的相位变化大于π，则相位展开无法进行。因此相位展开成为制约三维测量技术应用的一个瓶颈问题。
专利(CN 1203292C)通过Gray编码，将测量区域分割成2N个条形区域，再利用多步相移测量技术获得每个区域的相位，两者的组合避开了相位展开问题，而且，只要根据相位和外极线的约束就能够解决左右图像上像点的“对应”问题。但是，这种方法会由于马赫范得效应(Mach Band Effect)会产生错误的编码，并且这种方法对于测量环境要求高，噪声敏感。
一种称作双频轮廓术的方法，首先在全场投射只用一个条纹的光栅，则测量范围内所有像点的展开相位与折叠相位相同，分布在-π与π之间，无须展开；然后投射有多个条纹的光栅，由多条纹光栅获得的相位存在2π折叠问题，以单条纹光栅的相位为参考，利用相位与高度的关系确定多条纹光栅相位展开时的增减2π的数目。由于单条纹相位中含有较大的噪声，在以它为参考直接展开多条纹光栅相位时，会产生较大误差。还有一些采用多个光栅的投影方案，如光栅条纹指数递增方案(f＝1，2，4，8，16，32，64，128)，需要投射的光栅数目较多。
发明内容
通过向物体表面投射三个(或多个)频率的光栅，由安装在投影机两侧的摄像机拍摄被物体表面调制的光栅条纹，采用一种新的相位展开技术，计算左、右摄像机拍摄图像上的每一点的相位，以相位值和立体视觉中的外极线作为约束，实现左、右两幅图像上的点的唯一匹配，进而求出物体表面各点的三维坐标。
它包括如下步骤 (1)计算机生成虚拟光栅，其中包括三组相移光栅，利用投影仪将生成的光栅投射到物体上； (2)利用两台摄像机采集物体上的条纹图像，并保存在计算机的内存中； (3)对每一个摄像机拍摄的图像采用新的相位展开技术进行处理，得到图像上每一点的相位值；两个摄像机拍摄的图像上，对应在物体表面上同一点的相位值是相等的，因此，可用相位值作为对应点的匹配的依据。
(4)对两个摄像机进行定标，得到摄像机的内部参数即相对于世界坐标的外部参数 (5)根据相位和外极线对每一点进行三维重构，计算物体表面点的三维坐标 1、投射三个(或多个)频率的光栅，三个光栅的频率之间具有如下特征 (1)三个光栅都具有较高的频率，使测量的相位具有较高的精度，按照频率从高到低三个光栅的频率分别为f1、f2、f3； (2)光栅频率的关系f1-2f2+f3≤1 (3)投射光栅，物体表面的光强可表示为 其中R(x，y)表示物体表面的反射率，A(x，y)表示背景光强，B(x，y)表示条纹光强幅值，φx，y)表示条纹相位，i＝1，2，3，对应频率f1、f2、f3，j＝1，2，3，4对应相移角度φj为分别为0、
π、
(4)频率f1、f2、f3的对应相位φ1(x，y)、φ2(x，y)、φ3(x，y)分别计算如下 ΔI42(x，y)＝I4(x，y)-I2(x，y)，ΔI13(x，y)＝I1(x，y)-I3(x，y) 2、采用合成频率技术展开相位； (1)在计算机中，由光栅1和2合成频率为f12(f12＝f1-f2)的光栅，其相位为φ12(x，y)；由光栅2利3合成频率为f23(f23＝f2-f3)的光栅，其相位为φ23(x，y)，由光栅1和3合成频率为f13(f13＝f1-f3)的光栅，其相位为φ13(x，y)，其相位的计算方法如下 i＝1，2，3，j＝1，2，3，i＜j (2)由光栅1、2和3合成频率为f123(f123＝f1-2f2+f3)的光栅，其相位φ123(x，y)计算方法如下 (3)根据f1-2f2+f3≤1的频率关系，频率为f123的光栅在摄像机的可视范围内只有一个条纹，它的相位不存在2π折叠问题，即展开相位与折叠相位相等123(x，y)＝φ123(x，y)，因此，可将它作为其它相位展开的参考相位； (4)计算频率f12、f23、f13的展开相位，以展开φ13(x，y)为例
(5)再以相位13(x，y)为参考，计算光栅f1、f2、f3的展开相位，以φ1(x，y)为例
(6)为提高相位的可靠性，对展开相位进行进一步的处理，如用φ1(x，y)、φ2(x，y)、φ3(x，少)投票方法提高相位的可靠性，或采用调制度技术提高相位的可靠性。
3、对两个摄像机进行定标，得到摄像机的内部参数及相对于世界坐标的外部参数； (1)将两台摄像机安装在投影仪两侧，使之对称于投影仪的光轴； (2)由投影仪向一定距离的平面垂直投射十字光标，调整摄像机的角度，至两个摄像机的中心线与十字光标的竖线重合； (3)采用张正友的平面定标方法或其它定标方法为摄像机定标，确定摄像机内、外参数；摄像机的内参数有f(i)、(u0(i)，v0(i)、dx(i)、dy(i)，摄像机的外参数有R(i)、T(i)，i＝1，2 f(i)镜头焦距长度，i为摄像机编号； (u0(i)，v0(i))摄像机的图像坐标系的原点在像素坐标系中的像素坐标； dx(i)、dy(i)在x和y方向上相邻像素之间距离； R(i)旋转矩阵， T(i)平移向量，T(j)＝[Tx Ty Tz] (4)空间任何一点P(Xw’，Yw’Zw)，在图像上的投影位置p(u，v)，由摄像机内、外参数构成的投影矩阵确定i＝1，2，i为摄像机编号，投影矩阵M为3*4的矩阵，其中 4、以相位值和立体视觉中的外极线作为约束，实现左、右摄像机拍摄的图像上的点的匹配； (1)基础矩阵F(Fundamental Matrix) 其中，i＝1，2，i为摄像机编号，[m]x为m的反对称矩阵 (2)空间任何一点的齐次坐标P(Xw，Yw，Zw，1)，在两台摄像机图像上的投影的齐次坐标分别为p1(u1，v1，1)、p2(u2，v2，1)；则有它给出了p1和p2必须满足的关系，在给定p1的情况下，它是一个关于p2的线性方程，即摄像机2拍摄的图像上的外极线方程；反之，在给定p2的情况下，它是一个关于p1的线性方程，即摄像机1拍摄的图像上的外极线方程， (3)由摄像机1拍摄的图像上一点p1(u1，v1)，计算其在2摄像机拍摄图像上的外极线方程参数，并在外极线上寻找与p1点相位值相等的点p2(u2，v2)，p1与p2就是一对匹配点； 5、利用匹配的对应点，计算物体表面的三维坐标； (1)已知p1(u1，v1)，p2(u2，v2)为空间同一点的对应点，以及投影矩阵M(i)，于是可以得到关于空间点P(Xw，Yw，Zw)的坐标的4个线性方程 选择其中3个方程求解或用最小二乘方法对4个方程求最优解，就可以计算出P(Xw，Yw，Zw)的坐标值； 6、采用计算机、投影仪和两台摄像机组成测量系统。
图1是本发明硬件组成的示意图。系统由一个投射光栅的投影仪，以及位于投影仪两侧的两台CCD摄像机，以及一台计算机组成。
图2是软件处理流程的总体框图。
图3是投射光栅与采集图像的流程图。
图4是由图像计算相位的流程图。
图5是由摄像机标定参数与相位数据计算对应点的流程图。
图6是由对应点数据计算三维坐标的流程图。
图7是应用本发明对一个鼠标进行测量，对获得的三维数据进行显示的图形。
具体实施例方式 本发明提出的一种光学三维测量方法和系统的实施例说明如下 本实施例的测量系统如图1所示，系统由摄像机1、2，投影仪3，计算机4等组成，计算机为P4 2.8GHz，两架WATEC的WAT 902H黑白CCD工业摄像机，两块嘉恒公司的M10A的OK系列采集卡，两个国产的GDS 35镜头，HP vp6315投影仪。
1)利用计算机生成虚拟三组相移光栅的条纹数分别为120，116，113，利用投影仪将光栅投射到物体上； 2)两台CCD摄像机采集图像，并保存在计算机中； 3)对每一个摄像机拍摄的12幅图像分别进行处理，得到每个点的相位值； 4)为使计算结果更可靠，采用调制度作为展开相位的可靠性依据，对调制度小于设定阈值的相位进行掩模处理。
5)采用张正友定标方法；对摄像机定标，获得摄像机内、外参数，以及镜头的畸变系数； 6)计算基础矩阵； 7)根据外极线方程和相位值确定匹配点对； 8)计算三维坐标。
权利要求
1.投射多频光栅的物体表面三维轮廓的视觉测量方法，其特征在于通过向物体表面投射三个(或多个)频率的光栅，由安装在投影机两侧的摄像机拍摄被物体表面调制的条纹，采用合成频率的相位展开技术，计算左、右摄像机拍摄图像上的每一点的相位，以相位值和外极线作为约束，实现左、右两幅图像上的点的匹配，进而求出物体表面各点的三维坐标。它包括如下步骤。
(1)计算机生成虚拟光栅，其中包括三组相移光栅，利用投影仪将生成的光栅投射到物体上；
(2)利用两台摄像机采集物体上的条纹图像，并保存在计算机的内存中；
(3)对每一个摄像机拍摄的图像采用合成频率的相位展开技术进行处理，得到图像上每一点的相位值；
在两个摄像机拍摄的图像上，对应在物体表面上同一点的相位值是相等的，因此，可用相位值作为对应点的匹配的依据。
(4)对两个摄像机进行定标，得到摄像机的内部参数和相对于世界坐标的外部参数以及镜头的畸变系数
(5)根据相位和外极线寻找对应的匹配点，构成对应点对；
(6)由对应点对计算物体表面点的三维坐标。
2.根据权利要求1所述的测量方法，其特征在于投射三个(或多个)频率的光栅，三个光栅的频率之间具有如下特征。
(1)三个光栅都具有较高的频率，使测量的相位具有较高的精度，按照频率从高到低三个光栅的频率分别为f1、f2、f3，相位分别为φ1(x，y)、φ2(x，y)、φ3(x，y)。
(2)光栅频率的关系f1-2f2+f3≤1。
3.根据权利要求1所述的测量方法，其特征在于采用一种新的相位展开技术。
(1)在计算机中，由光栅1和2合成频率f12(f12＝f1-f2)，相位φ12(x，y)
(2)在计算机中，由光栅2和3合成频率f23(f23＝f2-f3)，相位φ23(x，y)
(3)在计算机中，由光栅3和1合成频率为、f13(f13＝f1-f3)，相位φ13(x，y)
(4)在计算机中，由光栅1、2和3合成等效频率f123(f123＝f1-2f2+f3)，相位φ123(x，y)
(5)合成频率为f123的光栅在摄象机的可视范围内只有一个条纹，它的相位不存在2π折叠问题，故123(x，y)＝φ123(x，y)，它作为其它相位展开的参考；
(6)展开频率f12、f23、f13的相位，以展开f13的相位为例
(7)再以31(x，y)为参考，展开光栅f1的相位图
(8)由φ1(x，y)、φ2(x，y)、φ3(x，y)投票或用调制度作为展开相位的可靠性依据，对调制度小于设定阈值的相位进行掩模处理。
4.根据权利要求1所述的测量方法，其特征在于对两个摄像机进行定标，得到摄像机的内部参数即相对于世界坐标的外部参数。
(1)将两台摄像机安装在投影仪两侧，使之对称于投影仪的光轴；
(2)由投影仪向一定距离的平面垂直投射十字光标，调整摄像机的角度，至两个摄像机的中心线与十字光标的竖线重合；
(3)采用张正友的平面定标方法或其它定标方法确定摄像机内、外参数。
5.根据权利要求1所述的测量方法，其特征在于以相位值和外极线作为约束，实现左、右两幅图像上的点的对应匹配。
6.根据权利要求1所述的测量方法，其特征在于利用对应点对，计算物体表面各点的三维坐标。
7.根据权利要求1所述的测量方法，其特征在于采用计算机、投影仪和两台摄像机组成测量系统。
8.根据权利要求1所述的测量方法，其特征在于包括投射光栅的装置，投影仪作为一种光栅投射装置，也可以采用其它光栅投射方案，如由电移台、光栅片和光源组成其它的光栅投射装置。
全文摘要
本发明属于物体表面三维轮廓测量领域。其主要技术特征包括1)通过向物体表面投射不同频率的光栅，获得多个相位图；2)采用频率合成方法，展开相位图，从而获得高精度的展开相位；3)利用展开的相位与外极线匹配对应点，计算物体表面的三维轮廓；4)为使计算结果更可靠，采用调制度作为展开相位的可靠性依据，对调制度小于设定阈值的相位进行掩模处理。本发明具有结构简单、非接触、高精度、高速度、易于实现的特点。
文档编号G01B21/20GK101105393SQ20061001028
公开日2008年1月16日 申请日期2006年7月13日 优先权日2006年7月13日
发明者波 周 申请人:波 周