专利名称：数字散斑投影和相位测量轮廓术相结合的三维数字成像方法
技术领域：
本发明属于三维数字成像及造型技术，主要是一种数字散斑投影和相位测量轮廓术相结合的三维数字成像方法。
背景技术：
三维数字成像及造型(3DIM-3D Digital Imaging and Modeling)是近年来国际上活跃研究的一个新兴交叉学科领域。它被广泛的应用到反向工程，文物保护，医学诊断，工业检测以及虚拟现实等诸多方面。作为获取三维信息的主要手段之一，基于相位测量轮廓术的三维主动视觉系统具有高精度、分辨率高、非接触、和全场数据获取等优点而受到广泛关注和研究。相位测量轮廓术的基本流程是(1)根据采集到的条纹图，利用相位解调算法，解得条纹图的折叠相位；(2)根据折叠相位，利用相位展开算法，得到条纹图的绝对展开相位；(3)根据左右摄像机的绝对展开相位，利用两摄像机的极线约束关系查找左右摄像机的对应点；(4)根据对应点和三维数字成像系统的标定参数，采用三维重建算法得到空间三维坐标点。左右摄像机对应点对查找的准确度和精确度，决定了相位测量轮廓术的三维重建精度。左摄像机的一点在右摄像机上的对应点是唯一的。而其中绝对展开相位的获取方法是确保左右摄像机对应点查找的准确性的关键。为了获取绝对相位，Huntley等人提出了一系列的时间相位展开算法，通过在时间维投射多种频率的正弦条纹图，对条纹图进行相位解调，得到折叠相位。利用低频相位展开高频相位，最后对高频相位利用极线约束关系查找左右摄像机的对应点。这种算法解相位完全自动化、计算速度快、精度高，缺点在于，需要采集多幅条纹图(一般为12~16幅)，采集速度慢。
Hu等人提出了一种在条纹图的基础上加投一根中心亮线，利用中心亮线确定零级次的条纹位置，然后根据零级次的条纹位置利用空间相位展开算法，从零级次条纹开始依次展开，最后得到条纹的绝对展开相位。这种方法的优点是只需要在正弦条纹的基础上加投一幅图即可获取绝对相位，缺点是只对曲面连续的物体有效，对于含有多个孤立曲面的物体，由于曲面的不连续，不能正确判断条纹级次，导致展开错误。因此这种算法的应用较为有限。
而另外一种三维数字成像技术——数字散斑投影双目立体视觉成像技术，通过投影一幅数字散斑图至物体上，经两个或者多个摄像机采集，利用极线几何约束和图像相关算法，查找对应点，最后根据摄像机的内外参数重建成三维点。具有采集速度快、受环境光影响小的优点，缺点是算法计算量大，数据精确度较低。
近年来，在一些应用领域(例如在线检测、人体数据的三维采集等)对三维成像系统的采集速度、计算速度和数据精度都提出了较高的要求。因此，我们希望三维数字成像系统能够同时满足高采集速度，高计算速度和高数据精度等技术指标。
发明内容
本发明所要解决的技术问题是克服现有方法存在的不足，提供一种同时满足高采集速度，高计算速度和高数据精度等技术指标的稳定的数字散斑投影和相位测量轮廓术相结合的三维数字成像方法，扩大三维数字成像技术的应用领域。
本发明的技术解决方案是这种数字散斑投影和相位测量轮廓术相结合的三维数字成像方法，具体步骤如下 (1)在测量现场，构建由数字投影仪和两个摄像机组成的三维数字成像传感器，且设备位置相对固定，在传感器的测量范围内放置被测物体，物体需摆放在两个摄像机都可见的位置； (2)顺序操作如下投射，采集过程 a)由计算机生成一幅数字散斑图案，用数字投影仪向被测物体投射，数字散斑图被物体的高度调制发生变形，产生调制后的数字散斑图，两个摄像机采集经物体调制的数字散斑图，并存储到计算机中； b)由计算机生成一幅正弦条纹图案，用数字投影仪向被测物体投射，由于受物体高度变化的影响，条纹图案产生变形；被测物体的高度信息被编码在变形后的正弦条纹图案内，两个摄像机采集编码条纹图，并存储到计算机中； (3)如此，得到了4幅图像，两幅散斑图，两幅编码条纹图，然后对图像进行处理 a)对编码条纹图利用相位解调算法，提取左右摄像机折叠相位图Φl、Φr； b)根据折叠相位值Φl、Φr，利用左右两个摄像机的极线几何约束关系，对左摄像机上的一点Pl查找右摄像机上的一系列对应点(Pr1-Prn)； 对左摄像机上的一点Pl，折叠相位值为Φl(Pl)，在点Pl在右摄像机上的对应极线上查找对应匹配点，右摄像机对应极线上点的折叠相位值为Φr(Pr1)～Φr(PrN)；设定相位差阈值ΔΦ，当(Φr(Pr1)～Φr(PrN))与Φl(Pl)的差值的绝对值小于ΔΦ时，则可以确定左摄像机上的点Pl在右摄像机上的一系列对应匹配点(Pr1～Prn)； c)根据采集到的数字散斑图，在点Pl位置处，以点Pl为中心取一设定大小(5×5～11×11)的矩形子图，分别以右摄像机对应点(Pr1～PRn)为中心，取同样大小的矩形子图，计算左右摄像机子图间的相关系数(Corr_1～Corr_n)，比较相关系数大小，相关系数最大值为Corr_max；设定相关系数阈值T，如果Corr_max大于T，则可以确定左摄像机上的点Pl在右摄像机上的唯一对应匹配点Pr； d)对左右摄像机所有的图像点，进行(a)、(b)、(c)的处理，得到全部的对应点对； (4)三维数字成像系统的标定参数，将对应点对重建成三维点云数据。
作为优选，提取左右摄像机折叠相位图Φl、Φr具体步骤如下 (1)、计算机产生正弦条纹案，传输给数字投影仪，数字投影仪将正弦条纹投射至样品表面并经过样品表面高度编码变形以后，被摄像机采集到的编码条纹光强分布表示为
在(1)式中，I(x，y)为记录到的物面光强分布，a(x，y)为背景光强分布，b(x，y)为条纹的局部对比度，f0为载波频率，
是相位因子； (2)、对式(1)进行傅立叶变换，在频谱±f0处得到带有信号
信息的频谱，经过带通滤波得到+1或者-1级频谱，并将其进行逆傅立叶变换既可得到
信息；具体计算过程如下 由欧拉公式可以将式(1)重新写成 g(x，y)＝a(x，y)+c(x，y)exp(i2πf0x)+c*(x，y)exp(-i2πf0x)(2) 其中，
(3)、经过傅立叶变换、滤波取+1级频谱，进行逆傅立叶变换运算后可以得到c(x，y)，结合欧拉公式，折叠相位
可以求得
(4)、根据相位解调算法，得到左右摄像机的折叠相位图Φl、Φr。
作为优选，所述基于极线几何约束和折叠相位的对应点查找具体步骤为 (1)、当两个摄像机同时对物体拍摄时，获得左右摄像机图像Il和Ir，如果ml和mr是空间一点M在两图像上的投影点，称ml和mr为对应点；令Cl和Cr分别是两个摄像机的光心，点mr在线lr上，称lr为在图像Ir上对应于点ml(位于图像Il上)的极线；令(Rt)为第二个摄像机相对于第一摄像机的位置变换，Kl，Kr分别为两摄像机的内参矩阵，R，Kl，Kr是3×3的矩阵，t是3×1的矩阵，由针孔模型推出 公式(4)称为极线方程，
和
是对应点ml和mr的齐次表示，ml的极线lr表示为左摄像机上的一点ml在右摄像机上的对应点mr必然在ml右摄像机上对应的极线lr上； (2)、通过两个摄像机的内部参数Kl，Kr、两个摄像机的相对姿态位置R，t和左右摄像机的折叠相位Φl、Φr，利用极线几何约束确定左右摄像机的对应点； (3)、根据折叠相位Φl、Φr，对于左摄像机上的一点Pl，相位值为Φl(Pl)，设定一个相位差阈值ΔΦ，沿着该点在右摄像机对应的极线上查找对应点Pri，相位值为Φr(Pri)，当相位差满足 |Φl(Pl)-Φr(Pri)|＜ΔΦ(6) 则点Pri为点Pl的对应点，对于左摄像机上的点Pl会在右摄像机上查找到一系列的对应点对(Pr1～Prn)。
作为优选，找对应点对和重建出三维数据点的方法，具体步骤如下 (1)、计算机生成一幅数字散斑图案传给数字投影仪，数字投影仪将数字散斑图至样品上，经摄像机采集，以对应点对Pl和(Pr1～Prn)为中心，窗口大小为5×5～11×11，取散斑图的子图像；将点Pl的子图像A与点(Pr1～Prn)的子图像B(i)做相关计算 其中A、B(i)为子图像A、B(i)的平均强度值，m，n大于1小于子图窗口大小 (2)、设定相关系数的阈值为T，比较所有相关系数，系数最大，且大于T的点，确定为左摄像机上的点Pl在右摄像机上的正确对应点Pr； (3)、根据左右摄像机的对应点对和两个摄像机的内部参数Kl，Kr、相对姿态位置R，t，可以重建出三维数据点。
本发明的优点在于本发明首次将数字散斑投影和相位测量轮廓术相结合，利用数字散斑投影采集速度快和相位测量轮廓术成像精度高的优点，将两者相结合用于三维数字成像。根据极线几何约束原理，在极线方向利用折叠相位和数字散斑图案快速确定左右摄像机的对应点对。最后利用根据对应点对和标定参数重建出三维点运数据。本方法最少只需要投影两幅图片就可以进行对应点查找和三维重建，可以提高采集速度并且保证较高的精度，特别适合于需要三维快速采集的应用领域。该方法对物体的三维在线检测、三维人体采集、三维身份识别等领域的应用都有重要意义。
图1是按照本发明所述的方法构成的基于数字散斑投影和相位测量轮廓术的三维数字成像系统装置的结构示意图。
图2是在立体视觉里极线几何约束的图示。
图3是根据折叠相位求解左右摄像机对应点的示意图。
图4是利用数字散斑确定对应点的示意图。
具体实施例方式 下面结合附图和实施例对发明作进一步说明 本发明首次将数字散斑投影和相位测量轮廓术相结合，利用数字散斑投影采集速度快和相位测量轮廓术成像精度高的优点，将两者相结合应用于三维数字成像。
相位解调 如图1所示，图中，101为数字投影仪，102为左摄像机。103为右摄像机，104为计算机，105为样品。计算机104产生正弦条纹图，传输给数字投影仪101。数字投影仪将正弦条纹投射至样品表面并经过样品表面高度编码变形以后，被摄像机采集到的编码条纹光强分布可以表示为
在(1)式中，I(x，y)为记录到的物面光强分布，a(x，y)为背景光强分布，b(x，y)为条纹的局部对比度，f0为载波频率，
是相位因子。相位解调的目的就是要解码物体表面高度信息的相位函数
对式(1)进行傅立叶变换，在频谱±f0处可以得到带有信号
信息的频谱，经过带通滤波得到+1(或者-1)级频谱，并将其进行逆傅立叶变换既可得到
信息。具体计算过程如下 由欧拉公式可以将式重新写成 g(x，y)＝a(x，y)+c(x，y)exp(i2πf0x)+c*(x，y)exp(-i2πf0x)(2) 其中，
经过傅立叶变换、滤波取+1级频谱，进行逆傅立叶变换运算后可以得到c(x，y)，结合欧拉公式，折叠相位
可以求得
根据相位解调算法，得到左右摄像机的折叠相位图Φl、Φr。
基于极线几何约束和折叠相位的对应点查找 如图2所示，在双目立体视觉里极线几何约束的图示。当两个摄像机同时对物体拍摄时，获得左右摄像机图像Il和Ir。如果ml和mr是空间一点M在两图像上的投影点，称ml和mr为对应点。令Cl和Cr分别是两个摄像机的光心，点mr在线lr上，称lr为在图像Ir上对应于点ml(位于图像Il上)的极线。令(Rt)为第二个摄像机相对于第一摄像机的位置变换，Kl，Kr分别为两摄像机的内参矩阵，R，Kl，Kr是3×3的矩阵，t是3×1的矩阵。由针孔模型推出 公式(4)称为极线方程。
和
是对应点ml和mr的齐次表示。ml的极线lr表示为可以看出，左摄像机上的一点ml在右摄像机上的对应点mr必然在ml右摄像机上对应的极线lr上。
因此只要知道两个摄像机的内部参数Kl，Kr、两个摄像机的相对姿态位置R，t和左右摄像机的折叠相位Φl、Φr就可以利用极线几何约束确定左右摄像机的对应点。
根据折叠相位Φl、Φr，对于左摄像机上的一点Pl，相位值为Φl(Pl)，设定一个相位差阈值ΔΦ，沿着该点在右摄像机对应的极线上查找对应点Pri，相位值为Φr(Pri)，当相位差满足 |Φl(Pl)-Φr(Pri)|＜ΔΦ(6) 则点Pri为点Pl的对应点。由于折叠相位沿极线方向不具有单调性，因此对于左摄像机上的点Pl会在右摄像机上查找到一系列的对应点对(Pr1～Prn)，如图3。图中，701为左摄像机上一点Pl的相位值Φl(Pl)，702为右摄像机对应极线上的相位值Φr(Pri)，703为根据折叠相位求得的对应点(Pr1～Prn)。
数字散斑投影确定对应点唯一性 根据折叠相位和左右摄像机极线几何约束查找得到的对应点对不具有唯一性。因此计算机生成一幅数字散斑图传给数字投影仪，数字投影仪将数字散斑图至样品上，经摄像机采集。以对应点对Pl和(Pr1～Prn)为中心，窗口大小为5×5～11×11，取散斑图的子图像。将点Pl的子图像A与点(Pr1～Prn)的子图像B(i)做相关计算 其中A、B(i)为子图像A、B(i)的平均强度值，m，n大于1小于子图窗口大小。设定相关系数的阈值为T。比较所有相关系数，系数最大，且大于T的点，可以确定为左摄像机上的点Pl在右摄像机上的正确对应点Pr。
根据左右摄像机的对应点对和两个摄像机的内部参数Kl，Kr、相对姿态位置R，t，可以重建出三维数据点。
本发明方法的具体步骤如下 (1)在测量现场，构建由数字投影仪和两个摄像机组成的三维数字成像传感器，且设备位置相对固定。在传感器的测量范围内放置被测物体，物体需摆放在两个摄像机都可见的位置。
(2)顺序操作如下投射，采集过程 a)由计算机生成一幅数字散斑图案。用数字投影仪向被测物体投射，数字散斑图被物体的高度调制发生变形，产生调制后的数字散斑图。两个摄像机采集经物体调制的数字散斑图，并存储到计算机中。
b)由计算机生成一幅正弦条纹图案。用数字投影仪向被测物体投射，由于受物体高度变化的影响，条纹图案产生变形。被测物体的高度信息被编码在变形后的正弦条纹图案内。两个摄像机采集编码条纹图，并存储到计算机中。
(3)如此，得到了4幅图像，两幅散斑图，两幅编码条纹图，然后对图像进行处理 a)对编码条纹图利用相位解调算法，提取左右摄像机折叠相位图Φl、Φr； b)根据折叠相位值Φl、Φr，利用左右两个摄像机的极线几何约束关系，对左摄像机上的一点Pl查找右摄像机上的一系列对应点(Pr1～Prn)； 对左摄像机上的一点Pl(折叠相位值为Φl(Pl))，在点Pl在右摄像机上的对应极线上查找对应匹配点。右摄像机对应极线上点的折叠相位值为(Φr(Pr1)～Φr(PrN))。设定相位差阈值ΔΦ。当(Φr(Pr1)～Φr(PrN))与Φl(Pl)的差值的绝对值小于ΔΦ时，则可以确定左摄像机上的点Pl在右摄像机上的一系列对应匹配点(Pr1～Prn)； c)根据采集到的数字散斑图，在点Pl位置处，以点Pl为中心取一设定大小(5×5～11×11)的矩形子图，分别以右摄像机对应点(Pr1～PRn)为中心，取同样大小的矩形子图。利用数字图像相关算法，计算左右摄像机子图间的相关系数(Corr_1～Corr_n)。比较相关系数大小，相关系数最大值为Corr_max。设定相关系数阈值T。如果Corr_max大于T，则可以确定左摄像机上的点Pl在右摄像机上的唯一对应匹配点Pr； d)对左右摄像机所有的图像点，进行(a)、(b)、(c)的处理，得到全部的对应点对； (4)根据三维数字成像系统的标定参数，将对应点对重建成三维点云数据。
实施例 实际设计的三维数字成像系统的结构如图1所示。101为数字投影仪，102为左摄像机，103为右摄像机，104为计算机，105为样品。
系统左右摄像机的内外参数为 左摄像机的内部参数 右摄像机的内部参数 左摄像机和右摄像机之间的系统结构参数 按照上面叙述的步骤，对样品投射正弦条纹图和数字散斑图，被摄像机采集。根据采集的条纹图，求得左右摄像机的折叠相位图。根据折叠相位图和数字散斑图，查找对应点(图3、图4)，图4中，801为左右摄像机对应点的相关系数Corr，802为根据相关系数确定的左右摄像机的正确对应点；最终三维重建得到样品的三维点云。整个过程采集耗时0.3秒，计算耗时2秒，点云数量为36万点。
除上述实施例外，本发明还可以有其他实施方式。凡采用等同替换或等效变换形成的技术方案，均落在本发明要求的保护范围。
权利要求
1、一种数字散斑投影和相位测量轮廓术相结合的三维数字成像方法，其特征在于该方法具体步骤如下
(1)在测量现场，构建由数字投影仪和两个摄像机组成的三维数字成像传感器，且设备位置相对固定，在传感器的测量范围内放置被测物体，物体需摆放在两个摄像机都可见的位置；
(2)顺序操作如下投射，采集过程
a)由计算机生成一幅数字散斑图案，用数字投影仪向被测物体投射，数字散斑图被物体的高度调制发生变形，产生调制后的数字散斑图，两个摄像机采集经物体调制的数字散斑图，并存储到计算机中；
b)由计算机生成一幅正弦条纹图案，用数字投影仪向被测物体投射，由于受物体高度变化的影响，条纹图案产生变形；被测物体的高度信息被编码在变形后的正弦条纹图案内，两个摄像机采集编码条纹图，并存储到计算机中；
(3)如此，得到了4幅图像，两幅散斑图，两幅编码条纹图，然后对图像进行处理
a)对编码条纹图利用相位解调算法，提取左右摄像机折叠相位图Фl、Фr；
b)根据折叠相位值Фl、Фr，利用左右两个摄像机的极线几何约束关系，对左摄像机上的一点Pl查找右摄像机上的一系列对应点(Pr1～Prn)；对左摄像机上的一点Pl，折叠相位值为Фl(Pl)，在点Pl在右摄像机上的对应极线上查找对应匹配点，右摄像机对应极线上点的折叠相位值为Фr(Pr1)～Фr(PrN)；设定相位差阈值ΔΦ，当(Фr(Pr1)～Фr(PrN))与Фl(Pl)的差值的绝对值小于ΔΦ时，则可以确定左摄像机上的点Pl在右摄像机上的一系列对应匹配点(Pr1～Prn)；
c)根据采集到的数字散斑图，在点Pl位置处，以点Pl为中心取一设定大小(5×5～11×11)的矩形子图，分别以右摄像机对应点(Pr1～PRn)为中心，取同样大小的矩形子图，计算左右摄像机子图间的相关系数(Corr_1～Corr_n)，比较相关系数大小，相关系数最大值为Corr_max；设定相关系数阈值T，如果Corr_max大于T，则确定左摄像机上的点Pl在右摄像机上的唯一对应匹配点Pr；
d)对左右摄像机所有的图像点，进行(a)、(b)、(c)的处理，得到全部的对应点对；
(4)三维数字成像系统的标定参数，将对应点对重建成三维点云数据。
2、根据权利要求1所述的数字散斑投影和相位测量轮廓术相结合的三维数字成像方法，其特征在于提取左右摄像机折叠相位图Фl、Фr具体步骤如下
(1)、计算机产生正弦条纹案，传输给数字投影仪，数字投影仪将正弦条纹投射至样品表面并经过样品表面高度编码变形以后，被摄像机采集到的编码条纹光强分布表示为
在(1)式中，I(x，y)为记录到的物面光强分布，a(x，y)为背景光强分布，b(x，y)为条纹的局部对比度，f0为载波频率，
是相位因子；
(2)、对式(1)进行傅立叶变换，在频谱±f0处得到带有信号
信息的频谱，经过带通滤波得到+1或者-1级频谱，并将其进行逆傅立叶变换既可得到
信息；具体计算过程如下
由欧拉公式可以将式(1)重新写成
g(x，y)＝a(x，y)+c(x，y)exp(i2πf0x)+c*(x，y)exp(-i2πf0x)(2)
其中，
(3)、经过傅立叶变换、滤波取+1级频谱，进行逆傅立叶变换运算后可以得到c(x，y)，结合欧拉公式，折叠相位
可以求得
(4)、根据相位解调算法，得到左右摄像机的折叠相位图Фl、Фr。
3、根据权利要求1所述的数字散斑投影和相位测量轮廓术相结合的三维数字成像方法，其特征在于所述基于极线几何约束和折叠相位的对应点查找具体步骤为
(1)、当两个摄像机同时对物体拍摄时，获得左右摄像机图像Il和Ir，如果ml和mr是空间一点M在两图像上的投影点，称ml和mr为对应点；令Cl和Cr分别是两个摄像机的光心，点mr在线lr上，称lr为在图像Ir上对应于点ml(位于图像Il上)的极线；令(Rt)为第二个摄像机相对于第一摄像机的位置变换，Kl，Kr分别为两摄像机的内参矩阵，R，Kl，Kr是3×3的矩阵，t是3×1的矩阵，由针孔模型推出
公式(4)称为极线方程，
和
是对应点ml和mr的齐次表示，ml的极线lr表示为左摄像机上的一点ml在右摄像机上的对应点mr必然在ml右摄像机上对应的极线lr上；
(2)、通过两个摄像机的内部参数Kl，Kr、两个摄像机的相对姿态位置R，t和左右摄像机的折叠相位Фl、Фr，利用极线几何约束确定左右摄像机的对应点；
(3)、根据折叠相位Фl、Фr，对于左摄像机上的一点Pl，相位值为Фl(Pl)，设定一个相位差阈值ΔФ，沿着该点在右摄像机对应的极线上查找对应点Pri，相位值为Фr(Pri)，当相位差满足
|Фl(Pl)-Фr(Pri)|＜ΔΦ(6)
则点Pri为点Pl的对应点，对于左摄像机上的点Pl会在右摄像机上查找到一系列的对应点对(Pr1～Prn)。
4、根据权利要求1所述的数字散斑投影和相位测量轮廓术相结合的三维数字成像方法，其特征在于找对应点对和重建出三维数据点的方法，具体步骤如下
(1)、计算机生成一幅数字散斑图案传给数字投影仪，数字投影仪将数字散斑图至样品上，经摄像机采集，以对应点对Pl和(Pr1～Prn)为中心，窗口大小为5×5～11×11，取散斑图的子图像；将点Pl的子图像A与点(Pr1～Prn)的子图像B(i)做相关计算
1≤i≤n(7)
其中A、B(i)为子图像A、B(i)的平均强度值，m，n大于1小于子图窗口大小
(2)、设定相关系数的阈值为T，比较所有相关系数，系数最大，且大于T的点，确定为左摄像机上的点Pl在右摄像机上的正确对应点Pr；
(3)、根据左右摄像机的对应点对和两个摄像机的内部参数Kl，Kr、相对姿态位置R，t，可以重建出三维数据点。
全文摘要
本发明涉及一种数字散斑投影和相位测量轮廓术相结合的三维数字成像方法，步骤为(1)向物体投射一幅随机数字散斑图，经左右两个摄像机采集；(2)向物体投射正弦条纹图，并采集相应的编码条纹图；(3)计算编码条纹图的折叠相位值；(4)根据折叠相位值，对左摄像机上的一点Pl查找右摄像机上的一系列对应点(Pr1～Prn)；(5)根据采集到的数字散斑图，在点Pl位置处，确定点Pl在右摄像机上的对应点Pr；(6)对左右摄像机的所有点都进行(4)、(5)的处理，求取所有的对应点对；(7)将对应点对重建成三维点云数据。本发明优点是该方法成像快速、计算量较小、结果准确，适合于对精度和速度要求都较高的在线三维检测、动态三维数据采集领域。
文档编号G01B11/25GK101608908SQ200910100748
公开日2009年12月23日 申请日期2009年7月20日 优先权日2009年7月20日
发明者劲 周, 赵晓波 申请人:杭州先临三维科技股份有限公司