基于单帧结构光的主被动结合深度信息获取方法与流程

本发明属于计算机视觉测量技术领域，主要涉及一种对动态或静态物体三维信息获取的方法，可用于人机交互、3d打印、逆向工程和文物重建等领域。

背景技术：

深度信息获取是指利用特定设备获得场景中目标物体到设备之间的距离信息。传统的成像设备只能采集到空间域上的二维信息，空间域上的深度信息没有被采集到。随着人们的生活水平不断提高，传统的二维信息已不再满足人们实际生活的需求。因此，如何快速、高效地获取场景三维信息成为当前研究的热点。

当前深度获取方法主要分为两大类：被动式测量法和主动式测量法。被动式测量法是利用自然场景光源在目标物体表面反射或散射后获得该场景图像，并利用场景中的特征点计算场景深度信息。常见的被动式测量法有立体视觉法、阴影测量法和聚焦法等方法。其中应用最为广泛的立体视觉法是通过模拟人的双眼进行场景深度的测量。被动式测量法无需额外光源，且对成像设备要求不高，操作简单，容易实现。然而该类方法极其依赖于环境光，故而对于环境会有一定的要求，且对于某些纹理比较简单、特征比较少的场景来说，该方法计算复杂度较高，测量结果精度较低。主动式测量法是向场景中投射特定的光源，通过检测经物体表面反射的光波，实现场景深度测量。由于主动式测量法向场景中投射特定光源，增加了被测场景中的信息量，因此该类方法测量的精度较高。根据深度获取原理的不同，主动式深度测量法主要有飞行时间法、激光测量法和结构光法三种。

飞行时间法，是通过记录光源从发射到经物体表面返回所用的时间来计算物体到设备之间的距离信息。飞行时间法原理简单，不需要进行图像处理，适用于大型曲面的测量，但由于被测场景表面是由无数个点组成，因此飞行时间法测量精度一般都比较低。

激光测量法，是通过激光器向场景中投射激光再根据三角测量原理计算得到距离信息。激光测量法精度高、稳定性高、同时具备高鲁棒性，然而该方法需要逐点扫描，对设备要求比较高且比较耗时，数据获取效率低。

结构光深度测量法，其原理是利用投射设备向场景中投射具有编码信息的光学模板，再通过图像采集设备获取经被测场景调制过的变形模板，通过投射模板与变形模板之间对应点的匹配实现待测场景的深度测量。这种方法既利用了图像作为信息载体，又利用可控光源形成明显纹理特征，能够对诸如缺乏纹理、光滑、无明显灰度的表面区域进行精确的深度测量。结构光深度测量法具有结构简单、测量速度快和精度高等特点，已得到广泛应用。该结构光深度测量法根据投射图案的不同可以分为点结构光法、线结构光法和面结构光法。其中：

点结构光法，是向待测场景投射点状物，经过逐点扫描得到待测场景的深度数据。这种方法测量效率低，不适用于动态场景的深度测量。

线结构光法，是通过投影设备向待测场景中投射线结构光，并在一个方向上扫描实现物体深度信息的获取，相比于点结构光，线结构光大大提升了测量效率，然而该方法测量精度低且对环境光比较敏感。

面结构光法，是向被测场景投射具有特定编码二维图像，该方法可以对场景中特定区域内的所有像素点实现唯一编码。该方法不仅结构简单，测量效率高，而且还具有测量精度高、分辨率高等优点。面结构光法中最为常用的方法是相移编码法，该方法不仅具有测量精度高、分辨率高的优点，还具有鲁棒性好的优点，但该方法存在解相位缠绕耗时低效的问题。传统的面结构光法通常需要投射多帧模板，很难实现对动态场景的实时深度测量，虽然单帧结构光测量法能够对动态场景的实时深度测量，但该方法测量精度和分辨率都不高。因此寻找一种高精度、高分辨率的动态场景实时深度测量法是当前该领域的研究热点之一。

技术实现要素：

本发明的目的在于针对上述已有技术的不足，提出了一种基于单帧结构光的主被动结合深度信息获取方法，以在保证深度信息测量准确度和分辨率的情况下，实现对动态场景的深度获取。

实现本发明的技术关键是：在传统多帧相移法的基础上，添加一个摄像机，构成由两个摄像机和一个投影仪组成的深度信息获取系统。通过投影仪向场景中投射一幅相移编码模板，随后由摄像机获得经场景调制后的变形模板并求得截断相位，同时使用滤波器恢复出自然场景图像，再使用被动式双目匹配法并得到场景粗深度数据，并根据粗深度数据指导截断相位展开过程，进而得到精确深度信息。其实现步骤包括：

(1)将左摄像机cl、右相机cr和投影仪p水平放置，并使三者光轴平行，在投影仪p中载入一幅相位编码图像t；

(2)用投影仪p将相位编码图像t投射到目标物体上，用左摄像机cl拍摄一幅经目标物体调制后的左变形模板图像用右摄像机cr拍摄一幅与左摄像机相同场景下的右变形模板图像

(3)将右变形模板图像与二维gabor滤波器进行卷积，得到右变形模板图像的截断相位

(4)滤除两个变形模板图像和中的余弦基频分量，得到两幅不含编码信息的左自然场景图像il和右自然场景图像ir，再将这两幅自然场景图像il和ir进行被动双目匹配，计算得到粗深度z0；

(5)根据粗深度z0求得右变形模板图像上像素点pr(x,y)在相位编码图像t上的粗匹配点

(6)利用粗匹配点的坐标对截断相位进行相位展开，得到绝对相位φ(x,y)，再根据绝对相位计算右变形模板图像上像素点pr(x,y)在相位编码图像t上的精确匹配点pp(i,j)；

(7)根据精确匹配点pp(i,j)与右变形模板图像上像素点pr(x,y)的坐标，利用三角测距原理，计算得到精确深度信息z。

本发明与现有技术相比具有以下优点：

1)本发明由于仅使用了一幅投射模板，无需对场景投射多张不同编码模板，避免了投射多张模板需要解决摄像机与投影仪之间的同步及需要场景静止的问题，因此能够实现对动态场景的高精度、高分辨率的实时深度信息获取。

2)本发明结合了主动式和被动式深度获取方法的优点，避开了传统相移法在相位展开时所存在的耗时低效的问题，同时也保证了深度信息获取的准确度、高分辨率和高鲁棒性。

3)本发明在传统相移深度获取方法的基础上仅增加了一个摄像机，实现简单。

附图说明

图1为本发明使用的系统框图；

图2为本发明的实现流程图；

图3为本发明使用的相移编码模板；

图4为用本发明获得的场景调制后的模板图及其余弦条纹截断相位图；

图5为用本发明获得的恢复后的自然场景图；

图6为用本发明获得的目标物体的深度图。

具体实施方式

本发明在传统相移深度测量法的基础上只增加了一个摄像机，并且仅投射一幅相位编码图像，实现对动态场景的高精度、高分辨率的实时深度测量。以下参考附图对本发明作进一步详细描述。

参考图1，本发明使用的三维扫描系统包括：待扫描的目标物体、左摄像机cl、右摄像机cr和投影仪p。投影仪p用于向目标物体投射一幅相位编码图像，两个摄像机用于分别拍摄经目标物体调制后的变形模板图像。

参考图2，本发明的具体实现步骤如下：

步骤1，设计相位编码图像t，并将其载入到投影仪p中。

1a)采用余弦函数设计一幅相位编码图像t，该相位编码图像中像素点(i,j)处的灰度值ip(i,j)为：

其中，tp为余弦函数的周期，a表示余弦函数的直流分量，b表示余弦函数调制振幅，为初始相位，j为像素点(i,j)的列坐标；

由上述各像素点得到的相位编码图像t，如图3所示；

1b)将左摄像机cl、右摄像机cr和投影仪p水平放置，且三者光轴平行，并将上述相位编码图像t载入到投影仪p中。

步骤2，获取变形模板图像。

2a)用投影仪p将相位编码图像t投射到目标物体上；

2b)用左摄像机cl拍摄一幅经目标物体调制后的左变形模板图像用右摄像机cr拍摄一幅与左摄像机相同场景下的右变形模板图像并将这左右两幅变形模板图像传至计算机，其中由右摄像机cr获得的右变形模板图像如图4(a)所示。

步骤3，获取右变形模板图像的截断相位

3a)通过下式对右变形模板图像与二维gabor滤波器进行卷积：

其中，为gabor滤波器的核函数，*为卷积运算符，g(x,y)为卷积结果，该卷积结果为复数，其复数表达式为：

g(x,y)＝gr(x,y)+igi(x,y)，<3>

其中，gr(x,y)为g(x,y)的实数部分，gi(x,y)为g(x,y)的虚数部分，i为纯虚数；

3b)将卷积结果的虚数部分除以实数部分并取反正切得到右变形模板图像的截断相位

其中，arctg为取反正切运算，获得的截断相位值的范围为[-π,π)。

本步骤得到的截断相位如图4(b)所示，图4(b)中每个像素点的灰度值为截断相位值。

步骤4，获取自然场景图像，进行被动双目匹配，计算粗深度z0。

被动双目匹配算法包含动态规划算法、本证曲线匹配算法、非对应性算法和置信传播算法，本实例采用但不限于置信传播算法，其实现步骤如下：

4a)获取左自然场景图像il：

4a1)将左变形模板图像沿着水平方向进行傅里叶变换，得到的频谱图

其中，il(f)为左变形模板图像的零频分量，为频谱图中的负余弦频率分量，为频谱图中的正余弦频率分量，tp为相位编码图像中条纹的周期；

4a2)对上述频谱图进行滤波，滤除其中的两个余弦频率分量，得到左变形模板图像的零频分量il(f)：

其中g(f)为频率滤波器；

4a3)对零频分量il(f)进行傅里叶反变换，得到左自然场景图像il；

4b)获取右自然场景图像ir：

4b1)将右变形模板图像沿着水平方向进行傅里叶变换，得到的频谱图

其中，ir(f)为右变形模板图像的零频分量，为频谱图中的负余弦频率分量，为频谱图中的正余弦频率分量，tp为相位编码图像中条纹的周期；

4b2)对上述频谱图进行滤波，滤除其中的两个余弦频率分量，得到右变形模板图像的零频分量ir(f)：

其中g(f)为频率滤波器；

4b3)对零频分量ir(f)进行傅里叶反变换，得到右自然场景图像ir；

由步骤4b)得到的右自然场景图像ir的效果如图5所示；

4c)先将左自然场景图像il和右自然场景图像ir存入到计算机，再调用计算机中的sum-product函数，把左右这两个自然场景图像il和ir作为该函数的输入，计算得到il与ir之间每一点置信度最大的视差值d；

4d)根据视差值d，计算得到粗深度z0：

其中，fr表示摄像机cr的焦距，b为左摄像机cl的光心到右摄像机cr的光心的距离。

本步骤得到的粗深度图如图6(a)所示。

步骤5，获取相位编码图像t上的粗匹配点

5a)根据粗深度z0求出粗匹配像素点的列坐标

其中，np为投影仪p的投影平面宽度，nr为右摄像机cr拍摄图像的宽度，lp为投影仪p中每个像素点的实际长度，lr为摄像机cr中每个像素点的实际长度，y为右变形模板上像素点pr(x,y)的列坐标，b为左摄像机cl的光心到右摄像机cr的光心的距离；

5b)根据外极限约束定理，得到粗匹配像素点的行坐标

其中，x为右变形模板图像上像素点pr(x,y)的行坐标。

步骤6，计算绝对相位φ(x,y)，并获取相位编码图像t上的精确匹配点pp(i,j)。

6a)计算截断相位的延拓周期数n：

其中，[·]表示四舍五入取整操作，tp为余弦函数的周期，为粗匹配点的列坐标；

6b)根据延拓周期数n，得到右变形模板图像上像素点pr(x,y)的绝对相位φ(x,y)：

6c)根据绝对相位φ(x,y)，计算精确匹配点pp(i,j)的列坐标j：

其中，tp为余弦函数的周期；

6d)由外极限约束定理可知，则右变形模板图像上像素点pr(x,y)与其在相位编码图像t上对应的精确匹配点pp(i,j)的行坐标相同，即得到：

i＝x<15>

其中，x为右变形模板图像上像素点pr(x,y)的行坐标。

步骤7，计算精确深度信息z。

7a)计算右变形模板图像上像素点pr(x,y)与其对应的精确匹配点pp(i,j)之间的视差δd(x,y)：

δd(x,y)＝y-j<16>

其中，y为右变形模板图像上像素点pr(x,y)的列坐标，j为精确匹配点pp(i,j)的列坐标；

7b)根据三角测距原理，利用右变形模板图像上像素点pr(x,y)与其对应的精确匹配点pp(i,j)的空间关系，计算右变形模板图像上像素点pr(x,y)处的精确深度信息z(x,y)：

其中b表示右摄像机cr与投影仪p之间的距离，fr表示右摄像机cr的焦距；

7c)按照上述所有步骤，计算右变形模板图像上所有像素点的精确深度信息，得到待测物体上的精确深度信息值z。

本步骤得到待测物体的精确深度信息图如图6(b)所示。

以上描述仅是本发明的一个具体事例，并不构成对本发明的任何限制。显然对于本领域的专业人员来说，在了解了本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修正和改变，但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。