基于学习的条纹相位恢复和散斑相关的三维测量方法与流程

本发明属于光学测量技术领域，具体为一种基于学习的条纹相位恢复和散斑相关的三维测量方法。

背景技术：

目前，快速三维形貌测量技术被广泛的应用于各个领域，如智能监控，工业质量控制和三维人脸识别等。在众多三维形貌测量方法中，基于结构光和三角测量原理的条纹投影轮廓术是最实用的技术之一，由于它具有无接触，全场，高精度和高效等优点。主流的条纹投影轮廓术一般需经过三个流程实现三维测量，分别是相位恢复，相位展开和相位到高度的映射。在相位恢复技术中，最常用的两种方法是傅里叶轮廓术和相移轮廓术。傅里叶轮廓术只需一张条纹图即可提取相位，但这种方法受到频谱混叠的影响，导致测量结果的质量很差，不能测量形貌复杂的物体。相比于傅里叶轮廓术，相移轮廓术具有对环境光不敏感、能够获得像素级相位测量的优点，它适合于测量具有复杂表面的物体。但是这个方法一般需要投影多幅相移条纹图(至少三幅)实现相位提取。随着高速相机和dlp投影技术的快速发展，使得相移轮廓术也可以用于实现快速三维测量。但是，傅里叶轮廓术和相移轮廓术都使用反正切函数提取相位，反正切函数的值域[0，2π]，因此这两种方法都只能得到包裹相位图，其中存在2π的相位跳变。因此，需要实施相位展开技术使包裹相位图变为绝对相位图。目前主流的相位展开方法是时域相位展开与空域相位展开。一方面，空域相位展开只需一幅包裹相位图即可实现相位展开，但是不能有效测量复杂物体或者多个孤立物体，容易出现相位展开错误。另一方面，时域相位展开能够稳定地展开包裹相位，但是需要使用多幅不同频率的-包裹相位图，这极大地影响相位展开的效率从而降低三维测量的速度。常用的空域相位展开技术有三个：多频法，多波长法和数论法。其中，多频法能够实现最好的相位展开结果，而多波长法则对噪声最敏感(文献“temporalphaseunwrappingalgorithmsforfringeprojectionprofilometry：acomparativereview”，作者chaozuo等)。多频法的原理是使用单周期的低频包裹相位展开高频包裹相位图，由于测量过程中的噪声影响，通常多频法只能展开频率为20的高频包裹相位图。而更高频率的相位图拥有更高的精度，因此为了实现高精度的三维测量往往需要投影多组不同频率的条纹图。这进一步降低了条纹投影轮廓术的测量效率从而抑制了其测量运动物体的能力。

因此，针对基于条纹投影轮廓术的三维成像技术而言，目前尚缺乏一种测量精度与测量效率兼得的方法。

技术实现要素：

本发明的目的在于提出了一种基于学习的条纹相位恢复和散斑相关的三维测量方法。

实现本发明目的的技术解决方案为：一种基于学习的条纹相位恢复和散斑相关的三维测量方法，具体步骤为：

步骤1：通过两个相机同步采集一张高频条纹图和一张散斑图；

步骤2：根据两个相机同步采集的散斑图案，基于立体匹配网络得到初始视差图；

步骤3：将高频条纹图输入训练好的u-net网络，获得包裹相位；

步骤4：利用包裹相位约束优化初始视差图，获得高精度视差图；

步骤5：根据相机的标定参数，将高精度视差图转换为三维信息，完成三维测量。

优选地，基于立体匹配网络得到初始视差图的具体方法为：

对来自两个不同视角的两张散斑图分别进行立体校正，将散斑图案裁剪为大小不同的块数据；

将块数据输入训练好的立体匹配网络，获得初始匹配成本；

采用基于半全局匹配的成本聚合方法对初始匹配成本进行优化；

通过胜者为王算法将具有最低成本值的候选视差作为整像素视差值，并通过五点二次曲线拟合模型获得具有亚像素精度的视差图。

优选地，所述立体匹配网络包括一个共享子网络和若干具有共享权重的全连接层，所述共享子网络包括依次堆叠在前端的一个卷积层和若干残差块，堆叠在后端的九个卷积层。

优选地，u-net网络训练时的标签为使用三步相移算法获得且去除背景信息后的反正切函数的分子项和分母项m(x，y)和d(x，y)。

优选地，去除背景信息的具体方法为：

将像素点对应的实际的条纹调制度与设定阈值作比较，若低于阈值，则将该像素点对应的反正切函数的分子项和分母项设为0。

优选地，像素点对应的实际的条纹调制度具体为：

其中，i1(x，y)，i2(x，y)，i3(x，y)为对应的三步相移条纹图光强。modulation(x，y)是实际的条纹调制度。

优选地，将高频条纹图输入训练好的u-net网络，获得包裹相位具体为：

将高频条纹图输入训练好的u-net网络，得到反正切函数的分子项和分母项m(x，y)和d(x，y)；

根据m(x，y)和d(x，y)得到包裹相位图具体为：

优选地，利用包裹相位约束优化初始视差图，获得高精度视差图的具体方法为：

根据初始视差图和包裹相位信息，通过最小化两个视角的包裹相位之间的差异实现基于相位信息的立体匹配，获得整像素的匹配点；

利用整像素的匹配点及其邻点的相位信息，通过线性插值算法完成亚像素匹配，获得高精度视差图。

本发明与现有技术相比，其显著优点为：本发明仅需要两张投影图案即可实现高速高精度的绝对三维形貌测量。

下面结合附图对本发明做进一步详细的描述。

附图说明

图1是本发明的流程图。

图2为本发明基于深度学习的鲁棒立体匹配算法的基本原理图。

图3为本发明基于改进的u-net型网络的高精度相位提取算法的基本原理图。

图4为本发明的基于学习的条纹相位恢复和散斑相关的三维测量方法的结果图。

具体实施方式

一种基于学习的条纹相位恢复和散斑相关的三维测量方法，仅需要两张投影图案即可实现高速高精度的绝对三维形貌测量，包括以下步骤：

步骤1：通过两个相机同步采集一张高频条纹图和一张散斑图。

进一步的实施例中，采集的高频条纹图为：

i(x，y)＝a(x，y)+b(x，y)cosφ(x，y)

其中，i(x，y)为高频条纹图光强，(x，y)为相机平面的像素坐标，a(x，y)为背景光强，b(x，y)为条纹的调制度，φ(x，y)为待求相位。采集的散斑图像光强为ispk(x，y)。

步骤2：根据两个相机同步采集的散斑图案，基于立体匹配网络得到初始视差图；

进一步地，基于立体匹配网络得到初始视差图的具体方法为：

对来自两个不同视角的两张散斑图分别进行立体校正，将散斑图案裁剪为大小不同的块数据，以便在网络的训练期间输入网络。

具体地，对于左相机，以从左相机采集的散斑图中某一待匹配像素(x，y)为中心进行裁剪，块数据blockl的大小为l×l。对应地，对于右相机，以从右相机采集的散斑图中像素(x，y)为中心进行裁剪，块数据blockr的大小为l×(l+d-1)。其中，该块数据blockr是以从右相机采集的散斑图中像素(x，y)为中心的长方形块，块数据blockr的上半径和下半径均为左半径为右半径为dmin和dmax分别表示立体匹配系统中的最小视差值和最大视差值，d为其绝对视差范围值，d＝dmax-dmin+1。

将块数据输入训练好的立体匹配网络，获得初始匹配成本；

所述立体匹配网络采用暹罗结构作为其匹配策略，包括一个共享子网络和若干具有共享权重的全连接层。

所述共享子网络，包括依次堆叠在前端以增强网络的特征提取能力的一个卷积层和若干残差块，以及堆叠在后端的九个具有有效填充的卷积层。例如，l为19pixels，将块数据blockl和块数据blockr分别输入到共享子网络中，获得大小为1×1×64和1×d×64的特征张量。将这两个特征张量沿着特征通道进行聚集可得到1×(d+1)×64的特征张量。将1×(d+1)×64的特征张量输入共享权重的全连接层以实现匹配成本计算，从而获得初始匹配成本。

采用基于半全局匹配(sgm)的成本聚合方法进一步优化初始匹配成本。

通过胜者为王算法(wta)直接将具有最低成本值的候选视差作为整像素视差值，并通过五点二次曲线拟合模型以获得具有亚像素精度的视差图。

步骤3：将高频条纹图输入训练好的u-net网络中以实现包裹相位的提取。

进一步的实施例中，u-net网络训练时的输入为采集到的高频条纹图i(x，y)，标签为去除背景信息后的反正切函数的分子项和分母项m(x，y)和d(x，y)。

标签的获取方法具体为：

使用三步相移算法得到获取包裹相位中所需的数据项m(x，y)和d(x，y)。然后去除m(x，y)和d(x，y)中的背景信息，以进一步增强网络对被测场景中有效信息的学习能力，具体为：

将像素点对应的实际的条纹调制度与设定阈值作比较，若低于阈值，则将该像素点对应的反正切函数的分子项和分母项m(x，y)和d(x，y)设为0，以去除m(x，y)和d(x，y)中的背景信息。

像素点对应的实际的条纹调制度计算公式为：

其中，i1(x，y)，i2(x，y)，i3(x，y)为对应的三步相移条纹图光强。modulation(x，y)是实际的条纹调制度。

图片中属于背景的像素点对应的modulation(x，y)比被测物体的像素点对应的modulation(x，y)小得多，在某些实施例中，设置一个合适的阈值来去除m(x，y)和d(x，y)中的背景信息，具体如下公式：

m(x，y)＝0ifmodulation(x，y)≤0.01

d(x，y)＝0ifmodulation(x，y)≤0.01

然后，将去除背景信息后的m(x，y)和d(x，y)作为网络的标签。通过这一优化策略，就可以发现，由于u-net网络直接输出的预测结果将仅在前景中具有有效值，而在背景中具有可忽略的值。

在网络测试期间，u-net网络的输入为采集到的高频条纹图i(x，y)，u-net网络的输出为反正切函数的分子项和分母项m(x，y)和d(x，y)，根据m(x，y)和d(x，y)得到包裹相位图具体为：

基于这些优化策略，基于u-net型网络的高精度相位提取算法可以成功提取高精度的包裹相位。

步骤4：利用包裹相位约束优化初始视差图，获得高精度视差图，具体为：

步骤2获得的初始视差图可为每个有效的待匹配点提供了一个粗略的匹配位置。根据初始视差图和包裹相位信息，通过最小化两个视角的包裹相位之间的差异来实现基于相位信息的立体匹配以获得整像素的匹配点。然后利用整像素的匹配点及其邻点的相位信息，通过线性插值算法实现亚像素匹配，从而获得高精度、稠密的视差图。

步骤5：基于两个相机视角之间的视差数据，利用相机的标定参数，将视差数据转为三维信息，最终实现高速高精度的绝对三维形貌测量。

本发明首先使用一个立体匹配网络从一张散斑图案中产生初始视差图(但精度较低)。然后使用一种改进的u-net网络从额外的一张条纹图案中高精度地提取包裹相位图(但具有深度歧义)。通过将包裹相位图用作附加约束来优化初始视差图，从而最终实现高速高精度的绝对三维形貌测量。本发明仅需要两张投影图案即可实现高速高精度的绝对三维形貌测量。

实施例：

为验证本发明的有效性，使用两台相机(型号aca640-750um，basler)，一台dlp投影仪(型号lightcrafter4500pro，ti)以及一台计算机构建了一套基于学习的条纹相位恢复和散斑相关的三维测量装置。该套装置在进行物体的三维测量时的拍摄速度为25帧每秒。利用步骤1、2所述，使用一个立体匹配网络从一张散斑图案中产生初始视差图(但精度较低)。图2为本发明的基于深度学习的鲁棒立体匹配算法的基本原理图。利用步/3所述，使用一种改进的u-net网络从额外的一张条纹图案中高精度地提取包裹相位图(但具有深度歧义)。图3为本发明的基于改进的u-net型网络的高精度相位提取算法的基本原理图。利用步骤4、5所述，通过将包裹相位图用作附加约束来优化初始视差图，从而最终实现高速高精度的绝对三维形貌测量。整个实验中，投影并拍摄1200组数据，其中800组作为训练集，200组作为验证集，200组作为测试集。值得注意的是，训练集、验证集和测试集中的数据均不重复使用。设置网络的损失函数为均方误差(mse)，优化器为adam，设置网络的训练周期为500轮。图4为本发明的基于学习的条纹相位恢复和散斑相关的三维测量方法的结果图。图4这个结果证明，本发明仅需要两张投影图案即可实现高速高精度的绝对三维形貌测量。