一种隐式相位-视差映射的双目测量缺失点云插补方法与流程

本发明涉及双目条纹投影三维面形测量点云数据孔洞插补的技术领域，特别涉及一种隐式相位-视差映射的双目测量缺失点云插补方法。

背景技术：

基于条纹投影的结构光三维测量技术(fringeprojectionprofilometry:fpp)具有非接触、全场获取、分辨率高、测量精度高等优点，已成为重要的三维数据测量手段。fpp的市场应用领域广泛，如基于红外条纹投影的3d人脸数据测量fpp为具有更好防伪性的3d人脸识别提供基本的数据来源，在国土安防安全和支付安全等领域fpp成为生物识别新技术的争夺战场；在航空航天等高端制造中，fpp用于对部组件复杂面形的三维数据测量与检测；fpp还应用于逆向工程、文物数字化保护、口腔正畸和虚拟现实等领域。

fpp技术中，基于条纹投影的双目测量系统因其测量精度高而更受青睐。由于双目系统图像对应点的匹配是在两台相机测量视场的公共区域中进行的，而系统中两台相机的位置存在一定夹角，容易受待测物体表面的遮挡和阴影等因素影响，出现一幅图像中的相位值在另一幅图像中无法找到对应的匹配相位，也就无法获取该点的视差值，最终在物体重建的三维点云数据中对应出现缺失和孔洞，影响被测物体三维模型的完整性及重建质量。因此，对点云数据中的孔洞进行补全具有重要价值。

近年来，国内外许多学者对重建缺失区域点云数据进行了研究。wangj在对点云数据作三角剖分的基础上，提出一种移动最小二乘方法插补点云的缺失部分，但在缺失区域形状复杂时效果不够理想。dineshc提出一种基于样本结构的三维点云插补方法，缺失区域较大时仍有较好结果，但算法复杂且存在大量迭代过程，耗时较多。雷彦章提出一种单双目结合的测量方法，分别将两个相机与投影仪组成两套单目系统对缺失区域进行补全，但是需要同时进行双目系统和单目系统标定及完成三套系统坐标系的统一。张利萍基于盖绍彦提出的相位-高度映射模型提出一种双目点云重建单目点云的方法，但在计算该映射模型参数时会引入误差。于瑾提出一种改进的最近点迭代(icp)算法，提高了算法鲁棒性，将不同视角下的点云数据融合到相同坐标系下，但仍存在多次迭代耗时的问题。耿英楠提出了一种基于rgb矢量空间的三目立体匹配算法，改善了遮挡区域和其他一些原因导致的误匹配问题，但是增加了一台相机的成本，且计算过程较为复杂。李承杭等针对竖直条纹相位高度映射近似相等假设提出隐式相位-高度映射的单双目测量方法，但该方法依靠近似数假设导致不够精度。上述方法对重建缺失区域点云数据虽有改进，但都存在着不同的缺陷，因此，需要对重建缺失区域点云数据进行改进，以克服缺陷。

作为本发明最接近的现有技术，专利《一种基于相位伪映射的双目测量缺失点云插补方法》(公开号)公开了一种基于相位伪映射的双目测量缺失点云插补方法，对上述重建缺失区域点云数据的方法进行了改进，孔洞插补中计算过程简单，耗时少，效率高，成本低。步骤包括：1，获取双目点云数据，并确定孔洞区域；2，根据所述孔洞区域周围每一列的相位和双目点云数据，计算出孔洞区域内相位-高度映射参数；3，根据孔洞区域内相位-高度映射参数，对孔洞区域相应列的单相机可见相位进行伪相位-高度映射重建，依次完成孔洞区域内每一列的高度数据计算；4，将孔洞区域的高度数据转换到双目视觉点云坐标系，得到完整的点云。但是从步骤中看到，基于双目相机建立了孔洞区域内相位-高度的映射关系，并且基于单目相机建立了伪相位-高度的映射关系，然而两个映射关系计算出的高度未经过修正，因此精度存在着一定的差异，将孔洞区域的点云数据补入后，在孔洞区域边界有明显的分层现象和边界阶梯跳变，三维重建效果欠佳。另外，方法中，先要基于双目相机建立孔洞区域内相位-高度的映射关系，还要基于单目相机建立了伪相位-高度的映射关系，步骤上也略显繁琐，影响了数据处理的速度。

技术实现要素：

本发明的目的在于，对现有的基于相位伪映射的双目测量缺失点云插补方法进行改进，在步骤中增加了归一化处理，并简化了模型建立的过程，不再需要基于双目相机建立孔洞区域内相位-高度的映射关系，而是直接建立单个相机中去载频展开相位与匹配视差之间的数学模型，即隐式相位-视差关系模型，再根据空洞区域每个像素点的归一化单相机相位值，求得孔洞区域的视差，从而补全孔洞区域的点云数据，因此提出了一种隐式相位-视差映射的双目测量缺失点云插补方法。

为了实现上述发明目的，本发明提供了以下技术方案：

一种隐式相位-视差映射的双目测量缺失点云插补方法，包括以下步骤：

s1，基于双目相机视差匹配原理计算得到双目匹配视差数据，获得与双目匹配视差数据相对应的视差匹配成功区域，并确定未生成双目匹配视差数据的视差缺失区域；

s2，根据参考基准平面的单相机相位，对视差缺失区域的单相机相位进行归一化处理，获得视差缺失区域的归一化单相机相位；

s3，根据视差匹配成功区域的单相机相位和双目匹配视差数据，计算隐式相位-视差映射关系模型参数；

s4，根据视差缺失区域的归一化单相机相位和隐式相位-视差映射关系模型参数，计算视差缺失区域的视差数据；

s5、根据视差缺失区域的视差数据和双目匹配视差数据，获得完整的视差数据，并根据完整的视差数据计算出完整的三维点云数据。

进一步的，步骤s2包括以下步骤：

a，获取双目相机中左相机或右相机的视差缺失区域相应的单相机相位；

b，将视差缺失区域相应的单相机相位减去参考基准平面的单相机相位，得到归一化单相机相位。

作为本发明的优选方案，参考基准平面的单相机相位的获取包括以下步骤：

对双目相机视差测量系统进行内外参数标定后，对参考基准平面进行测量，获得参考基准平面左相机展开相位和右相机展开相位，左相机展开相位或右相机展开相位为参考基准平面的单相机相位。

作为本发明的优选方案，在获取视差缺失区域相应的单相机相位之前，还要进行视差缺失区域单相机相位的完整性判断，完整性判断是指：针对视差缺失区域，判断是基于左相机获取的单相机相位更完整还是基于右相机获取的单相机相位更完整，若基于左相机获取的单相机相位更完整，则将视差缺失区域相应的左相机相位减去参考基准平面的左相机展开相位，得到归一化单相机相位；若基于右相机获取的单相机相位更完整，则将视差缺失区域相应的右相机相位减去参考基准平面的右相机展开相位，得到归一化单相机相位。

进一步的，步骤s3中的隐式相位-视差映射关系模型表示为：

其中，scale(u,v)是隐式相位-视差映射关系模型参数，dng(u,v)是视差匹配成功区域相应的双目匹配视差数据；是视差匹配成功区域相应的单相机相位，u是图像中的列坐标，v是图像中的行坐标。

作为本发明的优选方案，最优隐式相位-视差映射关系模型参数的计算包括以下步骤：

对视差匹配成功区域的单相机相位进行归一化处理，获得视差匹配成功区域的归一化展开相位；

对视差匹配成功区域的视差数据进行归一化处理，获得视差匹配成功区域的归一化视差数据；

根据视差匹配成功区域的归一化展开相位和视差匹配成功区域的归一化视差数据，基于隐式相位-视差映射关系模型，计算归一化的相位和视差比例系数；

对归一化的相位和视差的比例系数进行最小二乘优化，计算出最优隐式相位-视差映射关系模型参数。

进一步的，最优隐式相位-视差映射关系模型参数的数学表达式为：

其中，scalej是视差匹配成功区域中单个像素点相应的归一化的相位和视差比例系数，j是像素点的编号，n是像素点的总数，scale是最优隐式相位-视差映射关系模型参数。

进一步的，步骤s4中计算视差缺失区域的视差数据的公式表示为：

其中，scale是最优隐式相位-视差映射关系模型参数，dnk(u,v)是视差缺失区域的视差数据，是视差缺失区域的归一化单相机相位，u是图像中的列坐标，v是图像中的行坐标。

作为本发明的优选方案，三维点云数据的计算公式是：

其中，xc,yc,zc是双目点云数据三维坐标，d＝uleft-uright，d是物体表面同一点在左右像平面上的匹配点在图像列方向的像素坐标之差，uleft是物体表面同一点在左像平面上的图像列坐标，uright是物体表面同一点在右像平面上的图像列坐标，b为双目相机光心间距离，f为相机有效焦距，物体表面同一点在左右像平面上行坐标相等，vleft＝vright＝v。

基于相同的构思，本发明还提出了一种隐式相位-视差映射的双目测量缺失点云插补系统，包括至少一个处理器，以及与至少一个处理器通信连接的存储器；存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述任一项的方法。

与现有技术相比，本发明的有益效果：

1、本发明的方法直接建立隐式相位-视差关系模型，根据孔洞的归一化单相机相位和隐式相位-视差关系模型直接计算出孔洞视差数据，最后将完整的视差数据由双目立体视觉计算公式计算出三维点云。步骤中，对孔洞区域单个相机的展开相位和视差，通过参考基准平面的展开相位和视差，进行了坐标系归一化处理，并根据左右相机绝对相位、匹配视差和被测面形高度三者之间的关系，得出了展开相位和匹配视差之间的数学模型，即隐式相位-视差关系模型，根据孔洞区域单个相机的展开相位和隐式相位-视差关系模型，求得孔洞区域的视差数据，在求取孔洞区域内像素相位对应的视差时，避免了因映射关系中精度不一致造成的插补点云数据分层现象和边界阶梯跳变的现象。

2、本发明的方法使得双目测量缺失点云插补方法的步骤进一步简化，只建立一个隐式相位-视差关系模型，就完成了孔洞视差的补全，方法更简单，计算速度更快。

附图说明

图1为本发明实施例1中的双目条纹投影三维测量系统的测试原理图；

图2为本发明实施例1中的左相机和右相机分别获得完整的单相机相位示意图；

图3为本发明实施例1中的物体重建三维点云数据出现孔洞现象示意图；

图4为本发明实施例1中的一行像素数据对应匹配视差与单相机原始相位的关系；

图5为本发明实施例1中统一坐标系后经过比例乘积的相位与视差的关系；

图6为本发明实施例1中的一种隐式相位-视差映射的双目测量缺失点云插补方法流程图；

图7为本发明实施例1中的基于条纹投影双目测量系统获取的存在孔洞的视差数据示意图；

图8为本发明实施例1中的双目系统测量不同物体结果中孔洞实例示意图；

图9为本发明实施例1中的采用本发明的方法进行孔洞视差填补后相应物体的三维重建无孔洞实例示意图。

具体实施方式

下面结合试验例及具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。

实施例1

本发明研究对象为基于条纹投影的双目结构光三维测量系统，特别是研究双目条纹投影系统中缺失数据的高精度计算方法。

在双目条纹投影测量系统中，图像同名点的不匹配是指，在两台相机视场的公共区域，如图1所示，两台相机存在的夹角对于复杂面形物体表面易受遮挡影响，出现一幅图像中的相位值在另一幅图像中无法找到对应匹配相位。由于图像同名点的不匹配，因此无法获取该点视差值，最终导致物体重建三维点云数据出现孔洞现象。三维点云数据出现孔洞现象由图2和图3所示，可以进一步理解为：如图2所示，左相机能完整的拍摄到条纹投影图像的鼻翼左侧部分，获得左相机单相机相位，但是由于被遮挡，右相机不能拍摄到相应的鼻翼左侧部分，因此鼻翼左侧部分同名点不匹配，视差值无法计算，同理，鼻翼右侧部分的视差值也无法计算，在重建三维点云数据是，就出现了如图3所示的鼻翼两侧的孔洞现象，因此需要对孔洞部分进行视差补全。

在基于相位的双目视差匹配算法中，由预先标定好的摄像机内参数、双目相机之间相对的旋转及平移参数对左右相机展开相位进行立体校正，校正后的相位图像中同名点处于同一行上，左相机中的任一相位值只需在右相机同一行上查找等相位值像素点即可完成高精度视差匹配。

在以上基于相位匹配的结构光测量计算流程中，其涉及的左右相机绝对展开相位、匹配视差和被测面形高度存在着如下关系：

1)匹配视差与被测面形高度成反比；

2)去载频后的相位与被测面形高度成正比；

因此，单个相机中所计算的去载频展开相位与匹配视差之间必然有着统一且精确的数学模型，即隐式相位-视差关系模型。如图4所展示的一行像素对应信息所示，其含有载频的相位与匹配视差并未显示出存在某种定性的关系。当去掉载频后通过坐标统一和比例变换则其相位与匹配视差呈现出完美的一致性，如图5所示。

对比图4和图5，得到了这样的启示，去载频统一坐标系后可建立双目匹配视差数据与单相机相位之间一定的关系，即生成隐式相位-视差关系模型，通过隐式相位-视差关系模型可直接通过孔洞区域的单相机相位，计算得到孔洞区域的视差数据，完成孔洞区域的视差补全。双目匹配视差数据的统一坐标系和去载频，可以采用基准平面的展开相位和匹配视差来实现。

具体的基于相位伪映射的双目匹配缺失点云插补方法流程图如图6所示，包括以下步骤：

s1，基于双目相机视差匹配原理计算得到双目匹配视差数据，获得与双目匹配视差数据相对应的视差匹配成功区域，并确定未生成双目匹配视差数据的视差缺失区域；

s2，根据参考基准平面的单相机相位，对视差缺失区域的单相机相位进行归一化处理，获得视差缺失区域的归一化单相机相位；

s3，根据视差匹配成功区域的单相机相位和双目匹配视差数据，计算隐式相位-视差映射关系模型参数；

s4，根据视差缺失区域的归一化单相机相位和隐式相位-视差映射关系模型参数，计算视差缺失区域的视差数据；

s5、根据视差缺失区域的视差数据和双目匹配视差数据，获得完整的视差数据，并根据完整的视差数据计算出完整的三维点云数据。

作为优选方案，步骤s1中包括以下步骤：

首先，对测量系统参数进行校准与标定。

采用张正友二维平面标定法对条纹投影双目测量系统进行内外参数标定；标定后，双目测量系统对标准平面进行测量，对获取的平面条纹图像计算展开相位，根据标定参数对相位图像作极线校正，以相位值为基元进行立体匹配计算视差。完成对参考基准平面参数的测量和数据保存，分别获得左右相机的展开相位与视差dk0(u,v)，k代表左相机和右相机，u是图像中的列坐标，v是图像中的行坐标。

其次，采用该双目测量系统，中间投影仪投射条纹到被测物体，左右两个相机拍照，获取调制后的条纹图像，根据双目视觉成像模型计算出左右相机所拍摄的公共区域的三维坐标数据，即获取了双目点云数据。

双目视觉成像模型如式(1)所示：

式中d＝uleft-uright，即视差，是物体表面同一点在左右像平面上的匹配点在图像列方向的像素坐标之差；uleft是该点在左像平面上的列坐标，uright是该点在右像平面上的列坐标。对于极线校正后的左右两幅图像是行对准的，即图像的行坐标vleft＝vright＝v。两相机光心间距离为极线b，相机有效焦距为f，极线b和相机有效焦距f均由系统参数标定中获得。

由上述计算过程可以知道，要计算双目点云数据，计算视差是关键。因此测量时，获取被测物体的调制条纹图像序列后，就可以得到左相机绝对展开相位或右相机绝对展开相位，并根据双目相机视差匹配原理计算出双目匹配视差数据，此时，计算出双目匹配视差数据的区域为视差匹配成功区域，同时，由于被遮挡，无法计算视差值的区域也被确定，命名为视差缺失区域。基于条纹投影双目测量系统获取的存在孔洞的视差数据示意图如图7所示，其中灰色点表示双目成功匹配的视差对应像素点位置，黑色点表示视差孔洞区域对应的像素点，u是图像中的列坐标，v是图像中的行坐标。

作为优选方案，步骤s2具体包括以下步骤：

利用步骤s1中获得的参考基准平面左右相机的展开相位与视差dk0(u,v)对获取的展开相位和视差数据进行坐标系归一化处理。

获取双目相机中左相机或右相机的视差缺失区域相应的单相机相位。在获取视差缺失区域相应的单相机相位之前，还要进行视差缺失区域单相机相位的完整性判断，完整性判断是指：针对视差缺失区域，判断是基于左相机获取的单相机相位更完整还是基于右相机获取的单相机相位更完整，若基于左相机获取的单相机相位更完整，则将视差缺失区域相应的左相机相位减去参考基准平面的左相机展开相位，得到归一化单相机相位；若基于右相机获取的单相机相位更完整，则将视差缺失区域相应的右相机相位减去参考基准平面的右相机展开相位，得到归一化单相机相位。

将视差缺失区域相应的单相机相位减去参考基准平面的单相机相位，得到视差缺失区域归一化单相机相位。计算过程可表示为：

其中，是视差缺失区域相应的单相机相位，是参考基准平面左右相机的展开相位，是视差缺失区域归一化单相机相位，u是图像中的列坐标，v是图像中的行坐标。

进一步的，步骤s3中，根据视差匹配区域的单相机相位和双目匹配视差数据建立的隐式相位-视差映射关系模型表示为：

其中，scale(u,v)是隐式相位-视差映射关系模型参数，dng(u,v)是视差匹配区域相应的双目匹配视差数据；是视差匹配区域相应的单相机相位，u是图像中的列坐标，v是图像中的行坐标。

对每个像素所计算的scale(u,v)理论值均相等，即scale(u,v)的所有值均在同一个空间平面，为了获得更加稳定的隐式相位-视差映射关系模型参数。将视差成功匹配区域归一化后的展开相位与视差dng(u,v)数据所计算的scale(u,v)进行最小二乘优化，计算出最优的隐式相位-视差映射关系模型参数scale。

最优隐式相位-视差映射关系模型参数scale的计算包括以下步骤：

a、对视差匹配区域的单相机相位进行归一化处理，获得视差匹配区域的归一化展开相位；

b、对视差匹配区域的视差数据进行归一化处理，获得视差匹配区域的归一化视差数据；

c、根据视差匹配区域的归一化展开相位和视差匹配区域的归一化视差数据，基于隐式相位-视差映射关系模型，计算归一化的相位和视差比例系数；

d、对归一化的相位和视差的比例系数进行最小二乘优化，计算出最优隐式相位-视差映射关系模型参数。

最优隐式相位-视差映射关系模型参数的数学表达式为：

其中，scalej是所述视差匹配区域中单个像素点相应的归一化的相位和视差比例系数，j是像素点的编号，n是像素点的总数，scale是最优隐式相位-视差映射关系模型参数。

其中步骤s4具体为：将步骤s2中计算得到的视差缺失区域归一化单相机相位和步骤s3中计算得到的最优隐式相位-视差映射关系模型参数scale代入隐式相位-视差映射关系模型，就求得了视差缺失区域的视差数据，计算所述视差缺失区域的视差数据的公式表示为：

其中，scale是最优隐式相位-视差映射关系模型参数，dnk(u,v)是所述视差缺失区域的视差数据，是所述视差缺失区域的归一化单相机相位，u是图像中的列坐标，v是图像中的行坐标。

最后，步骤s5中，根据视差缺失区域的视差数据和双目匹配视差数据，获得完整的视差数据，将完整的视差数据代入公式(1)中，就计算出完整的三维点云数据。

双目系统测量不同物体结果中孔洞实例示意图如图8所示，采用本发明的方法进行孔洞视差填补后相应物体的三维重建无孔洞实例示意图如图9所示。有对比可以看出，完全消除了孔洞，并且计算数据较快。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。