一种基于相位匹配的飞机蒙皮图案三维测量方法及系统

1.本发明属于三维测量领域，更具体地，涉及一种基于相位匹配的飞机蒙皮图案三维测量方法及系统。


背景技术：

2.飞机蒙皮等大型薄壁零件的加工中常采用激光刻线等方式对待铣切区域的边缘进行刻线，然后据此去除保护胶膜进行腐蚀加工，以铣出减重槽或者加强筋，是飞机零件加工必不可少的加工方法之一。其中，激光刻线所得到的图案精度是后续铣切区域腐蚀准确性的重要保证。传统方法一般采用人工与加工样板进行比对，效率低且准确性难以保证，无法满足实际零件的测量效率与精度需求。
3.针对这一问题，常见的自动化三维测量方法如三坐标机、结构光法、被动双目立体视觉等都难取得较好的效果。其中，三坐标机难以直接针对加工图案的轮廓进行定位，无法进行测量；结构光法会重建出整个曲面，难以提取出轮廓点云进行比对；被动双目立体视觉方法可以直接重建出轮廓点云，传统被动双目轮廓三维测量的精度问题主要出现在两个方面：第一，受双目相机视角与光照的影响，左右相机图像中的对应轮廓在灰度、形状等多个方面都存在一定的区别，难以保证左右图像轮廓的一致性提取；第二，当针对图案轮廓上下边缘处进行立体匹配时，存在多个相似匹配点对，仅依靠极线约束、特征匹配等方法难以满足精准配对，重建结果难以满足实际应用的需求。
4.为此，亟需一种能保证飞机蒙皮图案精确提取与匹配的方法，实现飞机蒙皮图案稳定、准确的三维重建，提升检测效率与精度，为飞机蒙皮等大型薄壁零件的加工质量提供有力的保证。


技术实现要素：

5.针对现有技术的以上缺陷或改进需求，本发明提供了一种基于相位匹配的飞机蒙皮图案三维测量方法及系统，由此解决现有的被动双目立体视觉方法对轮廓提取与匹配的精度不高引起的重建点云不准确的技术问题。
6.为实现上述目的，本发明一方面提供了一种基于相位匹配的飞机蒙皮图案三维测量方法，包括：
7.s1.向待测飞机蒙皮等零件表面投射一组多频光栅条纹图像，通过左右相机同步获取在待测工件表面形成的条纹投影图，进行解相，获取相位图；并在未投射多频光栅条纹图像的环境光下直接通过左右相机获取待测飞机蒙皮的灰度图；
8.s2.通过预标定的相机参数对灰度图和相位图进行畸变校正和极线校正，基于灰度图和相位构建复合梯度图实现自适应初步轮廓提取，获得初步轮廓，然后进行形态学处理并去除错误轮廓，获取轮廓所在的局部区域；
9.s3.基于初步轮廓区域定位，结合灰度图和相位图，构建基于灰度梯度与相位梯度的亚像素级精度轮廓提取模型，实现左右相机图像的高精度轮廓提取，获取轮廓图；
10.s4.基于左相机轮廓图与对应相位寻找右相机上的对应轮廓，并根据范围约束寻找与原始提取出的右相机轮廓的匹配点对；构建质量评价函数，根据左右相机图像上匹配点对的质量进行插值，生成右相机图像上新的轮廓重建点；
11.s5.根据右相机图像上新的轮廓重建点，进行相位匹配，重建三维轮廓点云。
12.优选地，基于灰度图和相位构建复合梯度图实现自适应初步轮廓提取，获得初步轮廓，具体为：
13.s21.构建水平和竖直高斯梯度算子，基于灰度图计算水平方向和竖直方向梯度图，构建灰度梯度图；
14.s22.基于直方图对灰度梯度图进行分割，按照分割区域的灰度梯度计算canny算子上下阈值；
15.s23.根据canny算子上下阈值进行轮廓提取，得到初始边缘区域；
16.s24.构建水平和竖直高斯梯度算子，基于相位图像计算水平方向和竖直方向梯度图，构建相位梯度图；
17.s25.基于直方图对相位梯度图进行分割，获取相位梯度变化较大的区域，与初始边缘区域求交集，获取初步轮廓。
18.优选地，基于灰度梯度与相位梯度的亚像素级精度轮廓提取模型，具体为：
19.s31.基于初始轮廓所在的局部区域，设置相位梯度、灰度值作为约束，进行steger中心线提取，获取轮廓的初始中心线。
20.s32.基于初始中心线与原始灰度图，计算轮廓中心线每个点的法向量，进行延伸计算局部区域宽度，设置steger算法高斯滤波时的尺寸k与σ值，提取中心线，获取轮廓的灰度中心线。
21.其中高斯滤波时的尺寸k与σ值为：
[0022][0023]
其中，ceiling表示向上取整数。
[0024]
s33.采用相位信息代替灰度信息，计算中心点坐标。然后结合s32中计算出的中心点计算出准确的亚像素坐标，表示为：
[0025][0026]
其中，p表示计算出的中心点坐标，pg,p
p
分别表示利用轮廓的灰度中心线坐标与相位信息计算出的亚像素点坐标，wg,w
p
分别表示对应的权重值。
[0027]
优选地，基于左相机轮廓图与对应相位寻找右相机上的对应轮廓，并根据范围约束寻找与原始提取出的右相机轮廓的匹配点对，具体为：
[0028]
s41.基于左相机轮廓点对应的相位在右相机相位图的对应行(像素级方便计算)上寻找匹配像素坐标；
[0029]
s42.根据匹配像素坐标与相邻像素的相位进行亚像素插值，计算出实际匹配相位的像素坐标；
[0030]
s43.根据实际匹配相位的像素坐标在右相机轮廓图对应点上的设置邻域范围内
搜索最近邻匹配点。
[0031]
优选地，构建质量评价函数，具体为：基于二阶灰度梯度与二阶相位梯度构建质量评价函数，表示为：
[0032]
q＝wg*gradg+w
p
*grad
p
+ww*s
[0033]
其中，q表示质量，gradg,grad
p
,s分别表示二阶灰度梯度、二阶相位梯度、轮廓光滑度，wg,w
p
,ww分别表示对应的权重值。q越大，表示质量越好。
[0034]
优选地，根据左右相机图像上匹配点对的质量进行插值，生成右相机图像上新的轮廓重建点，具体为：
[0035][0036]
其中，p
new
表示插值得到的新的轮廓重建点，p1,p2表示匹配点对，q1,q2表示点的对应质量。
[0037]
本发明另一方面提供了一种基于相位匹配的飞机蒙皮图案三维测量系统，包括：计算机可读存储介质和处理器；
[0038]
所述计算机可读存储介质用于存储可执行指令；
[0039]
所述处理器用于读取所述计算机可读存储介质中存储的可执行指令，执行上述的基于相位匹配的飞机蒙皮图案三维测量方法。
[0040]
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
[0041]
1、受相机角度、光照、轮廓提取参数等因素影响，直接在左右相机图像上提取的轮廓之间往往会存在一定程度的不匹配，导致进行立体匹配时找不到或找错对应点。本发明结合双目相机图像提取出的轮廓重新构建出真实轮廓，可以有限减少相机视角、光照等因素导致轮廓提取错误的问题，同时基于相位匹配可以减少左右相机图像轮廓提取不一致导致的立体匹配错误，保证重建点云的正确性。
[0042]
2、采用传统被动双目视觉进行重建时，仅依赖灰度梯度等信息进行轮廓提取，受被测物体表面污痕、油渍等影响较大，难以保证轮廓提取的完整性和准确性。本发明进行轮廓提取时参考灰度梯度和相位梯度，可以进一步保证轮廓提取的完整性，同时可以进一步提升轮廓提取的精度。
[0043]
3、采用被动双目视觉提取出轮廓进行立体匹配时，当在上下轮廓边缘处每行存在多个像素点待匹配时，匹配算法难以保证匹配的正确性，会导致上下轮廓处重建点云存在较大缺失。本方法采用相位直接进行轮廓匹配，不仅可以保证匹配点的正确性，还可以进一步提升匹配的精度，减少双目相机视角不一样导致的轮廓匹配错误，提升重建点云的精度和完整性。
附图说明
[0044]
图1为本发明提供的基于相位匹配的飞机蒙皮图案三维测量方法流程示意图；
[0045]
图2为本发明提供的左右相机轮廓提取实验图，(a)从左到右依次为左相机校正后图像与轮廓提取结果，(b)为右相机校正后图像与轮廓提取结果，可以看出能够实现稳定的飞机蒙皮图案轮廓中心线提取；
[0046]
图3为本发明提供的左右相机轮廓提取不一致示意图，(a)为右相机图像轮廓图与左相机轮廓在右相机图像上的相位匹配点，(b)为(a)中的矩形框的局部位置放大；
[0047]
图4为基于结构光的飞机蒙皮三维测量结果；
[0048]
图5为基于被动双目视觉的飞机蒙皮轮廓三维测量结果，(a)为重建轮廓点云，(b)为(a)中的矩形框的局部点云不同角度放大图；
[0049]
图6为直接采用右相机提取轮廓进行相位匹配进行三维测量的结果，(a)为重建轮廓点云，(b)为(a)中的矩形框的局部点云不同角度放大图；
[0050]
图7为分别直接采用左、右相机提取轮廓进行相位匹配进行三维测量的结果，(a)为两种方法重建轮廓点云，灰色为左相机轮廓重建点云，黑色的为右相机轮廓重建点云；(b)为(a)中的矩形框的局部点云不同角度放大图；
[0051]
图8为本发明提供的基于相位匹配的飞机蒙皮图案三维测量结果，(a)为重建轮廓点云；(b)为(a)中的矩形框的局部点云不同角度放大图。
具体实施方式
[0052]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
[0053]
本发明实施例提供一种基于相位匹配的飞机蒙皮图案三维测量方法，如图1所示，包括：
[0054]
s1.向待测飞机蒙皮等零件表面投射一组多频光栅条纹图像，通过左右相机同步获取在待测工件表面形成的条纹投影图，进行解相，获取相位图；投影仪不投影图案，在环境光下直接通过相机获取被测工件的灰度图像。
[0055]
s2.通过预标定的相机参数对左右相机灰度图和相位图进行畸变校正和极线校正；基于灰度图像和相位图构建梯度图实现自适应初步轮廓提取，获得初步轮廓，然后进行形态学处理并去除错误轮廓，获取轮廓所在的局部区域。
[0056]
具体地，基于灰度图像和相位图构建梯度图实现自适应初步轮廓提取，获得初步轮廓，具体流程为：
[0057]
s21.构建水平和竖直高斯梯度算子，基于灰度图像计算水平方向和竖直方向梯度图，构建灰度梯度图；
[0058]
s22.基于直方图对灰度梯度图进行分割，按照分割区域的灰度梯度计算canny算子上下阈值；
[0059]
s23.根据canny算子上下阈值进行轮廓提取，得到初始边缘区域；
[0060]
s24.构建水平和竖直高斯梯度算子，基于相位图像计算水平方向和竖直方向梯度图，构建相位梯度图；
[0061]
s25.基于直方图对相位梯度图进行分割，获取相位梯度变化较大的区域，与初始边缘区域求交集，获取初步轮廓。
[0062]
其中，采用灰度梯度和相位梯度相结合的原因主要是减少污渍等对传统基于灰度的轮廓提取方法造成的干扰，为下一步错误轮廓去除奠定基础。
[0063]
其中，基于形态学处理去除错误轮廓的方式为对初步轮廓图像进行连通域提取，然后根据连通域的尺寸大小等参数去除噪声轮廓。
[0064]
s3.基于初始轮廓区域定位，结合工件灰度图像和相位图，构建基于灰度梯度与相位梯度的亚像素级精度轮廓提取模型，实现左右相机图像的高精度轮廓提取，获取轮廓图，如图2所示。
[0065]
s31.具体地，基于steger与相位梯度的亚像素级精度轮廓提取模型为：基于初始轮廓所在的局部区域，设置相位梯度、灰度值作为约束，进行steger中心线提取，获取轮廓的初始中心线。
[0066]
其中，约束条件具体为中心点的相位梯度需大于设定阈值，灰度值需大于设定阈值，以去除较暗的划痕、油渍等影响因素干扰，提高中心线提取的稳定性。
[0067]
其中，steger中心线提取的基本流程为先进行高斯滤波，然后计算hessian矩阵，计算特征值求取法线方向，然后计算中心点。
[0068]
其中，steger算法求得的亚像素坐标为：
[0069]
(p
sx
,p
sy
)＝(p
x
,py)+(tn
x
,tny)
[0070]
其中(p
sx
,p
sy
)表示亚像素坐标，(p
x
,py)表示像素坐标，(n
x
,ny)为梯度方向，同时
[0071][0072]rx
,ry,r
xx
,r
yy
,r
xy
为图像的二阶偏导数。此外，若要满足所取像素点为中心线上的点，必须满足
[0073]
s32.基于初始中心线与原始灰度图像，计算轮廓中心线每个点的法向量，进行延伸计算局部区域宽度，设置steger算法高斯滤波时的尺寸k与σ值，提取中心线，获取轮廓的灰度中心线。
[0074]
其中高斯滤波时的尺寸k与σ值
[0075][0076]
其中，ceiling表示向上取整数。
[0077]
s33.采用相位信息代替灰度信息，计算中心点坐标。然后结合s32中计算出的中心点计算出准确的亚像素坐标，表示为：
[0078][0079]
其中，p表示计算出的中心点坐标，pg,p
p
分别表示利用灰度信息与相位信息计算出的亚像素点坐标，wg,w
p
分别表示对应的权重值，分别设置为0.7与0.3。
[0080]
s4.基于左相机轮廓图与对应相位寻找右相机上的对应轮廓，并根据范围约束寻找与原始提取出的右相机轮廓的匹配点对；构建质量评价函数，根据左右相机图像上匹配点对的质量进行插值，生成右相机图像上新的轮廓重建点。
[0081]
具体地，基于左相机轮廓图与对应相位寻找右相机上的对应轮廓，并根据范围约束寻找与原始提取出的右相机轮廓的匹配点对，具体为：
[0082]
s41.基于左相机轮廓点对应的相位在右相机相位图的对应行(像素级方便计算)上寻找匹配像素坐标。如图3所示，可以看出左相机轮廓点在右相机图像上的匹配点与右相机上的轮廓点之间存在一定差别，图中，值为0表示非轮廓区域，值为1表示仅为右相机图像轮廓提取(左相机图像提取的轮廓与其不匹配)，值为2仅表示为左相机图像提取轮廓基于相位匹配在右相机上的像素点(右相机图像提取的轮廓与其不匹配)，值为3仅表示为左、右相机图像提取轮廓提取一致，即基于相位可以相互匹配。
[0083]
s42.根据最匹配像素坐标与相邻像素的相位进行亚像素插值，计算出实际匹配相位的像素坐标。
[0084]
s43.根据匹配相位坐标在右相机轮廓图对应点上的设置邻域范围内搜索最近邻匹配点。
[0085]
具体地，构建质量评价函数，具体为：基于二阶灰度梯度与二阶相位梯度构建质量评价函数，表示为：
[0086]
q＝wg*gradg+w
p
*grad
p
+ww*s
[0087]
其中，q表示质量，gradg,grad
p
,s分别表示二阶灰度梯度、二阶相位梯度、轮廓光滑度，wg,w
p
,ww分别表示对应的权重值。q越大，表示质量越好。
[0088]
具体地，根据左右相机图像上匹配点对的质量进行插值，生成右相机图像上新的轮廓重建点，具体为：
[0089][0090]
其中，p
new
表示插值得到的新的轮廓重建点，p1,p2表示匹配点对，q1,q2表示点的对应质量。
[0091]
s5.根据右相机图像上新的轮廓重建点，进行相位匹配，重建三维轮廓点云。
[0092]
具体地，基于右相机轮廓所对应的绝对相位，寻找左相机绝对相位图上的对应点，实现相位点匹配，根据三角测量原理重建出三维点云。图4-8依次为结构光重建点云、被动双目重建点云、右相机图像轮廓依据相位匹配重建点云、左右相机图像轮廓依据相位匹配重建点云对比、本方法重建点云，图4为本发明提供的基于结构光的飞机蒙皮三维测量结果，可以看出所有点云都被重建出来，难以直接获取飞机蒙皮轮廓的精确值。图5为基于被动双目视觉的飞机蒙皮轮廓三维测量结果，(a)为重建轮廓点云，(b)为(a)中的矩形框的局部点云不同角度放大图，可以看出虽然重建点云在正对方向上结果较好，但是受左右相机图像提取不一致影响，在深度方向上点云参差不齐，计算误差较大。图6为直接采用右相机提取轮廓进行相位匹配进行三维测量的结果，(a)为重建轮廓点云，(b)为(a)中的矩形框的局部点云不同角度放大图，可以看出重建点云不仅在正对方向上结果较好，在深度方向上结果也看似很好，点云较为光滑。但需注意，如图6中的(b)中的椭圆框处点云所示部分位置虽然点云看似光滑，但轮廓凹凸不平，与实际结果不相符合。这一状况的的主要原因在于虽然基于相位匹配可以保证左右相机轮廓匹配一致性，但受相机视角、光照等原因影响，某个相机图像下提取出的轮廓可能存在物体，直接匹配就会产生错误结果。图7为分别直接采用左、右相机提取轮廓进行相位匹配进行三维测量的结果，(a)为两种方法重建轮廓点云，灰色为左相机轮廓重建点云，黑色的为右相机轮廓重建点云；(b)为(a)中的矩形框的局部点云不同角度放大图，可以看出两种方法重建点云看起来都很光滑，但是在结果上存在明显
的偏差，这与图3中轮廓提取不一致相互映证。因此，不论直接采用哪个相机轮廓进行相位匹配都可能存在较大误差。图8为本发明提供的基于相位匹配的飞机蒙皮图案三维测量结果，(a)为重建轮廓点云；(b)为(a)中的矩形框的局部点云不同角度放大图，可以看出本发明所提方法能够在左右相机提取轮廓的基础上，重建出更加精确的三维点云数据，以降低相机视角、光照等原因影响导致某个相机图像下轮廓局部提取错误的问题。可以看出，相比图4中的结构光重建点云，本方法可以直接获取轮廓；相比图5中的被动双目重建点云而言，本方法重建点云具有更好的质量；相比图6、图7中的单相机重建轮廓点云而言，本方法重建具备更好的稳定性。
[0093]
其中，设右相机轮廓图为er(轮廓被置为1，轮廓之外的置为0)，左相机相位图为pr，则相机轮廓所对应的相位图为er*pr，以此为依据直接在右相机上相位图p
l
寻找匹配点。
[0094]
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。