零件表面断裂激光光条的提取与匹配方法与流程

本发明属于激光测量技术领域，涉及一种针对具有孔位的零件表面上断裂激光光条的提取与匹配方法。

背景技术：

在飞机制造工艺中，装配环节对飞机整体性能有着重要影响。通过激光扫描与双目视觉系统结合的办法，可以对零件表面进行高精密测量，来评判装配环节的精度。但是，对于一些表面有各类孔位的零件，在扫描到孔位上时，激光光条会发生断裂、偏折等情况，这在后续数据处理中，需要人工框选多个感兴趣区域，分别提取断裂的激光光条，以避免孔位影响，大大加大了数据处理难度与耗时量。通过传统的极线约束对左右图像的激光光条的光条中心进行匹配时，也会出现只对图像中部分断裂激光光条进行匹配的情况。因此通过利用针对具有孔位的零件表面上断裂激光光条的提取与匹配方法，可以大大加快数据处理速度，减少人工处理时间，并且提高激光扫描与双目视觉系统的测量方法的柔性，使其适应面更广。

经文献检索，贾振元等人在论文《双目视觉测量中等匹配点的光条中心提取》，光学精密工程；2016年07期；1582-1591中，提出了一种根据灰度梯度变化来判断激光光条边界的方法，用于提取激光光条中心，之后再进行做右图像的匹配。遇到断裂的激光光条的情况，自上而下通过灰度重心法进行激光光条中心点粗提取时，首次遭遇孔位发生激光光条断裂时，便会认为激光光条已经结束，不再向下继续检索计算，需要多次框选感兴趣区域，才能对所有断裂的激光光条进行处理，这不能满足快速有效的数据处理的需求。

技术实现要素：

本发明为克服现有算法缺陷，发明了一种针对具有孔位的零件表面上断裂激光光条的提取与匹配方法。该方法通过设定面积阈值，对扫描在具有孔位的零件表面的激光光条进行识别与提取，然后对于通过双目视觉系统拍摄的一张图像中的多条断裂后的激光光条进行基于光条中心点y坐标的筛选与基于平均y坐标值的排序顺序进行编号，并对另一张图像进行同样操作后，基于编号进行激光光条连通区域的编号一一对应地匹配。通过灰度重心法计算各条激光光条的光条中心点之后，选取连通区域面积最大和次大的激光光条进行采样，选取用于线性曲线拟合的点集合，计算其他激光光条到拟合曲线的偏差值以筛选出并剔除由于孔位原因而发生偏折的激光光条。对于剩余的已经互相匹配上的激光光条，进行基于极线约束的光条中心匹配与重建，以完成对零件型面的测量与重建。提高了激光扫描配合双目视觉系统的测量方法的柔性度，减少后续数据处理的难度与耗时量；加快了数据处理速度，减少人工处理时间，使其适应面更广。

本发明采用的技术方案是一种零件表面断裂激光光条的提取与匹配方法，其特征是，该方法利用表示几何位置激光光条中心的平均纵坐标值作为特征，对各激光光条的平均纵坐标值进行排序，并按排序序号对激光光条编号，进行编号一一对应的匹配；通过选取连通区域面积最大与次大的激光光条的光条中心点进行点采样，利用这些采样点进行线性曲线拟合，计算其他激光光条到该拟合曲线的偏差的平均值，选取距离阈值以剔除由于孔位影响而发生偏折的激光光条，以完成对于零件表有有孔位的激光的匹配。方法的具体步骤如下：

第一步提取断裂激光光条

1)图像滤波

由于由摄像机所拍摄的原始图像src包含噪声影响，为了提高后续轮廓提取与特征点集合获取的稳定性与鲁棒性，首先对原始图像src进行感兴趣球体区域选取，设定为原始图像src的感兴趣区域srcroi。然后对感兴趣区域srcroi进行中值滤波，获得滤除噪声后的图像为meddst；

2)图像二值化

根据图像特征，设定二值化阈值thr，经滤噪后的meddst图像中meddst(x,y)＞thr的像素点的灰度值均赋值为255，其中meddst(x,y)表示meddst图像中坐标为(x,y)的像素点灰度值，meddst(x,y)＜＝thr的像素点的灰度值则均赋值为0，获得二值化图像thrdst；

3)提取激光光条连通区域

检索二值化图像thrdst中的所有连通区域，以一个序列数据pvcseq存储，并统计和计算图像中各个连通区域的面积。设定面积阈值为v，序列pvcseq中的连通区域面积大于该阈值v的则识别为激光光条的连通区域，存储到激光光条序列seq中，共存储激光光条数量为m，由此完成了对断裂激光光条的提取与储存。

第二步基于几何位置对断裂激光光条进行编号并匹配

1)计算各激光光条中心点纵坐标平均值

设激光光条序列seq中第一条激光光条在图像坐标系中的y1行的左右边界点为(x1,y1)和(x2,y1)(其中x1＜x2)，对区间[x1,x2]进行灰度重心法求取该行的灰度重心(xc1,yc1)，以该点作为y1行的光条中心点，如下式(1)所示:

其中，j为该激光光条的第j行，g(xi,yi)表示激光光条中坐标为(xi,yi)的灰度值，xcj，ycj分别表示第j行的中心点坐标值。

对该光条的每一行，均做如上求取光条中心点处理，分别获得光条中心点坐标为(xc1,yc1),(xc2,yc2),(xc3,yc3)...(xcn,ycn)，其中n为该激光光条所占总行数。对该激光光条中心点坐标的纵坐标yc1,yc2,yc3...ycn，求平均值为y1。

2)编号激光光条并一一对应匹配

通过上述方法分别对激光光条序列seq中存储的其他激光光条进行处理，计算每条激光光条的平均纵坐标值y2,y3...，ym。然后通过快速排序对平均纵坐标值y1,y2,y3...,ym进行从小到大的排序，并根据排序顺序将平均纵坐标值对应的激光光条编号为1，2...，m。

由此，左右图像中的断裂激光光条即可通过编号，进行一一对应匹配。

第三步通过曲线拟合筛选激光光条

由于孔位影响，激光光条在孔位附近容易发生偏折或者投射到孔位底部平面，造成图像中出现与投射在零件型面上激光光条相偏离的连通区域面积较小的断裂激光光条，对提取与匹配过程造成干扰。因此，需要将该类断裂的激光光条进行筛选与剔除。

1)激光光条中心点采样并拟合曲线

取激光光条序列seq中连通区域面积最大与次大的编号为m1和m2的激光光条作为采样集合，采取用于曲线拟合的点集合。使用隔六点采样的方法，每隔六行对激光光条中心点进行采样，获取用于曲线拟合的点集合。以等式(2)为目标函数，采用线性拟合的办法对采样的点集合进行曲线拟合。

y＝asin(x-π)+b(x-10)²+c(2)

其中，a，b，c为拟合求解出来的常量参数，x,y分别是点的横纵坐标值。

2)剔除偏折激光光条

然后，将其他的激光光条上的光条中心点的横坐标值x带入等式(2)计算等式y'值，然后计算该光条中心点的纵坐标值y与y'的差值的绝对值，作为偏差deviation，并求该激光光条各中心点偏差的平均值。根据先验知识设定阈值s，若该激光光条的平均偏差值大于阈值s，则认为其为偏折后的激光光条，从激光光条序列seq中剔除即可，否则则保留该激光光条，将各激光光条分别匹配中心点，并重建后，完成数据处理工作。

这样便筛选剔除出了由于孔位存在而偏折或者投射到孔底部平面的激光光条，便于数据处理，减少干扰信息，加快了离线的数据处理的效率与难度。

本发明的有益效果是提高了激光扫描配合双目视觉系统的测量方法的柔性度，减少后续数据处理的难度与耗时量。因此，针对具有孔位的零件表面上断裂激光光条的提取与匹配方法，最终解决了借助于辅助激光光条进行扫描的双目视觉测量系统测量表面有孔位的零件时数据处理困难，需要多次框选感兴趣区域的问题，减少干扰信息，大大提高了数据处理效率，加快了离线的数据处理速度，减少了数据处理的难度，使其适应面更广。

附图说明

图1为本方法的流程图。

图2为通过编号一一对应匹配上的激光光条。其中，图a)为左图像、图b)为右图像，1、2、3分别为各断裂光条的编号。

图3为激光光条进行隔六点采样后的点集合与曲线拟合的结果图。其中，框1中的点集合表示的是隔六点采样的光条中心点样本；框2中的点集合是由于孔位发生偏折的激光光条，经隔六点采样后的光条中心点样本；3为拟合的曲线。

具体实施方式

下面结合附图和技术方案详细说明本发明的具体实施方式。

本实施例中，被测物体为t800复合材料板，将波长460nm蓝紫线激光投射到复材板上。

本发明采用配置广角镜头的两台摄像机拍摄光条图像。摄像机型号为viewworksvc-12mc-m/c65摄像机，分辨率：4096×3072，图像传感器：cmos，帧率：全画幅，最高64.3fps，重量：420g。广角镜头型号为ef16-35mmf/2.8liiusm，参数如下所示，镜头焦距：f＝16-35mm，aps焦距：25.5-52.5，光圈：f2.8，镜头尺寸：82×106。拍摄条件如下：图片像素为4096×3072，镜头焦距为25mm，物距为750mm，视场约为850mm×450mm。

图1为本方法的流程图，方法的具体实施步骤如下：

第一步，提取断裂激光光条。

由于由摄像机所拍摄的原始图像src包含噪声影响，为了提高后续轮廓提取与特征点集合获取的稳定性与鲁棒性，首先对原始图像src进行感兴趣球体区域选取，设定为原始图像src的感兴趣区域srcroi。然后对感兴趣区域srcroi进行中值滤波，获得滤除噪声后的图像为meddst；

根据图像特征，设定二值化阈值thr，经滤噪后的meddst图像中meddst(x,y)＞thr的像素点的灰度值均赋值为255，其中meddst(x,y)表示meddst图像中坐标为(x,y)的像素点灰度值，meddst(x,y)＜＝thr的像素点的灰度值则均赋值为0，获得二值化图像thrdst；

检索图像中的所有连通区域，以一个序列数据pvcseq存储，并计算和统计图像中各个连通区域的面积。设定面积阈值为v，序列pvcseq中的连通区域面积大于该阈值v的则识别为激光光条的连通区域，存储到激光光条序列seq中，共存储激光光条数量为m，由此完成了对断裂激光光条的提取与储存。

第二步，基于几何位置对断裂激光光条进行编号并匹配。

设激光光条序列seq中第一条激光光条在图像坐标系中的y1行的左右边界点为(x1,y1)和(x2,y1)(其中x1＜x2)，对区间[x1,x2]进行如公式(1)的灰度重心法求取该行的灰度重心(xc1,yc1)，以该点作为y1行的光条中心点。

对该光条的每一行，均做如上求取光条中心点处理，分别获得光条中心点坐标为(xc1,yc1),(xc2,yc2),(xc3,yc3)...(xcn,ycn)，其中n为该激光光条所占总行数。对该激光光条中心点坐标的纵坐标yc1,yc2,yc3...ycn，求平均值为y1。

通过上述方法分别对激光光条序列seq中存储的其他激光光条进行处理，计算每条激光光条的平均纵坐标值y2,y3...，ym。然后通过快速排序对平均纵坐标值y1,y2,y3...,ym进行从小到大的排序，并根据排序顺序将平均纵坐标值对应的激光光条编号为1，2...，m。

由此，左右图像中的断裂激光光条即可通过编号，进行一一对应匹配，如图2所示。

第三步，通过曲线拟合筛选激光光条。

由于孔位影响，激光光条在孔位附近容易发生偏折或者投射到孔位底部平面，造成图像中出现与投射在零件型面上激光光条相偏离的连通区域面积较小的断裂激光光条，对提取与匹配过程造成干扰。因此，需要将该类断裂的激光光条进行筛选与剔除。

取激光光条序列seq中连通区域面积最大与次大的编号为m1和m2的激光光条作为采样集合，采取用于曲线拟合的点集合。使用隔六点采样的方法，每隔六行对激光光条中心点进行采样，获取用于曲线拟合的点集合。以等式(2)为目标函数，采用线性拟合的办法对采样的点集合进行曲线拟合。

然后，将其他的激光光条上的光条中心点的横坐标值x带入等式(2)计算等式y'值，然后计算该光条中心点的纵坐标值y与y'的差值的绝对值，作为偏差deviation，并求该激光光条各中心点偏差的平均值。根据先验知识设定阈值s，若该激光光条的平均偏差值大于阈值s，则认为其为偏折后的激光光条，从激光光条序列seq中剔除即可，否则则保留该激光光条，如图3所示。这样便筛选剔除出了由于孔位存在而偏折或者投射到孔底部平面的激光光条。将各激光光条分别匹配中心点，并重建后，完成数据处理工作。

本方法解决了借助于辅助激光光条进行扫描的双目视觉测量系统测量表面有孔位的零件时数据处理困难，需要多次框选感兴趣区域的问题，减少干扰信息，大大提高了数据处理效率，加快了离线的数据处理速度，减少了数据处理的难度。