基于多分块均值偏移的焊缝跟踪方法、系统及存储介质

本发明属于机器视觉及图像处理的，具体涉及一种基于多分块均值偏移的焊缝跟踪方法、系统及存储介质。

背景技术：

1、随着智能制造的发展，非接触式的结构光视觉传感器在工业生产中应用越来越广泛，特别是在物体扫描重建、焊接缺陷检测、焊缝跟踪等领域，结构光视觉传感器已经得到了深度应用。采用线结构光方式的视觉传感器，满足激光三角法测量模型，是一种非接触、测量速度快、精度较高的测量器件。通过投射激光线到被测物体表面，形成激光条纹，由于被测物体表面几何形状的不同因此导致激光条纹图像也不同；然后再对采集的激光条纹图像进行图像处理，提取出激光条纹的位置，根据激光三角测量模型，计算出激光中线上的点的空间位置，提取得到被测物体表面的结构信息。

2、目前针对结构光条纹图像的处理方法较多，但一般步骤为：图像预处理(滤波、平滑、增强等)、图像分割、边缘提取及特征提取。在每一个步骤中，可采用的方法多种多样，例如图像滤波方法可采用高斯滤波、中值滤波等，中心线的提取可利用sobel边缘提取、灰度重心法等。但这些方法通常对每一帧焊缝图像都进行检测，没有充分利用已处理图像的先验信息，而且往往需要对一个完整固定区域进行处理，消耗时间成本大，容易受到图像干扰影响。

技术实现思路

1、本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于多分块均值偏移的焊缝跟踪方法、系统及存储介质，通过分块对激光条纹的跟踪，减少实际计算时间和图像干扰的影响，有效应用于焊缝图像带有强反射、强弧光及预焊工件引入的干扰等情况。

2、本发明第一目的在于提供一种基于多分块均值偏移的焊缝跟踪方法，包括下述步骤：

3、使用结构光视觉传感器获取焊缝图像，选取焊缝图像中激光条纹上的点，以该点为中心形成一定大小的分块；

4、利用基于核密度估计的概率密度计算方法计算每个分块的特征概率分布；

5、基于均值漂移方法计算每个分块的偏移量，迭代修正每个分块的中心，直到所有分块偏移量小于阈值；

6、迭代修正后根据设定的学习率更新每个分块的特征概率分布；

7、依据修正后的每个分块的中心，利用最小二乘法和随机抽样一致性方法进行线段拟合，并根据焊缝接口类型获得焊缝位置点。

8、作为优选的技术方案，所述激光条纹上的点通过设定等间距的采集列坐标组进行选取；所述采集列坐标组表示为：

9、cj＝l*j(j＝1，2…k)

10、其中，l为设定的采集距离，j为采集序号，k为最大采集数；

11、所述分块以激光条纹上的点为中心、设定的采集距离为对角线形成的方形图像块。

12、作为优选的技术方案，所述计算每个分块的特征概率分布，公式为：

13、

14、其中，表示分块i的特征概率分布，x是分块i的中心位置，xi是分块i内第i个像素的坐标，h为分块i的宽度，n是分块i内的像素数量，k(·)是基于核密度估计的概率密度计算方法的核函数。

15、作为优选的技术方案，所述迭代修正每个分块的中心，具体为：

16、获取当前帧图像分块及上一帧图像分块，进行阈值分割得到当前帧图像分块的阈值分割图及上一帧图像分块的阈值分割图；

17、在x方向、y方向及θ方向上分别从当前帧图像分块的阈值分割图及上一帧图像分块的阈值分割图中提取x方向梯度图像、y方向梯度图像及θ方向梯度图像；其中，x方向为水平方向，y方向为垂直方向，θ方向为总梯度方向；

18、将当前帧图像分块的x方向梯度图像、y方向梯度图像及θ方向梯度图像和上一帧图像分块的x方向梯度图像、y方向梯度图像及θ方向梯度图像进行融合得到权值图；

19、根据权值图，基于均值漂移方法修正当前帧图像分块的中心位置，修正公式为：

20、

21、其中，为当前帧图像分块修正后的中心位置，wi为权值图中第i个像素的权值，g(·)为核函数k(·)的导数函数，n为当前帧图像分块内的像素数量；

22、计算每个分块的偏移量，即分块修正后的中心位置与分块修正前的中心位置之差；

23、当所有分块偏移量小于阈值t时则结束修正，得到每个分块修正后的中心位置；

24、否则，更新每个分块的特征概率分布，并继续修正每个分块的中心。

25、作为优选的技术方案，所述权值图中第i个像素的权值wi的计算公式为：

26、wi＝wxi*wyi*wθi

27、其中，wxi为权值图中第i个像素在x方向的梯度特征权值，计算公式为：

28、

29、式中，mx为权值图中x方向的梯度幅值数量；bx(xi)为权值图中第i个像素值在x方向的梯度特征对应在特征直方图上的柱索引；ux为权值图中x方向的梯度幅值，由x方向的梯度值平方和再开方获得；qx为上一帧图像分块在x方向的特征概率分布；px为当前帧图像分块在x方向的特征概率分布；

30、wyi为权值图中第i个像素在y方向的梯度特征权值，计算公式为：

31、

32、式中，my为权值图中y方向的梯度幅值数量；by(xi)为权值图中第i个像素值在y方向的梯度特征对应在特征直方图上的柱；uy为权值图中y方向的梯度幅值，由y方向的梯度值平方和再开方获得；qy为上一帧图像分块在y方向的特征概率分布；py为当前帧图像分块在y方向的特征概率分布；

33、wθi为权值图中第i个像素在θ方向的梯度特征权值，计算公式为：

34、

35、式中，mθ为权值图中θ方向的数量，bθ(xi)为权值图中第i个像素值θ方向在特征直方图上的柱索引，uθ为θ方向特征，qθ为上一帧图像分块θ方向的特征概率分布，pθ为当前帧图像分块θ方向的特征概率分布；δ(·)表示克罗内克脉冲函数；

36、分块内每一像素的梯度值计算公式为：

37、

38、

39、

40、其中，gx(c，r)为分块内像素(c，r)在x方向的梯度值，gy(c，r)为分块内像素(c，r)在y方向的梯度值，θ(c，r)为分块内像素(c，r)在θ方向的梯度值；i(·)为像素值获取函数，h和w是分块的高和宽。

41、作为优选的技术方案，所述根据设定的学习率更新每个分块的特征概率分布，更新公式为：

42、pi＝lpi*+(1-l)pi-1

43、其中，pi-1为上一帧图像分块的特征概率分布，pi*为当前帧图像分块的特征概率分布，l为设定的学习率，pi为更新后当前帧图像分块的特征概率分布。

44、作为优选的技术方案，所述利用最小二乘法和随机抽样一致性方法进行线段拟合，具体为：

45、将修正后的每个分块的中心视为点，随机从中选择两个点a、b并连线得到直线模型ab，定义ε为符合直线模型ab的阈值；

46、计算除a、b两点外其他所有点到直线模型ab的距离，距离小于等于ε的点作为内点，大于ε的点作为外点；

47、当所有点计算完毕后，计算内点数目与点总数的比值η；

48、当η小于设定比例阈值η0，结束计算并将所有内点采用最小二乘法拟合得到直线模型ab的精确参数；

49、如果η大于设定比例阈值η0，则重新随机选择新的两个点，作为新的直线模型，重复上述步骤。

50、作为优选的技术方案，所述焊缝接口类型包括连接型和非连接型；

51、当焊缝图像的焊缝接口类型为连接型时，则使用直线拟合求交法获取焊缝位置点，具体为：

52、在焊缝焊接过程中使用仿真系统进行仿真，获取最靠近仿真焊缝点的坐标(x0，y0)；

53、从线段拟合结果中获取最靠近仿真焊缝点坐标的两条激光拟合线段，分别表示为y＝k1x+b1和y＝k2x+b2，求解两条激光拟合线段的交点作为焊缝位置点；

54、当焊缝图像的焊缝接口类型为非连接型时，则先提取特征点再进一步计算出焊缝位置点，具体为：

55、获取修正后最左及最右的分块中心(x1，y1)和(x2，y2)作为搜索点；

56、计算搜索点的梯度方向再将梯度方向旋转90度获得搜索方向

57、沿着搜索方向前进距离l获得测试点，若测试点邻接8个像素内的梯度方向与搜索点的梯度方向夹角都小于阈值σ，则该测试点作为搜索点继续搜索，否则为该测试点视为错误点，停止搜索并将错误点前一个搜索点作为目标特征点；

58、取两个目标特征点的平均值作为焊缝位置点。

59、本发明第二目的在于提供一种基于多分块均值偏移的焊缝跟踪系统，应用于上述的基于多分块均值偏移的焊缝跟踪方法，包括图像分块模块、概率计算模块、中心修正模块、概率更新模块及位置获取模块；

60、所述图像分块模块用于使用结构光视觉传感器获取焊缝图像，选取焊缝图像中激光条纹上的点，以该点为中心形成一定大小的分块；

61、所述概率计算模块用于利用基于核密度估计的概率密度计算方法计算每个分块的特征概率分布；

62、所述中心修正模块用于基于均值漂移方法计算每个分块的偏移量，迭代修正每个分块的中心，直到所有分块偏移量小于阈值；

63、所述概率更新模块用于根据设定的学习率更新每个分块的特征概率分布；

64、所述位置获取模块用于依据修正后的每个分块的中心，利用最小二乘法和随机抽样一致性方法进行线段拟合，并根据焊缝接口类型获得焊缝位置点。

65、本发明第三目的在于提供一种计算机可读存储介质，存储有程序，所述程序被处理器执行时，实现上述的基于多分块均值偏移的焊缝跟踪方法。

66、本发明与现有技术相比，具有如下优点和有益效果：

67、1、本发明基于均值偏移图像跟踪，设计激光条纹跟踪方法和焊缝跟踪方法，实现了焊缝的准确定位。

68、2、本发明在焊缝识别过程中，针对强反射等干扰导致的相似激光条纹生成问题，利用多分块图像跟踪方法进行排除干扰，获得实际激光条纹位置。

69、3、本发明的结构光焊缝定位方法，引入了视觉仿真给出的仿真激光条纹信息，大大提高了抗干扰能力，适应性较强，本发明方法扩展了结构光视觉传感器应用工作范围。