一种基于图像轮廓二阶差分的直角焊缝特征点识别方法

本发明主要涉及智能焊接领域，尤其涉及一种基于图像轮廓二阶差分的直角焊缝特征点识别方法。

背景技术：

1、在现代加工制造领域中，焊接作为一种重要的热连接方式已经得到了广泛的应用。它已经被应用于各种不同的行业和领域，可以用于加工不同种类和规格的材料。利用焊接机器人实现无人化和智能化焊接是现代智能制造的必然趋势。然而时至今日，国内外焊接机器人的工作方式还是以人工示教为主，缺乏灵活性，在焊接时工件出现热变形以及工件安装的误差都会影响焊接的精度，在进行个性化工件的焊接时，如果需要少量定制，由于生产成本的不利因素，这个过程并不具有优势。因此，基于机器视觉传感器的焊缝识别技术应运而生，通过焊缝识别技术，主动对多种类型的焊缝进行特异性识别，可以引导机器人实现自主化焊接，大幅提升了焊接稳定性和焊接效率。

2、线结构光扫描视觉传感器以激光三角法成像原理为基础，能够简化模型、具备强大的抗干扰能力和高精度等优点，成为应用最广泛、发展最快的焊缝检测视觉传感器。结构光焊接机器人视觉传感器由相机、线激光器、处理器组成，通过采集线结构光投射到物体上发生变形的光条图像，求解光条中心像素点对应的三维空间点在相机坐标系下的坐标，通过特定的图像处理算法，识别出焊缝特征点，结合手眼标定，将相机坐标系下的坐标转换到机器人坐标系，从而引导机器人运动。

技术实现思路

1、本发明的目的是提供一种基于图像轮廓二阶差分的直角焊缝特征点识别方法，具有较高的识别准确率和较快的运行速度，能够满足焊接机器人实时在线焊接的要求。

2、本发明所述的基于图像轮廓二阶差分的直角焊缝特征点识别方法，包括如下步骤：

3、获取焊缝图像组，所述图像组为投射一字激光于与直角焊缝表面，由相机拍摄的一系列图像组；

4、图像预处理，所述图像预处理为对所述焊缝图像组进行均值滤波处理和阈值分割处理；

5、光条中心线提取，对所述焊接图像组中的光条提取中心线坐标；

6、直角焊缝特征点识别，通过焊缝图像轮廓的差分信息来提取焊缝特征点；

7、进一步，获取焊缝图像组，直角角焊缝焊接时焊枪与焊缝需要存在一定的角度，传感器视觉标定完成后，与焊枪相对位置保持不变的传感器需要倾斜一个角度，然后采集，获得一系列图像。

8、进一步，图像预处理，采集的初始图片受到外界信号干扰及焊件的反光，会产生很多噪声，影响光条中心提取的精度，需要对图片进行一系列预处理。

9、首先对图像进行一个均值滤波处理，对于图像中的每一个像素，取其周围的一个小区域内的像素值的算术平均值来代替该像素的值，在选择均值滤波的窗口大小时，需要根据图像中噪声的特点和要求的平滑度来进行调整，以达到最佳的去噪效果。可以表示为：

10、

11、在公式(1)中，mn分别代表均值滤波中所选择的窗口的高度和宽度，而sxy则表示所有像素位置集合，即以(x,y)为中心的m×n窗口中的像素位置。

12、其次，利用直方图阈值分割法求出图像f(x,y)的灰度直方图，选取图片灰度直方图谷底点附近所对应的灰度值作为阈值t，将像素灰度值小于阈值t的置为0，大于或者等于阈值t的保留为原灰度值。可以由下式表示：

13、

14、分割后的图像变为二值图像，再进行膨胀腐蚀操作，填补光条断裂处的空缺，连接非连通区域。

15、进一步，光条中心线提取，采取黑塞矩阵法进行中心提取。

16、提取光条的初始中心，计算该中心处的一阶导数和二阶导数，光条的灰度值可以看作是一个以图像坐标为自变量的函数，在初始中心点处沿法向方向进行二阶泰勒展开，可表示为：

17、

18、在公式(3)中，t表示极值点与初始中心点之间的距离，而n则表示光条中心的法向量方向，即黑塞矩阵的最大特征值所对应的特征向量方向，光条中心位置通过在灰度函数中求得极值点来确定，将t作为自变量，令该公式的一阶导数等于0，得到光条中心的位置。

19、进一步，直角焊缝特征点识别，根据图像轮廓曲线中不同点之间的差异性分布规律来识别图像中的焊缝特征点。

20、一条轮廓曲线，由点p1、p2、p3、...、pn组成，取其中一点pi，则定义轮廓曲线一阶差分为：

21、di+k,i＝pi+k-pi   (4)

22、在公式(4)中，pi为曲线轮廓中的第i个点，pi＝(xi,yi)，i＝1,2,3k,n，k为步长参数，di+k,i为轮廓曲线一阶差分，由此可以引出轮廓曲线二阶差分，表示为：

23、

24、进一步，对于中心提取后的焊缝结构光图像中的光条中心线运用点弦累加距离技术进行初步角点识别，并手动标记，称为已知角点。

25、对这段光条中心线上点根据公式(5)求取二阶差分值，得到图像光条中心线上点的二阶差分值分布图，根据标记的已知角点附近点的二阶差分值较大，而远离角点的平坦区域二阶差分值分布在0附近，计算出光条中心线上点的二阶差分值。

26、进一步，根据轮廓曲线二阶差分值的分布规律，其数值与0差值越大，则在直角角焊缝图像中，其对应像素点为焊缝特征点的概率越大。引入曼哈顿距离来作为像素点距离度量，设置焊缝特征点响应函数表示为：

27、

28、在公式(6)中，分子为轮廓曲线点(xi,yi)二阶差分值与(0,0)的曼哈顿距离，分母为对距离进行归一化操作，为之后选取阈值筛选特征点做准备。

29、进一步，通过设置合理阈值进行筛选，从而识别出直角角焊缝特征点。

30、本发明与现有技术相比具有如下有益效果：

31、1)本发明所采用的图像预处理方法，通过均值滤波去噪、基于直方图的阈值分割以及形态学操作中的腐蚀膨胀操作，成功降低了图像中的干扰信息并突出了线结构光光条的信息。

32、2)本发明所采用的中心提取方法，通过黑塞矩阵提取光条中心，仅需一次图像遍历便可提取几何中心，在精确提取中心时，只需要计算初始中心点周围的像素点，光条中心曲线提取的精度表现更优。

33、3)本发明所采用的焊缝特征点识别方法，其角点响应函数引入的像素距离度量为曼哈顿距离，与其他角点检测方法中的开平方根运算相比，只需进行简单基本的数学运算，有效的提升了焊缝图像特征点提取的速度，具有较高的识别准确率和较快的运行速度。

技术特征：

1.一种基于图像轮廓二阶差分的直角焊缝特征点识别方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的基于图像轮廓二阶差分的直角焊缝特征点识别方法，其特征在于，获取焊缝图像组，直角焊缝焊接时，焊枪与焊缝需要存在一定的角度，在传感器视觉标定完成后，与所述焊枪相对位置保持不变的所述传感器需要倾斜一个角度，然后再采集，从而获得一系列所述图像组。

3.根据权利要求1所述的基于图像轮廓二阶差分的直角焊缝特征点识别方法，其特征在于，所述图像预处理包括步骤：

4.根据权利要求1所述的基于图像轮廓二阶差分的直角焊缝特征点识别方法，其特征在于，采取黑塞矩阵法进行所述光条中心线提取，包括如下：

5.根据权利要求1所述的基于图像轮廓二阶差分的直角焊缝特征点识别方法，其特征在于，所述直角焊缝特征点识别，根据图像轮廓曲线中不同点之间的差异性分布规律来识别图像中的焊缝特征点：

6.根据权利要求5所述的基于图像轮廓二阶差分的直角焊缝特征点识别方法，其特征在于，对于中心提取后的焊缝结构光图像中的光条中心线运用点弦累加距离技术进行初步角点识别，并手动标记，称为已知角点；

7.根据权利要求6所述的基于图像轮廓二阶差分的直角焊缝特征点识别方法，其特征在于，根据轮廓曲线二阶差分值的分布规律，其数值与0差值越大，则在直角角焊缝图像中，其对应像素点为焊缝特征点的概率越大，引入曼哈顿距离作为像素点距离度量，设置焊缝特征点响应函数表示为：

8.根据权利要求6所述的基于图像轮廓二阶差分的直角焊缝特征点识别方法，其特征在于，

技术总结
本发明公开了一种基于图像轮廓二阶差分的直角焊缝特征点识别方法，其方法包括：获取焊缝图像组，所述图像组为投射一字激光与直角焊缝表面，由相机拍摄的一系列图像组；图像预处理，所述图像预处理为对所述焊缝图像组进行均值滤波处理和阈值分割处理；光条中心线提取，对所述焊接图像组中的光条提取中心线坐标；直角焊缝特征点识别，通过焊缝图像轮廓的差分信息来提取焊缝特征点。本发明提出的方法只需进行简单基本的数学运算，有效的提升了焊缝图像特征点提取的速度，具有较高的识别准确率和较快的运行速度，能够满足焊接机器人实时在线焊接的要求。

技术研发人员：袁海森,黄扬,高兴宇,张志强,赵乾
受保护的技术使用者：桂林电子科技大学
技术研发日：
技术公布日：2024/2/1