一种用于钢格板焊缝识别与定位的检测方法及装置

本发明属于钢格板焊缝识别与定位，具体涉及一种用于钢格板焊缝识别与定位的检测方法及装置。

背景技术：

1、随着现代工业的发展，钢结构被广泛应用于建筑、桥梁、造船、机械制造等领域，焊接作为钢结构的主要连接方式之一，其质量直接影响整个结构的安全性和可靠性。钢格板是一种用扁钢按照一定的间距和横杆进行交叉排列，并焊接成中间带有栅格的钢结构。目前，钢格板焊接主要由人工完成，存在劳动强度大、工作环境较恶劣、焊接质量一致性差等问题，严重影响焊接质量。自动化焊接不仅可以提高钢格板焊接的质量和效率，满足现代工业对高质量、高精度焊接的发展要求，而且还确保了产品的一致性和可靠性，而焊缝识别与定位的准确度是实现高质量自动化焊接的重要前提。

2、在常规光照条件下采集的钢格板图像中，钢格板与背景之间的差异和对比度较小，其结构特征不明显，影响钢格板的特征提取，导致焊点识别与定位的准确度较低。

技术实现思路

1、针对现有技术的不足，本发明拟解决的技术问题是，提供一种用于钢格板焊缝识别与定位的检测方法及装置。

2、本发明解决所述技术问题采用如下的技术方案：

3、一方面，本发明提供一种用于钢格板焊缝识别与定位的检测方法，包括以下步骤：

4、第一步：向钢格板投射激光，并采集激光投射条件下的钢格板灰度图像和深度图像；

5、第二步：根据钢格板灰度图像，利用焊点检测模型进行焊点检测，得到待焊点的像素坐标；

6、在焊点检测模型中，钢格板灰度图像依次经过滤波、对比度增强、二值化、开运算和形状模板匹配，得到roi区域；通过blob分析，根据连通域的面积和长轴长度，对roi区域的所有像素点进行筛选，当连通域的面积和长轴长度均大于各自的阈值时，则保留连通域内的所有像素点；对于被保留的所有像素点，利用钢格板长边方向上坐标较大的两个像素点进行直线拟合，得到一条直线，由其余像素点分别向该直线作垂线，垂足即为待焊点，进而得到各个待焊点的像素坐标；

7、对于二值化处理，首先提取某个像素点所在行、列所有像素点的灰度值，采用传统ostu算法计算所有被提取像素点的ostu阈值；然后，根据计算自适应阈值微调量p；最后，将ostu阈值与自适应阈值微调量相加，得到该像素点的二值化阈值，并根据二值化阈值对该像素点进行二值化处理；重复前述过程，对所有像素点进行二值化处理；

8、

9、式中，qmax和qmin为某个像素点所在行、列的最大灰度值与最小灰度值，pmax和pmin是图像在最强与最弱光照下的阈值微调量，为经验值；x0为常数；

10、第三步：根据待焊点的像素坐标和从钢格板深度图像上获取的待焊点深度信息，经过坐标转换，得到待焊点在机器人坐标系下的位置，机器人根据此位置执行焊接操作。

11、进一步的，形状模板匹配包括：首先从图像中截取一个由相交激光线形成的十字线区域作为模板，采用金字塔逐层搜索进行模板匹配，对于每次滑动产生的源图像，根据式(4)对模板与源图像进行相似性度量，若式(4)成立，表明不可能匹配成功，则提前终止匹配；

12、

13、式中，kj是模板与源图像前j个边缘点角度差的余弦值平方和，kmin为相似度阈值，n是模板的边缘点个数，θi是模板与源图像第i个边缘点的角度差。

14、进一步的，在第一步中，两个线激光对称分布，分别沿钢格板长边且向下倾斜45°投射激光，另一个线激光位于钢格板上方且以垂直于栅格的方向投射激光。

15、另一方面，本发明提供一种用于钢格板焊缝识别与定位的检测装置，包括检测系统、激光投射模块、动作执行模块和图像采集模块；激光投射模块位于动作执行模块的末端，图像采集模块位于激光投射模块上，激光投射模块、动作执行模块和图像采集模块均与检测系统通信连接。

16、与现有技术相比，本发明的有益效果是：

17、1.对钢格板进行激光投射，其中两个线激光以平行于钢格板长边并向下倾斜45°的方向进行投射，位于这两个线激光中间的一个线激光以垂直于钢格板栅格的方向进行投射，采集激光投射条件下的钢格板灰度图像，使得钢格板的结构在图像中以激光线的形式显现出来，凸显了钢格板的结构特征，有利于焊点检测模型进行特征提取，实现焊点的快速准确识别与定位。

18、2.传统ostu算法的分割阈值是针对整幅图像的，对于单一前景目标的二值化处理有较好的效果，而钢格板灰度图像是在激光投射条件下采集的，存在光照不均匀的影响，采用传统ostu算法进行二值化处理并不能取得理想效果，因此本发明基于像素点所在行、列的所有像素点的灰度值，计算ostu阈值，同时计算自适应阈值微调量，将ostu阈值和自适应阈值微调量叠加，得到像素点的二值化阈值，每个像素点都有各自的二值化阈值，避免因光照不均匀导致二值化图像中存在较多背景或者目标缺失，提高了焊点定位精度。

19、3.在形状模板匹配过程，提出了一种改进的相似度量标准，即判断模板与源图像前j个边缘点角度差的余弦值平方和是否满足终止条件，若满足则提前终止匹配，该相似度量标准可以加快模板匹配进程，提高模板匹配和焊接效率。

技术特征：

1.一种用于钢格板焊缝识别与定位的检测方法，其特征在于，该方法包括以下步骤：

2.根据权利要求1所述的一种用于钢格板焊缝识别与定位的检测方法，其特征在于，形状模板匹配包括：首先从图像中截取一个由相交激光线形成的十字线区域作为模板，采用金字塔逐层搜索进行模板匹配，对于每次滑动产生的源图像，根据式(4)对模板与源图像进行相似性度量，若式(4)成立，表明不可能匹配成功，则提前终止匹配；

3.根据权利要求1或2所述的一种用于钢格板焊缝识别与定位的检测方法，其特征在于，在第一步中，两个线激光对称分布，分别沿钢格板长边且向下倾斜45°投射激光，另一个线激光位于钢格板上方且以垂直于栅格的方向投射激光。

4.一种用于钢格板焊缝识别与定位的检测装置，利用权利要求1所述的方法进行钢格板焊缝识别与定位，其特征在于，该装置包括检测系统、激光投射模块、动作执行模块和图像采集模块；激光投射模块位于动作执行模块的末端，图像采集模块位于激光投射模块上，激光投射模块、动作执行模块和图像采集模块均与检测系统通信连接。

5.根据权利要求4所述的一种用于钢格板焊缝识别与定位的检测装置，其特征在于，所述激光投射模块包括三个线激光，图像采集模块为工业相机，动作执行模块为带有焊枪的六轴机械臂。

技术总结
本发明公开了一种用于钢格板焊缝识别与定位的检测方法及装置，属于钢格板自动焊接技术领域。该方法首先向钢格板投射激光，并采集激光投射条件下的钢格板灰度图像和深度图像；然后，根据钢格板灰度图像，利用焊点检测模型进行焊点检测，得到待焊点的像素坐标；最后，根据待焊点的像素坐标和从钢格板深度图像上获取的待焊点深度信息，经过坐标转换，得到待焊点在机器人坐标系下的位置，机器人根据此位置执行焊接操作。装置包括检测系统、激光投射模块、动作执行模块和图像采集模块；激光投射模块位于动作执行模块的末端，图像采集模块位于激光投射模块上，激光投射模块、动作执行模块和图像采集模块均与检测系统通信连接。在激光投射条件下采集钢格板图像，凸显了钢格板的结构特征，有利于焊点检测模型进行特征提取，实现焊点的快速准确识别与定位。

技术研发人员：陈海永,赵宏豹,陈聪
受保护的技术使用者：河北工业大学
技术研发日：
技术公布日：2024/11/28