基于机器视觉的金属结构件焊缝识别方法、系统及设备

本发明涉及焊接，特别是涉及一种基于机器视觉的金属结构件焊缝识别方法、系统及设备。

背景技术：

1、随着中国制造业的飞速发展和不断进步，焊接技术在工业生产中所占据的分量越来越大，而且焊接技术的优良程度直接影响着产品的质量，在大型钢闸门的生产加工过程中，焊接起着十分重要的作用，很多中小型闸门生产企业生产的产品数量较少且品种繁多，生产过程中往往采用人工焊接的方式，这样过分依赖专业技能的人才会导致生产成本的升高、生产效率低，同时焊接会产生有毒气体、热辐射，这会对人体造成一定的危害。

2、因此自动焊接设备的开发很重要，针对于焊接的自动化处理很重要的一点就是获取待焊接区域的位置，传统的一些工业机器人一般采用示教的方式进行焊接，但中小型企业生产的钢闸门种类繁多、形状不固定，此方法需要花费大量时间进行示教，效率较低。

3、对于单件小批量的大型金属结构件，一般不采用专用定位工装来保证各焊接分部件之间的相对定位精度，往往采用人工摆放分部件，再采用点固焊(定位焊)固定各分部件的位置。这样就导致大型焊接件的零部件相对定位误差较大，超过了一般自动焊机所允许的焊缝位置偏差。所以，基于三维模型编程的自动焊接程序不能正常工作。

技术实现思路

1、本发明的目的是提供一种基于机器视觉的金属结构件焊缝识别方法、系统及设备。

2、为实现上述目的，本发明提供了如下方案：

3、一种基于机器视觉的金属结构件焊缝识别方法，包括：

4、从金属结构件的三维模型中提取roi区域；所述roi区域为包含所述三维模型中面与面之间的交线或者分部件之间的接合线的区域；

5、对所述金属结构件上所述roi区域进行图像捕捉；

6、对捕捉到的图像进行直线提取，得到直线集合；

7、根据直线集合中每条直线的位置，将满足位置条件的直线筛选出来构成焊缝集合；

8、将所述焊缝集合中每条焊缝的图像坐标转换到三维模型的世界坐标中，并将进行坐标转换后的焊缝传输到所述三维模型中。

9、可选地，从金属结构件的三维模型中提取roi区域，具体包括：

10、获得所述三维模型的step/stp文件；

11、采用step/stp文件读取器对step/stp文件进行点、线和面的读取，提取到所述三维模型中的roi区域。

12、可选地，对所述金属结构件上所述roi区域进行图像捕捉，具体包括：

13、采用机械手将面阵相机移动到所述金属结构件上所述roi区域的对应位置；

14、采用所述面阵相机对所述金属结构件上所述roi区域进行图像捕捉。

15、可选地，对捕捉到的图像进行直线提取，得到直线集合，具体包括：

16、对捕捉到的图像依次进行亮度矫正、中值滤波和形态学处理，得到预处理后的图像；

17、采用canny算法对预处理后的图像进行轮廓检测；

18、采用霍夫直线查找算法对轮廓检测后的图像进行直线查找，将查找到的直线，以及各查找到的直线与面阵相机的距离存储到所述直线集合，并依据所述roi区域标记位于大型金属结构件的顶部、侧面或底部的直线。

19、可选地，对捕捉到的图像依次进行亮度矫正、中值滤波和形态学处理，得到预处理后的图像之前，还包括：

20、采用张正友标定法确定捕捉到的图像的相机坐标系。

21、可选地，所述位置条件包括直线位于所述金属结构件的底部、直线为两个侧面的交线和直线位于所述金属结构件的顶部。

22、本发明还公开了一种基于机器视觉的金属结构件焊缝识别系统，包括：

23、roi区域提取模块，用于从金属结构件的三维模型中提取roi区域；所述roi区域为包含所述三维模型中面与面之间的交线或者分部件之间的接合线的区域；

24、图像捕捉模块，用于采用面阵相机对所述金属结构件上所述roi区域进行图像捕捉；

25、直线提取模块，用于对捕捉到的图像进行直线提取，得到直线集合；

26、焊缝筛选模块，用于根据直线集合中每条直线的位置，将满足位置条件的直线筛选出来构成焊缝集合；

27、坐标转换模块，用于将所述焊缝集合中每条焊缝的图像坐标转换到三维模型的世界坐标中，并将进行坐标转换后的焊缝传输到所述三维模型中。

28、本发明还公开了一种电子设备，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行所述的基于机器视觉的金属结构件焊缝识别方法。

29、根据本发明提供的具体实施例，本发明公开了以下技术效果：

30、本发明从三维模型中提取roi区域，然后对roi区域进行图像捕捉，从捕捉的图像中提取直线，然后根据提取的直线的位置筛选出焊缝，方法简单易行，扩大了焊缝识别的适用范围。本发明实现了对焊缝区域图像中存在的焊缝进行定位、识别，从而获取焊缝的位置信息，从而为大型金属结构件的自动化焊接打下了基础。

技术特征：

1.一种基于机器视觉的金属结构件焊缝识别方法，其特征在于，包括：

2.根据权利要求1所述的基于机器视觉的金属结构件焊缝识别方法，其特征在于，从金属结构件的三维模型中提取roi区域，具体包括：

3.根据权利要求1所述的基于机器视觉的金属结构件焊缝识别方法，其特征在于，对所述金属结构件上所述roi区域进行图像捕捉，具体包括：

4.根据权利要求1所述的基于机器视觉的金属结构件焊缝识别方法，其特征在于，对捕捉到的图像进行直线提取，得到直线集合，具体包括：

5.根据权利要求4所述的基于机器视觉的金属结构件焊缝识别方法，其特征在于，对捕捉到的图像依次进行亮度矫正、中值滤波和形态学处理，得到预处理后的图像之前，还包括：

6.根据权利要求4所述的基于机器视觉的金属结构件焊缝识别方法，其特征在于，所述位置条件包括直线位于所述金属结构件的底部、直线为两个侧面的交线和直线位于所述金属结构件的顶部。

7.一种基于机器视觉的金属结构件焊缝识别系统，其特征在于，包括：

8.一种电子设备，其特征在于，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行根据权利要求1至6中任一项所述的方法。

技术总结
本发明公开一种基于机器视觉的金属结构件焊缝识别方法、系统及设备，涉及焊接技术领域，该方法包括从金属结构件的三维模型中提取感兴趣区域(ROI区域)；所述ROI区域为所述三维模型中面与面相交的线、分部件之间的接合线；对所述金属结构件上所述ROI区域进行图像捕捉；对捕捉到的图像进行直线提取，得到直线集合；根据直线集合中每条直线的位置，将满足位置条件的直线筛选出来构成焊缝集合；将所述焊缝集合中每条焊缝的图像坐标转换到三维模型的世界坐标中，并将进行坐标转换后的焊缝传输到所述三维模型中。本发明由于实现了对焊缝进行识别与定位，为大型金属结构件的自动化焊接打下了基础。

技术研发人员：吴焱明,朱文波,权良红,刘正宏,陈先革,郭阳,王凯,孟利振,张恩绪,刘翀,吴浩东
受保护的技术使用者：合肥工业大学
技术研发日：
技术公布日：2024/1/14