一种基于结构光视觉传感器的焊缝起始点检测方法与流程

本发明属于机器人智能焊接领域，涉及一种用于机器人的结构光视觉传感器的焊缝起始点检测方法。

背景技术

机器人智能焊接中一个关键问题在于工件的定位。由于待焊工件的制造误差和定位误差，单纯采用机器人焊接无法保证焊缝质量的一致性，满足不了生产的质量要求。结构光视觉传感器由于其非接触性、测量精度较高、测量速度快的特点，越来越多的应用于机器人焊接领域中。结构光视觉传感器通过采集激光线图像、图像处理及焊缝识别等步骤后，将图像中的焊缝识别点转换为机器人坐标系下的焊缝空间点，机器人控制器通过控制机器人末端，实现机器人的焊缝跟踪等功能。对于一些开环焊缝，需要机器人准确定位焊接的起始位置，当工件出现位置偏差后，直接焊接会造成焊偏的现象，采用结构光视觉传感器检测焊缝的起始焊接位置十分有必要。

焊缝起始点的检测主要有两类检测方式：基于被动视觉的检测方式和基于主动视觉的检测方式。被动视觉没有采用激光线，而是依赖于自然光，容易受到工件形状及工件表面质量的影响，且采用被动视觉的方式需要构造立体视觉的方式才能获取焊缝点的空间位置，所以往往需要两个相机同时对焊缝起始点进行拍摄，不仅设备占用空间更大，而且拍摄的图像需要进行特征点的匹配，精度容易受到图像质量的影响，处理时间及精度都较低，不满足实际焊接的要求。采用主动视觉的方式，如结构光视觉检测，由于采用了激光线，光强大，抗干扰能力强，只需要检测图像中激光条纹的位置，不用进行匹配操作，精度较高，能够满足实际焊接的要求。

技术实现要素：

本发明提出一种基于结构光视觉传感器的焊缝起始点检测方法，其目的在于，提供一种简便有效的方式解决机器人智能焊接过程中，待焊工件由于本身形状尺寸不一致以及工装夹具定位精度不高的造成的焊缝起始点位置偏差的情况。

本发明的技术方案为：

一种基于结构光视觉传感器的焊缝起始点检测方法，包括以下步骤：

步骤1、将机器人运动至结构光视觉传感器开始检测区域，保证结构光视觉传感器在开始检测时焊缝点区域位于图像中间区域；

步骤2、然后机器人驱动结构光视觉传感器沿焊缝起始点的方向以速度s1移动，同时结构光视觉传感器实时检测动态的感兴趣区域内连通区域的数量及面积；

步骤3、当检测到图像中动态的感兴趣区域内连通区域的数量及面积发生突变时，则结构光视觉传感器已经检测到焊缝的起始点区域，此时上位机发送信号给机器人，控制机器人按照反方向驱动结构光视觉传感器进行运动；

步骤4、机器人按照速度s2驱动结构光视觉传感器沿反方向进行运动，s2<s1，同时，结构光视觉传感器实时对焊缝进行检测，当图像中感兴趣区域内的连通区域数量及面积与开始检测时状态一致时，则通过焊缝识别检测当前焊缝点位置作为焊缝的起始点位置；

步骤5、上位机发送信号给机器人，使机器人停止扫描运动，检测结束。

进一步地，所述步骤1中，将机器人运动至结构光视觉传感器开始检测区域后，还包括步骤：

通过图像处理识别焊缝点，设定初始的感兴趣区域，初始的感兴趣区域为矩形区域，矩形中心为焊缝识别点位置。

进一步地，步骤1中，所述的结构光视觉传感器固连在所述机器人焊枪上。

进一步地，所述的步骤2具体包括：

步骤21、启动机器人及结构光视觉传感器，所述机器人驱动结构光视觉传感器沿着焊缝起始点的方向以速度s1移动；

步骤22、所述结构光视觉传感器在移动过程中实时采集激光线图像；

步骤23、对所采集激光线图像中动态的感兴趣区域内的激光条纹进行处理得到感兴趣区域内连通区域的数量及面积。

进一步地，所述步骤22中，所采集的每一帧激光线图像的感兴趣区域是动态的，其中心随着上一帧激光线图像的焊缝识别点变化，感兴趣区域的大小保持不变：

其中[xmin,xmax]和[ymin,ymax]表示动态的感兴趣区域的x和y方向的范围，δw和δh是动态的感兴趣区域的宽度和高度，(ui-1,vi-1)表示上一帧图像中焊缝识别点的坐标。

进一步地，所述的步骤3中，图像中动态的感兴趣区域内连通区域的数量及面积发生突变具体为：

在焊缝起始点内侧区域时，动态的感兴趣区域内的连通区域的数量保持为1，且该连通区域的面积也保持在最大值；当激光扫描到焊缝起始点外侧区域时，动态的感兴趣区域内的连通区域数量将不为1，且其最大连通区域的面积也会明显小于初始检测时连通区域的面积。

进一步地，所述的步骤4具体包括：

步骤41、所述机器人按照速度s2驱动结构光视觉传感器沿反方向进行运动，s2<s1；

步骤42、所述结构光视觉传感器在移动过程中实时采集激光线图像；

步骤43、对所采集激光线图像中动态的感兴趣区域内的激光条纹进行处理得到感兴趣区域内连通区域的数量及面积；

步骤44、当动态的感兴趣区域内的连通区域数量重新变为1，且其连通区域的面积与初始检测时连通区域的面积的差小于设定值时，保存机器人位置，并识别激光线图像中的焊缝点位置；

步骤45、通过坐标变换，将激光线图像中的焊缝识别点转换到机器人坐标系下的焊缝点，该焊缝位置即作为焊缝的起始点位置。

进一步地，所述的对所采集激光线图像中动态的感兴趣区域内的激光条纹进行处理得到感兴趣区域内连通区域的数量及面积具体包括：

步骤101、对所采集激光线图像进行图像二值化处理：

其中，iuv表示(u,v)坐标位置下的图像像素值，ie为设定的像素阈值；

步骤102、二值化处理以后，采用形态学闭运算操作，将细小的分段进行结合；

步骤103、进行区域的孔洞填充，对激光条纹区域内部的孔洞设置像素值为255，保证内部区域的连通；

步骤104、采用8邻域描述法进行连通区域的标记，标记相同的区域作为一个整体，然后计算动态的感兴趣区域内的连通区域数量及最大连通区域的面积。

进一步地，所述步骤4中，机器人的运动速度s2设定为：

进一步地，所述步骤3中，所述上位机控制机器人按照反方向驱动结构光视觉传感器进行运动之前，先将所述机器人运动速度降为0。

相比现有技术，本发明的有益效果是：

1、本发明采用结构光视觉传感器进行扫描式检测的方式，通过粗扫描和细扫描两个过程，根据t型角接焊缝形状特点，分析图像中动态的感兴趣区域区域内连通区域的数量及面积的变化情况，定位焊缝的起始点位置。

2、本发明涉及的方法简便有效，采用粗扫描和细扫描结合的方式，既提高了检测的快速性，有能够满足检测的精度，能够解决待焊工件不一致导致的焊接起始点定位不准确的难题，为机器人智能焊接提供了有效的解决方法。

3、本发明可以实现t型角接焊缝的起始点定位，通过适当的改进可以实现对对接型焊缝及搭接型焊缝的起始点检测。

附图说明

图1为t型角接焊缝的两种起始点定义示意图。

图2为焊缝起始点检测流程图。

图3为连通区域变化过程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图和实施例对本发明进行进一步详细说明。

工件由于制造误差以及工装夹具的定位误差，导致焊接时，焊缝的起始点偏离理想的位置。本发明采用结构光视觉传感器对t型角接焊缝工件进行起始点的检测，由于结构光视觉传感器每帧图像只能输出一个焊缝点位置，因此对于起始点的检测需要采用扫描式的检测方式。

图1所示是典型的t型角接焊缝的起始点形状，由于其结构的不同，导致激光照射到焊缝起始点附近区域时，图像中的激光条纹形状也不同。图2为焊缝起始点检测流程图，整个流程包括粗扫描和细扫描过程，粗扫描过程保证快速找到焊缝起始点区域，细扫描使得焊缝起始点定位更加准确。

如图2所示，一种基于结构光视觉传感器的焊缝起始点检测方法，包括以下步骤：

步骤1、将机器人运动至结构光视觉传感器开始检测区域，保证结构光视觉传感器在开始检测时焊缝点区域位于图像中间区域，所述的结构光视觉传感器固连在所述机器人焊枪上；

步骤2、然后机器人驱动结构光视觉传感器沿焊缝起始点的方向以速度s1移动，同时结构光视觉传感器实时检测动态的感兴趣区域(roi)内连通区域的数量及面积；

步骤3、当检测到图像中动态的感兴趣区域内连通区域的数量及面积发生突变时，则结构光视觉传感器已经检测到焊缝的起始点区域，此时上位机发送信号给机器人，控制机器人按照反方向驱动结构光视觉传感器进行运动，由于机器人运动具有惯性，机器人不会立即反向运动，因此，所述上位机控制机器人按照反方向驱动结构光视觉传感器进行运动之前，先将所述机器人运动速度降为0；

步骤4、机器人按照速度s2驱动结构光视觉传感器沿反方向进行运动，s2<s1，同时，结构光视觉传感器实时对焊缝进行检测，当图像中感兴趣区域内的连通区域数量及面积与开始检测时状态一致时，则通过焊缝识别检测当前焊缝点位置作为焊缝的起始点位置；

步骤5、上位机发送信号给机器人，使机器人停止扫描运动，检测结束。

具体而言，所述步骤1中，将机器人运动至结构光视觉传感器开始检测区域后，还包括步骤：

通过图像处理识别焊缝点，设定初始的感兴趣区域，初始的感兴趣区域为矩形区域，矩形中心为焊缝识别点位置。

具体而言，步骤1中，所述的结构光视觉传感器固连在所述机器人焊枪上。

具体而言，所述的步骤2具体包括：

步骤21、启动机器人及结构光视觉传感器，所述机器人驱动结构光视觉传感器沿着焊缝起始点的方向以速度s1移动；

步骤22、所述结构光视觉传感器在移动过程中实时采集激光线图像；

步骤23、对所采集激光线图像中动态的感兴趣区域内的激光条纹进行处理得到感兴趣区域内连通区域的数量及面积。

具体而言，所述步骤22中，所采集的每一帧激光线图像的感兴趣区域是动态的，其中心随着上一帧激光线图像的焊缝识别点变化，感兴趣区域的大小保持不变：

其中[xmin,xmax]和[ymin,ymax]表示感兴趣区域的x和y方向的范围，δw和δh是动态的感兴趣区域的宽度和高度，(ui-1,vi-1)表示上一帧图像中焊缝识别点的坐标。

具体而言，所述的步骤3中，图像中动态的感兴趣区域内连通区域的数量及面积发生突变具体为：

在焊缝起始点内侧区域时，动态的感兴趣区域内的连通区域的数量保持为1，且该连通区域的面积也保持在最大值；当激光扫描到焊缝起始点外侧区域时，动态的感兴趣区域内的连通区域数量将不为1，且其最大连通区域的面积也会明显小于初始检测时连通区域的面积。

具体而言，所述的步骤4具体包括：

步骤41、所述机器人按照速度s2驱动结构光视觉传感器沿反方向进行运动，s2<s1；

步骤42、所述结构光视觉传感器在移动过程中实时采集激光线图像；

步骤43、对所采集激光线图像中动态的感兴趣区域内的激光条纹进行处理得到感兴趣区域内连通区域的数量及面积；

步骤44、当动态的感兴趣区域内的连通区域数量重新变为1，且其连通区域的面积与初始检测时连通区域的面积的差小于设定值时，保存机器人位置，并识别激光线图像中的焊缝点位置；

步骤45、通过坐标变换，将激光线图像中的焊缝识别点转换到机器人坐标系下的焊缝点，该焊缝位置即作为焊缝的起始点位置。

具体而言，为了识别激光条纹的突变，所述的对所采集激光线图像中动态的感兴趣区域内的激光条纹进行处理得到感兴趣区域内连通区域的数量及面积具体包括：

步骤101、对所采集激光线图像进行图像二值化处理：

其中，iuv表示(u,v)坐标位置下的图像像素值，ie为设定的像素阈值；

步骤102、二值化处理以后，采用形态学闭运算操作，将细小的分段进行结合；

步骤103、进行区域的孔洞填充，对激光条纹区域内部的孔洞设置像素值为255，保证内部区域的连通；

步骤104、采用8邻域描述法进行连通区域的标记，标记相同的区域作为一个整体，然后计算动态感兴趣区域内的连通区域数量及最大连通区域的面积。

在所述机器人按照速度s2驱动结构光视觉传感器沿反方向进行运动时，其速度s1满足：

低速情况下，能够提高结构光视觉传感器检测点的精度。

图3反映了焊缝起始点检测过程中，不同时刻图像中感兴趣区域内的连通区域的变化情况：

图3(a)时刻激光线位于焊缝内侧；图3(b)时刻检测到连通区域突变，图3(c)时刻由于机器人惯性，分裂口继续扩大，图3(d)时刻连通区域重新结合成一个整体；快速扫描阶段，连通区域从整体到分裂，慢速扫描阶段，连通区域从分裂到整体。通过识别连通区域的变化情况，完成焊缝起始点的定位。

本实施方式对本发明的目的、技术方案和优点进行了进一步地详细说明，所应说明的是，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围内。