焊缝验证方法与流程

本发明涉及一种用于机器人或自动化焊接中对金属薄板结构对接焊缝的视觉识别，尤其涉及一种焊缝验证方法。

背景技术：

薄板结构的无间隙对接接头在航空航天工业中应用很广，对此类接头的自动识别和跟踪要求也非常迫切。人们采用了多种方法对此进行了研究，如激光扫描测距方法和光强分析方法、图像分析方法以及电磁传感器方法等。目前这些研究工作与实际应用还有较大距离。因为这些方法几乎都假设接头有一定的间隙、错边或倾斜特征，而实际中的接头状况难以满足要求。例如，现有的焊缝具有各种不同的对接焊缝的情形，比如，有的地方有小的间隙，有的地方间隙稍大一点，另外的地方完全没有间隙。所以现有的方法满足不了实际的需求。

技术实现要素：

为了克服现有技术的上述缺陷，本发明所要解决的技术问题是提供一种焊缝验证方法，其能解决上述问题中的任一种。

为达到上述目的，本发明的技术方案是：

一种焊缝验证方法，它包括以下步骤：

获取焊缝图像以及在焊缝图像中待验证的焊缝直线；

在每一行与待验证的焊缝直线相交的点的两边各选取q个像素点组成图像子集，原始图像行的方向大体垂直于待验证的焊缝直线，其中q为大于或等于1的正整数；

将所述图像子集的所有行相加得到一个数组，对此数组做一阶差分并找到最大值和最小值的位置；

如果最大值和最小值位于待验证的焊缝直线的两侧，则判定待验证焊缝位置是可靠的。

优选地，它包括：在在每一行与待验证的焊缝直线相交的点的两边各选取q个像素点组成图像子集步骤中，q=32。

优选地，它包括在对此数组做一阶差分步骤中，差分公式为D(i)=F(i)–F(i-1)。

优选地，它包括：如果最大值和最小值不是位于待验证的焊缝直线的两侧，则判定待验证焊缝位置是不可靠的。

优选地，它包括：当所得最大值与最小值位置的距离大于待验证的焊缝直线时，基于最大值与最小值位置的距离对所得的焊缝直线进行调整。

本发明采用上述方法，可以对各种情形的薄板的对接焊缝（包括无间隙和有一定间隙的焊缝）可靠验证，而不会发生验证失败的情况。

附图说明

在此描述的附图仅用于解释目的，而不意图以任何方式来限制本发明公开的范围。另外，图中的各部件的形状和比例尺寸等仅为示意性的，用于帮助对本发明的理解，并不是具体限定本发明各部件的形状和比例尺寸。本领域的技术人员在本发明的教导下，可以根据具体情况选择各种可能的形状和比例尺寸来实施本发明。

图1为本申请中采用该焊缝验证方法的装置。

图2为采用现有技术中的焊接机器人获取的铝板对接焊缝焊接时没有主动照明的图像。

图3为本申请中焊接机器人获取的铝板对接焊缝焊接时有主动照明的图像。

图4为本申请中焊接机器人获取的3mm厚铝板无间隙对接焊缝检测结果的图像。

图5为本申请中焊接机器人获取的3mm厚钢板无间隙对接焊缝检测结果的图像。

图6为本申请中焊接机器人获取的3mm厚钢板无间隙有人为划痕对接焊缝检测结果的图像。

图7为本申请中焊接机器人获取的3mm厚钢板无间隙有定位焊点对接焊缝检测结果的图像。

图8为本申请中焊接机器人获取的3mm厚铝板间隙0.02mm对接焊缝检测结果的图像。

图9为本申请中焊接机器人获取的3mm厚铝板间隙0.05mm对接焊缝检测结果的图像。

图10为本申请中焊接机器人获取的3mm厚钢板间隙0.3mm对接焊缝检测结果的图像。

图11为本申请中焊接机器人获取的3mm厚钢板间隙0.5mm对接焊缝检测结果的图像。

以上附图的附图标记为：1、焊枪；2、视频摄像机；3、主动照明。

具体实施方式

结合附图和本发明具体实施方式的描述，能够更加清楚地了解本发明的细节。但是，在此描述的本发明的具体实施方式，仅用于解释本发明的目的，而不能以任何方式理解成是对本发明的限制。在本发明的教导下，技术人员可以构想基于本发明的任意可能的变形，这些都应被视为属于本发明的范围。

本发明公开了一种焊缝检测方法，它包括以下步骤：

获取焊缝图像；

在获取的焊缝图像中，初始图像的行方向大致垂直于焊缝，每隔n行选取一行进行处理，共选取m行。这里m为大于8的正整数，n为大于或等于0的整数；f(i,j)表示了第j行的第i个点的像素灰度值；

对选取的行进行平滑处理；

对平滑处理后的数据做一阶差分；

在差分后的数据中选取k个极大值像素的位置和k个极小值像素的位置，其中k为2至4；

在对上一步中2k个位置的每一个的邻域内寻找一个灰度极小值的位置, 得到2k个新的位置；

对所有选取的行上的2k个点（共2k*m），做豪尔（Hough Transform）变化，得到

ρ = Xcosθ + Ysinθ，其中ρ原点到直线的距离，θ是该直线的法线与X轴的夹角；

具体地，在本实施方式中，在获取薄板图像后，将图像的左上角定义为原点，由原点向下定义为Y方向；由原点向右定义为X方向；行的方向平行于X方向，列的方向平行于Y方向 。

为了加快处理速度，可以在沿Y方向，每隔m行选取一行进行采样。在本实施方式中，m可以为0至10中的任一个数。例如，一幅灰度图像如果取样为512 X 512个点的矩阵的话，共有262144个点，每一个点有一个灰度值，或者叫亮度值。坐标的取法：坐标原点在图像的左上角，X方向为水平向右，Y方向为垂直向下。这里f(i,j)就表示了第j行的第i个点的像素灰度值。如果每隔1行取一行的话，最后就是取得256行，如果每隔3行取一行的话，最后就是取得128行。

对采样得到的行进行平滑处理，平滑窗口为3X1。

其中，在对选取的行进行平滑处理，平滑处理的公式为f(i)=(f(i-1)+f(i)+f(i+1))/3。

对平滑处理后的数据做一阶差分，d(i,j) =f(i,j)–f(i-1,j)，这里d(i,j)是像素点(i,j)处灰度差分值，f(i,j)和 f(i-1,j)分别是像素点(i,j)和(i-1,j)处的灰度值。在差分后的数据中选取k个极大值像素的位置和k个极小值像素的位置。在本实施方式中，k =为2至4中的任一个正整数。

在对上一步中2k个位置的每一个的邻域内寻找一个灰度极小值的位置, 得到2k个新的位置。这里邻域半径的选择取实际假设的最大间隙宽度一半对应的像素数。

对所有选取的行上的2k个点（共2k*m）做豪尔（Hough Transform）ρ = Xcosθ + Ysinθ。参量ρ和θ唯一地确定了一条直线，ρ原点到直线的距离，θ是该直线的法线与X轴的夹角。

在变换后的数组中搜索最大值，这个最大值对应的直线，就是我们候选的焊缝直线（图像对应的物理区域大概在11.2mm X 11.2mm，在整个图像的范围内假设焊缝是直线是成立的）。

以上焊缝检测算法不仅能够可靠地检测出无间隙和小间隙的对接焊缝，而且在有强烈的干扰如表面划痕、定位焊点的情况下，检测结果也非常可靠。

在经过焊缝检测后，本发明采用的识别系统还可以对焊缝进行验证。

一种焊缝验证方法，它包括以下步骤：

获取焊缝图像以及在焊缝图像中待验证的焊缝直线；

在原始图像的每一行与待验证的焊缝直线相交的点的两边各选取q个像素点组成图像子集，初始图像的行方向大致垂直于焊缝，其中q=32；

将所述图像子集的所有行相加得到一个数组，对此数组做一阶差分并找到最大值和最小值的位置，差分公式为D(i) =f(i)–f(i-1)；

如果最大值和最小值的位置位于待验证的焊缝直线的两侧，则判定待验证焊缝位置是可靠的；

如果最大值和最小值的位置不是位于待验证的焊缝直线的两侧，则判定待验证焊缝位置是不可靠的。

当所得的最大值与最小值位置之间的距离大于事先设定的需调整的焊缝间隙宽度时，用最大值与最小值位置之间的的距离对所得的焊缝直线进行调整。具体地，我们实际实验中，如果焊缝间隙大于0.2mm, 检测结果就做调整。这里最大值的位置对应间隙的左边缘，最小值的位置对应间隙的右边缘。最大值和最小值位置的差值对应与间隙宽度。我们的实验中512X512的图像对应于物理尺寸11.2mmX12.2mm，所以0.2mm对应于9个像素。0.5mm的间隙就对应于22个像素。在计算出最大值和最小值像素的位置间距后，就可以根据前面求图像子集以及图像像素与物理尺寸的关系反推算出新的值。

参照图1所示，本申请还公开了一种薄板焊接机器人，它包括：

机器手臂，其具有多个自由度；

焊枪1，所述焊枪1设置在所述机器人手臂上，从而能随着所述机器手臂运动，所述焊枪1用于对所述薄板进行焊接；

视频摄像机2，其包括用于获取所述薄板和/或焊缝图像的图像传感器和用于控制所述图像传感器获取图像的电子快门；

主动照明3，所述主动照明3包括用于向所述视频摄像机2提供照明的发光二极管，所述发光二极管基于所述电子快门动作而动作。

具体地，在本实施方式中，机器手臂可以具有六个甚至更多个自由度，以对焊枪1的运行轨迹进行精确控制。

焊枪1受控于机器手臂，从而可以对薄板进行选择性地操纵，例如焊接或者停止焊接。焊枪可以为氩弧焊枪等其他类似可以用于焊接的装置。

视频摄像机2的分辨率高，体积小，适合机器人使用。

视频摄像机2包括高精度的图像传感器，图像传感器受控于电子快门以对薄板进行图像的获取。

在本实施方式中，主动照明3采用大功率的发光二极管。由于发光二极管可以受控于电信号，从而发光二极管可以基于电子快门而控制。例如，当电子快门操纵图像传感器获取图像时，发光二极管可以向薄板的区域提供光线，从而给予薄板以一定亮度的照明。

而现有技术中采用的主动照明为传统的照明灯，其开关控制常常有一定程度的延迟，因而不适用于高精度的、快速的场合。

相反的，本申请中的薄板焊接机器人，可以对薄板进行快速处理，大大增加了其精度和可操纵性。

优选地，所述发光二极管为大功率发光二极管。

优选地，所述发光二极管基于所述电子快门使得所述图像传感器获取图像而开启。

优选地，所述发光二极管基于所述电子快门使得所述图像传感器不获取图像而关闭。

优选地，所述发光二极管基于所述图像传感器获取的图像而调节其发出的光强。

优选地，所述视频摄像机2、所述发光二极管和所述焊枪沿线性排布。

优选地，所述视频摄像机2和所述发光二极管位于所述焊枪的移动方向的前方。

比对图2所示，结合图3至图11示出，采用本申请中的焊接机器人获取的图像清晰度较高。

在本实施方式中，主动照明3采用大功率的发光二极管。由于发光二极管可以受控于电信号，从而发光二极管可以基于电子快门而控制。例如，当电子快门操纵图像传感器获取图像时，发光二极管可以向薄板焊缝的区域提供照明，从而使获取的薄板焊缝图像具有合适的亮度。

而现有技术中采用的主动照明为传统的照明灯，其开关控制常常有一定程度的延迟，因而不适用于高精度的、快速的场合。

相反的，本申请中的薄板焊接机器人，可以对薄板进行快速处理，大大增加了其精度和可操纵性。

优选地，所述发光二极管为大功率发光二极管。

优选地，所述发光二极管基于所述电子快门使得所述图像传感器获取图像而开启。

优选地，所述发光二极管基于所述电子快门使得所述图像传感器不获取图像而关闭。

优选地，所述发光二极管基于所述图像传感器获取的图像而调节其发出的光强。

优选地，所述视频摄像机2、所述发光二极管和所述焊枪沿线性排布。

优选地，所述视频摄像机2和所述发光二极管位于所述焊枪的移动方向的前方。

比对图2所示，结合图3至图11示出，采用本申请中的焊接机器人获取的图像清晰度较高。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

上述实施例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人士能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所作的等效变化或修饰，都应涵盖在本发明的保护范围之内。