一种基于线结构光的曲线焊缝焊接技术的制作方法

本发明属于工业自动化焊接技术领域，涉及线结构光引导的曲线焊缝检测技术，特别是能够实时的根据工件侧面的夹角来改变焊枪姿态的轨迹规划方法。

背景技术：

随着工业自动化的不断发展，自动化焊接已经成为汽车、船舶等生产企业的发展主流。因而受到人们的广泛重视与关注。目前基于线结构光的以机器视觉为引导的来实现自动化焊接的大部分以直线焊缝检测为主，而就曲线焊缝焊接而言，焊缝特征点的确定一般是通过示教的方法确定，该种方法获取过程机械，不能满足自动化生产的需求。

在实际焊接中，经常会遇到斜交圆管插接时的相贯线焊接情况。对于管管相贯焊接而言，其模型即为典型的空间曲线。对于曲线焊缝来说，通过简单的位姿插补轨迹规划算法已经不能满足严格要求的焊接质量与要求，需要实时的根据工件侧面的夹角来改变焊枪的位置和姿态。

机器人在焊接的过程中如何能够精准快速的找到曲线焊缝并根据工件侧面的夹角来控制焊枪的姿态，是一直困扰自动化焊接领域的一大难题。通过六自由度工业机器人带动机器人末端工业相机对曲线焊缝进行图像采集，经过一定的图像预处理以及焊缝特征点检测工作，利用三维重建，得到各曲线焊缝特征点的机器人坐标，最后利用B样条曲线插补以及焊枪姿态离散算法，不仅可以使弧焊机器人按照最优路径进行施焊，还可以大大的改善焊接质量，提高生产效率，在实际生产中具有重要意义

技术实现要素：

本发明能够有效的实现工业机器人对曲线焊缝的自动识别与焊接，并且能够根据斜交管侧面的角度实时的调节焊枪的姿态，经过实证表明该算法不仅定位准确而且能够满足各种焊接工艺的要求。

本发明解决上述技术问题的技术方案是，提出一种基于线结构光的曲线焊缝自动化焊接技术。其具体过程如下：

步骤一：调节六自由度工业机器人使其带动机械末端上的工业相机以及线结构光传感器，使结构光光带照射位置s₁处，利用工业相机对曲线焊缝上的光带进行拍摄，一直拍摄到s_n处。在实证中拍摄6幅图像，并将拍摄得到的数字图像传输给图像处理器。

步骤二：对所拍摄的曲线焊缝图像进行图像处理工作经过特征点提取算法，得到焊缝各特征点以及参考点的图像坐标，其具体步骤包括：

步骤2-1、降噪处理，利用中值滤波以及LOG滤波，对采集得到的焊缝图像进行一定的降噪处理，使结构光的光带条纹更加鲜明；

步骤2-2、ROI区域的截取，通过对图像Y轴方向的灰度值扫描，找到某一列竖直方向灰度值最大的像素点位置，根据实际工件尺寸，以此点为参考向该点的Y轴负方向平移n个像素点的位置，并把此点在Y轴方向的位置数值设置为剪切图像起点的Y轴坐标，X轴坐标设置“1”。

步骤2-3、图像二值化处理，本文选用最大方差法。该算法不需要人为的设定其他参数，是一种自动选择阈值的方法；

步骤2-4、形态学腐蚀，本文使用的是3*3模板进行处理，使得光条边缘的毛刺以及一些孤立零散的点得以消除；

步骤2-5、图像细化，通过水平和竖直方向扫描，找出所有像素值为1的点，找出光带在每一列上下边界的纵坐标，分别记为y_1i和y_2i。光带的宽度记为Δy_i，中心线的纵坐标纪为ymid_i，所以中心点坐标可以表示为(x_i，ymid_i)，其中

步骤2-6、特征点提取，从左向右不断计算以N个像素点为单位长度的线段的斜率，将整个线段的斜率以曲线的类型表示。从斜率变化曲线可以清楚的知道线段的斜率变化，通过分析得知斜率最大值所对应的点便是曲线上所需求取的焊缝特征点的位置。

步骤三：三维重建，将特征点坐标以及参考点坐标由图像坐标系转化到机器人坐标系，通过标定可知摄像机到腕部的转换矩阵T。机器人的六自由度关节角可以从示教器上得知，经过机器人的正解可以得知机器人末端相对于机器人基座的位姿矩阵B。最后，通过式pb＝B*T*p_c，可求得p_c点在基坐标系下的坐标pb。

步骤四：各特征点的曲线插值，本课题采用B样条的理论来实现空间焊缝曲线的插值。在焊接加工中我们首先根据步骤二和步骤三中的图像处理算法以及三维重建，获取到曲线焊缝各个特征点的三维坐标，也就是型值点坐标，然后计算控制顶点。

步骤五：确定焊枪在各个特征点位置的姿态，在直线和曲线上各选取一个参考点C和B，其中B点在曲线焊缝特征点起点的切线延长线上，C点在直线光条上。角BAC近似表示为斜交管的侧面张角。根据焊接工艺及要求，焊枪所在的位置应为斜交管侧面张角角平分线的位置。根据B样条曲线插值得到焊缝曲线表达式U，通过对U求导，从而得到沿曲线切线方向(即X轴方向)的方向向量X_x。把向量和单位化：初步计算焊枪尖点Z轴的方向向量：进一步求取特征点Y轴方向的方向向量：X_y＝X_z′×X_x；显然可以得出，X_x和X_y是相互垂直的，而X_x和X_z′不能保证垂直，所以需要对X_z′的方向向量进行方向修正：X_z＝X_x×X_y；根据该特征点三个方向向量的确定进而可以得到该特征点所对应焊枪位置的姿态矩阵：

步骤六：焊枪姿态的离散，据步骤五中得到的各特征点的姿态矩阵，进而求解每相邻两个特征点之间各离散点的姿态。假设第一和第二特征点的姿态矩阵分别为R₁和R₂，R₁和R₂之间需要离散N个点。在这里我们可以得到：R₁到R₂的姿态变换矩阵：R_ot1＝R₁\R₂；利用机器人运动学求解得到R₁和R₂之间每个离散点之间的欧拉角梯度E₁，进而得到每两个离散点之间的姿态梯度R₀₁；最终得到第一个离散点的姿态矩阵R₁₁＝R₁*R₀₁；同理可以得到第二个离散点的姿态矩阵为R₁₂＝R₁*R₀₁*R₀₁，以此类推求取接下来各离散点的姿态矩阵。

本发明提供的基于线结构光的面向于斜交管的曲线焊缝自动化焊接技术与传统的轨迹规划技术有着本质的区别，本发明把机器视觉与机器人运动学很好的结合了起来，体现了如今自动化产业的发展方向和发展要求，摒弃了复杂落后的示教方法来确定焊缝特征点的过程。经实证表明，该算法具有较高的鲁棒性和实时性，在实际焊接中可以满足焊接的各种要求且具有较高的焊接精度。

附图说明

图1为算法的步骤流程框图；

图2为图像处理部分流程框图；

图3为焊接机器人各坐标转换示意图；

图4为斜交管模型示意图；

具体实施方式

如图1所示为基于线结构光的面向于斜交管的曲线焊缝自动化焊接技术流程框图，下面根据附图及具体实例对本发明的实施作进一步说明：

步骤一：调节六自由度工业机器人使其带动机械末端上的工业相机以及线结构光传感器，使结构光光带照射位置S₁处，利用工业相机对曲线焊缝上的光带进行拍摄，且一直拍摄到S_n处，在实证中拍摄6幅图像，即拍摄到S₆处。并将拍摄得到的数字图像传输给图像处理器。

步骤二：针对所拍摄的曲线焊缝图像进行图像处理，其具体过程如下：

步骤2-1、对图像进行滤波：

步骤2-1-1、中值滤波：选择3*3的滤波模板对焊缝进行图像处理。该模板可以针对灰尘、飞溅带来的椒盐噪声得到明显的消除。

步骤2-1-2、LOG滤波：本发明选择使用高斯-拉普拉斯滤波一维列向模板。其模板为s＝[-2；-2；-1；0；1；2；4；2；1；0；-1；-2；-2]，该操作可以很好的处理这些噪声并掏空噪声内部，使其边缘化。

步骤2-2、ROI区域提取：提出一种新的ROI区域的提取算法，该算法会使非感兴趣区域带来的干扰得以消除，降低了数据运算规模，提高了图像处理的运算效率。ROI区域提取算法如下：

步骤2-2-1、读取一幅灰度图像，并将该幅图像上所有像素点的灰度值存储在一个已经定义的一维数组当中；

步骤2-2-2、确定ROI区域剪切参数：X_min(剪切图像的起点的x轴坐标)：设置为“1”；Y_min：(剪切图像的起点的Y轴坐标)：通过Y轴方向的灰度值扫描，找到某一列竖直方向灰度值最大的像素点位置，根据工件尺寸，以此点为参考向该点的Y轴负方向平移n个像素点的位置，并把此点在Y轴方向的位置数值设置为“Y_min”；Weight：选取原图像的宽度作为“Weight”值；Height：工件尺寸，将“Height”数值设置为h；即：

步骤2-3、图像二值化处理，本文选用最大方差法。该算法不需要人为的设定其他参数，是一种自动选择阈值的方法；

步骤2-4、形态学腐蚀，本文使用的是3*3模板进行处理，使得光条边缘的毛刺以及一些孤立零散的点得以消除；其模板为：

步骤2-5、图像细化，通过水平和竖直方向扫描，找出所有像素值为1的点，找出光带在每一列上下边界的纵坐标，分别记为y_1i和y_2i。光带的宽度记为Δy_i，中心线的纵坐标记为ymid_i，所以中心点坐标为(x_i，ymid_i)；即：

步骤2-6、焊缝特征点的确定，其算法步骤如下：

步骤2-6-1、从左向右不断计算以n个像素点为长度单位的线段的斜率，将整个线段的斜率以曲线的类型表示。

步骤2-6-2、从斜率变化曲线可以清楚的知道线段的斜率变化，通过分析得知斜率最大值所对应的点便是曲线上所需求取的焊缝特征点的位置。

步骤三：将步骤二中得到的曲线焊缝特征点的图像坐标经过三维重建，转变成机器人坐标系下的坐标。

步骤3-1、利用摄像机内外参数标定以及线结构光平面方程标定得到的参数M，假设点p在图像坐标系下的坐标为(u₁，v₁)，因而可以计算出p点在摄像机的焦距归一化成像平面的成像点P_1c1的坐标：

步骤3-2、假设平面方程式为：ax+by+cz+1＝0，其中，a，b，c为平面方程的各项系数。由于空间点P_1c1在摄像机的光轴中心点与成像点构成的直线上，即可知：

步骤3-3、利用该直线的方程与结构光平面方程，即可得到特征点在摄像机坐标系下的三维坐标p_c(x，y，z)，可以得到：

步骤3-4、通过标定可知摄像机到腕部的转换矩阵T。机器人的六自由度关节角可以从示教器上得知，经过机器人的正解可以得知机器人末端相对于机器人基座的位姿矩阵B。最后，通过式pb＝B*T*p_c，可求得p_c点在基坐标系下的坐标pb。

步骤四：采用B样条的理论来实现空间焊缝曲线的插值。在焊接加工中我们首先根据前期的图像处理算法以及三维重建，获取到曲线焊缝各个特征点的三维坐标，也就是型值点坐标，然后计算控制顶点。我们根据给定的型值点序列P_i(i＝1，2，…，n)计算控制顶点V_j(j＝1，…，2，n+1，n+2)，使其定义的三次B样条曲线通过点列P_i(i＝1，2，…，n)并以P_i为曲线段的结点。

在曲线拟合过程中往往需要获取n个型值点。在实证中通过前期获取的6个型值点来验证，把曲线段数分为5段，根据B样条基函数的系数可知：

中间的B样条矩阵表示为：

则各段曲线的首点为：

所以，根据式(8)可以得出第3段曲线：

第4段曲线：

第5段(最后一段)曲线：

最后一段曲线的末点为：P₆＝V₈。

综上可以得出：

当两端取自由端条件时，方程组为：

加上端点条件，其首端顶点和末端顶点，

综合以上各式便可以求出所有的控制顶点。

步骤五：确定焊枪在各个特征点位置的姿态。在直线和曲线上各选取一个参考点C和B，其中B点在曲线焊缝特征点起点的切线延长线上，角BAC近似表示为斜交管的侧面张角。

根据B样条曲线插值得到焊缝曲线表达式U，通过对U求导，从而得到沿曲线切线方向的方向向量X_x。

根据焊接工艺及要求，焊枪所在的位置应为斜交管侧面张角角平分线的位置。把向量和单位化：

初步计算焊枪尖点Z轴的方向向量：

进一步求取特征点Y轴方向的方向向量：X_y＝X_z′×X_x；

显然可以得出，X_x和X_y是相互垂直的，而X_x和X_z′不能保证垂直，所以需要对X_z′的方向向量进行方向修正：X_z＝X_z×X_y；

根据以上各式确定的各特征点三个方向向量进而可以得到该特征点所对应焊枪位置的姿态矩阵：

步骤六：焊枪姿态的离散。据步骤五中得到的各特征点的姿态矩阵，进而求解每两个特征点之间各离散点的姿态；

假设第一和第二特征点的姿态矩阵分别为R₁和R₂，R₁和R₂之间需要离散N个点。

在这里我们可以得到：R₁到R₂的姿态变换矩阵：R_ot1＝R₁\R₂；

利用机器人运动学求解得到R₁和R₂之间每个离散点之间的欧拉角梯度E₁，进而得到每两个离散点之间的姿态梯度R₀₁；

最终得到第一个离散点的姿态矩阵R₁₁＝R₁*R₀₁；

同理可以得到第二个离散点的姿态矩阵为R₁₂＝R₁*R₀₁*R₀₁，以此类推求取接下来各离散点的姿态矩阵。

上述基于线结构光的面向于斜交管的曲线焊缝自动化焊接技术，可以快速的识别曲线焊缝并可以有效的控制弧焊机器人焊接时焊枪的位置和姿态。打破了以往通过示教获取曲线焊缝型值点的方式，告别了弧焊机器人焊接复杂空间曲线模型时机械的焊接方法，对于实现推进工业自动化的发展具有十分重要的意义。