一种六自由度焊接机器人线激光实时焊缝跟踪方法与流程

本发明涉及机器人线激光实时焊缝跟踪系统，尤其涉及六自由度焊接机器人线激光实时焊缝跟踪方法。

背景技术：

由于焊接作业存在工作环境恶劣、劳动强度大、效率低下等问题，当前焊接机器人已经逐步在的汽车生产、工程机械、造船以及集装箱生产等许多领域得到应用.焊接机器人通常采用示教再现的工作模式.为确保这种工作模式能在具体的焊接环境中实施，前工序中需通过人工点焊完成焊接工件的定位，这会引起定位误差，使实际轨迹偏离示教轨迹，从而导致示教编程获得的机器人焊接轨迹偏离了再现时的轨迹。

随着机器视觉技术的发展，焊接机器人广泛使用视觉检测技术校正再现轨迹，实现焊缝跟踪。焊缝跟踪系统通常将视觉系统安装在机械手末端，当机器人作业时，视觉系统与焊枪同步工作，实时检测工件在焊接过程中由高温引起的热变形，并调整焊枪与焊缝间的位置。

焊缝实时跟踪系统主要技术指标是激光条纹8和焊接熔池5之间的距离d，如附图4。d越小则跟踪精度越高，通常希望d＜30mm，但是这会导致视觉系统检测的图像信息中存在强烈的弧光和飞溅，造成测量精度降低和产生大量错误数据，当焊接电流超过300A后，此现象更加明显。为了减小弧光飞溅的干扰，目前大部分焊缝跟踪系统的d都在70mm左右，这大大降低了跟踪实时性与焊接精度。因此如何从含有强烈噪声干扰的图像中识别出焊缝，快速、准确获取其位置是实时焊缝跟踪中重要的问题。

技术实现要素：

本发明的目的在于克服现有技术的不足,提供一种六自由度焊接机器人线激光实时焊缝跟踪系统及方法，旨在解决当前自动焊接技术中视觉图像处理困难以及激光条纹与焊接熔池距离过大的问题

上述目的是通过以下技术方案实现的：

一种六自由度焊接机器人线激光实时焊缝跟踪方法，该方法基于的跟踪系统包括六自由度机械臂、焊枪、线激光视觉传感器、工作台、自动焊机、送丝机构、嵌入式工业控制器、控制柜，包括步骤：

(1)焊接时将线激光视觉传感器中相机采集到的图像先进行图像预处理；

(2)采用基于加权余弦相似度(WLCS)的特征点提取算法，得到预处理后的当前帧图像中焊缝中心特征点的像素坐标值；

(3)将所述坐标值转换成相机坐标系下的三维坐标值之后，把该值与初始值的偏差值实时发送给六自由度机器人，从而带动焊枪完成自动焊接过程。

进一步地，在进行步骤(1)之前，还包括步骤：

根据线激光传感器中的相机采集的图像获取焊接前初始的焊缝特征点和相邻区域。

进一步地，所述的根据线激光传感器中的相机采集的图像获取焊接前初始的焊缝特征点和相邻区域的步骤具体包括：

(1)调整六自由度焊接机器人机械臂的位置，使得焊枪末端(即焊丝末端)位于待焊工件焊缝位置的正上方，并使得固定在焊枪上的线激光传感器处于最佳工作位置，即在焊接过程中既能捕捉到清晰地图像，又不会使得线激光传感器和待焊工件发生干涉；

(2)线激光传感器中的相机采集图像并发送到嵌入式工业控制器，嵌入式工业控制器通过调用Halcon软件的库函数进行初始化，得到初始的焊缝特征点和相邻区域；

(3)嵌入式工业控制器将得到的焊接前初始特征点像素坐标值转换成基于相机坐标系的三维坐标值。

进一步地，所述的步骤(1)具体包括：

(11)焊接时线激光传感器的相机连续采集每一帧图像，并发送至嵌入式工业控制器进行处理计算；

(12)嵌入式工业控制器将得到的图像进行用于减小焊接图像中飞溅和弧光噪声、使得图像纯净度变高的预处理。

进一步地，所述的预处理包括阈值处理、二值化和三幅图像相乘处理。

进一步地，所述步骤(2)具体包括：

(21)初始化跟踪器，嵌入式工业控制器通过调用Halcon软件的库函数进行初始化，得到初始的焊缝特征点和相邻区域；

(22)利用运动模型p(x_t|x_t-1)在图像中采集大量目标的候选状态，x_t表示为目标物体的状态变量，下标t为当前图像帧数；

(23)利用测量模型p(y_t|x_t)来评估候选状态变量，找出与候选状态变量相似度最高的观测向量，y_t为对应x_t的观测向量，此处观测模型采用加权余弦相似度(WLCS)测量法；

(4)通过在傅里叶框架下应用粒子滤波法，算出最佳候选状态位置作为该图像中焊缝特征点的实际位置坐标，计算方法是：

p(x_t|y_1:t-1)＝∫p(x_t|x_t-1)p(x_t-1|y_1:t-1)dx_t-1

p(x_t|y_1:t)＝p(y_t|x_t)p(x_t|y_1:t-1)/p(y_t|x_t)p(x_t|y_1:t-1)

式中y_1:t表示从时刻1到时刻t的所有观测向量，第一个公式是预测公式，通过时刻1到时刻t-1的观测向量y_1:t-1预测时刻t的状态变量x_t；第二个公式是更新公式，在第一个公式中加入时刻t的观测向量y_t更正状态变量x_t。

进一步地，所述步骤(23)的加权余弦相似度(WLCS)测量法具体包括步骤：

(231)计算出余弦相似度：

式中y为观测向量，t为目标模块，下标j为第j个子区域向量，w为对应子区域向量的权重；

(232)计算出余弦相似度后进入在线更新，包括权重与目标模块的更新；模块更新公式为：

式中ε是预先设定的阈值，η是更新率；

(233)完成目标模块t的更新后，采集该图像模块的正样本和负样本，并通过解决下列最优化问题更新权重：

其中Ω⁺与Ω^-分别表示焊缝特征点的正样本与负样本，w′等于上一时刻的权重值，即w′＝w_t-1。

进一步地，所述步骤(3)具体包括：

(31)将获得的图像中焊缝中心特征点的像素坐标值转换成相机坐标系下的三维坐标值之后与当前焊枪位置三维坐标进行比较，得到偏差值(Δx,Δy,Δz)；

(32)嵌入式工业控制器实时地将所述偏差值(Δx,Δy,Δz)发送给伺服驱动器，伺服驱动器驱动伺服电机并带动六自由度机械臂运动，从而使得焊枪末端的焊丝沿着工件的焊缝中点运动，完成六自由度机器人的实时焊缝跟踪过程。

相比现有技术，本发明有如下优点：

(1)通过线激光传感器检测焊缝特征点，精度高。通过嵌入式工业控制器对焊缝图像进行处理，控制送丝与焊接装置以及伺服驱动器，系统结构简单，易于维护；

(2)利用基于WLCS的特征点提取算法，在能够在含有大量弧光与飞溅的环境下提取焊缝中心点的坐标值，精度高，抗干扰能力强，将激光条纹与焊接熔池的距离缩小至30mm以内，增强了焊缝跟踪的实时性。

附图说明

图1是本发明实施例的六自由度焊接机器人线激光实时焊缝跟踪系统总体结构示意图。

图2是本发明实施例的六自由度焊接机器人线激光实时焊缝跟踪系统中机械臂自由度示意图。

图3是本发明实施例的六自由度机械臂与焊枪、线激光视觉传感器安装示意图。

图4是本发明实施例的焊缝跟踪系统中激光条纹与焊接熔池距离示意图。

图5是本发明六自由度焊接机器人线激光实时焊缝跟踪方法整体工作流程图。

图6是本发明六自由度焊接机器人线激光实时焊缝跟踪方法中特征点检测算法流程图。

图中所示：1-六自由度机械臂；2-焊枪；3-线激光视觉传感器；4-安装底座；5-焊接熔池；6-相机；7-线激光发生器；8-激光条纹；9-工件；10-嵌入式工业控制器；11-控制柜；12-自动焊机；13-工作台；14-倍福模块。

具体实施方式

下面通过具体实施例对本发明的目的作进一步详细地描述，实施例不能在此一一赘述，但本发明的实施方式并不因此限定于以下实施例。

实施例

如图1所示，一种六自由度焊接机器人线激光实时焊缝跟踪方法，该方法基于的跟踪系统包括六自由度机械臂1、焊枪2、线激光视觉传感器3、工作台13、自动焊机12、送丝机构、嵌入式工业控制器10、控制柜11、倍福模块14，工件9放置在工作台13上，线激光视觉传感器3通过安装底座4安装在焊枪2上，焊枪2置于六自由度机械臂1的末端，线激光传感器和焊枪通过六自由度机械臂的运动而改变其在空间的位置。焊丝存放在容器中，通过导管，经由送丝装置送向焊枪，送丝装置固定于六自由度机械臂U轴上，容器固定于六自由度机械臂的S轴；所述自动焊机与嵌入式控制器通信，控制焊丝及焊枪工作，所述送丝机构为YWC-WFRPM42RD，所述嵌入式工业控制器为研华IPC-510，控制柜11为JZRCR-YTB21-F380，自动焊机为MOTOWELD-RD350。本实施例中，所述六自由度机械臂1为由六根轴组成，S轴与机器人架台相连，T轴加装焊枪，轴与轴之间装有伺服电机，允许相互转动(见图1、图2和图3)

如图5所示，本实施例提供的一种六自由度焊接机器人线激光实时焊缝跟踪方法，包括步骤：

(1)焊接时将线激光视觉传感器3中相机6采集到的图像先进行图像预处理；

(2)采用基于加权余弦相似度(WLCS)的特征点提取算法，得到预处理后的当前帧图像中焊缝中心特征点的像素坐标值；

(3)将所述坐标值转换成相机坐标系下的三维坐标值之后，把该值与初始值的偏差值(Δx,Δy,Δz)通过倍福模块14实时发送给六自由度机器人，从而带动焊枪完成自动焊接过程。

具体而言，在进行步骤(1)之前，还包括步骤：

根据线激光传感器中的相机采集的图像获取焊接前初始的焊缝特征点和相邻区域。

具体而言，所述的根据线激光传感器中的相机采集的图像获取焊接前初始的焊缝特征点和相邻区域的步骤具体包括：

(1)调整六自由度焊接机器人机械臂的位置，使得焊枪末端(即焊丝末端)位于待焊工件焊缝位置的正上方，并使得固定在焊枪上的线激光传感器处于最佳工作位置，即在焊接过程中既能捕捉到清晰地图像，又不会使得线激光传感器和待焊工件发生干涉；

(2)线激光传感器中的相机采集图像并发送到嵌入式工业控制器，嵌入式工业控制器通过调用Halcon软件的库函数进行初始化，得到初始的焊缝特征点和相邻区域；

(3)嵌入式工业控制器将得到的焊接前初始特征点像素坐标值转换成基于相机坐标系的三维坐标值。

具体而言，如图6所示，所述的步骤(1)具体包括：

(11)焊接时线激光传感器的相机连续采集每一帧图像，并发送至嵌入式工业控制器进行处理计算；

(12)嵌入式工业控制器将得到的图像进行用于减小焊接图像中飞溅和弧光噪声、使得图像纯净度变高的预处理，所述的预处理包括阈值处理、二值化和三幅图像相乘处理。

具体而言，所述步骤(2)具体包括：

(21)初始化跟踪器，嵌入式工业控制器通过调用Halcon软件的库函数进行初始化，得到初始的焊缝特征点和相邻区域；

(22)利用运动模型p(x_t|x_t-1)在图像中采集大量目标的候选状态，x_t表示为目标物体的状态变量，下标t为当前图像帧数；

(23)利用测量模型p(y_t|x_t)来评估候选状态变量，找出与候选状态变量相似度最高的观测向量，y_t为对应x_t的观测向量，此处观测模型采用加权余弦相似度(WLCS)测量法；

(4)通过在傅里叶框架下应用粒子滤波法，算出最佳候选状态位置作为该图像中焊缝特征点的实际位置坐标，计算方法是：

p(x_t|y_1:t-1)＝∫p(x_t|x_t-1)p(x_t-1|y_1:t-1)dx_t-1

p(x_t|y_1:t)＝p(y_t|x_t)p(x_t|y_1:t-1)/p(y_t|x_t)p(x_t|y_1:t-1)

式中y_1:t表示从时刻1到时刻t的所有观测向量，第一个公式是预测公式，通过时刻1到时刻t-1的观测向量y_1:t-1预测时刻t的状态变量x_t；第二个公式是更新公式，在第一个公式中加入时刻t的观测向量y_t更正状态变量x_t。

具体而言，所述步骤(23)的加权余弦相似度(WLCS)测量法的具体为：

(231)计算出余弦相似度：

式中y为观测向量，t为目标模块，下标j为第j个子区域向量，w为对应子区域向量的权重；

(232)计算出余弦相似度后进入在线更新，包括权重与目标模块的更新；模块更新公式为：

式中ε是预先设定的阈值，η是更新率；

(233)完成目标模块t的更新后，采集该图像模块的正样本和负样本，并通过解决下列最优化问题更新权重：

其中Ω⁺与Ω^-分别表示焊缝特征点的正样本与负样本，w′等于上一时刻的权重值，即w′＝w_t-1。

具体而言，所述步骤(3)具体包括：

(31)将获得的图像中焊缝中心特征点的像素坐标值转换成相机坐标系下的三维坐标值之后与当前焊枪位置三维坐标进行比较，得到偏差值(Δx,Δy,Δz)；

(32)嵌入式工业控制器通过倍福模块14实时地将所述偏差值(Δx,Δy,Δz)发送给伺服驱动器，伺服驱动器驱动伺服电机并带动六自由度机械臂运动，从而使得焊枪末端的焊丝沿着工件的焊缝中点运动，完成六自由度机器人的实时焊缝跟踪过程。

本实施例解决了当前焊缝跟踪系统中激光条纹和焊接熔池距离过大的问题，具有完全自动化，焊接精度高，实时性好，抗干扰能力强等优点。

本实施例所述的各零部件可选型如下，但选型不限于此：嵌入式工业控制器：研华IPC-510，可选用其他同类型的嵌入式工业控制器；工件：角钢，可选用其它形状规则的同类型工件。

本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。