一种人形焊接机器人智能焊接方法

本发明涉及自动化焊接，更具体地说，涉及一种人形焊接机器人智能焊接方法。

背景技术：

1、焊接是建筑钢结构的优选加工工艺之一，全世界约60％的钢铁需要焊接加工。由于建筑钢结构造型新颖独特，结构体系繁多，节点构造复杂，焊接接头形式多，构件制作和现场安装中的焊接技术难度越来越大。智能化是解决此类“小批量、多种类、高焊接要求”泛钢结构焊接问题的必要方法。然而，建筑钢结构焊接领域存在着明显不足，集中体现在小规模化、非标准化、缺乏核心工艺支撑、工人素质参差不齐、成熟焊工短缺等方面，直接导致建筑钢结构生产效率不高、品质不易控制，严重制约了智能化焊接制造业和建筑行业的发展。目前主流的焊接机器人缺乏“柔性”，焊接路径和焊接参数须根据实际作业条件预先设置，工作时存在明显的缺点，无法适应建筑钢结构造型新颖独特、焊接接头形式多种多样等特点，亟需开发新型的具备自主视觉监控及自主轨迹规划功能的智能焊接机器人系统。

技术实现思路

1、为克服现有技术中的缺点与不足，本发明的目的在于提供一种人形焊接机器人智能焊接方法；该方法可实现待焊区域高精度识别与三维测量，可显著提高机器人焊接系统的自动化和智能化程度，可大幅提高焊接智能化程度，降低焊接的时间成本，从而提高焊接产量。

2、为了达到上述目的，本发明通过下述技术方案予以实现：一种人形焊接机器人智能焊接方法，通过机器人焊接系统实现；机器人焊接系统包括人形焊接机器人和用于固定待焊工件的焊接工作台；人形焊接机器人搭载机器人双目相机和两侧焊接机械臂；两侧焊接机械臂的末端各设有一把焊枪；

3、人形焊接机器人智能焊接方法包括如下步骤：

4、s1、使用固定于焊接工作台上方的rgb-d相机录制焊接工作台区域图像数据，运行三维测量算法，确定待焊工件的待焊区域位置及轮廓三维点集p＝(p1 p2p3…pn-1pn)；

5、s2、控制人形焊接机器人沿设定行走路线运动至焊接工作台；

6、s3、基于焊接工艺参数库，根据待焊工件材料，确定工艺参数；

7、s4、根据待焊区域位置、轮廓三维点集p及人形焊接机器人位置，分别规划两侧焊接机械臂运动轨迹；

8、s5、控制两侧焊接机械臂沿规划轨迹运动，进行焊接工作；

9、s6、焊接工作结束，控制两侧焊接机械臂回到原点。

10、优选地，所述步骤s1中，使用固定于焊接工作台上方的rgb-d相机录制焊接工作台区域图像数据是指，录制校正畸变后的rgb-d相机图像数据用于待焊区域三维测量，包括二维rgb图像和深度图像；

11、所述三维测量算法是指，通过对rgb-d相机录制得到的图像数据对待焊区域进行识别和高精度三维测量，包括基于二维rgb图像的待焊区域识别、基于二维rgb图像和深度图像的三维点云生成和基于三维点云的待焊区域轮廓输出；

12、所述基于二维rgb图像的待焊区域识别是指，包括以下步骤：对rgb彩色图像进行灰度化处理，提取出黑色和灰色像素点；对灰度化处理后的图像进行二值化处理，通过待焊区域与焊接工作台的颜色差异，利用二值化处理来分离出待焊区域；执行区域生长算法，从二值化处理后的图像中选择一个起始像素点视为一个区域的种子，然后扩展种子周围像素点，直到达到预设的相似度值或边界；对扩展结果进行处理，在得到待焊区域轮廓后，通过形态学运算优化待焊区域轮廓，消除噪点和空洞，保存待焊区域在二维rgb图像上的大小和位置信息；

13、所述基于二维rgb图像和深度图像的三维点云生成是指，分别获取rgb-d相机的二维rgb图像和深度图像，标定二维rgb图像和深度图像，以统一在同一坐标系下；利用所述基于二维rgb图像的待焊区域识别获取到的待焊区域在二维rgb图像上的大小和位置信息，读取待焊区域轮廓像素值所对应的在深度图像中的深度值；利用位置信息和深度值，依靠rgb-d相机内参信息生成具备颜色信息的三维点集合：

14、

15、其中，[x y z]为三维点的位置坐标，sd为深度因子，d为深度，[u v]为二维rgb图像中的像素点，fx,fy分别代表像素在x轴和y轴方向上的焦距的长度，(u0,v0)代表图像坐标系原点在像素坐标系中的坐标；三维点的完整信息为[x y z r g b]，[r g b]为三维点的红色、绿色、蓝色三通道的颜色信息；

16、基于三维点云的待焊区域轮廓输出是指，根据待焊区域在二维rgb图像上的大小和位置信息和三维点云，输出待焊区域轮廓三维点集：

17、p＝(p1 p2 p3…pn-1pn)，pi＝[xi yi zi ri gi bi]；

18、输出的待焊区域轮廓三维点集处在rgb-d相机坐标系下。

19、优选地，所述步骤s2中，人形焊接机器人沿设定行走路线运动至焊接工作台是指，在工厂环境下规划人形焊接机器人行走路线，并在地面以黄线布设；通过机器人双目相机识别黄线运动至焊接工作台，所述双目相机识别黄线包括以下步骤：对鸟瞰图视角的双目相机进行二值化；将图像bgr颜色通道转换成hsv颜色通道，并对黄色设置上下限值；设置感兴趣区域roi，用滑窗法检测黄线像素点；拟合曲线并输出黄线位置；

20、通过有缆方式与焊接电源、送丝系统、气体瓶连接是指，在人形焊接机器人运动到焊接工作台后，将焊接电源、送丝系统、气体瓶与人形焊接机器人利用线缆连接。

21、优选地，所述步骤s3中，工艺参数包括焊接电流、送丝速度、进气速度、焊接速度和焊接角度；焊接工艺参数库是指，通过前期工艺实验，建立待焊工件材料与焊接工艺参数之间的对应关系，通过控制变量法分别改变焊接电流、送丝速度、进气速度、焊接速度和焊接角度，通过焊接质量与性能确定最优工艺参数，从而建立待焊工件材料-最优工艺参数映射关系。

22、优选地，所述步骤s4中，待焊区域位置、轮廓三维点集p是指所述步骤s1中输出的待焊区域位置、轮廓三维点集p；

23、所述人形焊接机器人位置通过固定于焊接工作台上方的rgb-d相机识别焊枪获得；包括以下步骤：控制左右焊接机器臂移动到rgb-d相机视野中；对rgb-d相机采集的二维rgb图像进行灰度化处理，提取出黑色和灰色像素点；设置感兴趣区域roi；对灰度化处理后的图像进行二值化处理，通过焊枪与焊接工作台的颜色明显差异，利用二值化处理来分离出左右焊接机器臂的焊枪；执行区域生长算法，扩展焊枪周围像素点，直到达到预设的相似度值或边界；通过形态学运算优化焊枪轮廓，消除噪点和空洞，保存左右焊接机器臂的焊枪在二维rgb图像上的大小和位置信息；将左焊接机器臂的焊枪位置信息转换为三维点tl＝[xl yl zl]，右焊接机器臂的焊枪位置信息转换为三维点tr＝[xr yr zr]；；

24、所述分别规划两侧焊接机械臂运动轨迹是指，将待焊区域轮廓三维点集p＝(p1 p2p3…pn-1pn)分解为两段均匀的、连续的三维点集：

25、pl＝(p1 p2 p3…pm-1pm)，pr＝(pm+1p m+2p m+3…pn-1pn)；

26、设定左焊接机械臂路径为：以tl为起始位置、三维点集pl的p1为终止点，p1处为最优焊枪角度，通过三维点集pl＝(p1 p2 p3…pm-1pm)的路径；设定右焊接机械臂路径为：以tr为起始位置、三维点集pr的pm+1为终止点，pm+1处为最优焊枪角度，通过三维点集pr＝(pm+1pm+2p m+3…pn-1pn)的路径；其中，三维点集pl和pr的路径规划方法，是指：分别用圆柱体包络两侧焊接机械臂，同时用长方体包络空间中的障碍物；将障碍物包络映射到左焊接机械臂的避障空间中；将障碍物包络和左焊接机械臂包络一起映射到右焊接机械臂的避障空间中；

27、以起始位置为随机树的根节点，以三维点集的第一个三维点为终止点，生成随机树；随机树的生成方法是：在空间中利用随机采样的方式生成新节点；若新节点与避障空间不发生碰撞，则将新节点加入到随机树上，作为随机树的节点；随机树在空间中扩展，为每个节点记录对应的父节点，并计算从起点到每个节点的代价，直至找到终止点和最优焊枪角度；在随机采样过程中，重新检查和重新连接随机树中的节点，以找到最小代价路径；

28、之后，以当前三维点集的三维点为起点，以三维点集的下一个三维点为终止点，生成随机树；重复执行，直至到达三维点集的最后一个三维点；从终止点反向溯源到起始位置，得到规划的路径。

29、优选地，所述步骤s5中，控制两侧焊接机械臂沿规划轨迹运动是指，控制两侧焊接机械臂同时沿所述步骤s4中规划的运动轨迹运动，从而完成焊接工作。

30、优选地，所述步骤s6中，控制两侧焊接机械臂回到原点是指，在步骤s5结束后，左焊接机械臂位于三维点集pl的终点pm，右焊接机械臂位于三维点集pr的终点pn，控制两侧焊接机械臂分别沿三维空间内直线运动至初始位置tl,tr。

31、优选地，在步骤s6之后还包括步骤s7：使用固定于焊接工作台上方的rgb-d相机确定焊接质量。

32、优选地，所述步骤s7，包括以下分步骤：使用rgb-d相机拍摄焊后rgb图像；根据步骤s1中输出的待焊区域轮廓三维点集p＝(p1 p2 p3…pn-1pn)，在rgb图像上建立二维轮廓带roi区域；使用区域生长算法，以焊后区域为分割目标，通过与周围像素点的相似性比较，将rgb图像中相似像素点聚合成为一个区域，从而实现焊后区域的分割；保存焊后区域轮廓在二维rgb图像上的大小和位置信息；将焊后区域轮廓转换为三维点云，与步骤s1中的轮廓三维点云集做差值，输出焊缝三维测量结果；针对焊缝三维测量结果判断是否存在焊接质量问题。

33、优选地，所述机器人焊接系统还包括保障设备；所述保障设备包括送丝系统、焊接电源、气体瓶；所述人形焊接机器人与保障设备连接。

34、与现有技术相比，本发明具有如下优点与有益效果：

35、1、本发明提出的方法和设备能够有效地代替焊工完成焊接工作，可大幅提高焊接智能化程度，节约人力成本，解决焊工短缺的行业难题；

36、2、本发明提出的工作台rgb-d相机图像高精度三维测量方法可实现待焊区域高精度识别与三维测量，该方法首先利用系列图像处理方法生成二维rgb图像下的待焊区域轮廓，再利用对应的深度图像生成待焊区域三维轮廓点云，该方案成本低、精度高且运行速度较快，还可利用该方法进行焊后工件质量监控，可显著提高机器人焊接系统的自动化和智能化程度；

37、3、本发明提出的左右双焊接机器臂焊接方法与轨迹规划算法以两侧焊接机械臂初始位置作为起始点，利用待焊区域三维轮廓点云作为目标点，通过障碍物规避、最优焊接角度和焊接速度作为约束，规划双臂协同焊接焊接路径，可提高人形焊接机器人焊接工作效率54％以上，降低焊接的时间成本，从而提高焊接产量。