一种基于视觉识别打包线技术自动化焊接系统及工作方法

本发明涉及钢铁生产，尤其是一种基于视觉识别打包线技术自动化焊接系统及工作方法。

背景技术：

1、在钢铁产业中，钢线圈由于运输的需要，需要将钢线圈进行打包，而在目前的打包任务中，主要由人工进行打包线的打包工作，人工打包工作效率低下、打包效果也不够好，有些打包线由于紧固不够，会断裂乃至崩出，给铁路运输过程带来很大的麻烦和危险。故为了提高打包紧固效果、保证工人人身安全，可以考虑采用以机器视觉为基础的机械手自动焊接来进行打包线的紧固工作。近些年来，随着图像处理技术不断更新和硬件成本持续下降，部分图像检测方法已经应用于钢线圈的识别当中，例如钢线圈的头部端头识别和钢线圈识别，一般会采二维图像进行场景匹配和帧差进行头部或线圈检测。此外利用机器学习方法对目标进行目标检测和分类是当前研究的热点，近几年，三维数据采集技术逐渐发展起来与神经网络结合成立了全新的三维特征检测分支，基于深度学习的三维数据处理检测技术快速发展和日益成熟，为目标检测提供了技术上的支持。

2、在这种情况下，引入以机器视觉技术为基础的打包线智能紧固系统进行自动焊接可以提高工作效率、改善工作效果以及降低工作环境的负面影响，保障打包效果，保证工人人身安全，确保运输过程中打包线不会断裂崩出造成危险，可以有效促进钢线圈打包线紧固这一产业的发展。

技术实现思路

1、本发明提出一种基于视觉识别打包线技术自动化焊接系统及工作方法，能有效提升钢线圈的打包效率和打包效果，降低生产成本，节约资源，保证工人人身安全。

2、本发明采用以下技术方案。

3、一种基于视觉识别打包线技术自动化焊接系统，用于对环绕钢线圈内外两侧的打包线进行焊接固定，所述焊接系统包括一对通过滑轨相连的竖向的圆环结构，还包括一对用于焊接打包线的机械手；所述圆环结构的内侧与钢线圈及打包线外侧相邻；圆环结构内侧设有多个用于采集钢线圈点云数据和打包线点云数据的3d相机；所述3d相机与机械手的控制模块相连；所述机械手位于钢线圈左右旁侧。

4、每个钢线圈均附有四根打包线；每个圆环结构内侧设有四个3d相机；圆环结构内侧设有用于布设线缆的凹槽；凹槽中布设的线缆连接3d相机和机械手的控制模块。

5、所述圆环结构内侧环面可供3d相机小范围移动，以使四个3d相机的拍摄方向分别对准四根打包线。

6、所述滑轨与圆环结构上部相连；所述钢线圈在附着打包线后，由横向的u型钩运载至机械手的焊接作业区域，所述u型钩在圆环结构的3d相机采集数据以及机械手执行焊接作业时用于维持钢线圈的形态。

7、基于视觉识别打包线技术自动化焊接系统的工作方法，采用以上所述的基于视觉识别打包线技术自动化焊接系统，所述3d相机为工业3d相机；所述机械手的控制模块为pc；工业相机的坐标相关采集数据与机械手的动作控制数据统一在同一个世界坐标系下，所述方法包括以下步骤；

8、步骤s1、工业3d相机进行数据的采集，具体为：在车间中，由u型钩运载的钢线圈到达指定位置，圆环结构在滑轨滑移进入到工作位置，钢线圈两边的机械手进入焊接工作位置，圆环结构内侧的工业相机随着圆环结构在滑轨上平移，以获得钢线圈所需范围内的点云数据；

9、步骤s2、工业3d相机采集的原始点云数据传输到pc端进行处理，识别出打包线在空间中的位置信息，进而确定打包线上焊点的位置；

10、步骤s3、pc将步骤s2中得到的焊点位置的具体坐标值传送给机械手，机械手牵引焊接线对焊点进行焊接连接，完成后，机械臂退出工作位置，钢线圈和打包线由u型钩运载退出工作位置，工作流程完成。

11、所述步骤s2包括以下步骤；

12、步骤a1、对点云数据进行滤波去噪，采用体素滤波算法对点云进行滤波操作；

13、步骤a2、对滤波后的点云数据进行采样压缩，采用均匀采样压缩方法；

14、步骤a3、 初步处理好点云数据，通过pointnet和pointnet++神经网络框架识别出钢线圈点云和打包线点云，并用不同颜色点进行标记显示；

15、步骤a4、将点云投影到xoy平面，得到钢线圈和打包线点云的垂直俯视图像；

16、步骤a5、将步骤a4得到的打包线点云的垂直俯视图像中的二维打包线图像灰度化，使用二值化进行图像轮廓边缘提取，随后采用sobel算子对图像进行特定直线识别提取，得到打包线的位置信息，结合3d相机所测得的打包线位置深度信息，得到焊点在空间中的具体坐标值。

17、在步骤a1的点云滤波、步骤a2的点云采样、步骤a4的点云投影中，采用visualstudio2017软件。

18、在步骤a3中采用神经网络算法，以pycharm为神经网络架构平台，在其上进行点云数据集的调取，并对钢线圈和打包线的点云分类分割；

19、在pointnet神经网络框架中，首先将原本点云数据点的特征通过全连接层进行升维，由原本的3维度或6维度升至1024维度，经过最大值池化层，将每个点的1024维特征降为一个维度特征，再将每个点的特征通过全连接层进行类别分类；

20、在pointnet++神经网络增加了局部特征的提取，首先通过最远点取样进行点云的特征关键点提取，然后以最远点取样点为圆心，选取特定半径作圆，提取圆的特征，即是点云的局部特征提取，之后将不同半径的圆的特征进行拼接，最后通过全连接层得到局部特征与全局特征的提取，以得到点云更为具体、更具代表性的特征；在进行最远点采样时，采用fps原理，具体为：

21、步骤b1、输入点云有n个点，从点云中选取一个点p0作为起始点，得到采样点集合s={p0}；

22、步骤b2、计算所有点到p0的距离，构成m维数组l，从中选择最大值对应的点作为p1，更新采样点集合s={ p0，p1}；

23、步骤b3、计算所有点到p1的距离，对于每一个点pi，其距离p1的距离如果小于l[i]，则更新l[i]= d(pi, p1)，因此，数组l中存储的是每一个点到采样点集合s的最近距离；

24、步骤b4、选取l中最大值对应的点作为p2，更新采样点集合s={ p0，p1，p2}；

25、步骤b5、重复步骤b2-步骤b4步，一直采样到所需目标采样点数量m为止；

26、步骤a1的体素滤波，通过输入的点云数据创建一个三维体素栅格，每个体素内用体素中所有点的重心来近似显示体素中其他点，这样该体素内所有点都用一个重心点最终表示，以达到下采样的目的；

27、步骤a2的均匀采样压缩算法，是在输入点云数据上创建一个3d体素网格， 然后，在每个体素中，以最接近体素中心的点代替该体素内所有的点。

28、步骤a4的点云投影即从z轴的方向进行点云压缩投影，将所有点云压缩到xoy平面内，形成一个二维图像，以便后面进行点云位置识别的确定所述点云位置识别的确定，其方法为：

29、步骤b1、首先将二维图像转化为灰度图，将灰度图进行二值化，显现出钢线圈和打包线的轮廓边缘，之后使用sobel算子对二值化后的图像进行处理，识别出图像中的横线，即打包线的形状特征；

30、步骤b2、通过确定横线在图像中的位置，配合工业相机测出的打包线深度信息，得到打包线在空间中的位置信息；

31、步骤b3、确定打包线上焊点的位置，最后由机械手进行自动焊接。

32、步骤b2中，在图像横线识别方面，采用y方向sobel算子进行计算，即利用sobel的gy算子将水平方向上的边缘梯度剔除以得到图像中的横线；

33、步骤b3中，以打包线为基准，从钢线圈边缘往里走预设的距离得到要点焊的点的位置，以确定打包线上焊点的位置。

34、本发明所述系统以机器视觉处理技术为基础，3d相机对钢线圈和打包线进行点云数据扫描，之后传输到电脑进行数据处理以获得打包线的形状和姿态信息，位姿信息又用于机械手的焊接工作，使整个工作流程实现自动化。

35、本发明旨在实现钢线圈打包线焊接的自动化，通过结构方面的创新以及和机械手的通信连接，实现打包线的焊接自动化系统。

36、本发明在结构方面，分置两端通过滑轨连接的两个圆环结构，通过安装在圆环内侧的工业3d相机对打包线进行原始数据采集，圆环在滑轨上平移以使工业3d相机采集到打包线目标部分点的点云数据，之后通过圆环内侧的凹槽进行布线，实现工业相机与pc端的连接，在pc端进行完点云的处理，将结果发送到机械手，基于统一的坐标系，机械手可以对打包线进行自动焊接，完成工作流程。在神经网络结构方面，基于pointnet和pointnet++神经网络模型为基础，对其分类分割参数和数据点的输入值参数进行适应课题的参数优化，提高了pointnet++对于打包线点云的分类分割效果。

37、本发明基于点云目标识别和定位技术实现的打包线自动化焊接系统可以有效提升钢线圈的打包效率和打包效果，降低生产成本，节约资源，保证工人人身安全，在此基础上进而提升企业的生产效益，促进产业的发展。在经济方面，由于解放了人力，可以节约劳动成本且机械自动化提高了生产力水平，可以促进钢铁行业的经济发展，实现效益最大化。