基于深度神经网络的焊缝自动跟踪方法与流程

1.本发明属于计算机视觉技术领域，涉及深度学习和焊缝跟踪领域，尤其是一种基于深度神经网络的焊缝自动跟踪方法。


背景技术：

2.焊接自动化技术以其优良的工作效率被广泛地应用到工业生产中，是焊接技术发展的必然趋势，是实现更安全、高效、智能生产的重要手段。实时焊缝跟踪是实现焊接自动化的关键。在当今社会，随着机械加工、汽车、建筑等制造行业的迅速发展，金属焊接成为生产过程中必不可少的环节。焊接质量的好坏，直接影响整个产品的质量和生产效率，随着社会经济、工业自动化和科学技术的逐渐进步，社会对焊接产品的需求量越来越大，产品的质量、生产效率和稳定性要求越来越高，生产成本要求却越来越低，传统的手工焊接已不能满足市场需求，这就使焊接工艺由手工操作向着自动化和智能化的方向发展，高度的自动化和智能化将是未来焊接领域的重要发展趋势。为满足自动化焊接生产的要求，需要实时获得焊接过程中焊缝的宽度、中心线等位置信息。通过计算机视觉来识别和定位焊缝的位置信息，进而进行焊缝跟踪，可以保证焊接质量的可靠性。因此，要求焊接自动化生产线具有较高的灵活性和柔性，能对焊缝特征点进行实时跟踪，检测焊缝偏差，调节焊接参数和焊接路径等。焊缝实时跟踪是焊接自动化领域的重要研究课题。
3.在焊接过程中，因为受到强烈弧光、飞溅、烟尘等的干扰，采集到的图像受噪声污染比较严重，往往难以准确定位焊缝特征点，使得焊缝跟踪不准确，导致焊接出现偏差，这将直接影响焊接质量。焊接自动化生产线需要实时准确地定位焊缝特征点的位置。因此焊缝跟踪系统需要具有高精度，高实时性和强适应性的特点以满足实际焊接的需求。近年来，随着计算机计算能力的提高，深度学习发展迅速。深度卷积神经网络具有强大的特征表达能力和自学习能力，利用深度卷积神经网络对焊缝图片进行特征提取和学习，在图像受噪声污染比较严重的情况下能较为准确的检测出焊缝特征点，有助于提高焊接效率和质量，有助于解决传统跟踪方法适应性差而导致的定位不准确等问题，提高了焊缝自动跟踪系统在复杂实际环境中的适应能力。基于深度学习的焊缝自动跟踪有助于实现高精度强适应性的实时焊缝跟踪，这对国内外自动化焊接机器人在复杂环境中的应用具有重要理论价值和现实意义。


技术实现要素：

4.本发明提供了一种基于深度神经网络的焊缝自动跟踪方法。基于深度神经网络的焊缝自动跟踪方法由焊缝特征点检测网络和焊缝特征点跟踪网络组成。焊缝特征点检测网络由特征提取模块、注意力机制模块、先验框提取模块和识别定位模块组成。特征提取模块主要由卷积层和池化层组成，卷积层用于特征的提取，池化层使特征图变小，池化层一方面简化计算复杂度，另一面进行特征压缩，提取主要特征。传统方法通常使用方向梯度直方图(hog)、局部二值模式(lbp)等特征提取方法。hog适用于描述边缘特性，lbp适合描述纹理特
性。这些特征提取方法若脱离其适用范围，则起不到相应的效果，这些方法不具有普适性。利用神经网络中卷积层和池化层替代以上特征提取方法，能够提取图像的边缘特征，纹理特征以及语义信息，有利于特征点的检测和跟踪。由于焊缝图像的尺寸比较大，图像中大部分信息为背景信息，焊缝特征信息主要集中在激光线附近，像素值分布极其不均，在特征点提取网络中加入注意力机制模块，加入注意力机制，可以使网络将更多的注意力资源放在激光线附近的区域。在实际焊接过程中，飞溅、弧光等干扰会使特征点区域的信号减弱，往往难以定位焊缝特征点。直接从整张焊缝图像中提取特征点，难以达到像素级精度。为降低从整张图像中提取焊缝特征点的难度，在特征点提取网络加入先验框生成模块，将低层特征图进行下采样，将高层特征图进行上采样，将得到的特征图进行特征融合得到的特征图既包含低层的纹理信息，又包含高层的语义信息，在特征图上生成先验框，这些区域映射到焊缝图像对应实际图像中的若干区域，加入先验框生成模块使网络从全局检测特征点转移到从局部检测特征点。提高了焊缝特征点检测的精度。对于存在噪声的焊缝图像，图像中会存在与焊缝特征点位置区域相似的情况，在对每一部分区域进行焊缝特征点位置预测的基础上加入焊缝特征点存在的置信度预测，通过两者的结合，提高焊缝特征点提取网络的抗干扰能力和泛化能力。在焊缝图像受到严重的污染时也能较为准确的检测出焊缝特征点。提高焊缝跟踪系统的精度。
5.焊缝特征点跟踪网络由特征提取模块、注意力机制模块、响应输出模块组成。跟踪网络的输入包括模板帧和搜索帧，其中模板帧是以检测网络检测到的特征点的位置为中心的固定大小的区域，搜索帧是以模板帧为中心更大的搜索区域。特征提取模块是由卷积层和池化层组成，利用两个相同的网络共享权重参数，分别对模板帧和搜索帧进行特征提取，得到特征图。在实际的焊接环境中时常伴随着大量热量，强光产生，所采集的焊缝图像不可避免地会受烟尘、飞溅及弧光的干扰。跟踪网络的注意力机制模块使网络将更多的注意力放在焊缝特征点的附近。响应输出模块将模板特征图和搜索特征图进行互相关操作得到响应得分图，得分高的地方即为目标所在的位置，将响应图得分高的位置映射回原图即得到特征点所在的位置。在跟踪的过程中，利用模板帧的特征和相关信息，在搜索帧中搜寻目标的位置，将特征点的搜寻范围从整张焊缝图像转移到模板帧目标附近的区域，在保证焊缝跟踪系统精度的同时能提高焊缝跟踪系统跟踪的速度。
6.实现本发明的技术方案是：
7.设计焊缝特征点检测网络：将标注的数据集送到焊缝特征点检测网络进行训练，得到训练好的网络模型，利用训练好的模型检测出焊缝特征点所在的位置。
8.设计焊缝特征点跟踪网络：将焊缝特征点检测网络检测到的特征点的位置信息送到焊缝特征点跟踪网络中实现焊缝特征点的跟踪。
9.本发明与现有的技术相比，具有以下优势：
10.(1)本发明利用深度卷积神经网络强大的特征表达能力和自学习能力，设计焊缝特征点检测网络。在低层特征图引入注意力机制模块，使网络将注意力放在焊缝图像激光条纹附近，在高层特征图引入注意力机制模块，使网络将更多的注意力放在特征点附近。通过引入先验框模块，降低了网络从整张焊缝图像中检测特征点的难度。该网络解决了焊缝跟踪系统在实际焊接环境中易受噪声干扰的问题。在焊接过程中受到强烈弧光、飞溅、等的干扰时能检测出焊缝特征点，提高焊缝跟踪系统的精度。
11.(2)本发明设计的焊缝特征点跟踪网络，网络输入包括模板帧和搜索帧，网络的模板帧包含焊缝特征点检测网络检测出来的特征点的位置信息。网络的搜索帧是以模板帧为中心更大的区域。模板帧和搜索帧通过共享权重的特征提取网络进行特征提取，为了使网络将更多的注意力放在焊缝特征点所在的位置，加入注意力机制。在跟踪的过程中，利用模板帧的特征和信息，在搜索帧中目标附近搜寻目标的位置，在保证焊缝跟踪系统精度的同时进一步提高焊缝跟踪系统的速度，满足实际焊接过程中实时跟踪的需求。
12.(3)本发明对数据集进行合成和增广，对这些数据进行训练，使得模型对现场噪声分布各异的场景具有很好的跟踪效果，提高焊缝跟踪的适应性和鲁棒性。
附图说明
13.图1为本发明总体网络结构示意图。
14.图2为本发明焊缝特征点标注方式示意图。
15.图3为本发明焊缝特征点检测网络的设计思路。
16.图4为本发明焊缝特征点检测网络的检测流程图。
17.图5为本发明焊缝特征点跟踪网络的跟踪示意图。
具体实施方式
18.下面结合附图并通过具体实施方法对本发明作详细的讲述。
19.基于深度神经网络的焊缝自动跟踪方法包括焊缝特征点检测网络和焊缝特征点跟踪网络。具体的网络实现示意图由图1给出。焊缝特征点检测网络主要由特征提取模块、注意力机制模块、先验框生成模块、识别定位模块组成。特征提取模块是利用深度神经网络对焊缝图像进行特征的提取。注意力机制模块是使网络将更多的注意力资源放在激光条纹和焊缝特征点附近。先验框生成模块能够让网络从全局检测特征点转移到局部检测，降低了从整张图像中提取焊缝特征点的难度。
20.焊缝特征点检测网络具体技术实现包括：
21.步骤1：整理采集到的焊缝的图像，将采集到的焊缝图像转成png格式。并对图像进行焊缝特征点的标注，完成网络训练所需要的数据集的制作。标注的内容为焊缝特征点所在的位置。本发明焊缝特征点数据集的标注是通过labelimg软件实现的，该软件是目标检测中常用的开源标注软件，可以便捷地手动标注焊缝特征点并生成包含两个焊缝特征点的标签和位置的横纵坐标信息的xml格式的文件。焊缝特征点的标注方式由图2给出。图2中(a)为焊缝原图，(b)为标注图像。
22.步骤2：结合焊缝图像的特点和目标检测网络的特点，设计焊缝特征点检测网络以满足需求。焊缝特征点检测网络的设计思路由图3给出。
23.步骤3：使用标注好的数据集对焊缝特征点检测网络进行训练，焊缝特征点检测网络是对焊缝特征点的位置进行检测。因此需要的是特征点的位置标签，将网络输出与真实标签进行损失计算，由此训练焊缝特征点检测网络，得到训练好的网络检测模型。
24.步骤4：将待检测图像通过训练好的焊缝特征点提取网络模型进行前向传播，因为先验框模块的存在，会对输入的焊缝图像产生多个先验框，得到多个焊缝特征点的预测结果，在此阶段对焊缝特征点进行筛选，以得到最终的焊缝特征点位置信息。焊缝特征点检测
网络的检测流程图由图4给出。
25.焊缝特征点跟踪网络包括特征提取模块，注意力机制模块，响应输出模块组成。特征提取模块包括卷积层和池化层，该模块的主要作用是提取焊缝图像的特征。计算机视觉中的注意力机制主要是想让网络学会把注意力放在感兴趣的地方。通过引入注意力机制模块，网络会对特征点附近的区域投入更多的资源，过滤掉一些无关信息。响应输出模块是将通过注意力机制模块的模板特征和搜索特征进行互相关操作，得到响应得分图，得分高的位置即为特征点所在的位置。焊缝特征点跟踪网络输入由搜索帧和模板帧组成，模板帧包含所要跟踪的焊缝特征点，搜索帧是以要跟踪的特征点为中心的更大的搜索区域，在跟踪特征点的过程中不是在整张图像上进行搜索，而是在以目标为中心的区域内进行搜索，提高焊缝跟踪系统的跟踪速度。
26.焊缝特征点跟踪网络具体技术实现包括：
27.步骤1：筛选和整理采集到的焊缝的图像，将采集到的焊缝图像分成用于跟踪的图像序列。对图像进行焊缝特征点位置的标注，标注的内容为焊缝特征点所在的位置。本发明焊缝数据集的标注是通过labelimg软件实现的，该软件是常用的开源标注软件，可以便捷地手动标注焊缝特征点。生成包含两个焊缝特征点的标签和位置的横纵坐标信息的xml格式的文件。将xml文件里的信息汇总成包含每一帧图像目标具体位置的txt文件。完成网络训练所需要的数据集的制作。
28.步骤2：设计焊缝特征点跟踪网络。特征点跟踪网络的输入包括模板帧和搜索帧，以模板帧中目标为模板在搜索帧中对目标进行搜寻，实现焊缝特征点的跟踪。
29.步骤3：使用标注好的数据集对焊缝特征点跟踪网络进行训练，焊缝特征点跟踪网络是对焊缝特征点的位置进行跟踪。因此需要的是特征点的位置标签，将网络输出与真实标签进行损失计算，由此训练焊缝特征点跟踪网络，得到训练好的网络模型。
30.步骤4：将焊缝特征点检测网络检测到的焊缝特征点位置信息作为模板帧输入焊缝特征点跟踪网络，通过训练好的网络模型进行前向传播，完成对焊缝特征点的跟踪。焊缝特征点跟踪网络的跟踪示意图由图5给出。