融合残差网络及自注意力机制的焊接异常实时检测方法与流程

1.本发明属于智慧焊接技术领域，特别涉及一种融合残差网络及自注意力机制的焊接异常实时检测方法。


背景技术：

2.现有技术中常见的焊接异常实时检测方法一般是通过采集图像信号、声信号，并针对采集到的相关原始数据进行特征提取，并判断对应状态下是否存在焊接异常。随着智能制造的普及，焊接从传统的人工焊接逐步发展至规模更大，效率更高的机器人焊接。针对机器人焊接过程中存在的焊接异常情况，发展出了通过采集电流、电压、送丝速度和保护气体流速等高频时序数据，结合人工智能相关算法，进行焊接异常的判断。
3.残差网络结构一般用于解决传统图像识别问题，当神经网络较深时，因为存在梯度消失和梯度爆炸问题，因此可以利用跳跃连接构建能够训练深度网络的残差网络结构，如何将残差网络结构应用于焊接高频时序数据的处理中，目前尚无具体研究。


技术实现要素：

4.发明目的：针对上述背景技术中存在的问题，本发明提供了一种融合残差网络及自注意力机制的焊接异常实时检测方法，以特征金字塔结构fpn为框架，通过将自注意力机制与残差网络结构融合，将该模型从传统的图像处理应用领域适用到焊接高频时序数据处理中，可以实现焊接异常的实时检测。
5.技术方案：一种融合残差网络及自注意力机制的焊接异常实时检测方法，包括以下步骤：步骤s1、采集正常焊接过程中的高频电流数据，并进行预处理，划分训练集样本和验证集样本；步骤s2、搭建焊接异常识别模型；所述焊接异常识别模型基于特征金字塔fpn结构搭建，包括依次级联的若干残差网络块residualblock和相同级数的自注意力机制块attentionblock；每级residualblock的输出分别传入下一级residualblock和同级的attentionblock；第i级的attentionblock的输出经过降维卷积网络块block2后输出outputi，并与经过一维上采样层的第i+1级输出output
i+1
进行对应维度相加，然后输出至上一层的一维上采样层中；其中i代表残差网络块的级数，i=1,2,
…
,n；经过最上层一维采样层后输入至输出一维卷积层，最终输出结果；步骤s3、训练焊接异常识别模型；设定学习率learning_rate=α，一次训练抓取的样本数量batch_size=β，输入训练集train_data和验证集dev_data进行模型训练；步骤s4、样本测试；分别抽取正常焊接的高频时序数据和异常焊接的高频时序数据，基于预设窗长window_size进行滑窗构造测试数据集，并进行小样本模型测试；针对每个测试集样本，计
算真实数据与模型预测数据的重建误差mae，并根据计算结果设定异常阈值th；当mae＜th时，则判断当前焊接未发生异常；否则认为当前焊接存在异常，并进行报警；步骤s5、部署训练好的焊接异常识别模型，实时接收采集的高频电流数据，通过步骤s1-s4所述方法完成焊接异常实时检测。
6.进一步地，所述步骤s1中预处理步骤包括：步骤s1.1、采集正常焊接过程中的高频电流数据，并按照预设窗长window_size进行滑窗构造样本；步骤s1.2、将生成的所有样本随机乱序，设定训练集样本的比例train_size，按比例截取训练集样本train_data，剩余样本为验证集样本dev_data。
7.进一步地，所述步骤s2中搭建焊接异常识别模型，将训练集时序数据输入至一维卷积网络块block1，输出端连接至第一级残差网络块residualblock1；第n级残差网络块residualblockn的输出通过attentionblockn后输出至降维卷积网络块block2，得到输出outputn，outputn经过第n层上采样层后与第n-1层输出output
n-1
对应维度相加，结果输入至第n-1层上采样层；依次类推，将一维卷积网络块block1的输出与经过第1层上采样层的相加结果进行对应维度相加，将相加结果经过第0层上采样层后输入至输出一维卷积层，最终输出模型预测数据。
8.进一步地，所述一维卷积网络块block1包括依次级联的一维卷积网络层、一个batchnormalization层和一个激活函数层。
9.进一步地，所述每级residualblock包括2个子block，每个子block结构包括依次级联的第一卷积网络层、第一bn层、第一激活函数层、第二卷积网络层、第二bn层和第二激活函数层，且每个子block的输入和输出间通过一维卷积层跳跃连接。
10.进一步地，每级residualblock中第一子block与第二子block区别在于第一卷积网络层stride不同。
11.进一步地，所述每级attentionblock包括依次级联的concatposembed块和attention块；concatposembed块在输入矩阵的基础上拼接一个可训练的位置层，attention块采用multi-head attention结构。
12.进一步地，所述降维卷积网络块block2包括依次级联的降维卷积网络层、bn层和激活函数层。其中降维卷积网络层在channel维度实现降维。
13.本发明采用的技术方案与现有技术方案相比，具有以下有益效果：（1）、本发明采用设计了一种基于融合残差网络及自注意力机制的焊接异常实时检测方法，将残差网络结构与自注意力机制在fpn结构下进行融合，设计了适用于焊接异常检测的无监督模型，可以准确识别焊接异常情况。
14.（2）本发明设计的焊接异常识别模型可以并行计算，相比于传统lstm模型而言具备更高的训练速率和预测速率，在保证模型准确度的同时可以兼顾实时性。
附图说明
15.图1为本发明提供的焊接异常实时检测方法流程图；图2为本发明提供的焊接异常识别模型结构图；图3为本发明提供的残差网络块中单个子block结构图；
图4为本发明实施例中提供的正常焊接电流的真实值与预测值对比图；图5位本发明实施例中提供的异常焊接电流的真实值与预测值对比图。
具体实施方式
16.下面结合附图对本发明做更进一步的解释。
17.本发明提供了一种融合残差网络及自注意力机制的焊接异常实时检测方法，如图1所示，基于实际焊接过程中采集的高频电流数据，设计了融合残差网络结构和自注意力机制的焊接异常识别模型，基于该模型，输入电流时序数据，并生成模型预测数据，计算真实数据与模型预测数据间的重建误差mae；当重建误差小于预设阈值时，则认为未发生焊接异常，否则认为焊接过程发生异常。通过融合自注意力机制，将传统用于图像识别的残差网络结构在特征金字塔框架下应用至对高频时序数据的处理分析上。作为无监督的焊接异常实时检测方法，本发明在检测准确率、实时性方面均保持较高水准。下面提供一份具体实施例，详细阐述本法核心思想，具体如图1所示。
18.步骤s1、采集正常焊接过程中的高频电流数据，并进行预处理，划分训练集样本和验证集样本。
19.本实施例中，采集正常焊接过程中的高频电流数据，并按照预设窗长window_size=20000进行滑窗构造样本。将生成的所有样本随机shuffle（乱序），设定训练集样本的比例train_size=0.7，按照比例截取训练集train_data，剩下的为验证集dev_data。
20.步骤s2、搭建焊接异常识别模型。
21.所述焊接异常识别模型基于特征金字塔fpn结构搭建，具体结构如图2所示。包括依次级联的若干残差网络块residualblock和相同级数的自注意力机制块attentionblock；每级residualblock的输出分别传入下一级residualblock和同级的attentionblock；第i级的attentionblock的输出经过降维卷积网络块block2后输出outputi，并与经过一维上采样层的第i+1级输出output
i+1
进行对应维度相加，然后输出至上一层的一维上采样层中；其中i代表残差网络块的级数，i=1,2,
…
,n；经过最上层一维采样层后输入至输出一维卷积层，最终输出结果。具体地，将训练集时序数据输入至一维卷积网络块block1，输出端连接至第一级残差网络块residualblock1；第n级残差网络块residualblockn的输出通过attentionblockn后输出至降维卷积网络块block2，得到输出outputn，outputn经过第n层上采样层后与第n-1层输出output
n-1
对应维度相加，结果输入至第n-1层上采样层；依次类推，将一维卷积网络块block1的输出与经过第1层上采样层的相加结果进行对应维度相加，将相加结果经过第0层上采样层后输入至输出一维卷积层，最终输出模型预测数据。
22.本实施例提供的焊接异常识别模型主体采用3层残差网络结构；高频时序电流数据输入至一维卷积网络块block1，block1包括依次相连的一维卷积网络层，其kernel_size=3,stride=2，输出维度为channel1=32，一个batchnormalization层和一个激活函数层，block1输出为feat0。将feat0输入至residualblock1，输出为feat1，输出维度channel=64；将feat1输入至attentionblock1，输出结果p1，将p1输入降维卷积网络块block2。降维卷积网络块包括依次相连的一维卷积网络层，其kernel_size=1,stride=1，输出维度channel1=32，一个batchnormalization层和一个激活函数层；降维输出结果output1。
23.同理，feat1输入至residualblock2，获得输出feat2，依次经过attentionblock2和降维卷积网络块block2，最终降维输出结果output2；feat2输入至residualblock3，依次经过attentionblock3和降维卷积网络块block2，最终降维输出结果output3。
24.output3经过一层通过一维上采样层（size=2）后与output2进行对应维度相加，再将结果通过一维上采样层（size=2）后，与output1进行对应维度相加，再将相加后结果通过一维上采样层（size=2）后，与feat0进行对应维度相加，在将该次相加结果再通过一维上采样层（size=2）后，输出output。
25.本实施例中，每级residualblock包括2个子block，每个子block结构包括依次级联的第一卷积网络层、第一bn层、第一激活函数层、第二卷积网络层、第二bn层和第二激活函数层，且每个子block的输入和输出间通过一维卷积层跳跃连接，具体如图3所示。第一子block与第二子block区别在于二者第一卷积网络层stride不同。其中第一子block中，第一卷积网络层卷积核大小为3*3，stride=2，第二卷积网络层卷积核大小为3*3，stride=1。第二一子block中，第一卷积网络层卷积核大小为3*3，stride=1，第二卷积网络层卷积核大小为3*3，stride=1。
26.每个attentionblock包含相连的concatposembed块和attention块。其中concatposembed块用于在输入矩阵的基础上拼接一个可训练的位置层，包括embed_dim（维度channel）和seq_length（序列长度）两个参数。
27.本实施例中，concatposembed块参数设置如下：attentionblock1：embed_dim=64，seq_length=5000，attentionblock2：embed_dim=128，seq_length=2500，attentionblock3：embed_dim=256，seq_length=1250。
28.attention块采用multi-head attention结构，num_heads=4，维度设置如下：attentionblock1：dim=64，attentionblock2：dim=128，attentionblock3：dim=256。
29.步骤s3、训练焊接异常识别模型；设定学习率learning_rate=α，一次训练抓取的样本数量batch_size=β，通过训练集train_data和验证集dev_data进行模型训练。本实施例中α=0.001，β=16。
30.步骤s4、样本测试；分别抽取正常焊接的高频时序数据和异常焊接的高频时序数据，基于预设窗长window_size进行滑窗构造测试数据集，并进行小样本模型测试；针对每个测试集样本，计算真实数据与模型预测数据的重建误差mae，并根据计算结果设定异常阈值th；当mae＜th时，则判断当前焊接未发生异常；否则认为当前焊接存在异常，并进行报警。
31.如图4-图5所示，本实施例中设置异常阈值th=0.02，图4中mae=0.007，代表模型预测值与真实时序电流数据间重建误差较小，因此判断未发生焊接异常。图5中真实值与模型预测值间的重建误差mae=0.03，大于预设阈值，因此判断发生焊接异常，实际该段电流数据为发生气孔缺陷时采集到的焊接电流，与预测结果吻合，证明本发明设计的焊接异常识别模型具备较好的识别准确率。此外，由于传统的lstm模型不能并行计算，本发明设计的异常识别模型具备同步计算的特征，因此可以提升模型的训练速度和识别速度，在保障识别准
确率的同时兼顾实时检测的要求。
32.步骤s5、部署训练好的焊接异常识别模型，实时接收采集的高频电流数据，通过步骤s1-s4所述方法完成焊接异常实时检测。
33.以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。