一种基于多视野特征融合的焊接异常实时诊断方法与流程

1.本发明属于智慧焊接技术领域，特别涉及一种基于多视野特征融合的焊接异常实时诊断方法。


背景技术：

2.智慧焊接作为智能制造领域中最重要的研究课题之一，已经引起行业的普遍重视。传感技术及对应的信息处理方法则是实现焊接过程可视、可查、可控的关键要素。近年来，具有小型化、无接触式及大传输量等特点的传感技术更多地被应用到焊接过程及质量实时控制中，对于焊接异常的实时检测诊断，目前也已存在较多研究。现有技术中普遍采用图像识别的方式对焊接异常进行识别，这种方法则存在实时性不够，检测精度不够的问题。考虑到焊接过程中最能体现焊接场景特征的数据一般包括电流、电压、焊接速度等时序数据，对于时序数据的处理及对应状态的识别则是一条具备长远前景的研究方向。


技术实现要素：

3.发明目的：针对上述背景技术中提供的研究思路，本发明提供了一种基于多视野特征融合的焊接异常实时诊断方法，本发明通过设计焊接异常实时诊断网络，设计了多个具备不同视野的分支，可以有效获取不同视野下从宏观到微观的特征信息；同时在不同分支下均采用自注意力机制，使各分支可以学习到时序特征；最后，通过通道注意力机制对不同输出channel的特征赋予权重，可以有效提升网络的检测准确率。
4.技术方案：一种基于多视野特征融合的焊接异常实时诊断方法，包括以下步骤：步骤s1、采集实际焊接过程中的高频电流数据并进行预处理，获取入模样本集；步骤s2、搭建焊接异常实时诊断网络；所述网络包括若干分支，每条分支包括若干逆向残差块和一级自注意力块；同一分支下各逆向残差块膨胀系数相同，不同分支间各逆向残差块的膨胀系数不同；所述自注意力块采用多头自注意力结构；将不同分支的输出结果在channel维度上进行拼接，并输入通道注意力块，为每个channel输出特征赋予权重；最终输出不同状态标签对应的预测概率，选取预测概率最大的状态标签作为网络的预测标签；步骤s3、训练步骤s2中搭建的焊接异常实时诊断网络；步骤s4、将训练好的焊接异常实时诊断网络部署至边缘侧，获取新的实时高频电流数据，按照设定窗长window_size输入至训练好的焊接异常实时诊断网络中，网络实时输出对应的焊接状态，实现焊接异常的实时诊断。
5.进一步地，所述步骤s1中预处理步骤包括：采用滑窗构造样本方法构造若干样本，作为入模数据集；根据实际焊接过程中发生的异常状态，将异常状态对应的滑窗样本打上异常标签，记为1，正常焊接状态下的滑窗样本标签记为0；最后将所有滑窗样本随机乱序，按一定比例划分为训练集、验证集和测试集。
6.进一步地，步骤s2中搭建的焊接异常实时诊断网络结构具体包括：滑窗样本输入至一维卷积网络块block1，block1分别输出至各分支branch；每条分支均包含若干个相连的逆向残差块invertedresidualblock，最后一级逆向残差块输出连接一级自注意力块attentionblock；将各条分支的输出在channel维度上进行拼接，最终输出为x，其维度为c；将拼接后的输出x输入至通道注意力块seblock中；将seblock输出的各channel权重分别与拼接后的输出x相乘，即可获得最终带有权重的特征信息；将带有权重的特征信息输入至flatten层进行拉平操作，最终输入至全连接层；全连接层包括2个神经元，分别代表异常和正常焊接状态标签；最终选择预测概率最高对应的焊接状态标签作为输出。
7.进一步地，每个逆向残差块invertedresidualblock结构包括依次连接的第一卷积网络层、bn层、relu6激活函数层、第二卷积网络层、bn层、relu6激活函数层、第三卷积网络层和bn层；每个逆向残差块的输入和输出间通过1*1的卷积网络层跳跃连接；其中第一卷积网络层为1*1一维卷积网络层，输出维度为：expand_ration*out_channel；其中expand_ration为扩张系数；第二卷积网络层为融合了深度卷积depthwise convolution和膨胀卷积dilated convolution的深度可分卷积网络层；第三卷积网络层为1*1一维卷积网络层，输出维度为out_channel；其中同一分支下深度可分卷积网络层的膨胀系数dilation_rate相同，不同分支间深度可分卷积网络层的膨胀系数依次增大。
8.进一步地，所述自注意力块结构采用多头自注意力结构，包括一个concatposembed块以及一个multi-head attention块;其中concatposembed块用于在输入矩阵的基础上拼接一个可训练的位置层，核心参数包括embed_dim和seq_length；seq_length为0.5*window_size，embed_dim则等于每条分支中最后一个逆向残差块的输出维度out_channel；multi-head attention块中输出dim同样等于每条分支中最后一个逆向残差块的输出维度out_channel。
9.进一步地，所述通道注意力块seblock结构包括依次连接的一维全局平均池化下采样层、上层一维卷积层、relu激活函数层、下层一维卷积层和sigmoid激活函数层；其中上层一维卷积层卷积核大小kernel_size=1，卷积核个数为c/4；下层一维卷积层的卷积核大小kernel_size=1，卷积核个数为c。
10.进一步地，将带有权重的特征信息输入至flatten层进行拉平操作，最终输入至全连接层。
11.进一步地，所述步骤s3中输入带有焊接状态标签的训练集数据至焊接异常实时诊断网络，网络输出各焊接状态标签对应的预测概率；不断迭代网络结构，最终使网络输出标签不断逼近真实标签，直至符合检测精度要求。
12.本发明采用的技术方案与现有技术方案相比，具有以下有益效果：（1）本发明设计了多分支的焊接异常实时诊断，通过不同分支间的深度可分卷积网络层的膨胀系数依次增大，在多视野角度下捕捉高频时序数据的宏观及微观特征信息，用于后续特征融合。该网络可以有效精准地学习焊接样本特征，进而获得更好的模型精度。
13.（2）本发明在每个分支上均设置有自注意力块，解决了传统逆向残差块无法学习数据时序特征的问题，每个分支均能学习高频焊接时序数据的时序特征，使学习结果更加符合焊接场景，进一步提升了网络的精度。
14.（3）本发明中各分支结果拼接后通过通道注意力机制，为每个channel的输出特征赋予权重，通过不断学习，加大重要特征的权重，弱化其他特征的影响，使网络具备更好的学习效果。
附图说明
15.图1为本发明提供的基于多视野特征融合的焊接异常实时诊断方法流程图；图2为本发明实施例中设计的焊接异常实时诊断网络结构图；图3为本发明实施例中设计的逆向残差块结构示意图。
实施方式
16.下面结合附图对本发明做更进一步的解释。
17.本发明提供了一种基于多视野特征融合的焊接异常实时诊断方法，核心方法在于搭建焊接异常实时诊断网络，该网络设置有若干条分支，每条分支网络主体结构包括若干个相连的逆向残差块invertedresidualblock和一级自注意力块attentionblock，其中每条分支下各逆向残差块的膨胀系数相同，各分支间的膨胀系数依次增大。每个分支通过添加attentionblock，用于学习数据集的时域属性，各分支间膨胀系数增大，可以获取多视野下的特征用于后续融合。将各条分支的输出在channel维度上进行拼接，并输入至通道注意力块seblock中，为每个输出channel赋予一定权重，经由一层flatten层拉平后，经由全连接层输出判断结果。通过输入带有实际焊接状态标签的时序数据训练上述网络，可以实现各种焊接异常的实时检测。下面给出一份具体实施例，详细介绍本发明提供的基于多视野特征融合的焊接异常实时诊断方法。
18.步骤s1、采集实际焊接过程中的高频电流数据，采用滑窗构造样本方法构造若干样本。本实施例中选取高频电流数据作为输入，窗长window_size设置为1000。
19.根据实际焊接过程中发生的异常状态，如漏焊、焊穿、焊偏等，将异常状态对应的滑窗样本打上异常标签，记为1，正常焊接状态下的滑窗样本标签记为0。
20.将所有滑窗样本随机乱序，按一定比例划分为训练集、验证集和测试集。本实施例中训练样本的比例train_size=0.6，验证样本的比例dev_size=0.2，剩余均为测试集样本。此处训练集用于训练后续搭建的焊接异常实时诊断网络，验证集用于验证网络训练是否完成，防止出现过拟合情况，测试集则用于检测网络精度。
21.步骤s2、搭建焊接异常实时诊断网络；该网络融合自注意力机制和通道注意力机制，主体结构为逆向残差块构成的若干条分支。具体结构如图2所示：滑窗样本输入至一维卷积网络块block1，block1分别输出至各分支branch。本实施例中block1包括一个一维卷积网络层，其卷积核大小kernel_size=16，stride=2，输出维度channel1=16。
22.每条分支均包含若干个相连的逆向残差块invertedresidualblock，最后一级逆向残差块输出连接一级自注意力块attentionblock。每个逆向残差块invertedresidualblock结构如图3所示，包括依次连接的第一卷积网络层、bn层、relu6激活函数层、第二卷积网络层、bn层、relu6激活函数层、第三卷积网络层和bn层。每个逆向残
差块的输入和输出间通过1*1的卷积网络层跳跃连接。
23.其中第一卷积网络层为1*1一维卷积网络层，输出维度为：expand_ration*out_channel，expand_ration为扩张系数，本实施例中expand_ration=6。第二卷积网络层为融合了深度卷积depthwise convolution和膨胀卷积dilated convolution的深度可分卷积网络层。第三卷积网络层为1*1一维卷积网络层，输出维度为out_channel。
24.其中同一分支下深度可分卷积网络层的膨胀系数dilation_rate相同，不同分支间深度可分卷积网络层的膨胀系数依次增大。本发明通过改变不同分支的膨胀系数，可以改变不同分支的视野，膨胀系数越大，则视野越宏观，该分支越能捕捉到粗粒度的特征信息，膨胀系数越小，则关注的视野越微观，可以捕捉到细粒度的特征信息。后续通过融合多视野特征，该网络可以更精准地学习样本特征，进而获得更好的模型精度。
25.自注意力块结构采用多头自注意力结构，包括一个concatposembed块以及一个multi-head attention块。其中concatposembed块用于在输入矩阵的基础上拼接一个可训练的位置层，核心参数包括embed_dim和seq_length。其中seq_length均设置为500，embed_dim则等于每条分支中最后一个逆向残差块的输出维度out_channel。multi-head attention块中输出dim同样等于每条分支中最后一个逆向残差块的输出维度out_channel。
26.由于传统逆向残差块invertedresidualblock无法学习样本中的时序特征，加入自注意力块结构可以使模型学习到时序特征，应用于解决时序问题中。通过设置逆向残差块和自注意力块结合的方式，可以有效降低网络参数量，有效匹配时序样本数据，使模型符合实际焊接场景。
27.本实施例中设置了4条分支，每条分支包括2个逆向残差块，每条分支最后一个逆向残差块连接一个自注意力块。4条分支中深度可分卷积网络层的膨胀系数呈2的倍数依次增大。实施例中8个逆向残差块的输出维度out_channel依次设置为16、32、32、64、64、96、96、160。
28.将各条分支的输出在channel维度上进行拼接，最终输出为x，其维度为c。
29.将拼接后的输出x输入至通道注意力块seblock中。seblock结构包括依次连接的一维全局平均池化下采样层、上层一维卷积层、relu激活函数层、下层一维卷积层和sigmoid激活函数层。其中上层一维卷积层卷积核大小kernel_size=1，卷积核个数为c/4；下层一维卷积层的卷积核大小kernel_size=1，卷积核个数为c。
30.本发明中设置了通道注意力机制，为每个输出channel赋予一定权重，对相对重要的特征赋予更高的权重，可以有效提升模型精度，保证特征学习的准确性。最终输出的则是每个channel的权重信息，将该权重信息分别与拼接后的输出x相乘，即可获得最终带有权重的特征信息。
31.将相乘后的特征信息输入至flatten层进行拉平操作，最终输入至全连接层。全连接层包括2个神经元，即分别代表异常和正常焊接状态标签。最终选择预测概率最高对应的焊接状态标签作为输出。
32.步骤s3、训练步骤s2中搭建的焊接异常实时诊断网络。
33.输入带有焊接状态标签的训练集数据至焊接异常实时诊断网络，网络输出预测概率最高对应的焊接状态标签。不断迭代网络结构，最终使网络输出标签不断逼近真实标签，
直至符合检测精度要求。
34.步骤s4、将训练好的焊接异常实时诊断网络部署至边缘侧，获取新的实时高频电流数据，按照设定窗长window_size输入至训练好的焊接异常实时诊断网络中，网络实时输出对应的焊接状态，实现焊接异常的实时诊断效果。
35.以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。