基于生成对抗网络的超声焊接质量在线监测方法与流程

1.本发明属于超声波焊接领域，具体涉及一种基于生成对抗网络的超声焊接质量在线监测方法。


背景技术：

2.超声波焊接原理是利用超声频率的机械振动能量，连接同种材料或异种材料的一种特殊方法。在进行超声波焊接时，既不向工件输送电流，也不向工件施以高温热源，只是在静压力之下，将线框振动能量转变为工件间的摩擦功、形变能及有限的温升。超声波焊接广泛应用于动力电池制造、线束连接、汽车部件焊接等多个工业领域。
3.现有超声焊接质量检测方法主要图像检测、射线检测、磁粉检测和涡流检测等，这些方法都是离线式检测方法，需要在焊接完成后再进行检测。
4.超声焊接质量在线检测方法目前面临的问题包括：需要针对不同应用具体分析设备内在结构，对于结构复杂、工况多变的对象难以建立准确的数学模型；另外基于信号分析的诊断方法虽然无需建立数学模型，但其只在对象出现明显的外部特诊时才有效，在实际应用中因工况恶劣多变而失效。


技术实现要素：

5.本发明针对超声焊接质量在线检测方法存在的问题，提出基于生成对抗网络的故障检测方法，能够直接从实际加工数据中提取相关特征信息并建立诊断模型，有助于提高故障检测及诊断的精度及效率，最终实现超声焊接质量在线检测。
6.本发明采用激光传感器实时采集加工底模的振幅数据和焊接过程中的频率，使用红外激光测温仪采集焊接过程中超声换能器陶瓷片温度数据以及焊头温度数据，通过压力变送器测量焊接过程产生的压力。综合这些数据做为质量监测的依据。通过多并行生成对抗网络分别处理这五类数据，将这些数据特征按照其表征的两种不同状态进行gan-fusion特征融合(压力、振幅、焊头温度表征焊接能量，频率、换能器陶瓷片温度表征成品寿命)，用融合后的两种数据做为分类器的输入，实现超声波金属焊接质量的在线监测。
7.基于生成对抗网络的超声焊接质量在线监测方法，包括以下步骤：
8.步骤1：获取数据；
9.使用激光测振仪实时测量底模的振幅数据xh、焊接过程中的超声波频率数据xf；
10.使用压力变送器采集气缸与超声焊头之间的压力，实时测量压力数据x
p
；
11.使用红外激光测温仪分别测量焊头温度x
tm
以及超声换能器陶瓷片的温度x
tn
；
12.步骤2：数据预处理：
13.步骤3：构建多并行辅助分类器的生成对抗网络acgan，分别用五个acgan处理经预处理的步骤1中获取的五类数据；得到更能表征焊接质量信息的低维数特征，所述低维数特征包括：陶瓷片温度特征、频率特征、焊头温度特征、振幅特征、压力特征；
14.步骤4：搭建融合网络gan-fusion：
15.提取步骤3得到的低维数特征；构建融合网络gan-fusion1，用于融合陶瓷片温度特征和频率特征，得到融合陶瓷片温度和频率的最终特征；构建融合网络gan-fusion2，用于融合焊头温度特征、振幅特征和压力特征，得到融合焊头温度特征、振幅特征和压力特征的最终特征；
16.步骤5：搭建分类器：用于将融合陶瓷片温度和频率的最终特征与融合焊头温度特征、振幅特征和压力特征的最终特征进行合并concatenate后，放到分类器中识别焊接质量，该焊接质量分为过焊、欠焊、正常焊。
17.作为优选，所述步骤2具体包括以下步骤：
18.步骤2-1：将步骤1中测得的数据xh、xf、x
p
、x
tm
、x
tn
这五类数据分别进行归一化处理，使数据分布在[0,1]之间：
[0019][0020]
式中，五类数据中任意一类数据x＝{x1，x2，x3，
…
，xn}，xi表示某一类数据中第i个样本数据，n表示该类数据的组数，max(x)表示这类数据中的最大值，min(x)表示这类数据中的最小值；
[0021]
步骤2-2：将采集到的五类数据每类都划分为训练集和测试集。
[0022]
作为优选，所述构建多并行辅助分类器的生成对抗网络acgan的具体方式如下：
[0023]
在输入到所述acgan的生成器g中的随机噪声中加入类别标签，指导g生成特定标签数据，所述acgan的判别器d能给出生成数据所述类别的标签；
[0024]
当在测量数据时出现数据不均衡或质量较差，将对应标签类别的生成数据加入到不平衡的诊断数据中，生成的故障数据和少量的真实故障数据一起放入网络训练，其目标函数如下：
[0025]
ls＝e[logp(s＝real|x
real
)]+e[log(s＝fake|x
fake
)]
[0026]
lc＝e[logp(c＝c|x
real
)]+e[logp(c＝c|x
fake
)]
[0027]
其中ls是面向数据真实与否的代价函数，lc是面向分类精确度的代价函数，xreal为真实样本数据，x fake为生成数据，p(s|x)为数据源是否为真实数据的概率分布，p(c|x)为数据源对于分类标签的概率分布；
[0028]
训练所述网络的过程中，判别器d被训练来最大化ls+lc的值，生成器g被训练来最大化l
c-ls的值；
[0029]
所述分别用五个acgan处理经预处理的步骤1中获取的五类数据，得到更能表征焊接质量信息的低维数特征的具体步骤如下，
[0030]
步骤3-1：用1dcnn构建生成器g1和判别器d2，对陶瓷片温度x
tn
进行数据增强和特征提取；
[0031]
步骤3-2：用1dcnn构建生成器g2，用门控循环单元gru构建判别器d2，对频率数据xf进行数据增强和特征提取；
[0032]
步骤3-3：用1dcnn构建生成器g3和判别器d3，对焊头温度x
tm
进行数据增强和特征提取；
[0033]
步骤3-4：用1dcnn构建生成器g4，门控循环单元gru构建判别器d4，对振幅数据xh进行数据增强和特征提取；
[0034]
步骤3-5：用1dcnn构建生成器g5和判别器d5，对压力x
p
进行数据增强和特征提取；
[0035]
通过向所述生成器g1、g2、g3、g4、g5中输入随机噪声和样本标签，生成与对应类别的真实样本分布相似的数据；
[0036]
所述判别器d1、d3、d5、d2、d4，用于判断输入的数据为真实样本数据或者生成数据；生成器和判别器相互博弈、彼此优化达到纳什均衡；
[0037]
步骤3-6：所述生成器g1、g2、g3、g4、g5均设置若干卷积层、平均池化层和一个全局平均池化层；
[0038]
分别对每层卷积网络设置不同的滤镜尺寸以及时间步长，平均池化层滤镜尺寸均为2
×
1，全局平均池化层取样本轴维度上的平均值，除最后一层卷积层使用tanh做为激活函数外，其余卷积的激活函数均采用leakrelu；
[0039]
使得生成器g1、g2、g3、g4、g5生成与真实样本维度相同的生成数据，放到对应的判别器中与真实样本数据进行对照；
[0040]
步骤3-7：所述判别器d1、d3、d5均设置若干卷积层、平均池化层和一个全局平均池化层；
[0041]
分别对每层卷积网络设置不同的滤镜尺寸以及时间步长，平均池化层滤镜尺寸均为2
×
1，全局平均池化层取样本轴维度上的平均值，每层卷积的激活函数均采用leakrelu，设置正则项dropout防止出现过拟合；得到更能表征焊接质量信息的低维数特征，所述判别器d1、d3、d5分别判断陶瓷片温度、超声焊头温度和压力数据的真伪，分别用z
tn
、z
tm
和z
p
代表三个判别器产生的低维数特征；
[0042]
将本步骤中的上述低维数特征分别放入若干不同神经元个数的全连接层dense_1判断数据真假；放入若干不同神经元个数的全连接层dense_2识别加工类型：所述加工类型包括过焊、欠焊、正常焊接；其中，全连接层的激活函数均为leakrelu，dense_1输出层的激活函数为sigmoid，损失为二元交叉熵；dense_2输出层的激活函数为softmax，损失为多元交叉熵；优化器均采用均方根传递rmsprop；
[0043]
步骤3-8：所述判别器d2、d4均设置若干层门控循环单元gru，每层gru设置不同的神经元个数，激活函数均采用leakrelu，设置正则项dropout防止出现过拟合；经过若干层gru后，得到更能表征焊接质量信息的低维数特征，所述判别器d2、d4分别判断频率和振幅数据的真伪，分别用zf和zh代表两个判别器产生的低维数特征；
[0044]
将本步骤中的上述低维数特征分别放入若干不同神经元个数的全连接层dense_1判断数据真假；放入若干不同神经元个数的全连接层dense_2识别加工类型：所述加工类型包括过焊、欠焊、正常焊接；其中，全连接层的激活函数均为leakrelu，dense_1输出层的激活函数为sigmoid，损失为二元交叉熵；dense_2输出层的激活函数为softmax，损失为多元交叉熵；优化器均采用均方根传递rmsprop。
[0045]
作为优选，所述步骤4具体为：
[0046]
搭建融合网络gan-fusion：提取步骤3-7、3-8所述的判别器网络d1-d5中低维数特征数据，其中z
tn
为陶瓷片温度特征、zf为频率特征、z
tm
为焊头温度特征、zh为振幅特征、z
p
为压力特征；
[0047]
搭建两个融合网络，融合网络gan-fusion1融合z
tn
和zf，融合网络gan-fusion2融合z
tm
、zh和z
p
；
[0048]
步骤4-1：搭建gan-fusion1：zf通过若干不同神经元个数的全连接层得到z
tr
，z
tn
通过生成器模型，该生成器模型为内置若干不同神经元个数的全连接层，得到z
tr
放入判别器模型，该判别器模型内置若干全连接层；所述生成模型和判别模型中，除最后一层全连接的激活函数为sigmoid外，其余全连接层的激活函数为leakrelu，优化器为rmsprop，用于区分和z
tr
；判别器和生成器交替优化，当判别器无法区分出和z
tr
时，两组特征融合结束，提取为最后融合特征，记为z
fuse1
；
[0049]
步骤4-2：搭建gan-fusion2：zh、z
p
经过行合并concatenate和大小为2
×
1的滤镜平均池化，得到中间融合特征，再通过若干不同神经元个数的全连接层得到z
tr
，z
tm
通过生成器模型，该生成器模型内置若干全连接层，得到
[0050]ztr
放入判别器模型，该判别器模型内置若干不同神经元个数的全连接层，所述生成模型和判别模型激活函数与优化器的选择同步骤4-1，用于区分和z
tr
；判别器和生成器交替优化，当判别器无法区分出和z
tr
时，两组特征融合结束，提取为最后融合特征；
[0051]
根据与步骤4-2中前述内容同样的方法和模型，组合分配输入特征z
tm
、zh和z
p
；zh和z
tm
进行concatenate合并和全连接层计算，z
p
放入生成器模型中计算，将这两组计算得到的结果放入判别器模型，gan网络交替优化，最终提取生成器模型的计算结果数据，记为同理，z
p
和z
tm
进行concatenate合并和全连接层计算，zh放入生成器模型计算，gan网络交替优化，最终提取生成器模型计算结果，记为和合并得到中间特征，再通个若干神经元个数的全连接层，得到最终融合特征，记为z
fuse2
。
[0052]
作为优选，所述步骤5具体为：
[0053]
搭建分类器：分类器根据融合了陶瓷片温度z
tn
和频率zf的最终特征z
fuse1
；融合了焊头温度z
tm
、振幅zh和压力z
p
的最终特征z
fuse2
，将z
fuse1
和z
fuse2
进行合并concatenate后，放到分类器中识别焊接质量，焊接该质量分为过焊、欠焊、正常焊；
[0054]
步骤5-1：设计分类器：设置三层全连接层，神经元个数分别为32、16和3，前两层激活函数为relu，最后一层为softmax，损失为多元交叉熵，优化器为rmsprop；
[0055]
步骤5-2：构建损失函数：gan-fusion1、gan-fusion2和分类器构造共同的损失函数：
[0056][0057][0058][0059][0060]
[0061]
其中，为融合网络gan-fusion1的损失；对于gan-fusion2，依次为焊头温度、振幅、压力做为目标模态，其余两组数据做为补充模态时的损失；为分类器的损失；对于gan-fusion1，x表示陶瓷片温度和频率的集合；对于gan-fusion2，x表示焊头温度、振幅和压力数据的集合；表示真实焊接质量标签，yi表示分类器识别的结果；
[0062]
总体损失函数为：
[0063][0064]
作为优选，所述步骤3-6具体为：所述生成器g1、g2、g3、g4、g5均设置四个卷积层，三个最大池化层和一个全局平均池化层；
[0065]
卷积层cov1d_1设置32个大小为8
×
1的滤镜，卷积层cov1d_2设置64个大小为4
×
1的滤镜，卷积层cov1d_3设置256个大小为4
×
1的滤镜，卷积层cov1d_4设置512个大小为2
×
1的滤镜，四组滤镜的时间步长均为2，激活函数采用leakrelu；
[0066]
三个平均池化层分别放置在四个卷积层之间，大小为2
×
1；通过全局平均池化层取时间轴维度上的平均值，使得生成器g1、g2、g3、g4、g5生成维度为512
×
1的数据，放到对应的判别器中与真实样本数据进行对照；
[0067]
所述步骤3-7具体为：所述判别器d1、d3、d5均设置三个卷积层，两个最大池化层和一个全局平均池化层；cov1d_5设置16个大小为8
×
1的滤镜，cov1d_6设置32个大小为4
×
1的滤镜，cov1d_7设置64个大小为2
×
1的滤镜，三组滤镜的时间步长均为2，激活函数采用leakrelu；两个最大池化层分别放置在三个卷积层之间，大小为2
×
1；最后通过全局平均池化层取时间轴维度上的平均值，得到维度为64
×
1的特征，该特征用于之后的特征融合；
[0068]
将这组大小为64
×
1的特征分别放入输入层神经元个数为32、输出层神经元个数为1的全连接层dense_1判断数据真假；放入输入层神经元个数为32，输出层神经元个数为3的全连接层dense_2识别加工类型：所述加工类型包括过焊、欠焊、正常焊接；其中，全连接层的激活函数均为leakrelu，dense_1输出层的激活函数为sigmoid，损失为二元交叉熵；dense_2输出层的激活函数为softmax，损失为多元交叉熵；优化器均采用均方根传递rmsprop；
[0069]
所述步骤3-8具体为：所述判别器d2、d4均设置为包括两层gru和两组全连接层dense，gru_1层设置神经元个数为32个，gru_2层设置神经元个数为64，正则化dropout＝0.2防止出现过拟合，得到维度为64
×
1的特征；将这组大小为64
×
1的特征分别放入输入层神经元个数为32、输出层神经元个数为1的全连接层dense_1判断数据真假；放入输入层神经元个数为32，输出层神经元个数为3的全连接层dense_2识别加工类型，所述加工类型为过焊、欠焊、正常焊接；其中全连接层的激活函数均为leakrelu，dense_1输出层的激活函数为sigmoid，损失为二元交叉熵；dense_2输出层的激活函数为softmax，损失为多元交叉熵；优化器均采用rmsprop。
[0070]
作为优选，所述步骤4-1具体为：搭建gan-fusion1：zf通过神经元个数为64的全连接层得到大小为64
×
1的z
tr
，z
tn
通过生成器模型，该生成器模型为内置神经元个数为64的全连接层，得到大小为64
×
1的z
tr
放入判别器模型，该判别器模型内置两层全连
接，第一层神经元个数为32，第二层神经元个数为1，激活函数为sigmoid，损失为二元交叉熵，优化器为rmsprop，用于区分和z
tr
；判别器和生成器交替优化，当判别器无法区分出和z
tr
时，两组特征融合结束，提取为最后融合特征，记为z
fuse1
；
[0071]
所述步骤4-2具体为：搭建gan-fusion2：zh、z
p
经过行合并concatenate和大小为2
×
1的滤镜平均池化，得到尺寸为64
×
1的中间融合特征，再通过神经元个数为32的全连接层得到尺度为32
×
1的z
tr
，z
tm
通过生成器模型，该生成器模型内置神经元个数为32的全连接层，得到大小为32
×
1的
[0072]ztr
放入判别器模型，该判别器模型内置两层全连接，第一层神经元个数为16，第二层神经元个数为1，激活函数为sigmoid，损失为二元交叉熵，优化器为rmsprop，用于区分和z
tr
；判别器和生成器交替优化，当判别器无法区分出和z
tr
时，两组特征融合结束，提取为最后融合特征；
[0073]
根据与步骤4-2中前述内容同样的方法和模型，组合分配输入特征z
tm
、zh和z
p
；zh和z
tm
进行concatenate合并和全连接层计算，z
p
放入生成器模型中计算，将这两组计算得到的结果放入判别器模型，gan网络交替优化，最终提取生成器模型的计算结果数据，记为同理，z
p
和z
tm
进行concatenate合并和全连接层计算，zh放入生成器模型计算，gan网络交替优化，最终提取生成器模型计算结果，记为和合并为大小96
×
1的中间特征，再通个神经元个数为64的全连接层，得到大小为64
×
1的最终融合特征，记为z
fuse2
。
[0074]
作为优选，所述步骤2-2中，将采集到的五类数据每类都按照3：1的比例，划分为训练集和测试集。
附图说明
[0075]
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单介绍，后文将参照附图以示例性而非限制性的方式详细描述本发明的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解，这些附图未必是按比例绘制的。附图中：
[0076]
图1为超声焊接过程数据测量结构图。
[0077]
图2为基于多并行生成对抗网络特征模态融合的焊接质量监测总体结构图。
[0078]
图3为识别网络流程图。
[0079]
图4为判别器模型gru结构图。
[0080]
图5为生成器1dcnn结构图。
[0081]
图6为判别器1dcnn结构图。
[0082]
图7为gan-fusion的网络结构图。
[0083]
图8为欠焊结果的振幅和频率数据。
[0084]
图9为过焊结果的振幅和频率数据。
[0085]
图10为合格焊接结果的振幅和频率数据。
[0086]
图11为焊接质量监测效果图。
具体实施方式
[0087]
为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅用以解释本技术，并不用于限定本技术。
[0088]
第一实施例
[0089]
基于生成对抗网络的超声焊接质量在线监测方法，包括以下步骤：
[0090]
步骤1：获取数据；
[0091]
使用激光测振仪实时测量底模的振幅数据xh、焊接过程中的超声波频率数据xf；
[0092]
使用压力变送器采集气缸与超声焊头之间的压力，实时测量压力数据x
p
；
[0093]
使用红外激光测温仪分别测量焊头温度x
tm
以及超声换能器陶瓷片的温度x
tn
；
[0094]
步骤2：数据预处理：
[0095]
步骤2-1：将步骤1中测得的数据xh、xf、x
p
、x
tm
、x
tn
这五类数据分别进行归一化处理，使数据分布在[0，1]之间：
[0096][0097]
式中，五类数据中任意一类数据x＝{x1，x2，x3，
…
，xn}，xi表示某一类数据中第i个样本数据，n表示该类数据的组数，max(x)表示这类数据中的最大值，min(x)表示这类数据中的最小值；
[0098]
步骤2-2：将采集到的五类数据每类都划分为训练集和测试集；
[0099]
步骤3：构建多并行辅助分类器的生成对抗网络acgan，分别用五个改进的acgan处理这五组数据；
[0100]
在输入到所述acgan的生成器g中的随机噪声中加入类别标签，指导g生成特定标签数据，所述acgan的判别器d能给出生成数据所述类别的标签；
[0101]
当在测量数据时出现数据不均衡或质量较差，将对应标签类别的生成数据加入到不平衡的诊断数据中，生成的故障数据和少量的真实故障数据一起放入网络训练，其目标函数如下：
[0102]
ls＝e[logp(s＝real|x
real
)]+e[log(s＝fake|x
fake
)]
[0103]
lc＝e[logp(c＝c|x
real
)]+e[logp(c＝c|x
fake)
]
[0104]
其中ls是面向数据真实与否的代价函数，lc是面向分类精确度的代价函数，x
real
为真实样本数据，x
fake
为生成数据，p(s|x)为数据源是否为真实数据的概率分布，p(c|x)为数据源对于分类标签的概率分布；
[0105]
训练所述网络的过程中，判别器d被训练来最大化ls+lc的值，生成器g被训练来最大化l
c-ls的值；
[0106]
步骤3-1：用1dcnn构建生成器g1和判别器d2，用于陶瓷片温度x
tn
的数据增强和特征提取；
[0107]
步骤3-2：用1dcnn构建生成器g2，用门控循环单元gru构建判别器d2，用于频率数据xf的数据增强和特征提取；
[0108]
步骤3-3：用1dcnn构建生成器g3和判别器d3，用于焊头温度x
tm
的数据增强和特征提取；
[0109]
步骤3-4：用1dcnn构建生成器g4，门控循环单元gru构建判别器d4，用于振幅数据xh的数据增强和特征提取；
[0110]
步骤3-5：用1dcnn构建生成器g5和判别器d5，用于压力x
p
的数据增强和特征提取；
[0111]
通过向所述生成器g1、g2、g3、g4、g5中输入随机噪声和样本标签，生成与对应类别的真实样本分布相似的数据；
[0112]
所述判别器d1、d3、d5、d2、d4，用于判断输入的数据为真实样本数据或者生成数据；生成器和判别器相互博弈、彼此优化达到纳什均衡；
[0113]
步骤3-6：所述生成器g1、g2、g3、g4、g5均设置若干卷积层、平均池化层和一个全局平均池化层；
[0114]
分别对每层卷积网络设置不同的滤镜尺寸以及时间步长，平均池化层滤镜尺寸均为2
×
1，全局平均池化层取样本轴维度上的平均值，除最后一层卷积层使用tanh做为激活函数外，其余卷积的激活函数均采用leakrelu；
[0115]
使得生成器g1、g2、g3、g4、g5生成与真实样本维度相同的生成数据，放到对应的判别器中与真实样本数据进行对照；
[0116]
步骤3-7：所述判别器d1、d3、d5均设置若干卷积层、平均池化层和一个全局平均池化层；
[0117]
分别对每层卷积网络设置不同的滤镜尺寸以及时间步长，平均池化层滤镜尺寸均为2
×
1，全局平均池化层取样本轴维度上的平均值，每层卷积的激活函数均采用leakrelu，设置正则项dropout防止出现过拟合；得到更能表征焊接质量信息的低维数特征，所述判别器d1、d3、d5分别判断陶瓷片温度、超声焊头温度和压力数据的真伪，分别用z
tn
、z
tm
和z
p
代表三个判别器产生的低维数特征；
[0118]
将本步骤中的上述低维数特征分别放入若干不同神经元个数的全连接层dense_1判断数据真假；放入若干不同神经元个数的全连接层dense_2识别加工类型：所述加工类型包括过焊、欠焊、正常焊接；其中，全连接层的激活函数均为leakrelu，dense_1输出层的激活函数为sigmoid，损失为二元交叉熵；dense_2输出层的激活函数为softmax，损失为多元交叉熵；优化器均采用均方根传递rmsprop；
[0119]
步骤3-8：所述判别器d2、d4均设置若干层门控循环单元gru，每层gru设置不同的神经元个数，激活函数均采用leakrelu，设置正则项dropout防止出现过拟合；经过若干层gru后，得到更能表征焊接质量信息的低维数特征，所述判别器d2、d4分别判断频率和振幅数据的真伪，分别用zf和zh代表两个判别器产生的低维数特征；
[0120]
将本步骤中的上述低维数特征分别放入若干不同神经元个数的全连接层dense_1判断数据真假；放入若干不同神经元个数的全连接层dense_2识别加工类型：所述加工类型包括过焊、欠焊、正常焊接；其中，全连接层的激活函数均为leakrelu，dense_1输出层的激活函数为sigmoid，损失为二元交叉熵；dense_2输出层的激活函数为softmax，损失为多元交叉熵；优化器均采用均方根传递rmsprop；
[0121]
步骤4：搭建融合网络gan-fusion：提取步骤3-7、3-8所述的判别器网络d1-d5中低维数特征数据，其中z
tn
为陶瓷片温度特征、zf为频率特征、z
tm
为焊头温度特征、zh为振幅特征、z
p
为压力特征；
[0122]
搭建两个融合网络，融合网络gan-fusion1融合z
tn
和zf，融合网络gan-fusion2融
合z
tm
、zh和z
p
；
[0123]
步骤4-1：搭建gan-fusion1：zf通过若干不同神经元个数的全连接层得到z
tr
，z
tn
通过生成器模型，该生成器模型为内置若干不同神经元个数的全连接层，得到z
tr
放入判别器模型，该判别器模型内置若干全连接层；所述生成模型和判别模型中，除最后一层全连接的激活函数为sigmoid外，其余全连接层的激活函数为leakrelu，优化器为rmsprop，用于区分和z
tr
；判别器和生成器交替优化，当判别器无法区分出和z
tr
时，两组特征融合结束，提取为最后融合特征，记为zfuse1；
[0124]
步骤4-2：搭建gan-fusion2：zh、z
p
经过行合并concatenate和大小为2
×
1的滤镜平均池化，得到中间融合特征，再通过若干不同神经元个数的全连接层得到z
tr
，z
tm
通过生成器模型，该生成器模型内置若干全连接层，得到
[0125]ztr
放入判别器模型，该判别器模型内置若干不同神经元个数的全连接层，所述生成模型和判别模型激活函数与优化器的选择同步骤4-1，用于区分和z
tr
；判别器和生成器交替优化，当判别器无法区分出和z
tr
时，两组特征融合结束，提取为最后融合特征；
[0126]
根据与步骤4-2中前述内容同样的方法和模型，组合分配输入特征z
tm
、zh和z
p
；zh和z
tm
进行concatenate合并和全连接层计算，z
p
放入生成器模型中计算，将这两组计算得到的结果放入判别器模型，gan网络交替优化，最终提取生成器模型的计算结果数据，记为同理，z
p
和z
tm
进行concatenate合并和全连接层计算，zh放入生成器模型计算，gan网络交替优化，最终提取生成器模型计算结果，记为和合并得到中间特征，再通个若干神经元个数的全连接层，得到最终融合特征，记为z
fuse2
；
[0127]
步骤5：搭建分类器：分类器根据融合了陶瓷片温度z
tn
和频率zf的最终特征z
fuse1
；融合了焊头温度z
tm
、振幅zh和压力z
p
的最终特征z
fuse2
，将z
fuse1
和z
fuse2
进行合并concatenate后，放到分类器中识别焊接质量，焊接该质量分为过焊、欠焊、正常焊；
[0128]
步骤5-1：设计分类器：设置三层全连接层，神经元个数分别为32、16和3，前两层激活函数为relu，最后一层为softmax，损失为多元交叉熵，优化器为rmsprop；
[0129]
步骤5-2：构建损失函数：gan-fusion1、gan-fusion2和分类器构造共同的损失函数：
[0130][0131][0132][0133][0134]
[0135]
其中，为融合网络gan-fusion1的损失；对于gan-fusion2，依次为焊头温度、振幅、压力做为目标模态，其余两组数据做为补充模态时的损失；为分类器的损失；对于gan-fusion1，x表示陶瓷片温度和频率的集合；对于gan-fusion2，x表示焊头温度、振幅和压力数据的集合；表示真实焊接质量标签，yi表示分类器识别的结果；
[0136]
总体损失函数为：
[0137][0138]
第二实施例
[0139]
基于生成对抗网络的超声焊接质量在线监测方法，包括以下步骤：
[0140]
步骤1：获取数据；
[0141]
超声焊接时焊头高频振动会带动底模发生高频振动，将激光测振仪与底模水平放置，实时测量底模的振幅数据xh、焊接过程中的超声波频率数据xf。压力变送器竖直放置在气缸和超声焊头之间，实时测量压力数据x
p
。
[0142]
超声焊接的过程中超声换能器陶瓷片的温度和焊头的温度也包含丰富的焊接质量信息，因此用水平放置的红外激光测温仪分别测量焊头温度x
tm
以及陶瓷片的温度x
tn
。
[0143]
步骤2：数据预处理：
[0144]
步骤2-1：将实验测得的压力、振幅、焊头温度、频率和陶瓷片温度这五类数据分别进行归一化处理，使数据分布在[0,1]之间：
[0145][0146]
式中，五类数据中任意一类数据x＝{x1，x2，x3，
…
，xn}，xi表示某一类数据中第i个样本数据，n表示该类数据的组数，max(x)表示这类数据中的最大值，min(x)表示这类数据中的最小值。
[0147]
步骤2-2：将采集到的五类数据每类都按照3：1划分为训练集和测试集。
[0148]
步骤3：构建多并行辅助分类器的生成对抗网络acgan，分别用五个改进的acgan处理这五组数据。传统的gan包含生成器g和判别器d两部分，两个模型内部可以采用不同的结构，如自编码器，cnn等。gan基于零和博弈的思想，g试图捕捉尽可能多的真实数据分布特征，d则尽可能判断样本的真假，两个模型交替优化，但传统gan只是判断了数据的真伪，功能单一，在超声波金属焊接的过程中，焊接不同材质、密度的金属所测量得到的数据不同，且难以全部采集到，故为了得到更高质量的数据，本发明引入acgan，即在输入到g中的随机噪声中加入类别标签，指导g生成特定标签数据，d不再局限于真伪的判断，也会给出生成数据所述类别的标签。在实际焊接过程中，超声焊接设备往往处于正常焊接状态，因此采集到的正常数据较多，故障数据较少，即存在数据不均衡的问题。当在测量数据时出现数据不均衡或质量较差，将对应标签类别的生成数据加入到不平衡的诊断数据中，生成的故障数据和少量的真实故障数据一起放入网络训练，扩充了故障数据的样本个数，相当于训练样本变多了，网络的泛化性会更好，达到数据增强的目的，以此来处理超声焊接时的五种关键数据。其目标函数如下：
[0149]
ls＝e[logp(s＝real|x
real
)]+e[log(s＝fake|x
fake
)]
[0150]
lc＝e[logp(c＝c|x
real
)]+e[logp(c＝c|x
fake
)」
[0151]
其中ls是面向数据真实与否的代价函数，lc是面向分类精确度的代价函数，x
real
为真实样本数据，x
fake
为生成数据，p(s|x)为数据源是否为真实数据的概率分布，p(c|x)为数据源对于分类标签的概率分布。在训练该网络的过程中，判别器被训练来最大化ls+lc的值，而生成器则被训练来最大化l
c-ls的值。
[0152]
步骤3-1：用不同的网络模型搭建acgan中的生成器和判别器。用一维卷积神经网络1dcnn构建生成器g1和判别器d2，用于陶瓷片温度x
tn
的数据增强和特征提取；
[0153]
步骤3-2：用1dcnn构建生成器g2，门控循环单元gru构建判别器d2，用于频率数据xf的数据增强和特征提取；
[0154]
步骤3-3：用1dcnn构建生成器g3和判别器d3，用于焊头温度x
tm
的数据增强和特征提取；
[0155]
步骤3-4：用1dcnn构建生成器g4，门控循环单元(gru)构建判别器d4，用于振幅数据xh的数据增强和特征提取；
[0156]
步骤3-5：用1dcnn构建生成器g5和判别器d5，用于压力x
p
的数据增强和特征提取；
[0157]
其中，生成器g1-g5为1dcnn,通过向生成器g1-g5中输入随机噪声和样本标签，生成与对应类别的真实样本分布相似的数据；d1、d3、d5为1dcnn，d2、d4为门控循环单元gru(因为超声焊接过程中振幅xh和频率xf具有高度的时间相关性，所以引入此循环神经网络)，用于判断输入的数据为真实样本数据或者生成数据。生成器和判别器相互博弈、彼此优化达到纳什均衡，此时生成数据分布无限接近真实数据。
[0158]
步骤3-6：搭建生成器模型1dcnn：用于生成数据的g1-g5设置四个卷积层cov1d_1-cov1d_4，三个最大池化层max pooling，maxpooling1-3和一个全局平均池化层global average pooling。cov1d_1设置32个大小为8
×
1的滤镜，cov1d_2设置64个大小为4
×
1的滤镜，cov1d_3设置256个大小为4
×
1的滤镜，cov1d_4设置512个大小为2
×
1的滤镜，四组滤镜的时间步长均为2，激活函数采用relu；三个平均池化层分别放置在四个卷积层之间，大小为2
×
1；最后通过全局平均池化层取时间轴维度上的平均值，使得生成器g1-g5生成维度为512
×
1的数据，放到对应的判别器中与真实样本数据进行对照。
[0159]
步骤3-7：搭建判别器模型1dcnn：用于判断陶瓷片温度x
tn
、焊头温度x
tm
、压力x
p
与其对应的生成数据的分布差异，d1、d3、d5用三个卷积层cov1d_5-cov1d_7，两个最大池化层(max pooling)maxpooling1-2和一个全局平均池化层(global average pooling)。cov1d_5设置16个大小为8
×
1的滤镜，cov1d_6设置32个大小为4
×
1的滤镜，cov1d_7设置64个大小为2
×
1的滤镜，三组滤镜的时间步长均为2，激活函数采用relu；两个最大池化层分别放置在三个卷积层之间，大小为2
×
1；最后通过全局平均池化层取时间轴维度上的平均值，得到维度为64
×
1的特征，该特征用于之后的特征融合。将这组大小为64
×
1的特征分别放入输入层神经元个数为32、输出层神经元个数为1的全连接层dense_1判断数据真假；放入输入层神经元个数为32，输出层神经元个数为3的全连接层dense_2识别加工类型(过焊、欠焊、正常焊接)。其中，全连接层的激活函数均为relu，dense_1输出层的激活函数为sigmoid，损失为二元交叉熵；dense_2输出层的激活函数为softmax，损失为多元交叉熵。优化器均采用均方根传递rmsprop(root mean square prop)。
[0160]
步骤3-8：搭建判别器模型gru：判别器d2、d4用于判断频率xf和振幅xh与其对应的生成数据的分布差异。d2、d4包含两层gru和两组全连接层dense，gru_1层设置神经元个数为32个，gru_2层设置神经元个数为64，正则化dropout＝0.2防止出现过拟合，得到维度为64
×
1的特征。将这组大小为64
×
1的特征分别放入输入层神经元个数为32、输出层神经元个数为1的全连接层dense_1判断数据真假；放入输入层神经元个数为32，输出层神经元个数为3的全连接层dense_2识别加工类型，所述加工类型包括过焊、欠焊、正常焊接。其中全连接层的激活函数均为relu，dense_1输出层的激活函数为sigmoid，损失为二元交叉熵；dense_2输出层的激活函数为softmax，损失为多元交叉熵。优化器均采用rmsprop。
[0161]
步骤4：搭建融合网络gan-fusion：提取步骤3五组gan的判别器网络d1-d5中尺度为64
×
1的特征数据，其中z
tn
为陶瓷片温度特征、zf为频率特征、z
tm
为焊头温度特征、zh为振幅特征、z
p
为压力特征，它们的尺度均为64
×
1。搭建两个融合网络gan-fusion1融合z
tn
和zf，gan-fusion2融合z
tm
、zh和z
p
。
[0162]
步骤4-1：搭建gan-fusion1：zf通过神经元个数为64的全连接层得到大小为64
×
1的z
tr
，z
tn
通过生成器模型，该生成器模型为内置神经元个数为64的全连接层，得到大小为64
×
1的z
tr
放入判别器模型，该判别器模型内置两层全连接，第一层神经元个数为32，第二层神经元个数为1，激活函数为sigmoid，损失为二元交叉熵，优化器为rmsprop，用于区分和z
tr
。判别器和生成器交替优化后，判别器无法区分出和z
tr
，证明此时两组特征融合结束，提取为最后融合特征，记为z
fuse1
。
[0163]
步骤4-2：搭建gan-fusion2：zh、z
p
经过行合并concatenate和大小为2
×
1的滤镜平均池化，得到尺寸为64
×
1的中间融合特征，再通过神经元个数为32的全连接层得到尺度为32
×
1的z
tr
，z
tm
通过生成器模型(内置神经元个数为32的全连接层)得到大小为32
×
1的z
tr
放入判别器模型(内置两层全连接，第一层神经元个数为16，第二层神经元个数为1，激活函数为sigmoid，损失为二元交叉熵，优化器为rmsprop)用于区分和z
tr
。判别器和生成器交替优化后，判别器无法区分出和z
tr
，证明此时两组特征融合结束，提取为最后融合特征。根据与步骤4-2中前述内容同样的方法和模型，组合分配输入特征z
tm
、zh和z
p
，zh和z
tm
进行concatenate合并，z
p
放入生成器模型，gan网络交替优化最终得到z
p
和z
tm
进行concatenate合并，zh放入生成器模型，gan网络交替优化最终得到和合并为大小96
×
1的中间特征，再通个神经元个数为64的全连接层，得到大小为64
×
1的最终融合特征，记为z
fuse2
[0164]
步骤5：搭建分类器：分类器根据融合了陶瓷片温度z
tn
和频率zf的最终特征z
fuse1
；融合了焊头温度z
tm
、振幅zh和压力z
p
的最终特征z
fuse2
，将z
fuse1
和z
fuse2
进行合并concatenate后，放到分类器中识别焊接质量(过焊、欠焊、正常焊)。
[0165]
步骤5-1：设计分类器：设置三层全连接层，神经元个数分别为32、16和3，前两层激活函数为relu，最后一层为softmax，损失为多元交叉熵，优化器为rmsprop。
[0166]
步骤5-2：构建损失函数：gan-fusion1、gan-fusion2和分类器构造共同的损失函数：
[0167][0168][0169][0170][0171][0172]
其中，为融合网络gan-fusion1的损失。对于gan-fusion2，依次为焊头温度、振幅、压力做为目标模态，其余两组数据做为补充模态时的损失。为分类器的损失。对于gan-fusion1，x表示陶瓷片温度和频率的集合；对于gan-fusion2，x表示焊头温度、振幅和压力数据的集合。表示真实焊接质量标签，yi表示分类器识别的结果。
[0173]
总体损失函数可以写成如下形式：
[0174][0175]
如图1所示，在超声波金属焊接时，被焊接的异种金属夹持在焊头和底模之间，焊头发出超声波，高频振动波沿着焊头传递到被焊接金属上表面后，焊头带动上层金属高频振动，底模固定住下层金属的下表面，从而使两种金属片的接触面之间产生高频摩擦而产生热量，达到焊接的目的。焊头的高频振动会带动底模发生高频振动，将激光测振仪与底模水平放置，实时测量底模的振幅数据xh、焊接过程中的超声波频率数据xf。压力变送器采集气缸与超声焊头之间的压力，实时测量压力数据x
p
。超声焊接的过程中超声换能器陶瓷片的温度和焊头的温度也包含丰富的焊接质量信息，因此用水平放置的红外激光测温仪分别测量焊头温度x
tm
以及陶瓷片的温度x
tn
。
[0176]
如图2所示，生成器g1-g5为一维卷积神经网络，通过采集随机噪声，分别生成与真实样本分布相似的数据；判别器d1、d3、d5为一维卷积神经网络，d2、d4为门控循环单元gru(因为超声焊接过程中振幅和频率具有高度的时间相关性，所以引入此循环神经网络)，用于判断输入的数据为真实样本数据或者生成数据。生成器和判别器相互博弈、彼此优化达到纳什均衡，此时生成数据分布无限接近真实数据。提取五组gan的判别器网络d1-d5中尺度为64
×
1的特征数据，其中z
tn
为陶瓷片温度特征、zf为频率特征、z
tm
为焊头温度特征、zh为振幅特征、z
p
为压力特征，他们的尺度均为64
×
1。gan-fusion为多模态特征融合网络，基于零和博弈的思想融合不同模态的数据。gan-fusion1负责融合超声换能器陶瓷片温度z
tn
特征和频率特征zf，得到融合特征z
fuse1
，最终放入预测器中预测加工件的使用寿命；gan-fusion2负责融合焊头温度z
tm
、底模振幅zh和压力特征z
p
，得到融合特征z
fuse2
，最终放到分类器中识别加工质量：过焊、欠焊、正常。
[0177]
如图3所示，网络模型训练结束后，分别提取生成对抗网络判别器和生成器模型以
及分类器和预测器的权值参数，将采集到的超声波焊接过程中的超声换能器陶瓷片温度、频率、焊头温度、振幅、压力数据放入不同的判别器模型中提取特征，分别通过两个融合模块得到两组融合后的数据，用于焊接质量识别。若出现采集数据不均衡或者不同质量密度的金属材料，则将对应生成器生成的数据加入到诊断数据集中，实现数据的增强，提高在线监测的精确度，实现焊接质量的在线监测。
[0178]
如图4所示，判别器d部分为gru门控循环单元，一维卷积神经网络提取特征之后数据都是按照从前往后单向传播的，使用gru能够有效的判断出前一时刻数据对当前时刻的重要程度并做出取舍，有效的避免了梯度爆炸和对前时刻数据的过度依赖性，使得后续的全连接层能更精确的判断出数据的真实性和类别。gru由更新门和重置门组成，该循环网络保持了lstm长期记忆特点的同时，简化了网络结构，使得训练的参数减少，加快了收敛速度。其中，z
t
表示更新门，它决定当前状态h
t
会从前一时刻状态h
t-1
中记忆多少信息，以及会从候选状态s
t
中记忆多少新的信息。更新门z
t
值越大，代表从前一时刻状态h
t-1
记忆的数据越多。计算过程为
[0179]zt
＝σ(w
xz
x
t
+w
hzht-1
+bz)
[0180]rt
代表重置门，它用来控制候选状态s
t
是否取决于前一时刻状态h
t-1
。重置门越小，代表从前一时刻状态对当前状态的影响越小。计算过程为
[0181]rt
＝σ(w
xr
x
t
+w
hrht-1
+br)
[0182]
候选状态s
t
的表达式为
[0183][0184]
前一时刻状态h
t-1
的表达式为
[0185][0186]
上述式中，σ为sigmoid激活函数，输出区间为[0，1]；tash为双曲正切激活函数，其输出区间为[-1，1]；b为偏置参数；w为权重参数；为hadamard函数，对应元素相乘的积。
[0187]
如图5、6所示，用一维卷积构建生成器和判别器模型，一维卷积神经网络将冗余的长时频数据提炼为更能表征焊接信息的短时间序列，较好的保留了时频数据的原始信息且运算效率较高。在生成器中一维卷积将随机噪声扩展为与真实数据维度相同的虚假数据；生成数据和真实数据再经过判别器的一维卷积进行压缩后，放入两组全连接层判断数据的真假以及类别。
[0188]
如图7所示，以gan-fusion2为例，g
f3
、g
f4
、g
f5
为相似结构，对于g
f5
，z
tm
表示焊头温度特征，zh、z
p
分别表示振幅和压力特征，zh、z
p
做为补充模态通过fully connected自动融合网络得到z
tr
，z
tm
和随机噪声通过生成器g得到判别器d判断和z
tr
的分布差异，判别器和生成器交替优化，当判别器输出为0.5时，证明两组数据分布相似度较高难以分辨，此时达到融合目的，提取生成数据g
f3
、g
f4
经过同样的过程等到和最终将通过fully connected得到最后的融合数据z
fuse2
，放到分类器中用于识别加工质量。
[0189]
如图8、9、10所示，分别为激光传感器测量所得过焊、欠焊、合格焊接三种焊接结果的振幅和频率数据。以图8为例，三幅数据图分别为欠焊发生时的时间-振幅分布、频率-分
贝分布和时间-频率分布。由图8、9、10可知当发生过焊时，底模振幅幅值较大；当发生欠焊时，较正常焊接时底模振幅变小。三种焊接状态发生时，频率均为20.10khz上下，但频率的分贝值差异较大。正常状态下，分贝值稳定在-20db，焊接时，频率在20.10-20.15khz的范围内分贝值小幅波动；而过焊和欠焊的分贝值为-26db和-28db，焊接时，过焊的分贝值在频率为20.05-20.20khz的范围内大幅波动；欠焊的分贝值则在频率为20.10-20.15khz的范围内大幅波动。由此可知激光传感器测得的焊接数据较为精准且特征明显，有利于本发明方案提出的网络模型获取更能表征焊接状态的特征，提高识别的准确度。
[0190]
如图11所示，为了能更直观展示本发明方法对超声焊接质量检测的有效性，采用t-sne分布随机领域嵌入方法(t-distribution stochastic neigh-bor embedding，t-sne)将分类器中全连接层的输出值特征降维至二维平面进行可视化分析，由数据分布情况可知，本方案所述方法可以有效区别欠焊，过焊，正常焊接的样品，证明本方案可有效监控多层金属焊接质量，摒除安全隐患。
[0191]
以上所述，仅为本发明部分具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本领域的人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。