一种基于深度迁移学习的多模态齿轮箱故障诊断方法

1.本发明涉及一种齿轮箱故障诊断方法，具体涉及一种基于深度迁移学习的多模态齿轮箱故障诊断方法，属于齿轮箱故障诊断技术领域。


背景技术：

2.随着现代工业技术的快速发展，人们对齿轮传动系统的运行提出了愈高的可靠性要求，机械设备正朝着高精度、高效率、自动化、智能化的方向发展。但在实际运行时，通常齿轮箱工作条件往往较为复杂和恶劣，齿轮、轴承等关键零部件极易在设备运行过程中发生故障，因此以齿轮箱的齿轮、轴承为主要实验对象，研究其有效的故障诊断模型，进而保证其安全可靠地运行至关重要。
3.目前，随着人工智能的不断发展，基于深度学习的智能诊断方法正在越来越多应用到齿轮箱故障诊断领域里，然而在实际工程中，往往以正常数据样本居多，典型故障标签数据较少，且大多振动数据没有标注，而人工标注数据费时费力。
4.因此，无标签样本下的故障诊断模型是亟需解决的重要问题。研究无标签样本下的齿轮箱智能故障诊断方法，这对减少传动系统故障，提高工作可靠性和工作效率，预防非计划停机，具有的重要的理论价值和工程价值。


技术实现要素：

5.本发明的目的是：针对实际工程中齿轮箱关键零部件齿轮、轴承的待诊断数据样本均无任何标记的分类，解决无标签样本情况下的齿轮箱故障诊断能力较差的问题，提供一种基于深度迁移学习的多模态齿轮箱故障诊断方法，采用多模态信息融合和迁移学习理论应用于故障诊断，构建一种基于无监督学习的深度多模态对抗迁移网络，具有良好的准确率和泛化性能。
6.为实现上述目的，本发明采用了以下技术方案：一种基于深度迁移学习的多模态齿轮箱故障诊断方法，包括以下步骤：
7.s1、采集原始振动信号：
8.采集不同工况条件下齿轮箱的原始振动信号，将其设定为源域和目标域数据，其中源域为带标签数据，目标域为不带标签数据；
9.s2、多模态信息融合：
10.对步骤s1中采集并设定的原始振动信号提取时域波形序列，获取时域振动信号，并对时域振动信号进行快速傅里叶变换fft得到频域振动信号，将最后得到的时域样本xi和频域样本x
t
进行z-分数标准化处理，进行时域和频域的数据级融合，并将处理后的源域和目标域的数据样本均划分为训练集和测试集，训练集和测试集两部分数据采样不重叠；
11.s3、构建多模态对抗迁移网络模型：
12.多模态对抗迁移网络模型由特征提取器gf(θf)、类别分类器gy(θy)和域判别器gd(θd)构成，特征提取器gf(θf)利用一维卷积神经网络接收源域或目标域的数据样本，并对其
进行故障信息的提取；类别分类器gy(θy)通过全连接层对接收好的特征进行任务故障分类，并通过softmax函数映射为概率输出；域判别器gd(θd)判断输入为源域或目标域；模型构建采用1d-cnn作为特征提取器的网络结构，模型训练采用adam优化器作为随机梯度下降优化方法，修正一阶动量和二阶动量的偏差来对网络参数进行更新；
13.多模态对抗迁移网络模型的目标损失函数的表达式为：
14.式中，为类别分类器的传统交叉熵损失，λ为超参数，为域判别器的域对抗分类损失，θf、θd、θy分别表示特征提取器、域判别器和类别分类器的网络参数；
15.的表达式为：
16.的表达式为：
17.上式中，ns表示源域样本数目，n
t
表示目标域样本数目，gy表示类别分类器，gf表示特征提取器，xi表示特征提取器的输入，φ(θf，θy)为模型参数正则项，为数据i的域判别器损失；
18.s4、利用融合处理后源域和目标域的数据样本输入训练得到针对目标域的迁移诊断模型：
19.将步骤s2中处理后源域的训练集和目标域的训练集数据输入到步骤s3中构建的多模态对抗迁移网络模型中，根据步骤s3中构建的目标损失函数用随机梯度下降算法对该网络进行迭代对抗训练优化网络参数，训练完成后保存模型最优网络参数和得到训练后的针对目标域的迁移诊断模型；
20.s5、输入目标域待测样本到训练后的迁移诊断模型中得到故障诊断结果：
21.在步骤s4中训练后的迁移诊断模型中输入步骤s2中处理后的目标域数据样本进行故障检测，最终得出故障诊断结果。
22.所述步骤s1中，标签数据包括正常标签数据和故障类型标签数据。
23.所述步骤s2中，频域样本x
t
的表达式为：x
t
＝fft(xi)，fft(xi)表示为由每个时域样本xi进行快速傅里叶变换到频域，并由于频谱的对称性取频域数据结果的前半部分；
24.z-分数标准化的计算公式为：式中，为z分数值，xm为时域样本xi的平均值，xs为时域样本xi的标准偏差。
25.所述步骤s3中，由于特征提取器gf(θf)和域判别器gd(θd)之间是以对抗机制进行迭代优化网络参数的，因此在全连接层和域判别器之间构建梯度反转层grl，使得域判别器损失反向传播至特征提取器gf(θf)时反转梯度，进行前向或反向传播的不同操作，实现gf(θf)和gd(θd)的对抗训练；
26.在前向传播时，梯度反转层作为一个恒等映射，r
λ
(x)＝x，r
λ
为梯度反转层，x为输入的数据；在反向传播时，通过乘以一个负单位的单位矩阵i将梯度方向自动取反，
λ为超参数，i为单位矩阵。
27.所述步骤s4中，将处理后源域的训练集和目标域的训练集数据输入到步骤s3中构建的多模态对抗迁移网络模型中，在训练过程时，源域和目标域的数据样本都需要经过特征提取器的一维卷积神经网络进行特征的提取，因此两者共享特征提取器的结构和权重。
28.所述步骤s4中，在训练过程中通过反向传播最小化特征提取器gf(θf)的损失和类别分类器gy(θy)的损失优化网络参数θf和θy，反向传播最小化表达式为：
[0029][0030]
在训练过程中通过反向传播最大化域判别器gd(θd)的损失优化网络参数θd，反向传播最大化表达式为：
[0031]
通过训练对类别分类损失和域对抗损失进行优化得到最优网络参数，从而适配源域和目标域的边缘概率分布和条件概率分布，得到针对目标域的迁移诊断模型。
[0032]
本发明的有益效果是：
[0033]
1)本发明方法致力于无标签样本下的齿轮箱故障诊断；通过将时域和频域多模态信息融合作为输入，借助对抗策略在深度对抗网络中训练优化模型，同时考虑源域和目标域数据的联合分布自适应，使其更好地自适应地学习故障诊断知识，从而有效解决无标签样本下齿轮箱的故障诊断任务。
[0034]
2)本发明方法中采用数据级融合方式来对信号的时域和频域进行信息融合作为模型的输入，以全面提取信息特征，避免单一模态会造成信息提取遗漏、不全面以及偶然性高的问题。
[0035]
3)本发明方法中构建的多模态对抗迁移网络模型，该模型域兼顾了域不变性和判别性两大关键点，使得模型可以更好的实现对目标域待测样本的诊断；并通过对目标损失函数的计算，从而优化网络模型，实现更好的故障诊断效果。
[0036]
4)本发明方法中在特征提取层和与分类器之间构建梯度反转层，使得域分类器的域分类损失的梯度反向传播到特征提取器之前会自动取反。
附图说明
[0037]
图1是本发明故障诊断方法的流程图；
[0038]
图2是本发明构建的多模态对抗迁移网络模型的总体结构图；
[0039]
图3是本发明实施例中不同工况下各迁移任务诊断结果；
[0040]
图4是本发明实施例中任务a
→
b各模型迁移诊断训练过程准确率变化曲线；
[0041]
图5是本发明实施例中任务b
→
a各模型迁移诊断训练过程准确率变化曲线；
[0042]
图6是本发明实施例中t-sne可视化结果。
具体实施方式
[0043]
下面结合附图和具体实施例对本发明作进一步的解释说明。
[0044]
如图1-6所示，为验证本发明故障诊断方法的可行性和有效性，以齿轮、轴承为实
验研究对象，采用东南大学(seu)齿轮箱数据集作为不同域下的样本数据，用以设计诊断迁移任务，进一步探究齿轮箱关键零部件的故障诊断，考虑不同工况、不同故障类型工作条件下的迁移故障诊断研究。
[0045]
实施例：本发明提供一种基于深度迁移学习的多模态齿轮箱故障诊断方法，包括以下步骤：
[0046]
s1、采集原始振动信号：
[0047]
采集不同工况条件下齿轮箱的原始振动信号，本例采用东南大学齿轮箱数据，该数据集由两个子数据集组成：轴承数据集和齿轮数据集，每个子数据集有1个正常状态(n)和4个故障状态。在实验过程中，该数据集收集了八个通道数据，在本例中使用了来自通道2的数据；由于seu数据集数据点数充足，获取实验数据的方式采用不重叠采样，采样长度为2048，以避免测试泄露，保证测试结果的公正性。
[0048]
将上述采集的数据集设定为源域和目标域数据，其中源域为带标签数据，目标域为不带标签数据；源域和目标域的样本数量均设置为1000个，实验数据集如下表1所示：表1为实验齿轮箱数据集
[0049][0050]
s2、多模态信息融合：
[0051]
对步骤s1中采集并设定的原始振动信号提取时域波形序列，获取时域振动信号，并对时域振动信号进行快速傅里叶变换fft得到频域振动信号，将最后得到的时域样本xi和频域样本x
t
进行z-分数标准化处理。
[0052]
对处理后信号的时域和频域两种模态进行拼接，完成数据级融合，使得模态信息之间的互补性增强；对处理后的源域和目标域数据样本划分为两部分：训练集和测试集，用于对本模型进行训练和测试，为避免测试泄露，这两部分数据采样不重叠，以避免采样的偶然性，保证测试结果的公正性。
[0053]
以原始时域振动信号作为模型的一种模态输入，而经快速傅里叶变化后的频域振动信号为另一模态输入，经过标准化处理后将两种模态进行数据级融合后的信号作为模型的最终输入，以保证模型在特征提取阶段能获取充足全面的故障信息特征。
[0054]
s3、构建多模态对抗迁移网络模型：
[0055]
多模态对抗迁移网络模型由特征提取器gf(θf)、类别分类器gy(θy)和域判别器gd(θd)构成，特征提取器gf(θf)利用一维卷积神经网络接收源域或目标域的数据样本，并对其进行故障信息的提取；类别分类器gy(θy)通过全连接层对接收好的特征进行任务故障分类，并通过softmax函数映射为概率输出；域判别器gd(θd)判断输入为源域或目标域，并利用来自源域和目标域的特征信息进行不断的对抗训练，从而达到混淆源域和目标域的故障特征
的目的。
[0056]
该网络模型研究源域和目标域之间存在的数据分布差异所产生的分布适配问题时采用gan的思想来进行迁移学习，将对抗网络作为源域和目标域的隐式度量函数，度量两者的分布相似性；gan中的生成器相当于该模型中的特征提取器，判别器对应于数据分布的度量函数，两者通过对抗博弈训练来优化网络参数。
[0057]
模型构建采用1d-cnn为作为特征提取器的网络结构，模型训练采用adam优化器作为随机梯度下降优化方法，修正一阶动量和二阶动量的偏差来对网络参数进行更新；同时为缓解网络过拟合，使用dropout将部分神经元按照p＝0.5的概率从神经网络中舍弃，学习率为1e-2，批处理大小从16到128，迭代次数设置为100。该模型整体结构参数如下表2所示：
[0058]
表2为模型整体结构参数表
[0059][0060]
s4、利用融合处理后源域和目标域的数据样本输入训练得到针对目标域的迁移诊断模型：
[0061]
将步骤s2中处理后源域的训练集和目标域的训练集数据输入到步骤s3中构建的多模态对抗迁移网络模型中，根据步骤s3中构建的目标损失函数用随机梯度下降算法对该网络进行迭代对抗训练优化网络参数，训练完成后保存模型最优网络参数和得到训练后的针对目标域的迁移诊断模型。
[0062]
s5、输入目标域待测样本到训练后的迁移诊断模型中得到故障诊断结果：
[0063]
在步骤s4中训练后的迁移诊断模型中输入步骤s2中处理后的目标域数据样本进行故障检测，最终得出故障诊断结果。
[0064]
1、设置迁移诊断任务进行实验。
[0065]
1)设置不同工况迁移诊断实验：
[0066]
为验证所构建的模型在齿轮箱不同工况下的迁移诊断能力，分别以轴承和齿轮为
实验对象，设置四组迁移诊断任务，实验信息如下表3所示。为确保实验结果的可靠性，模型的准确率取20次实验的平均值作为最终准确率。
[0067]
表3为不同工况下迁移诊断实验
[0068][0069]
经过训练得到结果，对于轴承，任务t1和t2的迁移学习准确率可达到为89.40％和94.12％；对于齿轮，任务t3和t4的迁移准确率分别为80.29％和82.27％。由此表明，该方法在不同工况下可有效学习和提取信息特征，实现跨域诊断。
[0070]
2)设置不同故障类型迁移诊断实验：
[0071]
为验证所构建的模型在齿轮箱不同故障类型下的迁移诊断能力，设置在同一工况20hz-0v下的两组迁移任务，验证不同故障类型间的迁移准确率。实验信息如下表4所示：表4为不同故障类型间迁移诊断实验
[0072][0073]
经过实验得到结果，任务a
→
b中，准确率可达92.58％，任务b
→
a准确率可达86.35％，表明该模型具有良好的迁移诊断能力。
[0074]
2、为进一步验证所提方法的优越性，对比分析传统迁移方法。
[0075]
在不同工况迁移诊断实验中，将本方法同传统迁移方法tca和jan以及深度迁移学习方法ddc进行对比得到的诊断结果如图3所示，其准确率远远优于现有方法，进一步验证所提方法在齿轮箱不同工况迁移诊断的优越性。
[0076]
在不同故障类型迁移诊断实验中，将本方法同样对比分析迁移方法tca、jan和ddc的迁移学习能力，如图4和5所示，其准确率远远优于现有方法。结果表明所提方法在不同故障类型条件下依然可对故障诊断知识进行有效迁移，在不同故障类型间的迁移表现出良好的泛化性能。
[0077]
3、为更加直观地表现该模型的良好的迁移诊断性能，利用t-sne将诊断前的故障特征分布和模型不同阶段迭代次数的故障特征分布进行可视化。
[0078]
以t2任务为例，如图6所示。其中(a)为诊断前故障特征分布、(b)为迭代30次时的故障特征分布、(c)为迭代50次时的故障特征分布、(d)为迭代100次时的故障特征分布。由图可知，所提方法可有效消除源域和目标域的分布差异，具备良好的诊断能力。
[0079]
本发明涉及一种深度迁移学习的齿轮箱故障诊断方法，致力于无标签样本下的齿轮箱故障诊断。通过将时域和频域多模态信息融合作为输入，借助对抗策略在深度对抗网络中训练优化模型，同时考虑源域和目标域数据的联合分布自适应，使其更好地自适应地
学习故障诊断知识。
[0080]
以上所述，仅用以说明本发明的技术方案而非限制，本领域普通技术人员对本发明的技术方案所做的其他修改或者等同替换，只要不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围当中。