基于多模态和多尺度融合网络的轴承诊断方法及系统

本发明涉及一种基于多模态数据融合和多尺度图注意力融合网络的轴承故障诊断方法及系统，属于深度学习与故障诊断。

背景技术：

1、轴承是传动装置必要与核心结构，由于轴承运载状态的失效所引起的常见故障包括疲劳脱落、磨损、断裂等，且此类故障较集中发生在内圈与外圈之间。轴承在长时间承受载荷过大、润滑不良以及安装不正确等情况下造成故障的机率较高，滚动轴承承受冲击能力较差、且较易出现因转速过高、腐蚀生锈等因素导致故障的发生。

2、现有立式电机的轴承因电机结构和使用方式的特点，必然使其承受由转子自重产生的轴向压力，对轴承及时进行故障诊断、制定合适的维修策略，从而有效地减小无效开支并提高维修效率就显得很有必要。通常根据监测信息及时发现异常或评价设备的健康状态，预测设备的故障趋势，实际运用于工业界智能化故障监测的算法系统开发对于运维方面的增效降本具有无比重要的现实意义。

3、现有技术通常采用单模态的振动信号以处理针对真实运转状态的非平稳性、非线性特点的故障诊断与分类，但是此类方法提取具有代表性的关键特征信息的精度较低，应用在实际场景中难以合理、真实地诊断出故障类型及其程度的量化。

4、有鉴于此，特提出本专利申请。

技术实现思路

1、本发明所述基于多模态和多尺度融合网络的轴承诊断方法及系统，在于解决上述现有技术存在的问题而提出基于多种模态信号的特征提取与多维信息融合和增强特征提取能力的诊断手段，从而实现全面地表征轴承退化信息、准确计算得出轴承的健康状况，从而达到诊断数据具有可比性、交互性、充分利用多模态原始数据、能够结合多种数据融合优点的设计目的。

2、为实现上述发明目的，所述基于多模态和多尺度融合网络的轴承诊断方法，包括以下实施步骤：

3、步骤1、获取不同工况下、多种故障类型的多源异构信号数据集；

4、步骤2、基于多模态数据融合构建数据级特征向量矩阵；

5、步骤3、生成多尺度的cwt特征提取的灰度图像；

6、步骤4、生成多尺度stft特征提取的灰度图像；

7、步骤5、生成新的时频特征图像集image；

8、步骤6、构建vit模型；

9、步骤7、获得轴承故障类型状况的分类结果；

10、将融合后的时频特征图像集image划分为训练集和验证集，导入预设故障分类模型以得到健康或相应的故障类型状况的分类结果。

11、进一步地，所述的步骤1中，将传感器集成监测模块嵌入至轴承中，实时采集n种模态的信号；n种模态的信号包括不同故障类型状态下的多源信号，多源信号类型包括但不限于轴承的振、温、转速，电机工作状态的电压、电流、功率。

12、进一步地，所述的步骤2中，将多种模态信号进行特征提取和信息融合预处理,提取后得到每个模态信号特征向量；其中，每个特征向量包含描述不同模态信息的特征，对不同模态的特征进行拼接、求均值后，以振、温、转速为主序列按模态维度进行数据级融合并构建特征向量矩阵。

13、进一步地，所述的步骤3中，将数据级融合特征向量矩阵通过选择不同的小波函数或尺度参数以获得不同频率范围或时间尺度下的特征并计算每个尺度下的特征，生成多尺度的cwt特征提取的灰度图像。

14、进一步地，所述的步骤4中，将数据级融合特征向量矩阵a1进行多尺度stft特征提取，计算相应的频谱能量或其他统计特征以生成多尺度stft特征提取的灰度图像；

15、stft基本运算公式如下：

16、

17、式中，x(t)为时域信号，h(t-ω)为窗函数。

18、进一步地，所述的步骤5中，对不同尺度下提取的特征向量灰度图进行加权融合，根据不同尺度的重要性赋予不同的权重；将上述图像进行拼接形成更长的特征向量再归一化，以生成新的时频特征图像集image；

19、对stft的灰度图和小波变换图的特征进行多尺度融合；首先对每个特征提取不同尺度的特征表示，然后对不同尺度的特征进行图像拼接融合，最后叠加在一起形成多通道的图像并构成融合两者特征灰度图像数据集。

20、进一步地，所述的步骤6中，vit模型包括输入层、多尺度图像块划分、图像块嵌入层、位置编码层、transformer编码器层、自适应池化层、mlp层和输出层；

21、构建基于多尺度图注意力融合网络架构的故障分类vit模型包括以下步骤：

22、s601.输入数据预处理；

23、针对输入的图结构数据，使用不同图嵌入尺寸进行嵌入操作，得到多个不同尺寸的局部特征表示；每个尺寸的图嵌入形式关注不同的图结构局部特征；每个图像补丁映射到一个低维的特征向量空间中。这个嵌入层将每个图像补丁的像素信息转换为一个固定长度的向量表示。嵌入层通常是个全连接层，其中参数是可学习的。

24、s602.将预处理后的图像输入数据通过嵌入层(如图6)映射到低维的特征向量嵌入空间；

25、对于图像数据，使用不同尺寸图像块映射尺寸(16*16/12*12/8*8)提取局部特征，将每个图像块映射到嵌入特征空间展平为向量；

26、图嵌入映射计算公式如下：

27、

28、其中，kiu-i,v-j分别表示不同尺寸和不同空间位置的图嵌入，zi表示不同尺寸嵌入操作提取到的图局部特征；

29、s603.位置编码；

30、引入位置信息，使用正余弦编码的位置编码形式对不同图嵌入的输入向量进行加权平均；在自注意力机制中引入序列信息，以便模型能够感知输入序列中不同位置的相对位置关系；

31、s604.搭建多层transformer编码器；

32、s605.损失函数和优化算法；

33、对处理后的结果使用交叉熵损失函数进行损失计算，选择adam优化算法，根据梯度更新网络的参数。

34、进一步地，所述的步骤7中，对于上述步骤5中获得的不同类型数据集按照4：1的比例划分为训练集、验证集，首先将两种不同预处理后构建的数据训练集中分别输入在步骤6中建立的基于多尺度图注意力融合网络架构中,然后通过反向传播算法对故障检测模型中的各权重值进行训练；利用验证集来判断轴承缺陷检测模型的训练效果,以得到训练完整的机械缺陷检测模型；最后用测试集的数据用于检验模型的可靠性；

35、采集待检测的基于多尺度图注意力融合网络架构,重复步骤1中的预处理过程并将其输入到训练完毕的轴承缺陷多通道数据检测模型中，以检测轴承工作时的缺陷情况；所述的缺陷情况，是由两次特征提取网络输出的、表征机械缺陷情况的、决策性融合的、模糊综合评价理论结果进行标签。

36、基于上述轴承诊断方法，本技术同时提出一种基于多模态和多尺度融合网络的轴承诊断系统，该系统包括原始信号获取模块、多源数据处理模块﹑多尺度特征融合模块、多尺度特征提取模块、诊断分类模块。其中，

37、原始信号获取模块，用于获取滚动轴承n种模态的信号,所述信号包括滚动轴承声音、振动、温度以及转速等数据信息；

38、多源数据处理模块，用于将n种模态信号进行预处理,对原始采集数据可做对应传统的信号处理分析,然后将经过信号处理分析的按模态维度作数据级融合，构建为含特征参数的向量矩阵的形式，记作数据级特征向量矩阵a1；

39、多尺度特征融合模块，将初步构建的含参的特征向量矩阵经过连续小波变换和stft变换和特征融合；对不同尺度下提取的特征向量灰度图进行加权融合，根据不同尺度的重要性赋予不同的权重；继续将上述图像进行拼接，形成个更长的特征向量再归一化，最后生成新的时频特征图像集image；

40、多尺度特征提取模块，用于输入图像；首先通过嵌入层(patchembedding)转换为图像块按照一定的规则被划分为不同的尺度的嵌入表示；对于每个尺度，vit模型会为其分配一个或多个注意力头；每个注意力头都会学习不同的权重和空间关系，以便对输入嵌入表示进行自注意力计算；每个注意力头都会产生一个注意力矩阵，表示不同位置之间的注意力权重；这些矩阵会以注意力汇聚的形式产生最终的多尺度注意力表示；

41、诊断分类模块，用于在vit模型中通过mlp和softmax函数将图像特征映射到分类任务空间并生成分类标签；mlp通过堆叠多个全连接层和激活函数，提取抽象的特征表示；softmax函数将mlp的输出进行归一化，得到每个类别的概率预测结果，以便进行分类决策；上述操作使得vit模型能够在训练过程中学习从输入图像到输出标签的映射关系，并在推断阶段给出对输入图像进行分类预测。

42、应用上述轴承诊断方法和系统，本技术提出一种实现轴承故障诊断的上位机工控设备，其包括处理器和存储器，存储器用于存储计算机可执行程序，处理器从存储器中读取所述计算机可执行程序并执行；以及，一种用于存储上述基于多模态和多尺度融合网络的轴承诊断方法的工控多通道采集系统分析软件的计算机可读存储介质。

43、综上内容，本技术提出的基于多模态和多尺度融合网络的轴承诊断方法及系统具有以下优点与有益效果：

44、1、本发明提出基于多模态特征级融合和多尺度图注意力融合网络的轴承故障诊断手段，能够利用不同类型传感器获取变频器控制转速下的模拟立式轴承运行过程中的声、振、温、转速等多源异构原始故障数据，进而实施信息选择与数据处理以构建含参特征矩阵，经过不同尺度下小波变换和不同长度窗函数的stft变换后，进行特征融合增强和归一化等处理，从而实现全面表征出轴承真实运转状况的健康与故障分类数据，最终构建出基于多尺度图注意力融合的改进vit图像故障分类网络，以建立性能最优的多分类数据模型训练，解决了现有技术真实工况单一信号故障分类精度较差的缺陷，显著优化了现有深度学习方法的鲁棒性与泛化能力。

45、2、本技术提出包括振、温、转速，电机工作状态的电压、电流、功率，阀门调速装置的水流速等多种模态信号的特征提取和多维信息融合增强等预处理方式，有效地将特征提取后得到每个模态信号的特征向量按模态维度初步数据融合，从而显著地提高特征提取网络的特征提取能力。

46、3、本技术提出的多模态数据信息融合过程，能够充分利用多模态原始信息并结合多种数据融合方式的优点，能够集成数据级、特征级信息的优点与特性，通过将融合策略有机地结合在一起，在高效性和稳定性方面得到更好的表现。同时，充分利用最初阶段的数据预处理结果而最大程度地保留用于轴承监测诊断的特征信息，并在后续特征提取和诊断分析过程中得到更高的准确性和稳定性。