基于声纹与红外特征融合的变压器故障诊断方法与系统与流程

本发明涉及一种基于声纹与红外特征融合的变压器故障诊断方法与系统，属于电力变压器多传感器融合故障感知与诊断。

背景技术：

1、电力变压器是电力系统中最重要的设备之一，对于电力系统的安全稳定运行具有重要作用，一旦电力变压器发生故障而造成停电，将造成重大的经济损失。早期的变压器主要依靠人工巡检，通过观察各种分析仪器和仪表数据来分析故障结果，准确率低且无法实时监测。

2、随着人工智能和自动化技术的发展，变压器故障的自动诊断方法和设备得到了深入研究。目前的变压器故障自动诊断系统通常利用单一的可见光图像、红外图像或各类仪表等数据，建立机器学习或深度学习分类模型实现故障诊断。但是，单一传感器的数据中包含信息有限，一些复杂故障需要多种检测手段综合判断。

3、目前，同时利用多种传感器信息进行融合，实现复杂故障综合诊断的研究较少。

技术实现思路

1、为了解决上述问题，本发明提出了一种基于声纹与红外特征融合的变压器故障诊断方法与系统，能够将红外图像信息和声纹信息进行有机结合，最终实现更准确、综合的故障诊断。

2、本发明解决其技术问题采取的技术方案是：

3、第一方面，本发明实施例提供的一种基于声纹与红外特征融合的变压器故障诊断方法，包括以下步骤：

4、采集变压器运行过程中的声纹信号和红外图像；

5、提取声纹信号的声纹特征以及三种不同尺度的红外图像特征；

6、基于级联通道注意力和空间注意力机制将声纹特征分别与三种尺度的红外特征进行融合，获得三个尺度的融合特征；

7、建立特征融合故障诊断模型，利用所述特征融合故障诊断模型对三种尺度的融合特征进行聚合，利用两个多层感知机构建检测和分割多任务网络，进行预测故障类型和位置。

8、作为本实施例一种可能的实现方式，通过在变压器本体上安装声纹传感器以及在变压器周围架设红外相机，实时获得变压器的声纹信号和红外图像。

9、作为本实施例一种可能的实现方式，所述提取声纹信号的声纹特征以及三种不同尺度的红外图像特征，包括：

10、对所述声纹信号利用长短期记忆网络提取声纹特征；

11、利用卷积神经网络和特征金字塔网络从所述红外图像中提取三种不同尺度的红外图像特征。

12、作为本实施例一种可能的实现方式，所述三种不同尺度分别为原图像尺度、原尺度的四分之一和原尺度的十六分之一。

13、作为本实施例一种可能的实现方式，所述提取声纹信号的声纹特征以及三种不同尺度的红外图像特征，包括：

14、利用卷积神经网络cnn对红外图像数据进行处理，得到初步提取的红外图像特征；

15、将红外图像特征送入特征金字塔网络进行处理，提取不同尺度的红外图像特征、、；

16、利用长短期记忆模型lstm对声纹数据进行特征提取，获得声纹特征。

17、作为本实施例一种可能的实现方式，所述基于级联通道注意力和空间注意力机制将声纹特征分别与三种尺度的红外特征进行融合，获得三个尺度的融合特征，包括：

18、将声纹特征经过两个全连接层fc处理得到不同阶段融合的初始特征、；

19、将声纹特征和第j尺度的红外图像特征经过哈达玛积运算得到通道注意力输入特征；

20、利用通道注意力机制对通道注意力输入特征进行处理，得到通道注意力融合特征；

21、将声纹特征和通道注意力融合特征经过哈达玛积运算得到空间注意力输入特征；

22、利用空间注意力机制对空间注意力输入特征进行处理，得到声纹特征与第j尺度的红外图像特征融合结果。

23、作为本实施例一种可能的实现方式，所述利用通道注意力机制对通道注意力输入特征进行处理，得到通道注意力融合特征，包括：

24、将输入特征由最大值池化和平均值池化操作并行处理，经过最大值池化和平均值池化的特征和被输入至两个全连接层进行特征变换，变换后的特征通过逐元素的加法合并得到：

25、，

26、，

27、其中，和表示relu作为激活函数的全连接层，是sigmoid函数，和分别表示最大值池化操作和平均值池化操作。

28、作为本实施例一种可能的实现方式，所述利用空间注意力机制对空间注意力输入特征进行处理，得到声纹特征与第j尺度的红外图像特征融合结果，包括：

29、将空间注意力输入特征采用沿通道维度的最大值池化和平均值池化处理，将得到的特征进行拼接和二维卷积处理，生成空间注意力特征输出：

30、，

31、其中，[;]表示拼接操作，是卷积操作。

32、作为本实施例一种可能的实现方式，所述建立特征融合故障诊断模型，利用所述特征融合故障诊断模型对三种尺度的融合特征进行聚合，利用两个多层感知机构建检测和分割多任务网络，进行预测故障类型和位置，包括：

33、建立特征融合故障诊断模型并进行模型训练；

34、将三个尺度的融合特征分别经过全连接层fc进行特征映射，得到维度统一的融合特征；

35、将三个尺度的融合特征进行拼接；

36、分别利用两个多层感知机mlp构建多任务学习网络，其中一个多层感知机mlp的输出为在红外图像上的故障位置检测结果，即故障区域的定位框中心位置坐标及宽度高度值，另外一个多层感知机mlp输出一个与输入图像相同尺寸的分割掩码，从而定位出具体的故障区域细节。

37、作为本实施例一种可能的实现方式，所述特征融合故障诊断模型通过故障定位损失函数和故障分割损失函数进行端到端训练，总的损失函数为：

38、，

39、其中为平衡两种损失函数的超参数；

40、所述故障定位损失函数为：

41、，

42、其中和分别表示定位框的预测坐标和置信度，和是真值,是目标检测的锚点数；包含两个损失函数，交叉熵和smooth-损失函数用来分别计算定位框的中心位置和定位框的宽度与高度的回归损失；是用于计算置信度得分损失的0-1交叉熵损失函数。

43、所述故障分割损失函数为：

44、，

45、其中和分别表示分割掩码中元素的真值和预测值。

46、第二方面，本发明实施例提供的一种基于声纹与红外特征融合的变压器故障诊断系统，包括：

47、数据采集模块，用于采集变压器运行过程中的声纹信号和红外图像；

48、特征提取模块，用于提取声纹信号的声纹特征以及三种不同尺度的红外图像特征；

49、特征融合模块，用于基于级联通道注意力和空间注意力机制将声纹特征分别与三种尺度的红外特征进行融合，获得三个尺度的融合特征；

50、故障诊断预测模块，用于建立特征融合故障诊断模型，利用所述特征融合故障诊断模型对三种尺度的融合特征进行聚合，利用两个多层感知机构建检测和分割多任务网络，进行预测故障类型和位置。

51、作为本实施例一种可能的实现方式，所述特征提取模块，包括：

52、声纹特征提取模块，用于对所述声纹信号利用长短期记忆网络提取声纹特征；

53、图像特征提取模块，用于利用卷积神经网络和特征金字塔网络从所述红外图像中提取三种不同尺度的红外图像特征。

54、作为本实施例一种可能的实现方式，所述三种不同尺度分别为原图像尺度、原尺度的四分之一和原尺度的十六分之一。

55、作为本实施例一种可能的实现方式，所述特征提取模块，具体用于：

56、利用卷积神经网络cnn对红外图像数据进行处理，得到初步提取的红外图像特征；

57、将红外图像特征送入特征金字塔网络进行处理，提取不同尺度的红外图像特征、、；

58、利用长短期记忆模型lstm对声纹数据进行特征提取，获得声纹特征。

59、作为本实施例一种可能的实现方式，所述特征融合模块，具体用于：

60、将声纹特征经过两个全连接层fc处理得到不同阶段融合的初始特征、；

61、将声纹特征和第j尺度的红外图像特征经过哈达玛积运算得到通道注意力输入特征；

62、利用通道注意力机制对通道注意力输入特征进行处理，得到通道注意力融合特征；

63、将声纹特征和通道注意力融合特征经过哈达玛积运算得到空间注意力输入特征；

64、利用空间注意力机制对空间注意力输入特征进行处理，得到声纹特征与第j尺度的红外图像特征融合结果。

65、作为本实施例一种可能的实现方式，所述利用通道注意力机制对通道注意力输入特征进行处理，得到通道注意力融合特征，包括：

66、将输入特征由最大值池化和平均值池化操作并行处理，经过最大值池化和平均值池化的特征和被输入至两个全连接层进行特征变换，变换后的特征通过逐元素的加法合并得到：

67、，

68、，

69、其中，和表示relu作为激活函数的全连接层，是sigmoid函数，和分别表示最大值池化操作和平均值池化操作。

70、作为本实施例一种可能的实现方式，所述利用空间注意力机制对空间注意力输入特征进行处理，得到声纹特征与第j尺度的红外图像特征融合结果，包括：

71、将空间注意力输入特征采用沿通道维度的最大值池化和平均值池化处理，将得到的特征进行拼接和二维卷积处理，生成空间注意力特征输出：

72、，

73、其中，[;]表示拼接操作，是卷积操作。

74、作为本实施例一种可能的实现方式，所述故障诊断预测模块，具体用于：

75、建立特征融合故障诊断模型并进行模型训练；

76、将三个尺度的融合特征分别经过全连接层fc进行特征映射，得到维度统一的融合特征；

77、将三个尺度的融合特征进行拼接；

78、分别利用两个多层感知机mlp构建多任务学习网络，其中一个多层感知机mlp的输出为在红外图像上的故障位置检测结果，即故障区域的定位框中心位置坐标及宽度高度值，另外一个多层感知机mlp输出一个与输入图像相同尺寸的分割掩码，从而定位出具体的故障区域细节。

79、作为本实施例一种可能的实现方式，所述特征融合故障诊断模型通过故障定位损失函数和故障分割损失函数进行端到端训练，总的损失函数为：

80、，

81、其中为平衡两种损失函数的超参数；

82、所述故障定位损失函数为：

83、，

84、其中和分别表示定位框的预测坐标和置信度，和是真值,是目标检测的锚点数；包含两个损失函数，交叉熵和smooth-损失函数用来分别计算定位框的中心位置和定位框的宽度与高度的回归损失；是用于计算置信度得分损失的0-1交叉熵损失函数。

85、所述故障分割损失函数为：

86、，

87、其中和分别表示分割掩码中元素的真值和预测值。

88、第三方面，本发明实施例提供的一种计算机设备，包括处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当所述计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述处理器执行所述机器可读指令，以执行如上述任意基于声纹与红外特征融合的变压器故障诊断方法的步骤。

89、第四方面，本发明实施例提供的一种存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上述任意基于声纹与红外特征融合的变压器故障诊断方法的步骤。

90、本发明实施例的技术方案可以具有的有益效果如下：

91、本发明实施例的技术方案的一种基于声纹与红外特征融合的变压器故障诊断方法，包括以下步骤：采集变压器运行过程中的声纹信号和红外图像；提取声纹信号的声纹特征以及三种不同尺度的红外图像特征；基于级联通道注意力和空间注意力机制将声纹特征分别与三种尺度的红外特征进行融合，获得三个尺度的融合特征；建立特征融合故障诊断模型，利用所述特征融合故障诊断模型对三种尺度的融合特征进行聚合，利用两个多层感知机构建检测和分割多任务网络，进行预测故障类型和位置。针对变压器故障诊断，本发明将红外图像信息和声纹信息进行有机结合，从声纹和红外图像的多模态数据融合角度进行研究分析，提供了更加综合、准确的故障诊断结果。本发明通过诊断变压器复杂故障的综合诊断分析进行深入研究分析，有效提高了复杂故障的诊断准确率。

92、本发明实施例的技术方案的一种基于声纹与红外特征融合的变压器故障诊断系统，具备与基于声纹与红外特征融合的变压器故障诊断方法同样的有益效果。

93、本发明实现了变压器故障的自动诊断和实时监测，提高了电力系统的安全稳定运行。