基于多级注意力和特征融合的变压器故障诊断方法及系统与流程

本发明涉及一种基于多级注意力和特征融合的变压器故障诊断方法及系统，属于电力变压器声纹感知与故障诊断。

背景技术：

1、本部分的陈述仅仅是提供了与本发明相关的背景技术，并不必然构成现有技术。

2、进入二十一世纪后，结合信号处理技术发展以及最新的研究成果，故障诊断技术已成为一门独立且完整的学科，并应用在如电网、高铁等多个行业领域。近年来，随着电网规模的不断增加，电网的拓扑结构的逐渐复杂，导致影响电网运行的不确定性因素增加，变压器故障诊断是电网诊断的核心一环，因此针对变压器的故障诊断技术成为电力系统研究的主攻方向，并取得了显著性成果。尤其是基于深度学习的电网故障诊断方法也得到了诸多学者的青睐。

3、电力变压器的振动噪声与其目前的工作状态紧密相关，当电力设备的零部件故障导致状态变化后，其声纹信号特征也会相应改变，因此通过监视声纹信号的特征便能判断设备的运行状态，并及时发现设备是否发生故障，以及故障类别。

4、依靠专家对设备进行观察和诊断是最早的电网诊断和维修方法，通过合理安装传感器并使用合适的方法来分析结果进而确定故障类型及故障位置，但这种方法不仅造成了劳动力的浪费，而且维护的效率和质量难以保证。

技术实现思路

1、为了解决上述问题，本发明提出了一种基于多级注意力和特征融合的变压器故障诊断方法及系统，能够确定故障类型及故障位置，提高故障诊断的准确率。

2、本发明解决其技术问题采取的技术方案是：

3、第一方面，本发明实施例提供的一种基于多级注意力和特征融合的变压器故障诊断方法，包括以下步骤：

4、实时采集待测电力变压器的声纹信号；

5、对采集的声纹信号数据进行预处理并划分训练集和测试集；

6、根据采集的待测电力变压器的声纹信号和故障诊断模型，进行变压器故障诊断；

7、其中，所述故障诊断模型是通过建立卷积神经网络提取数据底层特征，使用底层的卷积网络提取底层特征，并连续使用卷积层和双向gru层提取高层特征，之后将底层特征和高层特征分别作为注意力机制的查询向量和键向量进行特征融合，从而将电力变压器声纹数据中的位置信息嵌入到注意力机制中。

8、作为本实施例一种可能的实现方式，所述声纹信号为通过声阵列设备采集的待测电力变压器的声纹信号。

9、作为本实施例一种可能的实现方式，所述对采集的声纹信号数据进行预处理并划分训练集和测试集，包括：

10、对采集的声纹信号数据进行切片处理，获得数据集；

11、将变压器的声纹信号数据的赋予标签，并转换为独热编码；

12、利用numpy产生一个随机数列，利用该随机数列将切片后的数据以及标签打乱，并划分训练集和测试集。

13、作为本实施例一种可能的实现方式，所述训练集和测试集的样本数据比例为4:1。

14、作为本实施例一种可能的实现方式，所述故障诊断模型的建立过程为：

15、将卷积神经网络的两个卷积层和一个池化层封装为cfe模块，将双向求和gru（gate recurrent unit，循环神经网络）和注意力机制（attention）封装为gat模块，所述的cfe和gat模块各有三个且一一相对应；

16、将每一个cfe模块的输出特征作为目标域(target)，并作为相对应的gat中注意力机制的查询向量 (query)；

17、将最后一个cfe模块的输出连接到第一个gat模块中的双向gru，并计算双向gru的向量和；

18、将双向求和gru网络的输出作为源域(source)，并作为相对应注意力机制中的键向量( key)；

19、对建立的模型进行训练学习，得到最终的故障诊断模型。

20、作为本实施例一种可能的实现方式，所述cfe模块的建立过程为：构建一个轻量级的卷积网络，所述卷积网络由六个卷积层和三个池化层组成，由两个卷积层和一个池化层组成一个cfe模块；

21、所述卷积层的卷积运算表达式为：

22、(1)

23、其中，表示第 l层的输出;表示第层第 i个通道的输出；表示层的第 c个通道；和分别表示权重和偏置；

24、每个卷积层都采用线性整流函数 relu作为激活函数，且在每一个卷积层中激活一半的神经元；

25、 relu函数表达式为：

26、(2)

27、所述池化层的池化计算表达式为：

28、(3)

29、其中，表示第 l层第 i个通道第 t个神经元的值； s表示池化内核的大小；表示第 l层第 i个通道的第 j个神经元的值。

30、作为本实施例一种可能的实现方式，所述gat模块的建立过程为：

31、定义gru的网络的重置门和更新门：

32、(4)

33、(5)

34、(6)

35、(7)

36、其中， rt和 ut分别表示当前时间步的重置门和更新门，为当前时间步输入；为上一时间步的隐藏状态，w表示权重矩阵，，表示重置门和更新门的权重参数，，为偏差参数，为按元素相乘，为gru的输出，为候选隐藏层输出；

37、在gru的基础上设置双向求和gru，双向gru的输出为：

38、(8)

39、(9)

40、其中，和表示正向gru隐藏状态和输入的权重矩阵，为正向gru的偏置项；和表示反向gru隐藏状态和输入的权重矩阵，为反向gru的偏置项；

41、将两个双向gru堆叠形成两层不同方向的gru层，利用 bidirectional函数将两层gru的结果进行拼接联合：

42、(10)

43、其中，为正向gru输出，为反向gru输出，为双向gru输出。

44、作为本实施例一种可能的实现方式，所述注意力机制的计算公式为：

45、(11)

46、其中， score()表示评价函数，表示注意力分布，即在给定 key和 query条件下选择第 i个输入向量的概率， key为键向量， query为查询向量。

47、第二方面，本发明实施例提供的一种基于多级注意力和特征融合的变压器故障诊断系统，包括：

48、数据采集模块，用于实时采集待测电力变压器的声纹信号；

49、数据预处理模块，用于对采集的声纹信号数据进行预处理并划分训练集和测试集；

50、故障诊断模块，用于根据采集的待测电力变压器的声纹信号和故障诊断模型，进行变压器故障诊断；

51、其中，所述故障诊断模型是通过建立卷积神经网络提取数据底层特征，使用底层的卷积网络提取底层特征，并连续使用卷积层和双向gru层提取高层特征，之后将底层特征和高层特征分别作为注意力机制的查询向量和键向量进行特征融合，从而将电力变压器声纹数据中的位置信息嵌入到注意力机制中。

52、作为本实施例一种可能的实现方式，所述数据采集模块通过声阵列设备采集待测电力变压器的声纹信号。

53、作为本实施例一种可能的实现方式，所述数据预处理模块包括：

54、切片处理模块，用于对采集的声纹信号数据进行切片处理，获得数据集；

55、标签赋予模块，用于将变压器的声纹信号数据的赋予标签，并转换为独热编码；

56、样本划分模块，用于利用numpy产生一个随机数列，利用该随机数列将切片后的数据以及标签打乱，并划分训练集和测试集。

57、作为本实施例一种可能的实现方式，所述训练集和测试集的样本数据比例为4:1。

58、作为本实施例一种可能的实现方式，所述故障诊断模块建立故障诊断模型的过程为：

59、将卷积神经网络的两个卷积层和一个池化层封装为cfe模块，将双向求和gru和注意力机制封装为gat模块，所述的cfe和gat模块各有三个且一一相对应；

60、将每一个cfe模块的输出特征作为目标域( target)，并作为相对应的gat中注意力机制的查询向量（ query）；

61、将最后一个cfe模块的输出连接到第一个gat模块中的双向gru，并计算双向gru的向量和；

62、将双向求和gru网络的输出作为源域( source)，并作为相对应注意力机制中的键向量( key)；

63、对建立的模型进行训练学习，得到最终的故障诊断模型。

64、作为本实施例一种可能的实现方式，所述故障诊断模块建立cfe模块的过程为：构建一个轻量级的卷积网络，所述卷积网络由六个卷积层和三个池化层组成，由两个卷积层和一个池化层组成一个cfe模块；

65、所述卷积层的卷积运算表达式为：

66、(1)

67、其中，表示第 l层的输出;表示第层第 i个通道的输出；表示层的第 c个通道；和分别表示权重和偏置；

68、每个卷积层都采用线性整流函数 relu作为激活函数，且在每一个卷积层中激活一半的神经元；

69、 relu函数表达式为：

70、(2)

71、所述池化层的池化计算表达式为：

72、(3)

73、其中，表示第 l层第 i个通道第 t个神经元的值； s表示池化内核的大小；表示第 l层第 i个通道的第 j个神经元的值。

74、作为本实施例一种可能的实现方式，所述故障诊断模块建立gat模块的过程为：

75、定义gru的网络的重置门和更新门：

76、(4)

77、(5)

78、(6)

79、(7)

80、其中， rt和 ut分别表示当前时间步的重置门和更新门，为当前时间步输入；为上一时间步的隐藏状态，w表示权重矩阵，，表示重置门和更新门的权重参数，，为偏差参数，为按元素相乘，为gru的输出，为候选隐藏层输出；

81、在gru的基础上设置双向求和gru，双向gru的输出为：

82、(8)

83、(9)

84、其中，和表示正向gru隐藏状态和输入的权重矩阵，为正向gru的偏置项；和表示反向gru隐藏状态和输入的权重矩阵，为反向gru的偏置项；

85、将两个双向gru堆叠形成两层不同方向的gru层，利用 bidirectional函数将两层gru的结果进行拼接联合：

86、(10)

87、其中，为正向gru输出，为反向gru输出，为双向gru输出。

88、作为本实施例一种可能的实现方式，所述注意力机制的计算公式为：

89、(11)

90、其中， score()表示评价函数，表示注意力分布，即在给定 key和 query条件下选择第 i个输入向量的概率。

91、第三方面，本发明实施例提供的一种计算机设备，包括处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当所述计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述处理器执行所述机器可读指令，以执行如上述任意基于多级注意力和特征融合的变压器故障诊断方法的步骤。

92、第四方面，本发明实施例提供的一种存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上述任意基于多级注意力和特征融合的变压器故障诊断方法的步骤。

93、本发明实施例的技术方案可以具有的有益效果如下：

94、本发明利用一种新网络处理融合多层卷积提取的高层特征和低层特征，并将时序数据的位置信息输入到注意力机制中，对双向gru的输出特征求和进行相加融合，将不同部分封装为cfe模块和gat模块，对cfe模块提取的不同层次特征，连接到对应的gat模块，解决了对低层特征和高层特征的高效融合、注意力机制难以捕捉位置信息以及在噪声影响下变压器故障诊断准确率低的问题。本发明探讨了在一维卷积方向上的注意力机制的改进问题，提出了学习声纹信号特征的新方式，并进一步杜绝了梯度消失问题的发生；本发明提出了一种新的端到端诊断的新网络(cfe-gats)，使用新的方法学习、处理和融合低层特征和高层特征；本发明将含有更多位置信息的低层特征连接到注意力机制，解决了注意力机制难以捕捉位置信息的问题。