基于注意力机制融合频率增强的电力能耗预测方法及系统与流程

本技术涉及电力能耗预测，尤其涉及一种基于注意力机制融合频率增强的电力能耗预测方法、系统、设备及介质。

背景技术：

1、对于电力能耗预测方法，一般采用时间序列预测方法，包括传统方法与深度学习方法两种。

2、传统的方法用数理统计等技术来预测数据的未来值。例如，自回归(ar)模型，滑动平均(ma)模型和滑动平均自回归(arma)，但这些模型仅适用于分布稳定的数据。arima模型将差分方法与之前的模型相结合，只需要多阶差分后的数据具有稳定性就可以进行长期预测，但这对数据来说仍然是一个苛刻的要求。

3、深度学习方法采用多层非线性运算算子来预测未来值。人工神经网络(ann)、卷积神经网络(cnn)这些模型既缺乏良好的可解释性，也未充分考虑时间序列之间的时序关联性，因此其结果难以得到广泛认可。循环神经网络(rnn)模型通过在神经网络中复用参数，按时间顺序输入时间序列数据，既考虑了时间序列的时序关系，又为神经网络提供了连续的输入数据和参数更新的能力。然而，rnn模型对时序数据的趋势性预测过于强调。rnn网络中的参数会随着序列的输入而变化，使得模型对最新输入的数据更为敏感，而对历史数据的依赖较小。然而，很多时序数据不仅具有短期趋势，还具有长期周期性。长短时记忆网络(lstm)模型通过门控单元独立地保存历史数据中的长期和短期特征，从而生成具有短期趋势和长期周期性的预测结果。双向循环神经网络(bi-rnn)可用于捕捉文本序列数据中后续数据对前序数据的作用关系。门控循环单元(gru)则对lstm的结构进行了优化，减少了每个节点的计算量。

4、电网系统决策的做出，需要长时且精确的电力能耗预测结果作为支撑，因此如何长期稳定预测电力能耗，是亟待解决的问题，但传统时间序列预测方法预测准确性低，深度学习方法的稳定性不足。

技术实现思路

1、本技术提供了一种基于注意力机制融合频率增强的电力能耗长时预测方法，以解决现有电力能耗预测方面存在的稳定性和准确性无法兼顾的技术问题，实现提高电力能耗长时预测的准确度和稳定性。

2、为解决上述技术问题，第一方面，本技术提供了一种基于注意力机制融合频率增强的电力能耗长时预测方法，所述方法包括：

3、获取历史电力变压器数据，对所述历史电力变压器数据处理后得到样本数据集；

4、基于注意力机制融合频率增强构建深度网络结构模型，所述深度网络结构模型包括依次连接的编码器、频率增强的混合注意力模块和解码器，所述频率增强的混合注意力模块包括自注意力模块和频率增强通道注意力模块；

5、将所述样本数据集通过位置编码后，得到第一序列数据，将所述第一序列数据输入所述编码器，以对所述第一序列数据进行多头注意力和前馈神经网络学习，得到第一多元数据；

6、将所述第一多元数据输入所述频率增强的混合注意力模块，对所述第一多元数据分别进行自注意力处理和频率增强的通道注意力处理后进行加权平均，以输出第二多元数据；

7、获取待预测电力变压器数据，从所述样本数据集中获取标签数据，将所述标签数据和所述待预测电力变压器数据组合并通过位置编码后，得到第二序列数据；

8、将所述第二序列数据和所述第二多元数据输入所述解码器，得到所述待预测电力变压器数据所对应的电力能耗预测结果。

9、优选的，所述将所述样本数据集编码为第一序列数据，包括：

10、将所述样本数据集输入位置编码模块，为所述样本数据集的每一个数据嵌入位置信息，得到第一序列数据。

11、优选的，对所述第一序列数据进行多头注意力和前馈神经网络学习，得到第一多元数据，包括：

12、将所述第一序列数据输入第一多头注意力模块计算后，进行残差链接和正则化处理，得到第一序列数据中每个位置相对于其他位置的第一关注度；

13、基于所述第一关注度，将所述第一序列数据输入第一前馈神经网络计算后，进行残差链接和正则化处理，得到第一多元数据。

14、优选的，所述第一多头注意力模块包括8组组合参数矩阵，每组组合参数矩阵包括三个参数矩阵；

15、所述第一前馈神经网络包括两个前馈神经网络层，所述前馈神经网络层的神经元数量与所述第一序列数据的长度相同。

16、优选的，对所述第一多元数据分别进行自注意力处理和频率增强的通道注意力处理，包括：

17、将所述第一多元数据输入自注意力模块，以得到所述第一多元数据中数据序列的关联关系；

18、以离散余弦变换替代通道注意力机制中的全局平均池化操作，以得到频率增强通道注意力模块；

19、将所述第一多元数据输入所述频率增强通道注意力模块，以获取第一多元数据中不同特征之间的关联关系。

20、优选的，所述输出第二多元数据，包括：

21、将所述数据序列的关联关系和所述不同特征之间的关联关系进行加权平均，得到第二多元数据。

22、优选的，所述将所述第二序列数据和所述第二多元数据输入解码器，得到所述待预测电力变压器数据所对应的电力能耗预测结果，包括：

23、将所述第二序列数据输入第二多头注意力模块计算后，进行残差链接和正则化处理，得到第二序列数据中每个位置相对于其他位置的第二关注度；

24、基于所述第二关注度，将所述第二序列数据和所述第二多元数据输入第三多头注意力模块计算后，进行残差链接和正则化处理，得到待预测电力变压器数据对应的序列数据相对于所述第一时间序列数据和所述第二时间序列数据中其他位置的第三关注度；

25、基于所述第三关注度，将所述第二时间序列数据和所述第二多元数据输入第二前馈神经网络计算后，进行残差链接和正则化处理，得到第三多元数据；

26、将所述第三多元数据输入全连接层和softmax层计算，得到所述待预测电力变压器数据所对应的电力能耗预测结果。

27、第二方面，本技术还提供了一种基于注意力机制融合频率增强的电力能耗长时预测系统，所述系统包括：样本数据采集单元、模型构建单元、编码处理单元、频率增强融合注意力处理单元、待预测序列数据获取单元和解码处理单元；

28、所述样本数据采集单元，用于获取历史电力变压器数据，对所述历史电力变压器数据处理后得到样本数据集；

29、所述模型构建单元，用于基于注意力机制融合频率增强构建深度网络结构模型，所述深度网络结构模型包括依次连接的编码器、频率增强的混合注意力模块和解码器，所述频率增强的混合注意力模块包括自注意力模块和频率增强通道注意力模块；

30、所述编码处理单元，用于将所述样本数据集通过位置编码后，得到第一序列数据，将所述第一序列数据输入所述编码器，以对所述第一序列数据进行多头注意力和前馈神经网络学习，得到第一多元数据；

31、所述频率增强融合注意力处理单元，用于将所述第一多元数据输入所述频率增强的混合注意力模块，对所述第一多元数据分别进行自注意力处理和频率增强的通道注意力处理后进行加权平均，以输出第二多元数据；

32、所述待预测序列数据获取单元，用于获取待预测电力变压器数据，从所述样本数据集中获取标签数据，将所述标签数据和所述待预测电力变压器数据组合并通过位置编码后，得到第二序列数据；

33、所述解码处理单元，用于将所述第二序列数据和所述第二多元数据输入所述解码器，得到所述待预测电力变压器数据所对应的电力能耗预测结果。

34、第三方面，本技术还提供一种计算机设备，所述计算机设备包括存储器、处理器和收发器，它们之间通过总线连接；存储器用于存储一组计算机程序指令和数据，并将存储的数据传输给处理器，处理器执行存储器存储的程序指令，以执行上述所述的方法。

35、第四方面，本技术还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，当所述计算机程序被运行时，实现上述所述的方法。

36、本技术提供的基于注意力机制融合频率增强的电力能耗预测方法、系统、设备及介质，获取历史电力变压器数据，对历史电力变压器数据处理后得到样本数据集，基于注意力机制融合频率增强构建深度网络结构模型，深度网络结构模型包括依次连接的编码器、频率增强的混合注意力模块和解码器，频率增强的混合注意力模块包括自注意力模块和频率增强通道注意力模块；将样本数据集通过位置编码后，得到第一序列数据，将第一序列数据输入所述编码器，以对第一序列数据进行多头注意力和前馈神经网络学习，得到第一多元数据；将第一多元数据输入所述频率增强的混合注意力模块，对第一多元数据分别进行自注意力处理和频率增强的通道注意力处理后进行加权平均，以输出第二多元数据；获取待预测电力变压器数据，从样本数据集中获取标签数据，将标签数据和待预测电力变压器数据组合并通过位置编码后，得到第二序列数据；将第二序列数据和第二多元数据输入所述解码器，得到待预测电力变压器数据所对应的电力能耗预测结果。本发明提供的基于注意力机制融合频率增强的电力能耗预测方法针对电力能耗数据的特点在transformer神经网络中加入注意力机制，使模型的预测结果更加稳定，通过频率增强的混合注意力模块增强模型在频率域上抗噪声的能力，从而提升模型的特征学习能力和序列数据长期预测的准确率。采用迭代预测的策略，通过多次预测，从而实现长期预测。