基于迁移学习与Transformer神经网络在突发情况下的电力负荷预测方法与流程

本发明涉及电力负荷预测的，具体涉及一种基于迁移学习与transformer神经网络在突发情况下的电力负荷预测方法。

背景技术：

1、随着全球性突发事件的频繁发生，例如2020年初的新型冠状病毒疫情，伴随而来的电力负荷剧烈波动事件，给电力市场造成了巨大的经济损失，警示着我们亟需构建一个准确度更高的长期电力负荷预测模型。但是，传统的电力负荷预测模型都没有应用到深度学习领域近期提出自注意力机制，导致传统模型在进行长时间序列的电力负荷预测时的适应性较差，不能对长时间序列中的一些特征加以泛化。与此同时，随着自注意力机制在自然语言处理领域的不断进步与广泛应用，这一机制也在某些长时间序列预测的任务中取得了较好的效果，例如股市的k线预测和长期温度预测等。

2、近几年来，具有自注意力机制的模型架构在文本翻译与提取等领域验证了它在解决长序列预测问题上的优势，这当然也可应用于电力负荷预测这类序列预测问题。众多学者应用基于普通注意力机制的模型对中短期电力负荷进行预测，并取得了良好的效果。

3、但是在电力负荷发生剧烈波动时，仅仅基于中短期数据而进行预测，其预测精度较低。这是因为中短期序列中可提取到的特征相对更少，且基于普通注意力机制的架构对时间序列的记忆有更强的随机性。另外，为了解决数据不同分布的问题，国内外学者尝试使用迁移学习等概念，以建立一个轻量化的模型。迁移学习基于更大数据集进行预训练的模型，并将其部分冻结，迁移到数据集更小的下游任务进行训练。这减轻了进行模型训练时的工作量，并增强了模型的泛化性能。对于突发情况下的电力负荷波动，通过迁移长期负荷时间序列，且由于自注意力机制的记忆性，模型可对长期序列中的特征进行充分的提取并用于下游的预测。

4、现阶段多样化因素频发，电力负荷预测粗略且缺乏精确性，传统的电力负荷预测模型在进行长时间序列的电力负荷预测时的适应性较差；中短期数据预测的预测精度较低，可提取到的特征相对更少，且基于普通注意力机制的架构对时间序列的记忆有更强的随机性。

技术实现思路

1、本发明的目的在于克服上述背景技术的不足，提供一种基于迁移学习与transformer神经网络在突发情况下的电力负荷预测方法，该方法能够更加准确地进行电力负荷预测，且适应范围广。

2、为实现上述目的，本发明所提供的一种基于迁移学习与transformer神经网络在突发情况下的电力负荷预测方法，包括如下步骤：

3、s1：对获得不同省份的经济因素数据进行预处理，划分出用于预训练的数据集和用于微调的目标数据集；

4、s2：基于预训练的数据集，对transformer神经网络进行初始化训练，获得初始化的权重数据，保存用于后续的微调；

5、s3：基于目标数据集和步骤s2中的权重数据，对预训练好的transformer神经网络进行微调，获得迁移学习后的transformer神经网络；

6、s4：改变步骤s2中transformer神经网络的超参数组设置，并重复步骤s3，找到预测效果最好的一组超参数；

7、s5：基于多种机器学习算法，与transformer神经网络的迁移学习效果进行检验；利用预测后的误差统计数据，找到基于迁移学习的transformer神经网络的最优预测模型，并用于突发情况下的电力需求的预测。

8、作为优选实施方式地，所述步骤s1中，对获得不同省份的经济因素数据进行预处理，划分出用于预训练的数据集和用于微调的目标数据集，具体包括如下方法：

9、s1.1：选取不同省份，在多个观测时间下，不同经济因素指标作为输入变量，并对所有指标进行内生性检验和消除；

10、s1.2：基于pca方法，对不同经济因素指标进行降维处理；

11、s1.3：将transformer神经网络的输入表示为：

12、xp(t)＝[xp(1),xp(2),...,xp(t),...xp(n)]t,t∈[1,n]

13、xp(t)＝[xp,1(t),xp,2(t),...,xp,m(t)],t∈[1,n]

14、其中，xp(t)表示第p个省份在不同观测时间t下的经济因素指标序列；为由m个不同因素组成的经济指标向量；

15、各个省份用于预测的电力消费量表示为如下：

16、yp(t)＝[yp(1),yp(2),...,yp(n)]t,t∈[1,n]

17、其中，表示第p个省份在不同观测时间t下的电力消费量序列，表示t时刻的电力消费量。

18、s1.4：对不同的观测时间t，将xp(t)中的特征变量进行归一化处理；

19、s1.5：构造用于训练的数据集表示如下：

20、d＝{(xp(t),yp(t))}＝{(xp(1),yp(1)),(xp(2),yp(2)),(xp(i),yp(i)),...,(xp(n),yp(n))}

21、其中，(xp(i),yp(i))表示第i个观测时间序列下的带标签数据对；

22、s1.6：基于不同的省份，将数据集d划分成用于预训练的数据集dpretrain和用于微调的数据集dfinetune两部分。

23、作为优选实施方式地，所述步骤s2中，对transformer神经网络进行初始化训练包括如下步骤：

24、s2.1：根据transformer神经网络架构设置超参数组hyperparameteri，其中，i表示第i个超参数组，i∈[1,j]，j为超参数组实验的次数；

25、s2.2：将用于预训练的数据集dpretrain按照7：3的比例，随机划分成训练集dpretain,train和测试集dpretrain,test，并分别代入transformer神经网络进行训练和验证；

26、s2.3：transformer神经网络分为解码器和编码器两个部分，每个部分都是由若干个transformer块堆叠而成；预训练时，先将训练集的xp(t)从编码器进行位置嵌入编码后，输入transformer神经网络，经过transformer神经网络编码器块处理后，得到编码器输出数据；

27、s2.4：预训练时，同时将yp(t)进行位置嵌入编码后，输入解码器；解码器部分第一个带掩码的解码器块对解码器输入进行处理，并将其与编码器输出的数据同时代入后续解码器块进行训练；

28、s2.5：训练完成获得并保存预训练完成的神经网络权重参数组poweri，其中，i表示第i个权重参数组。

29、作为优选实施方式地，所述步骤s3中，对预训练好的transformer神经网络进行微调包括如下步骤：

30、s3.1：将目标数据集dfinetune按照7：3的比例划分成训练集dfinetune,train和测试集dfinetune,test；

31、s3.2：将训练集dfinetune,train和测试集dfinetune,test按照步骤s2中方式输入预训练完成的transformer神经网络；微调时，冻结transformer神经网络架构中的编码器权重，使其权重参数在训练过程中不发生改变；同时，微调时仅对transformer架构中的解码器参数进行训练及修改；将微调后的神经网络权重参数组保存，记为poweri′；

32、s3.3：评估微调后的transformer神经网络，选取平均绝对百分比误差mape、平均绝对误差mae、均方误差mse作为评价微调后的深度卷积神经网络的指标，其定义如下：

33、

34、

35、

36、其中，n表示共有n个预测样本，yp,i(t)和分别表示在观测时间序列t时，省份p中第i个样本的实际值和神经网络的预测值；将mape,mae,mse保存到误差集ei，其可表示为：

37、ei＝(mapei,maei,msei)。

38、作为优选实施方式地，所述步骤s4中，找到预测效果最好的一组超参数具体包括如下步骤：

39、s4.1：改变步骤s2中超参数组中的设置，记超参数组为hyperparameterk，其中，k∈[2,j]；

40、s4.2：重复步骤s2.2至s 3.3的过程，依次得到权重参数组powerk，微调后的权重参数组powerk′，误差集ek；

41、s 4.3：重复步骤s 4.1和s 4.2直到超参数组调试实验次数达到j次；找出j次实验中，误差集中误差最小的一组记为ebest，其对应微调后参数权重记为powerbest′，超参数组记为hyperparameterbest，即为预测效果最好的一组超参数。

42、作为优选实施方式地，所述步骤s5中，基于多种机器学习算法，与transformer神经网络的迁移学习效果进行检验包括如下步骤：

43、s5.1：选取arima、svr、lstm神经网络，不进行迁移学习的transformer神经网络分别对电力负荷进行预测，分别计算预测得到的mape,mae,mse误差指标；

44、s5.2：将不同机器学习算法得到的预测值与误差指标与基于迁移学习的transformer的神经网络架构进行比对分析，得到基于迁移学习的transformer神经网络的最优预测模型作为紧急情况下的电力负荷预测方法。

45、与现有技术相比，本发明具有如下优点：

46、其一，本发明利用基于自注意力机制的transformer架构对长期电力负荷预测到突发状况下的短期负荷预测进行了迁移学习，并获得了良好的预测精度，解决了由于训练时间序列长度不足而难以提取特征的难题。

47、其二，本发明通过引入不同省份的经济指标和电力负荷数据构建预训练集和用于微调的目标集，引入基于transformer架构的神经网络，并对训练集进行训练，得到训练后的超参数组；改变超参数组的设置，探究训练效果最佳的一组超参数；将目标集代入预训练完成的transformer神经网络进行微调；基于微调后的transformer神经网络对突发状况下的电力负荷进行预测；采用多种不同机器学习算法对紧急情况下的电力负荷进行预测，并基于mae,mse,mape指标对模型预测效果进行评估，从而从定量角度证明基于迁移学习及transformer架构的神经网络在本任务中为最优模型，以用于突发情况下的电力负荷预测。

48、其三，本发明采用以transformer架构为代表的基于自注意力机制模型因其对长时间序列的典型特征提取与记忆能力，可使其更加容易地应对电力负荷的未知波动。