一种短期负荷的预测方法及装置

本发明涉及电力
技术领域：
，尤其涉及一种短期负荷的预测方法及装置。
背景技术：
：负荷预测是电力工业的重要环节，短期负荷预测在保障电网安全稳定、经济高效运行方面具有重要支持作用，是启停机计划和调度计划安排的依据。负荷预测还是光伏、风能消纳的核心技术，特别是对于可再生能源丰富的地区，负荷预测精度低不仅会致使光伏基地/风场经济利益受损，更会影响整个电网的电能质量乃至可靠性问题，对能源管理和节能减排都具有重要意义。短期负荷预测方法主要可归纳为统计方法和机器学习方法两大类。其中，统计方法主要包含时间序列法、回归分析法等；机器学习方法则主要包含支持向量机、决策树等。近年来，深度学习方法以其在高维非线性复杂系统的强大映射能力，被广泛应用于电力负荷预测领域，深度信念网络(deepbelievenetwork，dbn)、随机森林、长短期记忆网络(longshorttermmemory，lstm)等深度学习模型成为负荷预测领域的热点模型。深度学习方法可通过多层网络逐层学习到海量数据中的抽象特征，结合海量历史负荷与天气、经济等影响因素数据，能够达到更高精度的负荷预测效果，然而，大规模网络的构建与训练也对运算内存和速率带来更大挑战。因此如何优化短期负荷的预测方法，提高短期负荷预测的效率和精度，成为亟待解决的问题。技术实现要素：本发明实施例提供了一种短期负荷的预测方法及装置，用于提高短期负荷预测的效率和精度。本发明实施例提供了一种短期负荷的预测方法，包括：构建基于深度简化循环神经sru网络的短期概率负荷预测模型；选取负荷影响因素构建输入特征向量和输出特征向量，并对输入特征向量和输出特征向量进行数据预处理，得到训练集、验证集和测试集，并提出评价指标；基于贝叶斯优化算法进行超参数寻优；利用所述短期概率负荷预测模型进行短期负荷预测，得到预测结果。可选的，所述构建基于sru网络的短期概率负荷预测模型，包括：由输入特征向量、当前时刻的遗忘门状态和上一时刻的隐含状态量，确定所述短期概率负荷预测模型中当前时刻的隐含状态量；由输入特征向量、当前时刻的输出门状态、当前时刻的隐含状态量以及上一时刻的隐含状态量，确定所述短期概率负荷预测模型中当前时刻的输出状态量。可选的，所述短期概率负荷预测模型的计算公式表示如下：ft＝σ(wfxt+bf)rt＝σ(wrxt+br)ht＝rt⊙tanh(ct)+(1-rt)⊙xt式中：xt和ht分别为t时刻的输入特征向量及输出状态量，f、r分别为遗忘门和输出门，wf、wr和bf、br分别为对应的权重系数矩阵和偏置向量，w为输入权重矩阵，σ和tanh分别为sigmoid激活函数和双曲正切激活函数，ct为t时刻的隐含状态量。可选的，所述选取负荷影响因素构建输入特征向量和输出特征向量，包括：选取多维数据构建输入特征向量，所述输入特征向量对应的维度包括历史负荷、天气因素、日期类型、时刻；所述输出特性向量为待预测日负荷预测值。可选的，所述对输入特征向量和输出特征向量进行数据预处理，包括：针对异常数据，采用相邻负荷数据的均值进行填充，若出现连续异常数据，则继续向两端查找直至非空值。可选的，所述对输入特征向量进行数据预处理，包括：对输入特征向量进行归一化处理。可选的，所述基于贝叶斯优化算法进行超参数寻优，包括：采用贝叶斯优化算法进行对所述短期概率负荷预测模型的超参数进行寻优处理，所述超参数包括网络层数、各层神经元个数、学习率、子训练样本集；所述寻优过程包括：使用高斯过程假设优化函数的先验分布；根据模型后验分布来构造效用函数，确定下一个评价点。本发明实施例还提供一种短期负荷的预测装置，包括：构建单元，用于构建基于深度简化循环神经sru网络的短期概率负荷预测模型；数据单元，用于选取负荷影响因素构建输入特征向量和输出特征向量，并对输入特征向量和输出特征向量进行数据预处理，得到训练集、验证集和测试集，并提出评价指标；寻优单元，用于基于贝叶斯优化算法进行超参数寻优；预测单元，用于利用所述短期概率负荷预测模型进行短期负荷预测，得到预测结果。本发明实施例提供了一种计算设备，包括至少一个处理器、以及至少一个存储器，其中，所述存储器存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器执行本发明实施例提供的短期负荷的预测方法的步骤。本发明实施例提供了一种存储介质所述存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行本发明实施例提供的短期负荷的预测方法的步骤。本发明采用上述技术方案，具有如下有益效果：1)本发明实施例中的sru(简化循环神经网络，simplerecurrentunit)模型，充分发挥sru网络的记忆特性，结合负荷的时序特性，能够达到较高的预测精度，与其余热门深度学习模型相比具有精度优势；2)针对lstm长短期记忆神经网络难以并行优化，导致建模、预测速率低下的问题，本发明实施例中的sru模型通过对网络结构的适度简化，可实现并行化负荷预测，有效提高预测效率，可用于实时、快速、大规模负荷预测，利于工程应用。本发明的具体技术方案及其有益效果将会在下面的具体实施方式中结合附图进行详细的说明。附图说明为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例。图1为本发明实施例中的一种短期负荷的预测方法的流程图；图2为本发明具体实施例中的一种短期负荷的预测方法的流程图；图3为本发明实施例中sru的单元结构的示意图；图4为本发明实施例中的sru模型结构的示意图。具体实施方式为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明技术方案的一部分实施例，而不是全部的实施例。基于本发明文件中记载的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明技术方案保护的范围。针对现有技术中一般利用lstm等深度学习模型对短期负荷进行预测，这类模型的构建与训练对内存和速率带来了较大的挑战。目前的优化方向一般基于降维分析、改进预测算法、提升硬件设备、分布式运算架构等。然而，降维方法的主要作用体现在高维数据的特征提取方面，降维分析与预测算法的改进都很难在预测速度上提升一个量级。本发明实施例在充分利用原有硬件的基础上，提出了一种基于简化循环神经网络(simplerecurrentunit,sru)并行优化的短期负荷预测方法，有效提高负荷预测精度、效率与实时性。本发明实施例中的基于sru并行优化的短期负荷预测模型，选取负荷影响因素构建输入输出特征向量，并对原始数据进行数据预处理，得到训练集、验证集和测试集；进而，对网络选取合适的超参数，使得网络性能最优化；最后，应用建立的模型进行短期负荷预测，得到预测结果。与现有技术相比，本发明实施例所提模型可并行优化，具有精度高、计算效率高、可满足实时大规模负荷预测需求等优点。基于上述设计构思，参阅图1所示，本发明实施例提供的一种短期负荷预测方法的处理的详细流程如下：步骤101：构建基于深度简化循环神经sru网络的短期概率负荷预测模型。其中，短期概率负荷预测模型中当前时刻的隐含状态量由输入特征向量、当前时刻的遗忘门状态和上一时刻的隐含状态量确定，短期概率负荷预测模型中当前时刻的输出状态量由输入特征向量、当前时刻的输出门状态以及当前时刻的隐含状态量确定。步骤102：选取负荷影响因素构建输入特征向量和输出特征向量，并对输入特征向量和输出特征向量进行数据预处理，得到训练集、验证集和测试集，并提出评价指标。步骤103：针对所述短期概率负荷预测模型的网络选取对应的超参数。步骤104：利用所述短期概率负荷预测模型进行短期负荷预测，得到预测结果。本发明实施例所提供的sru负荷预测模型，充分发挥sru网络的记忆特性，结合负荷的时序特性，能够达到较高的预测精度，与其余热门深度学习模型相比具有精度优势。另一方面，针对lstm长短期记忆神经网络难以并行优化，导致建模、预测速率低下的问题，本发明所提sru模型通过对网络结构的适度简化，可实现并行化负荷预测，有效提高预测效率，可用于实时、快速、大规模负荷预测，利于工程应用。图2示出了本发明实施例中基于sru并行优化的短期负荷预测模型的具体实施过程。具体来说，各个步骤的具体实施方式如下所述：基于sru并行优化的短期负荷预测模型设计1)sru网络结构sru简化循环神经网络是循环神经网络的一种，是根据lstm长短期记忆网络合理简化得到的。lstm长短期记忆网络是一种改进的rnn，将记忆参数限制于[0,1]区间内，防止较远时刻的记忆对输出产生指数爆炸的影响，有效解决了rnn无法处理的梯度消亡问题，可充分利用历史信息，在时序数据分析中具有更强的适应性。lstm基本单元的计算方法可表示为：ft＝σ(wfxt+ufht-1+bf)……公式1it＝σ(wixt+uiht-1+bi)……公式2ot＝σ(woxt+uoht-1+bo)……公式3ht＝ot⊙tanh(ct)……公式6其中ht-1为t-1时刻的输出状态量，u为对应权重矩阵。式中，w是网络连接权重构成的矩阵，wfxt,wixt,woxt,wcxt是矩阵-向量乘法，其计算复杂度与矩阵大小成正比，计算消耗远远大于单元计算。可以看出，lstm包含8个复杂的矩阵-向量乘法，其中，x为输入向量，故wx可以合并为分块矩阵乘法，再通过并行处理进行预先计算。然而，ht-1依赖于前一时刻隐含层状态，故uht-1无法预先计算，使得lstm只能服从严格的顺序计算。在使用gpu(图形处理器，graphicsprocessingunit)大规模加速神经网络训练效率的环境下，lstm无法通过并行学习进行加速，限制了lstm在实时、快速、大规模负荷预测方面的表现性能，不利于工程应用。本发明实施例中不仅将sru应用于短期负荷的预测，还对sru的网络结构进行了改进。sru的单元结构如图3所示，其结构与lstm网络结构相似，并进行了适度简化。与图3中的结构相对应的，sru单元的计算式可表示为：ft＝σ(wfxt+bf)……公式8rt＝σ(wrxt+br)……公式9ht＝rt⊙tanh(ct)+(1-rt)⊙xt……公式11式中：xt为t时刻的输入特征向量，ht为t时刻的输出状态量，f为遗忘门状态，r为输出门状态，w为输入权重矩阵，wf、wr和bf、br分别为对应的权重系数矩阵和偏置向量，σ和tanh分别为sigmoid激活函数和双曲正切激活函数，ct为t时刻的隐含状态量。具体来说，对比sru与lstmd的计算公式，可以看出，sru省去了lstm中遗忘门、输入门、输出门、激活层中的uht-1计算，其中ht-1为t-1时刻的输出状态量，u为对应权重矩阵。此外，sru将输入门简化为遗忘门的表达式，即将输入门状态it用1-ft替代，其中ft为遗忘门状态。与lstm相比，sru当前输出状态量ht仅依赖于上一时刻隐含状态量ct-1，而与上一时刻输出状态量ht-1无关，这也简化了计算复杂性，同时保留了网络的记忆功能。由sru表达式可知，sru仅包含wxt、wfxt、wrxt3个复杂的矩阵乘法运算，且在输入已知的情况下，wx可预先计算得知，并可通过gpu/cuda并行计算大大提高计算速度。因此，本发明实施例在输入序列{x1,…,xl}的基础上，跨越整个序列长度批处理矩阵乘法，这将大大提升运算密度，充分利用硬件资源。批处理矩阵乘法可表达为：式中，u∈rl×3d为计算所得的合并矩阵，d为隐含层神经元规模，l为序列长度。当考虑子训练样本集(minibatch)个数b时，u∈rl×b×3d构成一个张量。每层sru网络的计算方法可描述为算法1。2)短期负荷预测建模2.1)输入输出特征向量选取每个sru单元的输入输出变量选取如表1给出。考虑天气因素影响，模型输入特征向量由历史负荷、天气因素(平均温度及相对湿度)、日期类型与时刻值构成，共5维数据。输出特征向量为待预测日负荷预测值。表1、输入输出变量选取2.2)数据预处理对原始数据中可能存在某些缺失、偏离的异常值除错补缺，其中，对不超过数据量20％的空缺值和“nan”异常值，采用相邻负荷数据的均值进行填充，若出现连续异常数据，则继续向两端查找直至非空值。由于不同输入特征具有不同量纲，故对原始特征数据x(i)进行归一化处理，使输入均限制在[0,1]范围内，从而提升预测精度与收敛速度。归一化后的输入数据x1(i)根据以下公式计算：式中，xmax、xmin分别为原始输入数据最大值和最小值。2.3)预测评价指标预测效果评价指标采用平均绝对百分比误差(meanabsolutepercentageerror,mape)和均方根误差(rootmeansquareerror,rmse)，即式中，n为预测点数量，yi、di分别为预测点i负荷真实值和预测值。3)超参数寻优为使得网络能发挥最佳预测性能，需对sru网络选取合适的超参数，这些结构参数包括隐含层层数n、隐含层神经元个数d、子训练样本集(minibatch)个数b、学习速率l，固定的参数输入序列长度和输出序列长度均为96，训练优化算法为adam。超参数选取的具体方法为贝叶斯优化算法。贝叶斯优化算法通过对目标函数形状的学习不断更新目标函数y的先验分布y＝f(x)，并据此寻找超参数x使y的全局最大值提升。相较于应用广泛的网格搜索法与随机搜索法，贝叶斯优化搜索法采用高斯过程，考虑之前的参数信息，改进了网格搜索法和随机搜索法忽略之前参数信息的缺陷，减少迭代次数，不易因参数多而导致维度爆炸，它针对非凸问题时依然稳健，不易得到局部最优解。本发明通过以下两个步骤实现贝叶斯优化算法：a.使用高斯过程(gaussianprocess，gp)来假设优化函数的先验分布，其中高斯分布gp(μ,k)可用平均值函数μ(x)和正定协方差函数σ(x)；b.根据模型后验分布来构造效用函数，从而确定下一个评价点。本发明实施例假设的先验和观察{xn,yn}诱导了一个后验代价函数。然后使用gp上置信界a(x)作为获取函数，确定下一个评估点xnext＝argmaxxa(x)，其中a(x)＝μ(x)-kσ(x)。本发明实施例为sru设置的超参数搜索范围如表2所示。迭代提前设置为2000。需要注意的是，学习率l和小批量大小b会直接影响网络的收敛性，因此本发明实施例首先对这两个参数进行贝叶斯优化。然后搜索最优隐含层数n和每个隐含层中最优神经元数d。然后根据收敛性调整迭代次数。表2、超参数搜索范围及结果短期负荷预测实施与结果。为验证本发明实施例所提sru并行优化的短期负荷预测模型的性能，进行对比实验。其中，实验数据来源于浙江某市配用电管理系统2018-06-16至2019-06-16的负荷数据，数据步长为15分钟，以及该地区气象局提供的气象数据，包括平均温度、最高温度、最低温度组成的气象数据，数据步长为24小时。本发明实施例中假设一日内气象数据保持不变，对气象数据进行周期延拓。对数据集整体将以70％:15％:15％的比例划分训练集、验证集和测试集。最终，模型输入数据为预测点前一日负荷、日期类型、时刻值及平均温度、最低温度、最高温度组成的天气因素，输入序列长度为96；输出数据为单点预测负荷，输出长度为1。实验所用硬件平台是一个具有ecs.gn5i-c4g1.large的云计算平台，同时配备了intelxeone5-2682v42.5ghzcpu处理器和nvidiap100gpu图形处理器。sru深度递归神经网络基于tensorflow(gpu版本)1.4.0深度学习框架实现，使用cuda8.0编程实现gpu并行优化。本发明实施例使用lstm和svr作为控制组，它们都是基于tensorflow架构实现的。根据3)超参数寻优中的贝叶斯优化算法对sru网络进行结构和参数优化，首先建立验证集均方根误差与各项待搜索超参数之间的近似分布关系，进而采用梯度下降法搜索最优解，最终记录下训练过程中使得误差最小时的网络超参数，将其作为最终的超参数选取结果。本发明采取的超参数选取场景如表2所示。其中，学习速率及子训练样本集的大小将直接影响网络的收敛性，故先对这两个参数进行贝叶斯优化，根据实验，当迭代次数为5000左右时网络已基本收敛，故将迭代次数固定为5000次。此后，在学习速率和子训练样本集个数选取的最优结果上，搜索网络层数与各隐含层神经元个数。实验结果表明，随着网络层数和隐含层神经元个数的增加，验证集均方根误差呈先上升后下降的趋势，即训练存在过拟合问题。最终，超参数选取结果见表2，sru模型结构示意图如图4。实验比较算法的性能指标包括预测精度和程序运行时间。以6月10日至6月16日为测试区间，进行日前负荷预测实验。sru、lstm、svr三种网络测试集预测误差和运行时间比较分别如表3和表4所示。表3、测试集误差对比表4、平均运行时间训练时间(秒)测试时间(秒)sru22.9100.261lstm281.9231.112svr13.7013.289结果显示，本发明实施例中建立的sru网络应用于负荷预测时，虽然在不同预测日期内预测精度不尽相同，但其整体预测精度明显优于传统svr，相比lstm也精度相近。而在保持预测精度优势的同时，本发明实施例中的sru方法能够通过并行计算实现并行化负荷预测，从而显著提升运算效率，降低运算用时。因此，本发明实施例所提sru模型可在gpu大规模加速神经网络训练效率的环境下，通过并行学习进行加速，提高模型在实时、快速、大规模负荷预测方面的表现性能，从而利于工程应用。在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。另外，在本申请各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本
技术领域：
的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。当前第1页12