一种基于稀疏剪枝方法的实时电力负荷预测系统

本发明涉及数据处理与预测技术领域，特别涉及一种基于稀疏剪枝方法的实时电力负荷预测系统。

背景技术：

在电力系统中，发电量和负荷需要保持一致，电力负荷预测对于保持这两者的平衡具有重要意义，对保证智能电网稳定运行，优化能源配置起到重要作用。电力负荷数据具有典型的时序特点，目前基于svm（支持向量机）的时序预测系统结构简单，不能有效提取历史数据的特征。随着深度学习技术在模式识别方面取得的巨大成功，采用基于深度学习的时序预测模型已成为业界共识。伴随深度神经网络的性能的提高，神经网络模型的参数量和计算量也在不断增长，部署这种深层大型模型对计算和存储资源提出了很高的要求，难以应用到资源受限的边缘设备上，以致应用受到很大限制。如，电力负荷预测需要从边缘端收集数据并且迅速返回配电系统的运行状态和实时负荷，需要把预测系统部署在内存、功耗受限的边缘端，而现有的深层神经网络预测模型参数量太大无法满足使用要求。理论上讲，目前基于深层神经网络的时序模型中存在的冗余参数和特征表示，也会给移动平台带来沉重的计算和存储负担。一般情况，过多的参数数量是会对网络性能的优化有一定的益处，但对保证预测准确度来说却是非必要的。因此，需要设计一种参数稀疏的深层神经网络用于电力负荷预测，该预测系统在保证模型预测性能的前提下能大幅度压缩参数的数量。

网络剪枝是一种流行的深度网络模型压缩方法。使用该方法在已经训练好的模型上进行修改，通过减少冗余参数，再进行微调，可以降低网络参数的复杂度和过拟合现象，且不会损失原来的准确率。目前的时序gru（门控循环单元）网络是rnn（循环神经网络）网络的一种变体，和长短期记忆网络（longshort-termmemory，lstm）一样，也是为了解决时序网络在长期记忆和反向传播中面临的梯度问题提出来的。相比lstm网络，gru神经网络参数量少，更容易训练，而且能够达到与lstm网络相似的效果，因此很多时候会更倾向于使用gru神经网络进行时序预测。把网络剪枝技术运用在gru神经网络上的原因是希望降低gru神经网络的参数量，并且在性能方面逼近原始网络。2016年，han等人提出具有代表性工作的“三通道”剪枝方法，证明了参数设置过高的深度神经网络可以被压缩大约一至两个数量级，且不会显着降低精度。但han的方法中在判断参数重要性时不正确的裁剪使参数无法恢复的问题，guo等人针对han方法的问题提出了动态剪枝方法，降低了网络剪枝的过程复杂度。为了进一步提升性能，lee等人在lstm和gru神经网络上提出了snip（single-shotnetworkpruningbasedonconnectionsensitivity）单次剪枝方法大大提高了剪枝效率。但是matthewshunshizhang等人发现snip只适用于小数据集，在大数据集上其效果甚至不如随机修剪。2019年，hua等人给出了rclstm（randomconnectionlongshort-termmemory）策略，让lstm网络能够在付出25%的性能损失下获得99%的高稀疏率，取得了当时最好的效果。2020年，xiong等人给出了最新的门控rnn网络的压缩方案sclstm（sparserandomconnectionlongshort-termmemory）策略，sclstm不仅性能超过rclstm，甚至在剪枝后网络性能不逊色于密集连接的lstm网络。rahul等人试验了三种门控变体gru（gate-variantsofgatedrecurrentunit，gvgru），通过减少gru神经网络中的更新门和重置门中约70%的参数，发现这三种gru神经网络的变体与原始的gru神经网络的性能相当。以上研究表明，gru神经网络能够在不损坏性能的前提下通过修剪策略来降低网络参数量。

然而，以上剪枝技术中仍存在以下两个问题：剪枝过程中可能会不同程度的删除错误权重，预测性能上有待提高；训练过程比较缓慢，所占的内存开销依旧很大，在真实的电力负荷预测业务中依然无法满足边缘端部署的要求。

技术实现要素：

本发明的目的在于提出一种基于稀疏剪枝方法的实时电力负荷预测系统，该预测系统依据预训练后的gru神经网络，在反向传播过程中筛选出对目标函数影响不大的神经连接，设立的连接灵敏度修剪阈值可以快速识别重要连接，并且只需一次剪枝。该预测系统解决了gru神经网络在训练阶段需要大量资源的缺陷问题，为在资源有限的电力数据边缘端上部署这种改进的负荷预测系统提供了一个很好的解决方案。

一种基于稀疏剪枝方法的实时电力负荷预测系统，包括多维时序数据集构建单元、神经连接敏感性阈值计算单元、模型参数修剪单元、模型微调单元和时序预测单元；

所述多维时序数据集构建单元用于gru神经网络学习使用，具体用于执行缺失值数据填充、异常值数据清洗以及最大最小归一化，最后利用时间窗进行滑动处理，同时移除掉存在空缺值的数据行；所述神经连接敏感性阈值计算单元用于设立gru神经网络在不同学习任务中的神经连接灵敏度，以作为网络修剪的参考，gru神经网络学习多维时序数据中的时序规律之后，按照步骤(1)-(3)的方法设立当前任务的修剪阈值；

步骤(1)，构建多维电力负荷数据集；

依据包含n个时刻的原始数据集，其中x^(t)为时刻为t的原始电力负荷数据，且，表示维度为1×1的实数，设定滑动窗口，n⁺表示大于零的自然数，通过时间窗进行滑动处理得到新的数据维度m=n-s-1，并形成适用于网络学习的时序数据集，其中x^(t)为t时刻的时序数据序列，且，表示维度为m行s列的实数，y^(t)为标签数据列，且，表示维度为s行1列的实数；

步骤(2)，建立基于多维电力负荷数据集确定gru神经网络的有监督学习映射关系；

gru神经网络的结构中存在两个特定的门结构，分别为更新门和重置门：

其中，z^(t)表示gru神经网络t时刻下更新门状态，r^(t)表示gru神经网络t时刻下重置门状态，是激活函数，h^(t-1)是t-1时刻下的隐藏层状态，wz为更新门的权重，wr为重置门的权重，这两个权重参数矩阵都是维，0<p<m，0<q<s，bz和br是对应位置的偏置项，作为循环神经网络的变体，gru神经网络的组成中同样继承以下结构：

其中，表示gru神经网络t时刻下的隐藏层状态，h^t表示gru神经网络t时刻下的输出状态，wh是t-1时刻隐藏层和输入x^(t)复合后到隐藏层的权重矩阵，g是激活函数，为哈达马乘积，bh是对应位置的偏置项，最后gru神经网络定义为迭代计算完成的映射关系：

其中，w为gru神经网络中三个线性运算的参数矩阵wz、wr、wh的组合，为t时刻的预测值；

步骤(3)，依据映射关系内的参数矩阵w设立修剪阈值，同时引入辅助指标变量，c是由0和1组成的长度为p的向量，用于优化目标函数lgru(w;dt)：

其中为人工控制的常数，是用于控制修剪阈值的敏感因子，i和j分别是参数矩阵的行下标和列下标，p和q分别是参数矩阵行和列的最大维度，|wij|是参数矩阵中i行j列位置处的参数绝对值，|w|是参数矩阵的绝对值，是|wij|的平均值，是|w|的平均值，给定稀疏水平k，设定模型约束条件：

对应于参数矩阵，有掩膜矩阵：

其中，cij为掩膜矩阵c中第i行第j列的元素，为掩膜矩阵c中第q列，t为转置符号，此时，优化问题转换为：

其中，是用于计算单个样本的损失函数，表示时序数据集dt内第i行第j列的时序数据xij及其标签yi；

所述模型参数修剪单元用于按照神经连接敏感性阈值计算单元给出的修剪阈值作为删减标准，修剪掉gru神经网络中不敏感的神经连接，同时产生一个单次剪枝后的准预测系统；

所述模型微调单元用于对单次剪枝后的准预测系统进行重训练以微调模型参数来提高性能，微调后产生的最终模型即为稀疏化的gru预测系统；

所述时序预测单元用于预测未来时段的时序特征。

上述基于稀疏剪枝方法的实时电力负荷预测系统，其中，人工控制的敏感因子取值服从。

有益效果：

本发明提供了一种基于稀疏剪枝方法的实时电力负荷预测系统，该预测系统依据预训练后的gru神经网络，在反向传播过程中筛选出对目标函数影响不大的神经连接，设立连接灵敏度修剪阈值进行单次剪枝，最后通过fine-turning步骤进一步优化压缩后模型的时序预测性能。基于该方法提出的稀疏化的gru预测系统（sparseconnectiongatedrecurrentunit，简称scgru）在保持原模型性能的情况下实现了高度稀疏率，解决了gru神经网络在训练阶段需要大量资源缺陷问题，训练过程更快，减小了所占的内存开销，为在资源有限的移动设备上部署gru神经网络提供了一个的目前最佳的解决方案。本发明实现了将模型剪枝和模型稀疏化结合，不但可以进一步提升模型剪枝得精度，而且能提升模型的运算效率。

实验证明，本发明的预测系统在不影响精度的情况下，将gru所需的存储和计算量减少一个数量级。本发明的预测系统将传统的gru预测系统的参数量减少了98.4%，而rcgru和xiong等人的方法（以下简称x-gru）最多能够修剪97%。同时，本发明的预测系统在性能上超过了rcgru，x-gru和传统的gru预测系统。在lan流量预测中，本发明的预测系统在只保留0.7%的参数量下模型性能没有显著下降。总之，本发明的预测系统可以降低浮点运算量，存储负担以及网络复杂性，同时保持良好的性能，从而使其更易于在资源有限的电力数据边缘平台上进行部署。因此，在资源有限的边缘设备上本发明的预测系统能够成功代替传统的gru预测系统，并且本发明的预测系统的性能要优于最新的算法，进一步表明了该方法的有效性。

附图说明

图1为本发明实施例提供的基于稀疏剪枝方法的实时电力负荷预测系统的工作原理图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参考图1，本发明的实例提供一种基于稀疏剪枝方法的实时电力负荷预测系统，从图1中可知，流程起始时首先进行数据预处理，以构建多维时序数据集；同时，建立一种全连接的gru神经网络；然后，基于神经连接灵敏度来设计网络修剪的阈值，同时给稀疏力度设定有界限的参考标准；其次，使用修剪后的模型进行损失值计算，并进行梯度更新；最后，对准预测系统进行参数微调，以形成最终的scgru预测系统。

基于上述流程，该预测系统包括：

多维时序数据集构建单元，用于gru神经网络学习使用，具体用于执行缺失值数据填充、异常值数据清洗以及最大最小归一化，最后利用时间窗（time-window）进行滑动处理，同时移除掉存在空缺值的数据行。

神经连接敏感性阈值计算单元，用于设立gru神经网络在不同学习任务中的神经连接灵敏度，以作为网络修剪的参考，gru神经网络学习多维时序数据中的时序规律之后，按照步骤(1)-(3)的方法设立当前任务的修剪阈值；

步骤(1)，构建多维电力负荷数据集；

依据包含n个时刻的原始数据集，其中x^(t)为时刻为t的原始电力负荷数据，且，表示维度为1×1的实数，设定滑动窗口大小，n⁺表示大于零的自然数，通过时间窗进行滑动处理得到新的数据维度m=n-s-1，并形成适用于网络学习的时序数据集，其中x^(t)为t时刻的时序数据序列，且，表示维度为m行s列的实数，y^(t)为标签数据列，且，表示维度为s行1列的实数；

步骤(2)，建立基于多维电力负荷数据集确定gru神经网络的有监督学习映射关系；

gru神经网络的结构中存在两个特定的门结构，分别为更新门和重置门：

其中，z^(t)表示gru神经网络t时刻下更新门状态，r^(t)表示gru神经网络t时刻下重置门状态，是激活函数，h^(t-1)是t-1时刻下的隐藏层状态，wz为更新门的权重，wr为重置门的权重，这两个权重参数矩阵都是维，0<p<m，0<q<s，bz和br是对应位置的偏置项，作为循环神经网络的变体，gru神经网络的组成中同样继承以下结构：

其中，表示gru神经网络t时刻下的隐藏层状态，h^t表示gru神经网络t时刻下的输出状态，wh是t-1时刻隐藏层和输入x^(t)复合后到隐藏层的权重矩阵，g是激活函数，为哈达马乘积，bh是对应位置的偏置项，最后gru神经网络定义为迭代计算完成的映射关系：

其中，w为gru神经网络中三个线性运算的参数矩阵wz、wr、wh的组合，为t时刻的预测值；

步骤(3)，依据映射关系内的参数矩阵w设立修剪阈值，同时引入辅助指标变量，c是由0和1组成的长度为p的向量，用于优化目标函数lgru(w;dt)：

其中为人工控制的常数，是用于控制修剪阈值的敏感因子，i和j分别是参数矩阵的行下标和列下标，p和q分别是参数矩阵行和列的最大维度，|wij|是参数矩阵中i行j列位置处的参数绝对值，|w|是参数矩阵的绝对值，是|wij|的平均值，是|w|的平均值，给定稀疏水平k，设定模型约束条件：

为了保证被剪枝的连接不再经由反向传播而复活，引入辅助指标变量，对应于参数矩阵，有掩膜矩阵：

其中，cij为掩膜矩阵c中第i行第j列的元素，为掩膜矩阵c中第q列，t为转置符号，此时，优化问题转换为：

其中，lgru(w;dt)为gru神经网络学习的目标函数，是用于计算单个样本的损失函数，表示时序数据集dt内第i行第j列的时序数据xij及其标签yi。

模型参数修剪单元，用于按照神经连接敏感性阈值计算单元给出的修剪阈值作为删减标准，修剪掉gru神经网络中不敏感的神经连接，同时产生一个单次剪枝后的准预测系统。

模型微调单元，用于对单次剪枝后的准预测系统进行重训练以微调系统参数来提高性能，微调后产生的最终预测系统即为稀疏化的gru预测系统。

时序预测单元，用于预测未来时段的时序特征。可以分别选择经典时序预测系统、剪枝预系统以及最终scgru预测系统作为预测工具，并进行预测结果的比较。

下面对上述的基于稀疏剪枝方法的实时电力负荷预测系统的有效性进行验证：

为了验证本发明所述预测系统的有效性，将该预测系统来预测局域网流量（localareanetwork，lan）数据集以及中国某省份电力负荷流量数据。lan数据集来自géant（研究和教育界的泛欧数据源）骨干网中链路的实际流量数据。从2005年间的4个月内由23个带宽点每15分钟采样一次，数据点单位为kbps。该数据集由使用完整内部网关协议（internalgatewayprotocol，igp）路由信息构建的流量矩阵组成，并以可扩展标记语言（extensiblemarkuplanguage，xml）的形式记录，每条数据可以映射为一个23×23的流量矩阵。电力负荷数据集从2014年1月至2016年6月，每间隔5分钟记录一次，其数据单位是mw。原始数据集内总共有257184条，每条数据由采集时间和电力负荷值组成。此外，本发明引入在时序任务中非常出色的传统机器学习模型如自回归移动平均（autoregressiveintegratedmovingaverage，arima）、支持向量回归（supportvectorregression，svr）以及前馈神经网络（feedforwardneuralnetworks，ffnns），同时，加入稀疏模型rcgru、x-gru以及三种门控变体gru（gate-variantsofgatedrecurrentunits，gvgrus）等作为深度神经网络的代表。最后，为了分析不同系统之间的性能误差，本发明在实验中使用均方根误差（rootmeansquareerror，rmse）作为模型性能的衡量标准。

1．电力负荷实验分析

在电力负荷预测实验中，基于实时流量预测的需要，本发明引入了滑动窗口，将输入流量序列长度设置为100。并对原始数据作为基数10的对数进行归一化，以使神经网络的训练阶段收敛更快。同时，所有基于gru的神经网络（mini-gru除外）的隐藏单元统一设置为350，批次大小设置为128，随机种子设置为42，而训练样本数与测试样本数之比设置为9:1。在训练过程中使用自适应矩估计（adam）优化器，学习率设置为0.001，权重衰减为1e-5。rmse用于测量预测值和实际值之间的差异。为了比较预测系统的稀疏能力，本发明设置rcgru、x-gru和scgru预测系统（即本发明提供的预测系统）在同一压缩率下进行比较。同时参与比较的还有gvgrus、svr和ffnn等常用的预测技术。其中，ffnn的输入维度设置为100，三个隐藏层各具50个神经元。svr选择径向基函数（radialbasisfunction，rbf）作为核，参数迭代更新的停止阈值设置为0.001，并且输入维度设置为100。

本发明对比了各个预测系统所使用的参数量，稀疏比例，修剪周期和预测误差rmse。对比结果如表1所示，经典预测系统的效果显然不如基于神经网络的预测系统，存储单元大小为35的gru预测系统比全连接gru预测系统落在了更好的局部最优解中。在基于结构稀疏的gvgrus预测系统中，gvgru-1预测系统在减少了0.19%的参数情况下，效果强于全连接gru预测系统。放弃了偏置的gvgru-2预测系统能够在稀疏连接66.41%的情况下，预测性能效果好于全连接gru预测系统。rcgru预测系统能够在极度稀疏的情况下保证预测性能，并且xiong等人能够在同一个稀疏水平下，性能更上一个台阶。但是，rcgru和x-gru预测系统都需要大量的“剪枝-重训练”迭代周期来优化神经连接。而scgru预测系统在学习过程中设定好稀疏水平k后，只需要修剪一次便可以学习到同样的甚至更优的性能。

表1本发明和其他现有预测系统在电力负荷预测方面的多个维度比较

在基于连接的稀疏预测系统中，本发明分析了scgru，x-gru和rcgru预测系统的最佳修剪率，以及它们在不同修剪率下的性能。在0%到90%的修剪力度区间，每隔10%进行测试。在90%到99%区间，每隔1%进行测试。为了探究某些稀疏预测系统的极限，在99%-99.5%区间，每隔0.1%进行测试。从表2左侧可以得知，rcgru预测系统的在没有微调情况下效果非常差。x-gru预测系统的最佳稀疏效果要好于scgru预测系统，不过，scgru预测系统的最佳极度稀疏效果最优。scgru预测系统在没有微调的情况下，稀疏90%的参数，并且性能下降的程度在可接受范围内。表2右侧则是展现了各个预测系统微调后的性能对比，rcgru预测系统稀疏能力非常高，但是与传统的gru预测系统相比，性能下降明显。x-gru预测系统最佳剪枝率为95%，并且能够保证一个非常好的模型性能。scgru预测系统是三者最好的，它在稀疏97%的参数量情况下，模型性能甚至好于传统的gru预测系统。同时，在稀疏98.4%的情况下，scgru预测系统的性能依旧强于rcgru和x-gru预测系统。

表2本发明和基于神经连接剪枝的预测系统在电力负荷预测方面的修剪性能比较（其中，bpr:bestpruningrate表示最佳剪枝率;berp:thebestextremepruningrate最佳极端剪枝率;best-rmse:最好的均方根误差；bepr-rmse:最佳极端剪枝率时的均方根误差）

2．局域网流量预测和分析

在lan流量预测实验中，数据预处理方面同样使用了滑动窗口，并且设置为100。类似地，除了mini-gru以外，其他所有基于gru的神经网络的隐藏单元统一设置为350。批次大小设置为32，随机种子设置为42。优化器adam的学习率设置为0.001，权重衰减为9e-5，并且同样使用rmse来计算误差。同样，本发明对比了scgru和x-gru、rcgru、gvgrus以及在时序预测方面有突出表现的arima、svr和ffnn。其中，ffnn的输入维度设置为100，并设置了两个神经元个数为50的隐藏层。svr的设置和电力负荷预测实验一致。最后，重点比较了三个基于神经连接的稀疏预测系统（rcgru、x-gru和scgru）在有微调和没有微调两种情况下的预测性能。

本发明对比了各个预测系统所使用的参数量，稀疏比例，修剪周期和预测误差rmse。对比结果如表3所示，经典预测系统的效果显然不如基于神经网络的预测系统，存储单元大小为35的gru预测系统比全连接gru预测系统落在了更好的局部最优解中。在基于结构稀疏的gvgrus预测系统中，gvgru-1预测系统在减少了0.19%的参数情况下，效果强于全连接gru预测系统。放弃了偏置的gvgru-2预测系统能够在稀疏连接66.41%的情况下，模型性能效果好于全连接gru预测系统。rcgru预测系统能够在极度稀疏的情况下保证预测性能，并且xiong等人能够在同一个稀疏水平下，性能更上一个台阶。但是，rcgru和x-gru预测系统都需要“剪枝-重训练”迭代周期（“prune-retrain”cycles）来优化神经连接。scgru预测系统在学习过程中设定好稀疏水平k后，只需要修剪一次便可以学习到同样的甚至更优的性能。

表3本发明和其他现有预测系统在lan流量预测方面的多个维度比较

在基于连接的稀疏模型中，本发明分析了scgru，x-gru和rcgru预测系统的最佳修剪率，以及它们在不同修剪率下的性能。在0%到90%的修剪力度区间，每隔10%进行测试。在90%到99%区间，每隔1%进行测试。为了探究某些稀疏模型的极限，在99%-99.5%区间，每隔0.1%进行测试。表4左侧展示了rcgru，x-gru和rcgru预测系统在没有微调的情况下，各个预测系统的最佳修剪率和最佳极度修剪率之比。如果没有微调，rcgru预测系统几乎丧失了能力。x-gru预测系统能展现出一些韧性。而本发明提出的scgru预测系统能够没有微调的情况下，单次修剪70%的参数量而没有显著性能损失。表4右侧展示了rcgru，x-gru和rcgru预测系统在有微调的情况下，各个系统的最佳修剪率和最佳极度修剪率之比。很显然，微调后各个模型的最佳修剪率上升。不过，scgru预测系统系统还是能够在修剪最多参数量的情况下性能最好。

表4本发明和基于神经连接剪枝的预测系统在lan流量预测方面的修剪性能比较

以上结果表明，本发明所提出的预测系统的预测性能具有非常高的优异性和实用价值。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。