一种面向不均衡电力数据的蒸馏集成模式感知算法及系统

1.本发明属于电力数据挖掘技术领域，具体涉及一种面向不均衡电力数据的蒸馏集成模式感知算法及系统。


背景技术：

2.随着智能电网和能源互联网发展的飞速发展，人工智能等现代信息技术与传统电网技术的融合进程也日趋加快，成为辅助电网管理人员快速感知电力系统多源数据内在规律、实施精准控制和决策的高效手段。当前以集成学习、深度学习为代表的前沿人工智能技术在电力系统安全与控制，设备运维与故障诊断以及负荷管理等方面展现出良好的应用价值，对提高电网运行可靠性、优化用户用能服务及推动我国能源转型具有技术支撑作用。长期以来，集成学习因良好的算法稳定性、准确性和鲁棒性被广泛应用到计算机视觉、生物、医学及工程等多个领域。电力数据广泛分布于电力系统“发输变配用”每个环节，采集实时性强，价值密度高。近年来，利用集成学习挖掘电力数据内在规律已在电网暂态稳定评估、变压器故障诊断、负荷预测、非侵入式负荷检测等领域展现出极高的利用价值。
3.不断提升集成学习性能是应对复杂多元数据处理任务的根本要求，对深入挖掘电力数据价值、支持电力信息化建设具有重要意义。然而，受基学习机差异性和准确度的制约，使得集成学习的性能提升也会受到限制。集成学习通过训练生成多个基学习机并以多数投票方式融合各个基学习机学习结果来提高算法精度。研究表明，基学习机训练集群中通常会存在性能冗余的个体，其学习能力与其它基分类器重合，致使基学习机集群内部差异性特质不足。当前，构建优质的差异化基学习机的典型方法包括异质基学习机集成、随机子空间集成以及bagging和boosting集成等，其中异质基学习机集成由于算法复杂度较高因此应用场景受限，随机子空间集成存在特征子空间冗余的问题，而bagging和boosting集成对生成差异化基学习机理论的研究尚不成熟。
4.传统集成学习利用弱学习器构建基学习机集群，其突出特点是训练速度较快，但准确度方面表现较差。集成以深度学习为代表的强学习机在算法准确度方面性能突出，然而随着数据挖掘应用对算法学习容量的要求不断提升，深度学习的算法效率、算法复杂度成为制约其数据和算法效能协同的关键因素。
5.态势分布不均衡天然存在于电网暂态稳定、变压器故障及电力负荷等数据中，该问题映射到分类模型层面会严重削弱模型对小类样本的识别能力，因此在电力数据模式感知等研究中引起广泛的关注。以smote过采样算法为代表的态势空间重构方法，能避免将态势空间重构过程与模式辨识过程耦合，应用更为广泛，然而，传统smote方法忽略了样本集的分布特性，重构后的态势空间容易失真，在高比例不均衡场景中算法难以保持稳定的采样效果，甚至干扰多数类样本的分类过程。通过学习电力数据态势分布规律，以生成对抗网络为代表的智能式生成模型能获取拟真度高的人工样本，但算法复杂度较高，计算开销成本大，难以满足实际应用需求。


技术实现要素：

6.本发明的目的是为了克服现有技术的不足，而提供一种面向不均衡电力数据的蒸馏集成模式感知算法及系统，能够解决基学习机集群的冗余问题，具有算法效能稳定、准确度以及效率高、规模小的特点。
7.本发明采用的技术方案为：一种面向不均衡电力数据的蒸馏集成模式感知算法，包括如下步骤：
8.s1：采用基于dgs的过采样技术，对存在态势分布不均衡的电力数据进行态势空间重构处理；
9.s2：采用模型压缩技术，并结合ln机制和attention机制，构建基于clstm神经网络的电力数据深度学习模式感知模型；
10.s3：提出蒸馏式集成学习策略并进行优化，解决基学习机集群的冗余问题。
11.具体的，所述步骤s1具体包括如下步骤：
12.s11：判别少数类日负荷序列样本，设日负荷序列样本集为d，按负荷模式类别差异划分为m类样本子集{dm|m＝1,
…
,m}，若样本子集dm的样本数量小于最大样本子集数量的1/5，则判定该类负荷样本子集为少数类，对其进行样本合成，得到少数类样本集dm；
13.s12：对少数类样本集dm实施dbscan聚类，得到若干聚类簇{d
m,c
|c＝1,
…
,c}，并记录各聚类簇的聚类中心样本
14.s13：记录dbscan聚类后每个聚类簇d
m,c
的密度直接可达图g(d
m,c
,ρ,κ)；
15.s14：计算各聚类簇的样本数目分布比例，按比例在各聚类簇中合成新样本；
16.s15：搜索采样路径，每次合成新样本时在聚类簇d
m,c
随机选定一个真实样本xr，在g(d
m,c
,ρ,κ)中采用dijkstra算法搜索xr到聚类中心的最短加权图路径，其中其中和表示xr到聚类中心最短加权图路径经过的样本点，表示直接密度可达，将作为本次的采样路径；
17.s16：进行新样本合成，在中随机选择一段直接密度可达边作为本次的采样区间，在采样区间内设定插值距离另其服从均匀分布：
[0018][0019]
随机生成插值坐标θ：
[0020][0021]
为增强合成样本的多样性，对θ添加一随机扰动向量o，o的每一维度均服从如下正态分布：
[0022][0023]
式中σ表示相对标准差，
[0024]
最后生成本次的新样本，表示如下：
[0025][0026]
s17：重复步骤s15-s16，直到少数类样本总数目达到最大样本子集数目的1/5。
[0027]
具体的，所述步骤s2具体包括如下步骤：
[0028]
s21：对lstm单元进行改进，改进后的lstm单元通过对网络参数降维投影来缩减模型参数规模；
[0029]
s22：利用ln层对神经网络层参数进行归一化处理；
[0030]
s23：attention层的输入为lstm网络层所有时间步的输出列向量根据对队列任务的贡献程度分配注意力权值参数。
[0031]
具体的，在步骤s3中，所述蒸馏式集成学习策略，通过最小正则化经验风险函数来确定基学习机在分类决策中的权重系数ω，其基本目标函数由经验风险项和正则项构成，表示如下：
[0032]
γ(ω)＝λl(ω)+p(ω)
[0033]
其中，l(ω)表示经验风险项，p(ω)表示正则项，λ为超参数。
[0034]
具体的，所述经验风险项的构建过程如下：
[0035]
令ω＝[ω1,
…
,ωn]
t
，表示基学习机集群{h1,
…hn
}的权重系数，则集成基学习机决策模型对样本xi的分类结果表示如下：
[0036][0037][0038]
基于上式，定义集成边界m(xi)：
[0039][0040]
其中，yi为样本标签，m(x
*
)∈{1,-1}，当分类正确时为1，分类错误时为-1，
[0041]
基于集成边界，定义集成基学习机决策模型下所有样本的经验风险函数l：
[0042][0043]
对经验风险函数l进行优化，得到的经验风险函数l表示如下：
[0044][0045]
具体的，在对经验风险函数l进行优化时，采用代理损失优化方法，将改进huber函数作为l的代理优化函数，表示如下：
[0046][0047]
其中，参数δ用于调节函数对噪声样本的敏感性，按经验设为0.65。
[0048]
具体的，所述正则项的构建过程如下：
[0049]
将基学习机hk和h
p
对训练集的分类结果组织为向量形式，计算其互信息系数表示两基学习机学习结果的相似程度，公式表示如下：
[0050][0051]
其中，p(*,*)表示两变量的联合概率分布，p(*)表示变量的边缘概率，v表示基学习机{h}对训练集{x}的分类决策结果，其矩阵表达为：
[0052][0053]
其中，n表示训练集样本总数目，
[0054]
将基学习机hk与其他基学习机的互信息系数均值作为该基学习机的冗余度，表示如下：
[0055][0056]
其中，ωk表示基学习机集合，
[0057]
定义基学习机hk的贡献度，表示如下：
[0058]
s(hk)＝i(hk,y)-r(hk)
[0059]
其中，y为训练集标签样本的标签向量，
[0060]
将s(hk)作为惩罚因子带入正则项，贡献度低的基学习机s(hk)越大，被萃取的几率越小，计及基学习机贡献度的正则项p构建如下：
[0061]
p＝ω
t
s-1
ω
[0062]
其中，s＝diag[s(h1),
…
,s(hn)]。
[0063]
具体的，所述步骤s3具体为：基于蒸馏式集成学习策略，构建蒸馏式集成优化模型，采用多数投票法集成clstm分类模型，解决基学习机集群的冗余问题。
[0064]
具体的，所述采用多数投票法集成clstm的具体步骤为：将clstm分类模型，通过标签样本集训练生成基分类器池，经过蒸馏式集成学习策略萃取去冗余后的clstm基学习机子集群，通过多数投票法对各基学习机的分类结果融合决策，得到最终分类结果。
[0065]
一种面向不均衡电力数据的蒸馏集成模式感知系统，所述蒸馏集成模式感知系统
被应用于所述的算法中，所述蒸馏集成模式感知系统包括压缩深度学习机，所述压缩深度学习机采用clstm分类模型，所述clstm分类模型包括依次级联的数据预处理模块、改进lstm层、ln层、relu非线性层、attention层以及softmax层，并通过softmax层决策输出分类结果，表征数据样本隶属于各类别标签的概率。
[0066]
本发明的有益效果：
[0067]
1、本发明所提出的基于dgs过采样技术的算法，能自适应调节态势空间中不同分布区域的小类样本合成数量，经平衡处理后对样本的态势边界形态具有较好的保持效果，可有效改善电力数据的态势分布不均衡问题，对态势边界样本的重叠程度影响较小。
[0068]
2、所提出的clstm分类模型及其感知算法，通过压缩模型参数使模型的算法规模得到缩减，模型的存储成本更低，且对电力数据具有更好的关键特征捕捉能力，学习速度显著提升，所需训练时长更少。
[0069]
3、所提出的优化的蒸馏式集成学习策略，通过优质基学习机的模型萃取技术解决基学习机冗余问题，具有更强的算法准确度、算法效率以及算法稳定性。
[0070]
4、本发明融合了电力数据态势空间重构算法、压缩深度学习机算法以及蒸馏式集成学习策略，充分考虑到了电力数据和感知算法之间的效能协同问题，从数据增强和算法增强两个层次综合提升电力数据模式感知的效能，具有更好的数据适应性和应用普适性。
附图说明
[0071]
图1为本发明的流程步骤图；
[0072]
图2为本发明的电力数据态势空间重构方法示意图；
[0073]
图3为本发明的总体路线示意图；
[0074]
图4为本发明所述lstm神经元示意图；
[0075]
图5为本发明所述clstm分类模型示意图。
具体实施方式
[0076]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围，以下结合实施例具体说明。
[0077]
如图1、2和3所示，一种面向不均衡电力数据的蒸馏集成模式感知算法，其具体步骤如下：
[0078]
s1：采用基于dgs的过采样技术，对存在态势分布不均衡的电力数据进行态势空间重构处理，该技术基于样本空间密度采样，自适应调节态势空间中不同分布区域的少类样本合成数量，具体步骤如下：
[0079]
s11：判别少数类日负荷序列样本
[0080]
设日负荷序列样本集为d，按负荷模式类别差异划分为m类样本子集{dm|m＝1,
…
,m}，若样本子集dm的样本数量小于最大样本子集数量的1/5，则判定该类负荷样本子集为少数类，对其进行样本合成，得到少数类样本集dm；
[0081]
s12：对少数类样本密度聚类
[0082]
对少数类样本集dm实施dbscan聚类，得到若干聚类簇{d
m,c
|c＝1,
…
,c}，并记录各
聚类簇的聚类中心样本
[0083]
s13：聚类簇构建直接密度可达图
[0084]
记录dbscan聚类后每个聚类簇d
m,c
的密度直接可达图g(d
m,c
,ρ,κ)；
[0085]
s14：确定每一聚类簇的样本合成数目
[0086]
计算各聚类簇的样本数目分布比例，按比例在各聚类簇中合成新样本；
[0087]
s15：搜索采样路径
[0088]
每次合成新样本时在聚类簇d
m,c
随机选定一个真实样本xr，在g(d
m,c
,ρ,κ)中采用dijkstra算法搜索xr到聚类中心的最短加权图路径，其中其中和表示xr到聚类中心最短加权图路径经过的样本点，表示直接密度可达，将作为本次的采样路径；
[0089]
s16：进行新样本合成
[0090]
在中随机选择一段直接密度可达边作为本次的采样区间，在采样区间内设定插值距离另其服从均匀分布：
[0091][0092]
随机生成插值坐标θ：
[0093][0094]
为增强合成样本的多样性，对θ添加一随机扰动向量o，o的每一维度均服从如下正态分布：
[0095][0096]
式中σ表示相对标准差，
[0097]
最后生成本次的新样本，表示如下：
[0098][0099]
s17：重复步骤s15-s16，直到少数类样本总数目达到最大样本子集数目的1/5。
[0100]
s2：采用模型压缩技术，并结合ln机制和attention机制，构建基于clstm神经网络的电力数据深度学习模式感知模型，具体步骤如下：
[0101]
s21：lstm通过精巧的“门”结构设计来控制lstm单元中长时记忆信息的更新，针对lstm参数复杂、计算效率低的不足，对lstm单元进行改进，改进后的lstm单元通过对网络参数降维投影来缩减模型参数规模，改进后的lstm神经元的示意图如图4所示，其具体过程如下：
[0102]
改进后的lstm单元的投影层公式表示如下：
[0103]rt
＝w
rhht
[0104]yt
＝φ(w
yrrt
+by)
[0105]
式中，r
t
为转换矩阵w
rh
缩减特征维度后的隐藏状态，φ为网络层的输出激活函数，这里采用relu函数，改进后的lstm单元的各“门”函数表示如下：
[0106]it
＝δ(w
ix
x
t
+w
irrt-1
+w
icct-1
+bi)
[0107]ft
＝δ(w
fx
x
t
+w
frrt-1
+w
fcct-1
+bf)
[0108]ct
＝f
t c
t-1
+i
t tanh(w
cx
x
t
+w
crrt-1
+bc)
[0109]ot
＝δ(w
ax
x
t
+w
orrt-1
+w
occt-1
+bo)
[0110]
其中，i
t
、f
t
和o
t
分别为输入门、遗忘门和输出门，c
t
为改进后的lstm模型的长时记忆状态，经过投影层对模型参数进行降维投影后，模型参数缩减数量为：
[0111]
nr＝4n
c2-5nrnc+ncn
o-nrno[0112]
其中，nc表示隐层神经元数目，nr表示投影层输出的特征维度，no等于y
t
的输出特征维度。
[0113]
s22：利用ln层对神经网络层参数进行归一化处理，能够提高模型对于数据的适应性，加快收敛，其采用的计算公式表示如下：
[0114][0115][0116]
式中，u表示网络层中隐藏单元的数量，表示网络层l神经元i的输出结果，未经非线性激活函数置换到[0,1]区间，均值μ和方差σ均为归一化参数，在ln机制中，网络层中的所有隐藏单元共享相同的归一化参数。
[0117]
s23：attention层的输入为lstm网络层所有时间步的输出列向量根据对队列任务的贡献程度分配注意力权值参数，attention层的计算公式如下：
[0118]ct
＝softmax(q
t
·
k)
·v[0119]
v＝k
t
[0120]
q＝k
·w[0121]
其中，k和v
t
表示attention层中的键值对，w为权重矩阵，q表示attention层的队列任务，softmax函数对注意力权值参数q
t
·
k进行归一化处理。
[0122]
采用clstm的压缩深度学习机作为电力数据模式感知的基础学习机，clstm分类模型利用模型压缩技术的参数投影功能，压缩lstm模型参数，降低其计算、存储开销，对于长时序数据处理具有明显效率优势；利用attention机制快速捕捉序列关键特征，具有更快的训练速度；通过ln对网络层参数归一化处理，可加速lstm模型训练过程，提升其学习泛化性能。
[0123]
s3：提出蒸馏式集成学习策略并进行优化，解决基学习机集群的冗余问题
[0124]
蒸馏式集成学习策略遵循如下原则：基学习机的冗余度越高，被萃取的可能性越小，此外，预测准确率高的基学习机具有优先萃取权，所提蒸馏式集成学习策略的步骤为：首先，构造评估集成学习误分类损失的正则化经验风险目标函数，使分类准确度高的基学
习机能被优先萃取；其次，采用互信息系数mic构建量化基学习机间相关性的冗余度指标，并基于该指标提出评估基学习机对集成学习贡献度的重要性指标，将重要性指标作为惩罚因子纳入优化问题的正则项中，目的是使dil策略在尽量不牺牲clstm丢弃，保留权重不为零的个体集合，通过多数投票法参与集成。
[0125]
具体如下：
[0126]
所述蒸馏式集成学习策略，通过最小正则化经验风险函数来确定基学习机在分类决策中的权重系数ω，其基本目标函数由经验风险项和正则项构成，表示如下：
[0127]
γ(ω)＝λl(ω)+p(ω)
[0128]
其中，l(ω)表示经验风险项，近似度量集成基学习机决策模型对训练样本集的错误分类损失，p(ω)表示正则项，λ为超参数，通过超参数λ调节二者的比例，控制集成基学习机决策模型的算法复杂度，提升模型泛化能力。
[0129]
所述经验风险项的构建过程如下：
[0130]
令ω＝[ω1,
…
,ωn]
t
，表示基学习机集群{h1,
…hn
}的权重系数，则集成基学习机决策模型对样本xi的分类结果表示如下：
[0131][0132][0133]
基于上式，定义集成边界m(xi)：
[0134][0135]
其中，yi为样本标签，m(x
*
)∈{1,-1}，当分类正确时为1，分类错误时为-1，
[0136]
基于集成边界，定义集成基学习机决策模型下所有样本的经验风险函数l：
[0137][0138]
对经验风险函数l进行优化，得到的经验风险函数l表示如下：
[0139][0140]
鉴于l非凸、不连续的函数性质，传统优化方法难以处理，在对经验风险函数l进行优化时，采用代理损失优化方法，将改进huber函数作为l的代理优化函数，表示如下：
[0141][0142]
其中，参数δ用于调节函数对噪声样本的敏感性，按经验设为0.65。
[0143]
所述正则项的构建过程如下：
[0144]
互信息系数可以反映变量间的相关度，将基学习机hk和h
p
对训练集的分类结果组织为向量形式，计算其互信息系数表示两基学习机学习结果的相似程度，公式表示如下：
[0145][0146]
其中，p(*,*)表示两变量的联合概率分布，p(*)表示变量的边缘概率，v表示基学习机{h}对训练集{x}的分类决策结果，其矩阵表达为：
[0147][0148]
其中，n表示训练集样本总数目，
[0149]
将基学习机hk与其他基学习机的互信息系数均值作为该基学习机的冗余度，表示如下：
[0150][0151]
其中，ωk表示基学习机集合，
[0152]
标签样本分类准确率高且具有低冗余度的基学习机参与集成学习时可带来更好的精度增益，定义基学习机hk的贡献度，表示如下：
[0153]
s(hk)＝i(hk,y)-r(hk)
[0154]
其中，y为训练集标签样本的标签向量，
[0155]
将s(hk)作为惩罚因子带入正则项，贡献度低的基学习机s(hk)越大，被萃取的几率越小，计及基学习机贡献度的正则项p构建如下：
[0156]
p＝ω
t
s-1
ω
[0157]
其中，s＝diag[s(h1),
…
,s(hn)]。
[0158]
然后构建蒸馏式集成优化模型，表示如下：
[0159][0160][0161]
采用多数投票法集成clstm分类模型，解决基学习机集群的冗余问题，具体为：将clstm分类模型，通过标签样本集训练生成基分类器池，经过蒸馏式集成学习策略萃取去冗余后的clstm基学习机子集群，通过多数投票法对各基学习机的分类结果融合决策，得到最终分类结果。
[0162]
一种面向不均衡电力数据的蒸馏集成模式感知系统，所述蒸馏集成模式感知系统被应用于所述的算法中，所述蒸馏集成模式感知系统包括压缩深度学习机，所述压缩深度
学习机采用clstm分类模型，如图5所示，所述clstm分类模型包括依次级联的数据预处理模块、改进lstm层、ln层、relu非线性层、attention层以及softmax层，并通过softmax层决策输出分类结果，表征数据样本隶属于各类别标签的概率，其中，数据预处理模块采用三次样条插值来完成待处理数据的缺失重构。
[0163]
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的得同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。