一种基于Flink和回归模型的分时线损异常诊断方法与流程

一种基于flink和回归模型的分时线损异常诊断方法
技术领域
1.本技术涉及电网故障检测技术领域，特别地，涉及一种基于flink和回归模型的分时线损异常诊断方法。


背景技术：

2.随着智能电网信息化不断发展，各类控制系统和信息系统产生海量的量测数据，电网量测数据作为电网数字化转型的数据基础，支撑新型电力系统源网荷储各领域终端实时互动，推动了电网的积极发展。电网数字化转型推动了输电线路的线损监测工作，现阶段基于线变关系、电能表冻结示数等量测数据已经实现线损计算时效由日级提升至小时级，对输电线路的分时线损状态监控有助于实现窃电、违规用电等异常行为，有效保障电网安全生产稳定。
3.目前通过分时线损进行用电行为异常诊断受限于数据量太大导致时效性较低，诊断准确度也不高。


技术实现要素：

4.本技术提供了一种基于flink和回归模型的分时线损异常诊断方法，以解决现有通过分时线损进行用电行为异常诊断时效性较低，诊断准确度也不高的技术问题。
5.本技术采用的技术方案如下：
6.一种基于flink和回归模型的分时线损异常诊断方法，包括步骤：
7.通过离线历史线损数据建立并训练以线损数据和时间信息为自变量的回归模型；
8.基于datahub组件实现海量量测数据实时并发接入，通过flink实时处理接收到的量测数据后计算出线路的分时线损，并结合所述回归模型完成海量分时线损数据的异常诊断，将所述分时线损数据标记区分为正常数据或异常数据；
9.利用缓存数据库redis对诊断后标记区分为正常数据或异常数据的分时线损数据进行实时高速存储，并将正常的分时线损数据反馈给所述回归模型，实时调整回归模型的参数。
10.进一步地，所述通过离线历史线损数据建立并训练以线损数据和时间信息为自变量的回归模型之前，还包括步骤：
11.令表示一条线路的历史线损数据的集合，对历史线损数据集合进行差分处理得到集合d：
[0012][0013]
得到新的历史线损数据集合，即：
[0014]
d＝{d1,d2,
…
,dn}；
[0015]
设置与历史线损数据相关的时间信息集合包括：
[0016]
令w＝{w1,w2,
…
,wn}表示历史线损数据所对应的时间是星期几的集合，其中wn∈
{1,2,3,4,5,6,7}表示线损数据dn是星期wn采集的数据；
[0017]
令y＝{y1,y2,
…
,yn}表示历史线损数据所对应的时间是特殊日期的集合，其中yn∈{1,2,
…
,k}，k值可以根据需求进行拓展，相应的yn的不同的取值的含义根据需求进行定义；
[0018]
令h＝{h1,h2,
…
,hn}表示历史线损数据所对应的小时时间，其中hn∈{0,1,
…
,23}表示采集历史线损数据dn的时间是该天的第hn个小时；
[0019]
根据历史线损数据和对应的时间信息生成训练数据集合t：令集合t＝{t1,t2,
…
,tm}表示训练数据集合，tm由q个历史线损数据和tm所对应的时间信息所组成，
[0020]
m＝n-q，tm＝{dm,d
m+1
,
…
,d
m+q-1
,w
q+m
,y
q+m
,h
q+m
}，tm对应的标签为d
q+m
，由此相应的标签集合t＝{d
q+1
,d
q+2
,
…
,d
q+m
}。
[0021]
进一步地，所述通过离线历史线损数据建立并训练以线损数据和时间信息为自变量的回归模型，具体包括步骤：
[0022]
基于历史数据建立q个线损数据和相关的时间信息为自变量的回归模型：
[0023][0024]
其中，n＝q+1,q+2,
…
,n，为模型输出结果dn的预测值，c是常数项，为模型参数，中的元素表示相应参数对预测值的影响程度，en是模型预测的残差且服从正态分布；
[0025]
利用生成的训练数据集合对所述回归模型进行训练，直到找到一组参数使得训练数据集的残差最小化。
[0026]
进一步地，所述残差等同于损失loss，即：
[0027][0028]
或者，
[0029]
所述损失loss采用平方损失或均方差损失，所述回归模型训练方法至少包括梯度下降法、拟牛顿法。
[0030]
进一步地，所述基于datahub组件实现海量量测数据实时并发接入，通过flink实时处理接收到的量测数据后计算出线路的分时线损，并结合所述回归模型完成海量分时线损数据的异常诊断，将所述分时线损数据标记区分为正常数据或异常数据，具体包括步骤：
[0031]
利用flink从datahub实时接入量测数据，然后计算出每条线路的分时线损数据；
[0032]
对当前某一条线路的分时线损数据dz进行预处理，将dz的分时线损数据和时间信息组成输入特征{d
z-q
,d
z-q-1
,
…
,d
z-1
,wz,yz,hz}，将输入特征作为该线路对应的回归模型的输入得到预测值令表示预测误差，取dz的前k个线损数据的预测误差，表示为集合e＝{e
z-k
,e
z-k+1
,
…
,e
z-1
}，集合e的均值和方差分别为μ和σ2，根据下式对数据dz作异常诊断，并将所述分时线损数据区分标记为正常数据或异常数据：
[0033]
[0034]
其中，λ为实数。
[0035]
进一步地，当分时线损数据诊断为异常数据后，还包括步骤：
[0036]
根据下式将诊断为异常数据的分时线损数据根据预测误差进一步判断为轻度异常、中度异常和极端异常：
[0037][0038]
其中，为了使得上式不存在冲突，λ小于2。
[0039]
进一步地，利用缓存数据库redis对诊断后标记区分为正常数据或异常数据的分时线损数据进行实时高速存储，并将正常的分时线损数据反馈给所述回归模型，实时调整回归模型的参数，具体包括步骤：
[0040]
若所述分时线损数据被区分标记为正常数据时，则直接将数据写入缓存数据库redis；
[0041]
若所述分时线损数据被区分标记为异常数据时，则将异常情况反馈给应用侧，显示告警信息，然后对所述线损数据进行复查，其中对不同程度的异常的处理的方法不同，根据业务逻辑制定相应的处理措施；
[0042]
如果经过了复查后，所述线损数据确实是异常的，则标记所述线损数据为相应的异常数据并写入缓存数据库redis；若线损数据并不是异常的，标记线损数据为正常数据并写入缓存数据库redis，同时，在满足预设的区间约束下自适应调整λ，即λ＝λ+γ，γ是一个设定的常数；
[0043]
当所有标记为正常数据的线损数据累积到设定数量时，将其反馈给所述回归模型，用于继续训练回归模型，实时调整回归模型的参数。
[0044]
本技术另一方面还提供了一种基于flink和回归模型的分时线损异常诊断装置，包括：
[0045]
回归模型构建模块，用于通过离线历史线损数据建立并训练以线损数据和时间信息为自变量的回归模型；
[0046]
异常诊断模块，用于基于datahub组件实现海量量测数据实时并发接入，通过flink实时处理接收到的量测数据后计算出线路的分时线损，并结合所述回归模型完成海量分时线损数据的异常诊断，将所述分时线损数据标记区分为正常数据或异常数据；
[0047]
诊断结果存储及反馈模块，用于利用缓存数据库redis对诊断后标记区分为正常数据或异常数据的分时线损数据进行实时高速存储，并将正常的分时线损数据反馈给所述回归模型，实时调整回归模型的参数。
[0048]
本技术另一方面还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述基于flink和回归模型的分时线损异常诊断方法的步骤。
[0049]
本技术另一方面还提供了一种存储介质，所述存储介质包括存储的程序，在所述程序运行时控制所述存储介质所在的设备执行所述的基于flink和回归模型的分时线损异常诊断方法的步骤。
[0050]
相比现有技术，本技术具有以下有益效果：
[0051]
本技术提供了一种基于flink和回归模型的分时线损异常诊断方法，该方法通过离线历史线损数据建立并训练以线损数据和时间信息为自变量的回归模型；基于datahub组件实现海量量测数据实时并发接入，通过flink实时处理接收到的量测数据后计算出线路的分时线损，并结合所述回归模型完成海量分时线损数据的异常诊断，将所述分时线损数据标记区分为正常数据或异常数据；利用缓存数据库redis对诊断后标记区分为正常数据或异常数据的分时线损数据进行实时高速存储，并将正常的分时线损数据反馈给所述回归模型，实时调整回归模型的参数。
[0052]
本技术一方面利用flink和datahub组件实现海量量测数据实时并发接入和分时线损计算，提高了通过分时线损进行用电行为异常诊断时效性，另一方面，本技术在利用离线历史线损数据建立并训练以线损数据和时间信息为自变量的回归模型完成海量分时线损数据的异常诊断的同时，还不断将实时高速存储的正常的线损数据反馈给相应的回归模型，实现在线更新回归模型参数，显然，随着数据量的增加，回归模型的适应力将随着时间的推移逐步增强，从而自适应地提高用电行为异常诊断准确度。
[0053]
除了上面所描述的目的、特征和优点之外，本技术还有其它的目的、特征和优点。下面将参照附图，对本技术作进一步详细的说明。
附图说明
[0054]
构成本技术的一部分的附图用来提供对本技术的进一步理解，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
[0055]
图1是本技术优选实施例的基于flink和回归模型的分时线损异常诊断方法流程示意图。
[0056]
图2是本技术另一优选实施例的基于flink和回归模型的分时线损异常诊断方法流程示意图。
[0057]
图3是本技术优选实施例对一条线路的分时线损的数据进行异常诊断的流程示意图。
[0058]
图4是本技术优选实施例的基于flink和回归模型的分时线损异常诊断装置模块示意图。
[0059]
图5是本技术优选实施例的电子设备实体示意框图。
[0060]
图6是本技术优选实施例的计算机设备的内部结构图。
具体实施方式
[0061]
需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本技术。
[0062]
参照图1和图2，本技术的优选实施例提供了一种基于flink和回归模型的分时线损异常诊断方法，包括步骤：
[0063]
s1、通过离线历史线损数据建立并训练以线损数据和时间信息为自变量的回归模型；
[0064]
s2、基于datahub组件实现海量量测数据实时并发接入，通过flink实时处理接收
到的量测数据后计算出线路的分时线损，并结合所述回归模型完成海量分时线损数据的异常诊断，将所述分时线损数据标记区分为正常数据或异常数据；
[0065]
s3、利用缓存数据库redis对诊断后标记区分为正常数据或异常数据的分时线损数据进行实时高速存储，并将正常的分时线损数据反馈给所述回归模型，实时调整回归模型的参数。
[0066]
本实施例提供了一种基于flink和回归模型的分时线损异常诊断方法，该方法通过离线历史线损数据建立并训练以线损数据和时间信息为自变量的回归模型；基于datahub组件实现海量量测数据实时并发接入，通过flink实时处理接收到的量测数据后计算出线路的分时线损，并结合所述回归模型完成海量分时线损数据的异常诊断，将所述分时线损数据标记区分为正常数据或异常数据；利用缓存数据库redis对诊断后标记区分为正常数据或异常数据的分时线损数据进行实时高速存储，并将正常的分时线损数据反馈给所述回归模型，实时调整回归模型的参数。
[0067]
本实施例一方面利用flink和datahub组件实现海量量测数据实时并发接入和分时线损计算，其中，flink框架以其出色的流处理、分布式和高性能等特性使得其成为高效计算和深度挖掘海量数据的主流技术，能很好的满足业务的实时性需求，提高了通过分时线损进行用电行为异常诊断时效性，另一方面，本实施例在利用离线历史线损数据建立并训练以线损数据和时间信息为自变量的回归模型完成海量分时线损数据的异常诊断的同时，还不断将实时高速存储的正常线损数据反馈给相应的回归模型，实现在线更新回归模型参数，显然，随着数据量的增加，回归模型的适应力将随着时间的推移逐步增强，从而自适应地提高用电行为异常诊断准确度。
[0068]
具体地，所述通过离线历史线损数据建立并训练以线损数据和时间信息为自变量的回归模型之前，还包括步骤：
[0069]
s101、令表示一条线路的历史线损数据的集合(假设历史线损值都经过了修整，即对存在数据缺失、跳变、离群值等不可用或不可算数据进行了修复，换言之，假设集合中不存在异常的数据值，所有的值都是真实的无异常的线损值)，对历史线损数据集合进行差分处理得到集合d，使得数据的平稳性更强：
[0070][0071]
得到新的历史线损数据集合，即：
[0072]
d＝{d1,d2,
…
,dn}；
[0073]
s102、设置与历史线损数据相关的时间信息集合包括：
[0074]
令w＝{w1,w2,
…
,wn}表示历史线损数据所对应的时间是星期几的集合，其中wn∈{1,2,3,4,5,6,7}表示线损数据dn是星期wn采集的数据；
[0075]
令y＝{y1,y2,
…
,yn}表示历史线损数据所对应的时间是特殊日期的集合，其中yn∈{1,2,
…
,k}，k值可以根据需求进行拓展，相应的yn的不同的取值的含义根据需求进行定义，例如yn＝1表示采集线损数据dn的时间是普通的日期，yn＝2表示采集线损数据dn的时间是春节；
[0076]
令h＝{h1,h2,
…
,hn}表示历史线损数据所对应的小时时间，其中hn∈{0,1,
…
,23}
表示采集历史线损数据dn的时间是该天的第hn个小时；
[0077]
s103、根据历史线损数据和对应的时间信息生成训练数据集合t：令集合t＝{t1,t2,
…
,tm}表示训练数据集合，tm由q个历史线损数据和tm所对应的时间信息所组成，m＝n-q，
[0078]
tm＝{dm,d
m+1
,
…
,d
m+q-1
,w
q+m
,y
q+m
,h
q+m
}，tm对应的标签为d
q+m
，由此相应的标签集合t＝{d
q+1
,d
q+2
,
…
,d
q+m
}。
[0079]
具体地，所述通过离线历史线损数据建立并训练以线损数据和时间信息为自变量的回归模型，具体包括步骤：
[0080]
s11、基于历史数据建立q个线损数据和3个相关的时间信息为自变量的回归模型：
[0081][0082]
其中，n＝q+1,q+2,
…
,n，为模型输出结果dn的预测值，c是常数项，为模型参数，中的元素表示相应参数对预测值的影响程度，en是模型预测的残差且服从正态分布；
[0083]
s12、利用生成的训练数据集合对所述回归模型进行训练，直到找到一组参数使得训练数据集的残差最小化。
[0084]
其中，所述残差等同于损失loss，即：
[0085][0086]
或者，
[0087]
所述损失loss采用平方损失或均方差损失等，相应地，所述回归模型训练方法包括梯度下降法、拟牛顿法等，本领域技术人员可以根据需要进行相应的选择。
[0088]
本实施例在输入特征中考虑星期、小时和特殊日期属性的原因在于：一是用电数据可能与是否周末有关，例如周末不进行作业，则某条线路的用电量会降低；二是用电数据可能分时段的，例如凌晨、上班时间等，某些线路的用电量会降低，而下班时间则用电量会相对上升；三是用电数据可能与特殊节日有关，例如节假日放假，那么某些线路的用电量也会随之变化。综上所述，考虑时间信息可以使得预测的依据更加充足，进而提高预测结果的精度，降低异常诊断的误判率。
[0089]
具体地，所述基于datahub组件实现海量量测数据实时并发接入，通过flink实时处理接收到的量测数据后计算出线路的分时线损，并结合所述回归模型完成海量分时线损数据的异常诊断，将所述分时线损数据标记区分为正常数据或异常数据，具体包括步骤：
[0090]
s21、利用flink从datahub实时接入量测数据，接着利用flink高性能的计算能力快速计算出每条线路的分时线损数据；
[0091]
s22、对当前某一条线路的分时线损数据dz进行预处理，将dz的分时线损数据和时间信息组成输入特征{d
z-q
,d
z-q-1
,
…
,d
z-1
,wz,yz,hz}，将输入特征作为该线路对应的回归模型的输入得到预测值令表示预测误差，取dz的前k个线损数据的预测误差，表示为集合e＝{e
z-k
,e
z-k+1
,
…
,e
z-1
}，集合e的均值和方差分别为μ和σ2，根据下式对数据dz作异常诊断，并将所述分时线损数据区分标记为正常数据或异常数据：
[0092][0093]
其中，λ为实数。
[0094]
优选地，如图3所示，当分时线损数据诊断为异常数据后，还包括步骤：
[0095]
s23、根据下式将诊断为异常数据的分时线损数据根据预测误差进一步判断为轻度异常、中度异常和极端异常：
[0096][0097]
其中，为了使得上式不存在冲突，λ小于2，λ一个可行的取值范围为[1.5,2)，当然λ也可根据实际情况进行调整。
[0098]
具体来说，本实施例在诊断时，首先判断线损数据是否正常，如果异常则进行二次判断；如果是正常则诊断结束，标记线损数据为正常。对于二次判断，首先判断线损数据是否是极端异常，如果不是极端异常则进行三次判断；如果是极端异常，则诊断结束，标记线损数据为极端异常。对于三次判断，首先判断线损数据是否是中度异常，如果是中度异常情况则诊断结束，标记线损数据为中度异常；反之，则标记线损数据为轻度异常。
[0099]
具体地，如图3所示，利用缓存数据库redis对诊断后标记区分为正常数据或异常数据的分时线损数据进行实时高速存储，并将正常的分时线损数据反馈给所述回归模型，实时调整回归模型的参数，具体包括步骤：
[0100]
s31、若所述分时线损数据被区分标记为正常数据时，则直接将数据写入缓存数据库redis；
[0101]
s32、若所述分时线损数据被区分标记为异常数据时，则将异常情况反馈给应用侧，显示告警信息，然后对所述线损数据进行复查，其中对不同程度的异常的处理的方法不同，根据业务逻辑制定相应的处理措施；
[0102]
s33、如果经过了复查后，所述线损数据确实是异常的，则标记所述线损数据为相应的异常数据并写入缓存数据库redis；若线损数据并不是异常的，标记线损数据为正常数据并写入缓存数据库redis，显然此时模型诊断失误，可能的原因之一是λ太小了导致模型将正常数据误判为异常数据，此时，在满足预设的区间约束下，自适应调整λ，即λ＝λ+γ，γ是一个足够小的设定常数；
[0103]
s34、当所有标记为正常数据的线损数据累积到设定数量时，将其反馈给所述回归模型，用于继续训练回归模型，实时调整回归模型的参数。
[0104]
本实施例在标记为正常数据的线损数据累积到一定数量时，将正常数据反馈给回归模型，用于继续训练模型。显然，将模型预测失误的数据反馈给模型继续训练模型，这样做可以修正模型的参数，使得模型的泛化能力得到实时的增强。
[0105]
如图4所示，本技术另一实施例还提供了一种基于flink和回归模型的分时线损异常诊断装置，包括：
[0106]
回归模型构建模块，用于通过离线历史线损数据建立并训练以线损数据和时间信
息为自变量的回归模型；
[0107]
异常诊断模块，用于基于datahub组件实现海量量测数据实时并发接入，通过flink实时处理接收到的量测数据后计算出线路的分时线损，并结合所述回归模型完成海量分时线损数据的异常诊断，将所述分时线损数据标记区分为正常数据或异常数据；
[0108]
诊断结果存储及反馈模块，用于利用缓存数据库redis对诊断后标记区分为正常数据或异常数据的分时线损数据进行实时高速存储，并将正常的分时线损数据反馈给所述回归模型，实时调整回归模型的参数。
[0109]
如图5所示，本技术的优选实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述实施例中的基于flink和回归模型的分时线损异常诊断方法的步骤。
[0110]
如图6所示，本技术的优选实施例还提供了一种计算机设备，该计算机设备可以是终端或活体检测服务器，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的其他计算机设备通过网络连接通信。该计算机程序被处理器执行时以实现上述基于flink和回归模型的分时线损异常诊断方法的步骤。
[0111]
本领域技术人员可以理解，图6中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0112]
本技术的优选实施例还提供了一种存储介质，所述存储介质包括存储的程序，在所述程序运行时控制所述存储介质所在的设备执行上述实施例中的基于flink和回归模型的分时线损异常诊断方法的步骤。
[0113]
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
[0114]
本实施例方法所述功能若以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个或者多个计算设备可读取存储介质中。基于这样的理解，本技术实施例对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一台计算设备(可以是个人计算机，服务器，移动计算设备或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)，磁碟或者光盘等各种可以存储程序代码的介质。
[0115]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产
品的形式。本技术实施例中的方案可以采用各种计算机语言实现，例如，面向对象的程序设计语言java和直译式脚本语言javascript等。
[0116]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0117]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0118]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0119]
尽管已描述了本技术的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本技术范围的所有变更和修改。
[0120]
显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。