一种基于联邦学习的配电站故障预测方法与流程

1.本发明涉及数据识别技术、电力系统及其自动化技术领域，具体为一种基于联邦学习的配电站故障预测方法。


背景技术：

2.配电站，将电输送到企业用电设备或家庭用户的站点，位于电网的末端，是放射型网络上的一个点，上连变电站，下连企业用电设备或家庭用户。随着国家经济发展和技术进步，配电站的数量迅速扩张，与此同时配电站的容量变大和功能趋于复杂化。因为一些不可避免的因素，配电站在自动运行状态中，或多或少会出现异常状态。配电站故障引起的电力系统故障，在整个工业事故中所占比例较高，无论哪种规模的配电站一旦发生事故，都会造成一定的经济损失，严重的可能导致人员伤亡，所以对配电站故障的预测工作十分重要。
3.按照德国frank教授的理论，故障预测的方法分为三种：基于模型的方法、基于信号处理的方法和基于数据挖掘的方法。基于模型的方法，在理论上是精度最高的，但模型的方法只适用于单一类型的电子元件，如电阻丝等；基于信号处理的方法，通常利用信号模型，如相关函数、频谱、小波变换等，仅考虑了电力信息忽视了电器元件带来的故障。现有的故障预测都是基于自动化设备进行的，如专利号为20130416182.6公开了一种配电网通信终端预测系统，其利用馈线监控单元自动预测故障点并进行自愈；专利申请号为201510676144.3公开了一种10kv电缆网馈线的配电站故障自动预测系统，其在“主干配”配电站的分支线上配置成套开关柜式的智能分界断路器，从而实现自动隔离保护作用；专利申请号为201710663038.0公开了一种配电站故障自动预测系统，解决了现有技术中配电站故障自动预测系统，利用故障预测模块实时对配电站进行故障排查，并利用故障定位模块快速对排查的故障区域建立拓扑关系，迅速锁定故障点。
4.现有的故障预测方法都需要获取原始数据，不符合当今社会对用户的隐私保护，因为有的企业配有自己的配电箱，企业用户的用电数据隐私内容，在当下不宜随意公开。大数据时代，数据是一种宝贵的财富，同时随着各国的立法明确，任何组织和个人都不得私自收集用户的隐私数据。因此现有的故障预测都是基于设备而不是基于数据，针对于数据的故障预测专利目前仅有专利号为202011612201.9号提出一种基于lstm神经网络的智能变电站故障预测方法，但是此方法单纯针对时间序列的电力数据起到较好的效果，未曾考虑到其他硬件设备随时间老化出现问题等方面。因此将现有的配电站故障预测存在的不足之处总结如下：
5.问题1：传统的故障预测基于原始数据出现异常进行判断，在数据时代各个企业或者小区都不愿意将自己的数据泄露出去，对于某些竞争激烈的行业，企业生产信息要做好保护。
6.问题2：现有的基于数据的故障预测，仅考虑与时序相关的信息，未涉及到相关设备问题带来的配电站故障，考虑的问题不够全面。在故障预测的问题上，不仅仅要考虑数据异常产生的故障，同时还需要考虑设备异常产生的故障。
7.针对以上两个问题，本发明专利提出了一种基于联邦学习的配电站故障预测算法。
8.对于问题1，利用联邦学习技术，以各个配电站为客户端，在以各个客户端本地建立模型，采用改进的联邦平均算法，来联合建立模型。在处理本地数据类别不平衡时采用adasyn算法，解决本地数据类别不平衡问题。为解决不同客户端直接存在不同的数据类别不平衡，本发明专利将联邦平均聚合算法进行改进。
9.服务器端类别估计算法，解决不同客户端可能存在数据类别不平衡。无论参与的配电站是大还是小，其参与数据类型均一致，电网24小时运行，其数据量理论上也是一致的，因此在解决类别不平衡的基础上，使用联邦平均算法效果较好，联邦学习算法模型图，如说明书附图中的图1所示；
10.对于问题2在解决问题1的基础上，利用空洞卷积，增加感受野，获取更多的数据。利用图注意力网络，处理非线性的数据，加上注意力机制提取时间度相关性较高的信息。将图注意力机制的输出特征向量，输入到lstm网络，最后采用mlp来输出lstm网络，至此建立本地网络模型。
11.为解决上述两个问题，最终本发明专利提出了一种基于联邦学习的配电站故障预测算法。


技术实现要素：

12.本发明专利基于联邦学习算法、空洞卷积和图注意力网络，提出一种基于联邦学习的配电站故障预测算法，用于解决不同类型的配电站故障预测参数不共享、参数异构等问题。本发明提供了如下的技术方案：
13.本发明一种基于联邦学习的配电站故障预测方法，包括如下步骤：
14.s1、故障预测数据预处理，利用历史数据来进行时间序列的建模，再通过建立的模型来预测未来12小时内可能存在的故障问题，具体步骤如下：
15.s1-1、以每个配电站为客户端，进行数据收集，并将获得的数据进行制作数据集，之后将数据集分为训练集d1、测试集d2和验证集d3三个组成部分；
16.s1-2、通过采用深度学习算法进行配电站故障预测，根据获取到的配电站的相关特征参数，并将其映射为向量的形式；
17.s1-3、数据样本不平衡处理，采用adasyn算法根据数据样本分布自适应生成少数类新样本；
18.s1-4、对于收集的数据采用最大值最小值标准化，将数据映射到[0，1]之间，标准化函数为：式中x
t
是t时刻的收集到的配电站的相关特征参数，x
max
是收集到的样本参数中的最大值，x
min
是是收集到的样本参数中的最小值，是t时刻收集到的配电站的相关特征参数标准化结果；
[0019]
s2、基于空洞卷积和图注意力网络，建立本地模型，将图注意力机制处理过后的特征参数，输入到lstm网络，进行时间序列的特征提取，以提高配电站故障预测的时长，最后利用将lstm的输出至全连接层，建立联邦学习的本地模型，具体步骤如下：
[0020]
s2-1、通过使用空洞率，来调整空洞卷积的视野大小；
[0021]
s2-2、采用图注意力机制，通过结合注意力机制与图卷积网络，在更新图节点特征表示的过程中关注到邻居节点对其的影响度，其中图注意力机制网络通过堆叠图注意力层来构造；
[0022]
s2-3、将图注意力机制处理之后的时序特征向量输入到lstm网络，基于时序的配电站特征参数需要充分利用时间和其他参数之间的相关性；
[0023]
s2-4、在lstm网络的输出处，采用一个全连接层，来将输出的信息利用支持向量机来实现，支持向量机为简单的输入层、隐藏层和输出层三层结构，其中输入为lstm的输出，隐藏层为100个神经元，输出的大小同输入，最终mlp的输出层为本地模型输出，至此本地模型建立完成定义为w
locals
；
[0024]
s3、服务器端进行联合训练模型，实现在不侵犯各个配电站数据的情况下，根据各个本地模型建立的聚合模型，来进行配电站故障预测，具体步骤如下：
[0025]
s3-1、建立在线抽样方法，使得每一轮通信中选取相应的设备组合后可使全局模型的各类别测试性能趋于平衡，之后设计设备子集的选择算法，通过充分利用设备组合后的数据，充分发挥联邦学习中客户端配电站数据的价值，通过上述的过程更新局部模型参数之后，上传到终端服务器中，进行聚合生成全局模型；
[0026]
s3-2、服务器端类别估计算法，类别估计方案只需基于设备更新后传回的模型，以及全局服务器上少量的辅助数据集，同时训练过程中不同类别的训练数据量与相应类别上模型参数梯度更新的欧式范数的平方具有近似的比例关系，表述为公式式中l表示分类的损失函数，为梯度计算符号，||
·
||2表示范数计算，ms和m
l
分别表示训练集d1中第s和l类的样本数量，其中s≠l∈[c]，c表示客户端全部数据样本类别，es(
·
)表示对第s类数据的期望运算符，e
l
(
·
)表示对第l类数据的期望运算符；
[0027]
s3-3、在联邦学习中类别不平衡的场景下，由于每一轮通信中设备子集的选取有组合性，设备选择算法基于类别估计方案，利用每轮通信中聚合后的全局模型以及当前设备上数据类别分布的统计信息，选取与全局模型各类别测试性能偏移程度最互补的设备组合；
[0028]
s3-4、采用均方误差作损失函数作为指标，来确定联合建模的预测准确性。
[0029]
作为本发明的一种优选技术方案，所述s1-1中，配电站按照功率大小分为民用配电站和企业配电站，所述民用配电站在数据采集过程中，以每个配电站为客户端，每10分钟收集一次数据，全天可获得144条数据信息，所述企业配电站在数据采集过程中，以每个配电站为客户端，每5分钟收集一次数据，全天可获得288条数据信息。
[0030]
作为本发明的一种优选技术方案，所述s1-3的主要过程包括以下步骤：首先采用s1-1定义的训练集由m个样本{xi,yi},i＝1,2,
…
,m组成，其中xi是n维特征空间x的一个样本，yi∈y＝{1,-1}是xi相关联的类别标签，然后定义ms少数类样本数即配电站硬件参数信息，m
l
为多数类样本数即配电站电力参数信息，则ms≤m
l
，且ms+m
l
＝m，具体的adasyn算法流程如下：
[0031]
a、计算数据类别不平衡率d，
[0032]
b、若d《d
th
，d
th
为所设置的最大不平衡率，则计算需要合成的少数类样本数量g，g＝(m
l-ms)
×
β，式中参数β∈[0,1]表示处理后的数据集所求的平衡程度，β＝1表示生成了完全平衡的数据集；
[0033]
c、对于任意的少数类样本xi，根据n维空间的欧几里得距离找到k个最近邻点，并计算出比例ri，式中δi是k个最近邻点中属于多数类的样本数量，即ri∈[0,1]；
[0034]
d、对ri进行归一化之后r
′i，
[0035]
e、计算需要为每个少数类样本xi生成的新样本数量gi，gi＝r
′i×
g；
[0036]
f、在每个少数类样本xi的k个最近邻点中选择一个少数类样本x
zi
，根据如下规则生成新样本si，si＝xi+(x
zi-xi)
×
λ，式中λ为[0,1]的系数。
[0037]
作为本发明的一种优选技术方案，所述s2-2中，图注意力层的输入包含n,(1≤n≤20)个节点的特征集，输入向量为：个节点的特征集，输入向量为：个节点的特征集，输入向量为：表示向量，表示实数域，其目的是将输入特征参数变换为表达更丰富的特征，即输出一个新的节点特征集
[0038]
作为本发明的一种优选技术方案，所述s3-1中聚合生成全局模型采用联邦平均fedavg算法进行模型聚合。
[0039]
作为本发明的一种优选技术方案，所述s3-2的具体流程为：在第t论通信中，第k个设备上本地训练结束后，传回模型到全局服务器，在全局服务器上，令在aux中每个类的个数据上进行推理，并计算模型参数梯度欧氏范数的平方如式如式式中为赋值符号，然后利用公式为赋值符号，然后利用公式给出设备上类别信息的一个估计方案，其中为第k个客户端l类的梯度值，为第k个客户端s类的梯度值，归一化之后，设备k本地数据中的第c类数据比例为，计算如式所示，对类别估计方案给出一个直观的解释。
[0040]
作为本发明的一种优选技术方案，所述s3-4中均方误差的公式为带入后得到待优化的代价函数为公式式中表示含参数的函数，为代价函数的系数，y
t
为实际值，最终设定一个误差值，来确定联合建模的预测准确性。
[0041]
本发明的有益效果是：
[0042]
1、该种基于联邦学习的配电站故障预测方法，通过利用联邦学习技术，以各个配电站为客户端，在以各个客户端本地建立模型，采用改进的联邦平均算法，来联合建立模型，在处理本地数据类别不平衡时采用adasyn算法，解决本地数据类别不平衡问题；
[0043]
2、该种基于联邦学习的配电站故障预测方法，通过在保护各个参与方的隐私基础上，采用多尺度融合数据特征，在非结构化数据上采用图注意力网络进行特征提取，建立本地模型，有效的解决了不同类型的配电站故障预测参数不共享、参数异构等问题。
附图说明
[0044]
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
[0045]
在附图中：
[0046]
图1是联邦学习模型图；
[0047]
图2是本地模型示意图；
[0048]
图3是空洞卷积示意图；
[0049]
图4是图注意力机制示意图；
[0050]
图5是多头图注意力机制示意图；
[0051]
图6是lstm示意图；
[0052]
图7是本发明专利算法流程图。
具体实施方式
[0053]
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
[0054]
实施例：本发明一种基于联邦学习的配电站故障预测方法，包括以下三个步骤：
[0055]
s1：故障预测数据预处理
[0056]
10kv高压和0.4kv低压组成的配电站，配电站的故障预测是电力系统的重要组成部分。故障预测专门用来监测10kv高压和0.4kv低压两部分的电力数据与硬件衰变数据。本发明专利利用历史数据来进行时间序列的建模，再通过建立的模型来预测未来12小时内可能存在的故障问题。现将配电站故障预测数据分为4大类：(1)非常短时间的故障数据预测，用于1小时内的异常数据预测；(2)短期的故障数据预测，用于预测一天至一周内的异常数据预测；(3)中期的故障数据预测，用于一周至几个月内的异常数据预测；(4)长期的故障数据预测，用于几个月至几年内的异常数据预测。其中第(3)类和第(4)类数据不仅包括电力数据，还包括硬件设备的使用状况。不同企业的配电站参数一致，但是功率大小不同，需要对数据进行预处理，将采集的数据划分为等序列长度的负荷数据，便于后续处理。具体预处理步骤如下：
[0057]
s1-1本发明专利针对的是配电站的故障预测，配电站在不同地区有着不同用途，企业用配电站一般输出电压要高于民用电压，因而本发明专利对待配电站的故障预测以各个配电站为客户端，每个客户端为一个配电站。但是在实际使用过程中，不同的配电站使用频率不一样，企业配电站一般为24小时满负荷运行，居民用电配电站，有峰时谷时之分，数据在不同时间差距较大，且两种配电站均存在一定的噪声功率。以每个配电站为客户端，每
10分钟收集一次数据，全天可获得144条数据信息。因为企业配电站都是大功率配电站，因而为了保障生产安全，在涉及企业配电站时，本专利将采集数据的时间适当压缩，每5分钟收集一次数据，全天可获得288条数据信息。本实施例选取的是多个10kv高压和0.4kv低压组成的配电站，其为常见的民用配电站，故在数据采集过程中，以每个配电站为客户端，每10分钟收集一次数据，全天可获得144条数据信息。将获得的数据按配电站为客户端进行制作数据集。每个配电站按照类型不同，各个客户端的数据集大小存在差异，在数据预处理时暂不处理，就按原本数据进行分类制作数据集。本发明专利收集数据之后，将其训练集、测试集和验证集三个组成部分，以便更好地训练和更准确地评价，将d1数据集作为训练序列，d2数据集作为测试序列和d3数据集作为验证集。其中验证集d3在服务器端，其用来进行验证全局模型的准确率。
[0058]
s1-2本发明专利采用深度学习算法进行配电站故障预测，因而需要大量的数据。配电站的安全监测系统是分为两部分组成，10kv高压监测部分和0.4kv低压监测部分。不同的监测部分含有不同的参数，本发明专利需要分别获取两部分特征参数。本专利根据获取到的配电站的相关特征参数，将其映射为向量的形式：x＝{x1,x2,
…
,x
20
}，其中x1为高压电压监测、x2为高压电流监测、x3为高压温度监测、x4为高压湿度监测、x5为高压烟雾监测、x6为高压通讯监测、x7为高压断路器监测、x8为高压搭接头监测、x9为高压螺丝位置监测、x
10
为高压保险丝监测；x
11
为低压电压检测、x
12
为低压电流监测、x
13
为低压温度监测、x
14
为低压湿度监测、x
15
为低压烟雾监测、x
16
为低压通讯监测、x
17
为低压通讯监测断路器监测、x
18
为低压电容监测、x
19
为低压螺丝位置监测、x
20
为低压刀闸位置监测等，每个样本参数对应一个特征标签yi,i＝1,2,
…
20。这些特征数据理论上是按照s1-1进行收集，但是x8、x9、x
10
、x
19
、x
20
等5个硬件特征参数，短时间采取不会有任何变化，将采取的时间变为每1小时采集一次，这就会照成样本不平衡。即使是采集时间不变换，数据样本依旧存在不平衡。s1-3样本不平衡是指数据集中不同类别的样本数量差异较大，数据类别分布不均衡的情况。就配电站故障预测而言，电力相关数据种类较多，硬件数据种类较少，这样就存在样本的不平衡性。当前数据集样本不平衡处理主要从数据层面和算法层面两个方面进行。数据层面有四种方法：扩大数据集、数据重采样、人工数据样本和基于异常数据的监测；算法层面有三种方法：不同分类算法、对小类错分进行加权惩罚和重构分类器。其中最常用的是基于数据层面的数据重采样，数据重采样分为三种：欠采样、过采样和混合采样。本发明采用混合采样，综合使用了过采样和欠采样方法来平衡各类样本数量，在一定程度上弱化了单一使用某种采样方法的缺点，对不同样本容量的数据集都有一定的适用。本发明采用adasyn(syntheticminorityoversamplingtechnique，adasyn)算法，此算法根据数据样本分布自适应生成少数类新样本，对各种不同分布类型的数据都具有较好的适用性。其主要过程包括以下几个步骤：
[0059]
首先采用s1-1定义的训练集d1由m个样本{xi,yi},i＝1,2,
…
,m组成，其中xi是n维特征空间x的一个样本，yi∈y＝{1,-1}是xi相关联的类别标签。定义ms少数类样本数即配电站硬件参数信息，m
l
为多数类样本数即配电站电力参数信息，则ms≤m
l
，且ms+m
l
＝m。单一的过采样增加少数类样本ms的同时，增加多数类样本m
l
；单一的欠采样减少了多数类样本m
l
同时减少了少数类样本ms；因而采取混合采样，这样能够综合平衡不同类型的样本数据量，减少少数类样本和多数类样本之间的数据不平衡性。在混合采样的基础上，进一步利用adasyn算法，来处理本地数据样本的不平衡性。具体的adasyn算法流程如下：
[0060]
1、计算数据类别不平衡率d：
[0061][0062]
2、若d《d
th
，d
th
为所设置的最大不平衡率，则计算需要合成的少数类样本数量g：
[0063]
g＝(m
l-ms)
×
β
ꢀꢀꢀ
(2)
[0064]
公式(2)，参数β∈[0,1]表示处理后的数据集所求的平衡程度，β＝1表示生成了完全平衡的数据集。
[0065]
3、对于任意的少数类样本xi，根据n维空间的欧几里得距离找到k个最近邻点，并计算出比例ri：
[0066][0067]
式中δi是k个最近邻点中属于多数类的样本数量，所以ri∈[0,1]。
[0068]
4、对ri进行归一化之后r
′i：
[0069][0070]
5、计算需要为每个少数类样本xi生成的新样本数量gi：
[0071]gi
＝r
′i×gꢀꢀꢀ
(5)
[0072]
6、在每个少数类样本xi的k个最近邻点中选择一个少数类样本x
zi
，根据如下规则生成新样本si：
[0073]
si＝xi+(x
zi-xi)
×
λ
ꢀꢀꢀ
(6)
[0074]
其中λ为[0,1]的系数。
[0075]
s1-4本发明专利收集数据在s1-1划分数据集，一般而言，当输入端数据接近于“0”平均值时，深度学习算法的学习效率最佳。对于收集的数据采用最大值最小值标准化，将数据映射到[0，1]之间，标准化函数如下：
[0076][0077]
其中x
t
是t时刻的收集到的配电站的相关特征参数，x
max
是收集到的样本参数中的最大值，x
min
是是收集到的样本参数中的最小值，是t时刻收集到的配电站的相关特征参数标准化结果。
[0078]
s2：基于空洞卷积和图注意力网络，建立本地模型
[0079]
基于s1数据预处理之后，在s2中本专利需要对数据进行特征提取。对于配电站的参数信息，特征提取需要进行卷积操作，普通的卷积神经网络，感受野比较小，不适合本发明专利需要处理的参数，为了考虑到部分硬件信息特征参数，故选择空洞卷积。由于本发明专利的参数信息，为非结构数据，为了提取与时间信息相关性较高的特征参数给予更多的权重，本发明专利提出采用图注意力机制(graphattentionnetwork，gat)，它通过注意力机制来对邻居节点做聚合操作，实现对不同邻居权重的自适应分配，保留关节点的相关信息，从而提高参数的预测准确性。将gat处理过后的特征参数，输入到长短期记忆网络(longshort-termmemory，lstm)，进行时间序列的特征提取，以提高配电站故障预测的时
长，最后利用将lstm的输出至全连接层，建立联邦学习的本地模型。本地模型网络结构，如附图2所示，输入为特征向量x，空洞卷积层进行特征向量提取，图卷积层处理非结构化数据并附加权重。将处理完的数据输入到lstm网络，lstm网络输出至mlp，最终在mlp输出本地模型w
locals
。
[0080]
s2-1空洞卷积使用空洞率(dilatedfactor，df)这一参数来调整空洞卷积的大小。空洞卷积的作用既能够代替池化作用，成倍的增加感受野，让每个卷积输出都能捕获较大范围的特征信息，对较多电器的企业用户精准识别，提高特征提取作用，还不增加多余的参数量。空洞残差卷积聚合网络中的空洞卷积核如附图3所示，假设卷积核大小为3*1，步长为1，当空洞率d为1时，即填充“0”权值个数为0.由公式(8)可知第θ+1层卷积核在第θ层的映射范围长度是一样的。
[0081][0082]
其中padding为填充，kernel为卷积核，stride为步长。如果空洞率d为2，感受野即扩大到5*1。所以空洞卷积的优势就在于能够增大卷积操作时的局部感受野，且不需要引入额外参数，捕捉到更多的负荷特性信息。
[0083]
s2-2深度学习注意力机制是受到认知科学中人类对信息处理机制的启发而产生，由于信息处理能力的局限，需要选择性的关注完整信息中的某一部分，同时忽略其他部分信息，此机制大大提高了人类对信息的处理能力效率。本发明专利采用gat，通过结合注意力机制与图卷积网络，能够在更新图节点特征表示的过程中关注到邻居节点对其的影响度。鉴于gat在处理图结构数据中的优势，本发明专利使用gat对配电站参数进行建模，可以捕捉到具有依存关系的不同节点之间的相关度，有选择性地关注对配电站故障预测其重大影响作用的参数。gat在图结构化数据上运行，通过执行有掩码的自注意力机制解决了过去的基于图卷积的缺点。gat网络是通过堆叠图注意力层(graphattentionallayer)来构造的。具体而言，图注意力层通过有掩码的自注意力机制学习节点表示，图中的节点会注意邻近节点的特征，为不同邻节点学习不同的权重。该方法无需预先知道图的结构，也不涉及高成本的矩阵预算(如矩阵求逆)。
[0084]
图注意力层的输入是包含n,(1≤n≤20)个节点的特征集，输入向量为：表示向量，表示实数域。其目的是将输入特征参数变换为表达更丰富的特征，即输出一个新的节点特征集换为表达更丰富的特征，即输出一个新的节点特征集首先，对输入向量执行自注意力机制，输入向量包含s1-3采用adasyn生成的完全平衡的数据集，自注意力机制如公式(9)所示：
[0085][0086]
其中w是共享线性变换矩阵，注意力机制a是一个的
一个映射，得到的结果e
ij
意味着节点j的特征对节点i的重要程度。公式(9)考虑了图中所有节点对节点i的影响，这样就丢失了图的结构信息。因此，图注意力网络引入带有掩码的自注意力机制(maskedself-attention)，即计算注意力系数e
ij
时，仅考虑节点i的邻居节点j∈ni对其的影响，其中ni表示节点i的一阶邻居节点，对e
ij
做softmax归一化得到最后的权重，见公式(10)：
[0087][0088]
其中∑为求和符号，exp(
·
)表示e为底数的函数关系。在上述图注意力网络中，注意力机制a是一个单层前馈神经网络，参数是一个权重向量并使用leakyrelu作为非线性激活函数。如公式(11)：
[0089][0090]
其中||表示向量的链接操作，t表示转置操作，图注意力机制如附图4所示。得到节点j对节点i的影响权重α
ij
后，可以计算节点i最终的输出特征x
′i就是对ni中所有节点特征进行加权求和，如公式(12)：
[0091][0092]
其中表示输出特征x
′i就是对ni中所有节点特征进行加权求和，σ(
·
)表示sigmod激活函数，为j点的向量权重。为了使学习过程更加稳定，网络采用了多头自注意力机制，具体来说，由k个独立的注意机制执行公式(12)的转换，然后将它们的特征拼接起来或求平均，得到以下输出特征表示
[0093][0094][0095]
其中||表示向量的链接操作，σ(
·
)表示sigmod激活函数，多头在k上的权重向量，为j点的向量权重，wk为k的权重。多头图注意力层的聚合过程如附图5所示，在不同节点赋予不同的权重值，最终进行加权平均。相比于先前使用神经网络对图结构数据进行建
模的方法，gat网络具有以下优点：计算高效，自注意力层的操作可以在所有边上并行化，输出特征的计算可以在所有节点上并行化，而不需要特征分解或昂贵的矩阵运算；注意力机制及可解释性，相较于图卷积，图注意力网络允许为同一邻域的节点分配不同的重要性，大大提高了模型的学习能力；此外与机器翻译领域一样，分析图注意力权重可能会带来可解释性的好处；无需预先了解图结构，注意力机制以共享权重的方式应用于图的所有边，因此它不依赖于对全局图结构或其所有节点特征的预先了解，例如图不必是无向的，如果边j
→
i不存在，可以简单地忽略α
ij
。
[0096]
s2-3将图注意力机制处理之后的时序特征向量输入到lstm网络，基于时序的配电站特征参数需要充分利用时间和其他参数之间的相关性。lstm解决了传统的循环神经网络的梯度消失和梯度爆炸的问题，能够保留更久的时间信息。附图6中t时刻的输入信息包括当前输入值x
t
，x
t
为t时刻的输入特征向量位置信息，上一时刻的输出值h
t-1
。lstm提供了遗忘门(用f
t
表示)、输入门(用i
t
表示)和输出门(用o
t
表示)。输入门i
t
主要用于控制当前时刻信息的流入量，见公式(15)：
[0097]it
＝σ(w
ii
·
x
t
+b
ii
+w
iiht-1
+b
ii
)
ꢀꢀꢀ
(15)
[0098]
其中σ(
·
)为sigmoid激活函数，w
ii
为输入门输入值权重参数，b
ii
为输入门输入值偏置。遗忘门f
t
用于控制上一时刻累积的历史信息c
t-1
的流入量，见公式(16)：
[0099]ft
＝σ(w
if
·
x
t
+b
if
+w
hfht-1
+b
hf
)
ꢀꢀꢀ
(16)
[0100]
其中σ(
·
)表示sigmod激活函数，w
if
为遗忘门当前时刻输入值的权重参数，w
hf
为遗忘门上一时刻输入值的权重参数，b
if
为遗忘门当前时刻输入值的偏置，b
hf
为遗忘门上一时刻输入值的偏置。输出门o
t
主要用于控制当前时刻信息的流出量，见公式(17)：
[0101]ot
＝σ(w
io
x
t
+b
io
+w
hoht-1
+b
ho
)
ꢀꢀꢀ
(17)
[0102]
其中σ(
·
)表示sigmod激活函数，w
io
为输出门当前时刻输入值的权重参数，w
ho
为输出门上一时刻输入值的权重参数，b
io
为输出门当前时刻输入值的偏置，b
h0
为输出门上一时刻输入值的偏置。g
t
代表当前时刻信息的更新值，它由上一时刻的输出值h
t-1
和当前时刻的输入值x
t
决定，见公式(18)：
[0103]gt
＝tanh(w
ig
x
t
+b
ig
+w
hght-1
+b
hg
)
ꢀꢀꢀ
(18)
[0104]
其中tanh(
·
)为激活函数，w
ig
为输入门当前时刻更新值的权重参数，b
ig
为输入门当前时刻更新值的偏置，w
hg
为输出值与当前时刻更新值的权重参数，b
hg
输出值与当前时刻更新值的偏置。c
t
表示隐藏层单元携带的信息，类似于细胞的状态。它是由输入门和遗忘门控制，每一时刻都在更新并直接决定当前输出。当前时刻输出值h
t
是由输出门o
t
对c
t
进行筛选后得到的输出结果，见公式(19)和(20)：
[0105]ct
＝f
t
*c
t-1
+i
t
*g
t
ꢀꢀꢀ
(19)
[0106]ht
＝o
t
*tanhc
t
ꢀꢀꢀ
(20)
[0107]
lstm的输出可以自行设置，假设输出的数据维度同输入维度。
[0108]
s2-4上述s2-1到s2-3都完成之后，在lstm网络的输出处，我们采用一个全连接层，来将输出的信息利用支持向量机(multilayerperception，mlp)来实现，mlp为简单的输入层、隐藏层和输出层三层结构。其中输入为lstm的输出，隐藏层为100个神经元，输出的大小同输入。最终mlp的输出层为本地模型输出，至此本地模型建立完成定义为w
locals
。
[0109]
s3：服务器端进行联合训练模型
[0110]
本发明专利的目的是实现在不侵犯各个配电站数据的情况下，根据各个本地模型建立的聚合模型，来进行配电站故障预测。因而本发明专利在上述s1和s2之后，建立了本地模型进行模型的聚合，采用联邦学习进行模型的联合建立，能够有效保护各个参与方配电站涉及的数据隐私安全，同时方便将联合训练的模型用于其它配电站进行故障预测。在s1中本发明专利已经解决了，本地客户端配电站的数据类别不平衡，考虑到不同本地客户端配电站之间的数据类别不平衡，标准fedavg算法在本地客户端配电站数据类别不平衡的情况下，表现出来的模型收敛性效果较差。本专利设计一种在线抽样方法，使得每一轮通信中选取相应的设备组合后可使全局模型的各类别测试性能趋于平衡。不同类别的数据呈现严重的长尾分布，而且对于设备层次而言，极值理论也广泛成立，即由于客观限制比如地理因素、数据价值程度等，整个分类任务中某一类多数数据可能只分布于少数设备中。此外，设备选取往往具有组合性。尽管单个设备上数据存在较大的类别不平衡，但是多个设备组合后的数据类别平衡程度可以显著提高。
[0111]
为了保证模型在平衡的全局测试集上的性能，必须设计设备子集的选择算法，通过充分利用设备组合后的数据，充分发挥联邦学习中客户端配电站数据的价值。客户端配电站选择算法设计包括类别估计方案和设备选择的在线学习算法框架两个部分。
[0112]
s3-1通过上述的过程更新局部模型参数之后，上传到终端服务器中，进行聚合生成全局模型。在可信的服务器端聚合上述s2-4中生成的局部模型参数，因为本发明专利针对的是配电站故障预测数据，本地数据存在数据类别存在不平衡性，在s1中在本地端进行了类别不平衡问题。为解决不同客户端存在不同的本地数据类别不平衡，因而本发明专利在联邦学习框架上进行在服务器端为了保证模型在平衡的全局测试集上的性能，设计设备子集的选择算法，通过充分利用设备组合后的数据，充分发挥联邦学习中本地设备数据的价值。继而在此基础上，采用联邦平均fedavg算法进行模型聚合；
[0113]
s3-2服务器端类别估计算法，出于隐私保护目的，全局服务器无法直接获得设备本地数据除样本数量以外的任何统计信息。类别估计方案只需基于设备更新后传回的模型，以及全局服务器上少量的辅助数据集。估计方案的设计受文献《an improved algorithm for neural network classification of imbalanced training sets》将其拓展到多分类数据集上，训练过程中不同类别的训练数据量与相应类别上模型参数梯度更新的欧式范数的平方具有近似的比例关系，表述为公式(21)：
[0114][0115]
其中：l表示分类的损失函数；为梯度计算符号；||
·
||2表示范数计算；ms和m
l
分别表示训练集d1中第s和l类的样本数量，其中s≠l∈[c]，c表示客户端全部数据样本类别；es(
·
)表示对第s类数据的期望运算符；e
l
(
·
)表示对第l类数据的期望运算符。因此在全局数据集上设置一个辅助数据集aux，辅助数据集的规模较小且类别平衡。表示全局服务器上辅助数据集中第s类样本数量，表示全局服务器上测试数据集中第s类样本数量，则s≠l∈[c]，且s≠l∈[c]，且《表示为远远小于。因此可以利用每一
轮通信中设备传回的模以及全局服务器上的辅助数据集aux，至此建立类别估计方案。
[0116]
具体操作流程，在第t论通信中，第k个设备上本地训练结束后，传回模型到全局服务器，在全局服务器上，令在aux中每个类的个数据上进行推理，并计算模型参数梯度欧氏范数的平方如式(22)所示：
[0117][0118]
其中为赋值符号。因此，可以利用下式(23)给出设备上类别信息的一个估计方案：
[0119][0120]
其中为第k个客户端l类的梯度值，为第k个客户端s类的梯度值。归一化之后，设备k本地数据中的第c类数据比例为计算如式(24)：
[0121][0122]
对类别估计方案给出一个直观的解释。考虑二分类上类别极端不平衡的情况，例如第一类样本量占99％。模型训练中测试集上第一类样本的测试精度将远高于第二类样本，例如第一类样本上的测试精度可能高达99％。也就是说，当任意给定属于第一类的测试样本，该样本被模型分为第一类的概率极大，表现为样本的损失函数值较低。如果对该测试样本计算梯度，那么该样本梯度的欧氏范数的平方会相应较小。相反，若测试样本属于第二类，被网络错分的概率较大，表现为损失函数较大，相应地，该样本梯度的欧氏范数的平方也会较大。若从辅助数据集中等量地取每类的测试样本，则第二类的梯度会远大于第一类的梯度，并且第一和二类梯度的欧氏范数的平方比例和训练过程中类别数据的比例近似成反比。因此，可以用辅助数据集上的梯度比例，去近似估计模型训练过程中训练数据集上的类别比例。
[0123]
s3-3在联邦学习中类别不平衡的场景下，由于每一轮通信中设备子集的选取有组合性，设备选择算法基于类别估计方案，利用每轮通信中聚合后的全局模型以及当前设备上数据类别分布的统计信息，选取与全局模型各类别测试性能偏移程度最互补的设备组合。基于设备选择后，下一轮通信后，全局模型的历史训练数据中的类别比例将趋于平衡，从而在全局平衡测试集上提升性能。联邦学习模型训练下，第t轮通信中，第k个设备上训练完成后将模型传回全局服务器上的辅助数据集aux，由3-2可知，模型中训练数据的类别
比例以及上一轮聚合前的全局模型类别分布利用余弦相似度作为平衡程度的评价标准，定义选择设备k的奖励为公式(25)：
[0124][0125]
当选择完成后，进行标准fedavg中的步骤，并在训练结束且聚合完成后更新。
[0126]
s3-4本发明专利的配电站故障预测算法，序列建模环境中学习的目标是找到一个网络可以使实际结果与预测之间的预期损失最小，本发明专利采用均方误差(mse)作损失函数作为指标，即公式(26)所示：
[0127][0128]
带入后得到待优化的代价函数为公式(27)：
[0129][0130]
其中f表示含参数的函数，为代价函数的系数，y
t
为实际值。最终设定一个误差值，来确定联合建模的预测准确性。
[0131]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。