基于异构联邦学习的变压器故障分类方法及模型训练方法

本发明涉及人工智能和电力变压器故障分类，尤其是一种基于异构联邦学习的变压器故障分类方法及模型训练方法。

背景技术：

1、在现代电力系统中，变压器被广泛用于电能转换与能量传输，其可靠运行对电力系统的安全运行有着极为重要的意义。但是变压器的故障可能会对电网运行造成严重影响，甚至导致大规模停电等问题。为了提高变压器故障分类的准确性，采用人工智能技术是一种有效的方法。然而，训练人工智能模型需要大量的有标注样本，在现实场景中，由于人工标注具有高成本、耗时、需要先验知识的问题，有标注的变压器故障数据的数量有限。现有方法大都需要将来自不同变电站的数据样本收集到一个数据中心，集中训练模型。由于变压器故障数据包含高度敏感的变电站设备隐私信息，出于隐私保护的考虑，变电站往往不愿意将数据与他人共享。

2、联邦学习是一种分布式机器学习方法，允许在不共享数据的情况下对模型进行训练。传统的联邦学习要求客户端采用统一的模型，但是不同变电站的数据可能有故障类别不平衡、故障数据规模不同以及运行速度要求不同的问题，需要针对不同变电站的实际情况选择适合的深度学习算法。可见，在隐私保护的前提下，电力变压器故障分类存在异构性的问题，成为上述方法实际应用的阻碍。

技术实现思路

1、为了克服上述现有技术中现代电力系统中变压器故障分类模型训练困难的缺陷，本发明提出了一种基于异构联邦学习的变压器故障分类模型训练方法，考虑到各变电站变压器故障数据的隐私性以及故障数据分布和适用模型的异构性，对传统的联邦学习方法进行改进，提出模型分步训练方法，设计特征提取器聚合、分类器聚合机制，提高了模型故障分类的准确率和稳定性

2、本发明提出的一种基于异构联邦学习的变压器故障分类模型训练方法，包括以下步骤：

3、s1、令用于本地训练和部署变电站的变压器故障分类模型的计算机为客户端，令对各个客户端上的变压器故障分类模型进行聚合的计算器为服务端；获取各个客户端的故障数据集，故障数据集用于存储客户端对应的变电站的变压器故障数据di；对各故障数据集中的各故障数据di进行切分，以构建各个变电站的学习样本{xi,yi}；xi为故障数据di的切分数据；yi为切分数据xi的故障类别，yi的形式为独热向量；1≤i≤n，n为客户端的数量；

4、s2、各个客户端的变压器故障分类模型进行本地训练；

5、s3、服务端对各客户端的特征提取器参数进行聚合，以获取全局特征提取参数θ；服务器对各客户端的分类器参数进行加权聚合，以获取对应各客户端的聚合分类参数ω'i；

6、θ=∑ni=1[θi×dinum/∑ni=1dinum]

7、ω'i=∑nj=1(αij×ωj)

8、αij=[logθi-logθj]/[logθin-logπnk=1θk]

9、其中，dinum表示第i个客户端的故障数据集的数据量；ωj表示第j个客户端的分类器参数，αij为聚合系数，ω'i表示第i个客户端的聚合分类参数；θi表示第i个客户端的特征提取器的参数，θj表示第j个客户端的特征提取器的参数，θk表示第k个客户端的特征提取器的参数；π表示连乘；

10、s4、各客户端采用服务端下发的对应的聚合分类参数ω'i更新变压器故障分类模型的分类器；

11、s5、客户端将分类器参数更新为对应的聚合分类参数ω'i后的变压器故障分类模型记作本地模型，客户端的本地模型的特征提取器参数更新为全局特征提取参数θ后记作参照模型；

12、s6、通过对比本地模型的预测结果和参照模型的预测结果的差异在，本地的学习样本构成的训练集上训练本地模型的特征提取器；特征提取器收敛后，再在本地的学习样本构成的训练集上训练本地模型的分类器，获取分类器收敛后的本地模型作为训练完成的变压器故障分类模型；

13、s7、循环步骤s1-s6，直至参数聚合次数达到设定的聚合次数阈值。

14、优选的，s6中，第i个客户端的特征提取器的训练过程包括以下分步骤：

15、s61、从第i个客户端的学习样本中抽取q2个训练样本，将训练样本分别代入本地模型和参照模型，令本地模型对第q2个训练样本的预测结果向量记作ps,i,q2，令参照模型对第q2个训练样本的预测结果向量记作pt,i,q2；1≤q2≤q2；

16、s62、计算本地模型的损失函数lf(θi,θ,ωi)；

17、lf(θi,θ,ωi)=∑q2q2=1[-ps,i,q2×logpt,i,q2(yi,q2/pt,i,q2)λ+dkl(θi||θ)]

18、其中，yi,q2为第q2个训练样本的真实类别向量；λ为人工设置的超参数，可在区间(0,1]上取值；dkl(θi||θ)表示θi和θ的离散度；

19、s63、判断损失函数是否收敛；否，则结合损失函数lf(θi,θ,ωi)更新本地模型的特征提取器参数，然后返回步骤s61；是，则固定本地模型的特征提取器参数，然后训练本地模型的分类器。

20、优选的，s63中，令结合损失函数lf(θi,θ,ωi)更新后的本地模型的特征提取器参数更新为θ'i，

21、θ'i=θi-ηf▽(θi,lf(θi,θ,ωi))

22、其中，ηf为人工设置的超参数，▽(θi,lf(θi,θ,ωi))表示lf(θi,θ,ωi)对θi的求导。

23、优选的：

24、dkl(θi||θ)=∑gg=1[θi,g×log(θi,g/θg)]

25、其中，θi,g为θi的第g维数值，θg为θ的第g维数值，g为θi的数据维度总数。

26、优选的，s6中，第i个客户端的分类器的训练方式为：从第i个客户端的学习样本中选择训练样本，根据本地模型在训练样本上的第一损失函数更新分类器，直至本地模型收敛；

27、第一损失函数为：lce(ωi,θi)=-∑q3q'=1∑ch=1(yi,q',h×logy'i,q',h)

28、其中，c为故障类别总数，q3为分类器训练过程中每个批次迭代的训练样本数量，yi,q',h为第q'个训练样本的真实标签yi在第h个类别下的取值，y'i,q',h为本地模型预测第q'个训练样本为第h个类别的概率值。

29、优选的，s6中，令第i个客户端的本地模型中，迭代前的分类器参数记作ωi，令第i个客户端的本地模型中，迭代后的分类器参数记作ω''i；

30、则，ω''i=ωi-ηc▽(ωi,lce(ωi,θi))

31、其中，ηc为人工设置的超参数；▽(ωi,lce(ωi,θi))表示lce(ωi,θi)对ωi的求导；s6中，本地模型的分类器迭代过程中，ωi的初始化值为ω'i。

32、优选的，各客户端的学习样本的构建方式为：获取客户端对应的变电站的变压器故障数据di；设定长度为s的窗口，以步长k对故障数据di进行切分，以获取多个切分数据构建学习样本；0.25s≤k≤0.75s。

33、本发明提出的一种变压器故障分类方法，包括以下步骤：

34、sa1、首先采用所述的基于异构联邦学习的变压器故障分类模型训练方法，对各客户端的变压器故障分类模型进行联邦训练；

35、sa2、然后采集变压器的振荡数据，对振荡数据进行切片以形成切片样本，切片样本与学习样本中的数据xi等长，将切片样本输入本地的故障分类模型；

36、sa3、故障分类模型输出各切片样本对应的故障类别概率分布，故障类别概率分布中最大值对应的故障类别作为切片样本的故障诊断结果；

37、sa4、统计振荡数据切分后的所有切片样本中各故障诊断结果的出现频次，取频次最高的故障诊断结果作为当前诊断结果。

38、本发明的优点在于：

39、（1）本发明使用联邦学习框架完成变电站的变压器故障分类模型的训练，在保护变电站数据隐私的前提下，使模型达到较高的准确率。本发明将深度学习网络模型拆分为特征提取器和分类器，分别进行训练，解决了模型异构的问题。

40、（2）本发明在客户端训练过程中，分别固定特征提取器和分类器模块，降低了模型训练的偏差；使用全局特征提取参数指导各客户端的特征提取器训练，解决了异构模型特征空间不同的问题；使用分类器聚合操作，提高了模型的泛化性。