一种基于联邦增量学习的工业物联网故障检测方法

本发明属于工业物联网故障检测领域，具体涉及一种基于联邦增量学习的工业物联网故障检测方法。

背景技术：

1、在工业物联网领域，联邦学习因其在数据隐私保护、提高模型泛用性等方面的出色表现，而在工业生产的实时检测、智能决策等方面实际应用需求显著增长。故障检测是工业物联网领域中重要的研究课题之一。与此同时，其需要检测的故障数据量、特征、类别都呈现出极快的增长性，故障之间的相关性也产生了越发多样的新特性。如何快速提取、学习变化的故障数据特征，并有效实现联邦聚合的同时尽可能防止参与方信息被恶意收集，这成为工业物联网故障检测中的重大挑战。

技术实现思路

1、本发明的目的在于提供一种基于联邦增量学习的工业物联网故障检测方法，围绕工业物联网中的故障检测任务，着重研究联邦训练算法在局部数据集上的收敛问题和在全局范围的效聚合问题。基于局部学习与全局聚合相互协同的思路，为工业物联网人工智能模型安全与性能提升提供技术支持。

2、为实现上述目的，本发明的技术方案是：一种基于联邦增量学习的工业物联网故障检测方法，包括如下步骤：

3、步骤1、计算数据类梯度学习权重并加噪训练局部故障检测模型；

4、步骤2、计算参与方局部故障检测模型聚合权重；

5、步骤3、加全聚合不同参与方局部故障检测模型得到全局故障检测模型。

6、在本发明一实施例中，所述步骤1实现方式为：将局部故障检测模型的故障检测准确率与已有全局故障检测模型故障检测准确率的数值表征分别抽为有序列表和根据故障检测任务特点，使用有序列表和进行知识蒸馏，计算故障数据类梯度学习权重；根据求得的数据类梯度学习权重，使部故障检测模型在训练集上对数据类进行不同梯度的传导学习，并在学习过程中加入高斯噪声。

7、在本发明一实施例中，故障数据类梯度学习权重计算方式如下：

8、step1、计算蒸馏数据类准确率

9、使用全局故障检测模型和局部故障检测模型对数据样本类的分类准确率进行数据蒸馏；计算公式如公式(1)所示：

10、

11、其中，表示蒸馏数据类准确率，λ1、λ2是类精度蒸馏中全局学习特点和局部学习特点的蒸馏权重。

12、step2、计算梯度学习权重

13、使用蒸馏数据类准确率计算局部故障检测模型联邦学习局部训练过程中数据类梯度学习权重，计算公式如公式(2)和公式(3)所示：

14、

15、

16、其中，δ分别表示数据类精度因子和区间调节偏移，精度因子由蒸馏类精度进行非线性映射得到且值域在(0，1)上；代表数据类数目；ωi、εi分别代表第i个数据类对应梯度学习权重与第i个数据类加入训练时的全局学习轮数；

17、step3、计算加噪后梯度并学习传导

18、使用opacus产生随机符合学习梯度规模的随机高斯噪声，并完成梯度裁剪和添、高斯噪声，计算得到加噪后数据类梯度；将求得加噪数据类梯度结合梯度学习权重代入局部故障检测模型的学习传导过程中。

19、在本发明一实施例中，所述步骤2实现方式为：根据参与本轮联邦训练参与方的基本信息，包括参与方当轮数据增量、参与联邦聚合总轮数，计算各参与方局部故障检测模型聚合权重；具体实现如下：

20、step1、计算参与方数据学习深度

21、使用参与方的数据增量、训练参与次数，并在整个训练过程中不断迭代的表征参数，计算参与方数据学习深度；计算公式如公式(4)所示：

22、

23、其中，分别表示本轮新增数据样本量、上一轮累计数据样本总量；代表在训练过程中不断迭代的数据学习深度；

24、step2、计算局部故障检测模型聚合权重

25、根据参与方数据学习深度，进行数据值域映射与归一化，计算局部故障检测模型聚合权重；计算公式如公式(5)与公式(6)所示：

26、

27、

28、其中，n代表本轮参与训练的参与方数目；分别表示完成数据值域映射后的第i个参与方数据学习深度、完成归一化后的第i个参与方数据学习深度，并将完成归一化后的数据学习深度作为局部故障检测模型聚合权重。

29、在本发明一实施例中，所述步骤3实现方式为：将本轮参与联邦训练参与方局部故障检测模型统一收集到中心服务器，结合参与方局部故障检测模型聚合权重，对模型参数进行加权计算，计算得到全局故障检测模型参数；加权计算具体如下：

30、step1、加权计算全局故障模型参数

31、使用各参与方局部故障检测模型对应计算得到的聚合权重，分别对局部故障检测模型参数进行加权求和计算，将计算得到的模型参数均值作为全局故障检测模型参数；计算公式如公式(7)所示：

32、

33、其中，mi、分别表示第i个参与方局部故障检测模型参数、全局故障检测模型参数。

34、相较于现有技术，本发明具有以下有益效果：本发明提出的故障检测模型完成了故障数据预处理、各参与方局部训练和全局模型聚合，并基于opacus实现了局部模型的差分隐私机制。通过与现有多种联邦增量学习模型对比确认了本文模型的有效性；并加速了局部模型在增量学习中有效高精度收敛，实现局部模型的个性化训练，并通过全局加全聚合模型有效缓解模型聚合导致的模型退化问题，并且能够加速全局模型有效收敛，保证局部模型高效收敛的同时，提高模型故障检测能力。

技术特征：

1.一种基于联邦增量学习的工业物联网故障检测方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的一种基于联邦增量学习的工业物联网故障检测方法，其特征在于，所述步骤1实现方式为：将局部故障检测模型的故障检测准确率与已有全局故障检测模型故障检测准确率的数值表征分别抽为有序列表和根据故障检测任务特点，使用有序列表和进行知识蒸馏，计算故障数据类梯度学习权重；根据求得的数据类梯度学习权重，使部故障检测模型在训练集上对数据类进行不同梯度的传导学习，并在学习过程中加入高斯噪声。

3.根据权利要求2所述的一种基于联邦增量学习的工业物联网故障检测方法，其特征在于，故障数据类梯度学习权重计算方式如下：

4.根据权利要求1所述的一种基于联邦增量学习的工业物联网故障检测方法，其特征在于，所述步骤2实现方式为：根据参与本轮联邦训练参与方的基本信息，包括参与方当轮数据增量、参与联邦聚合总轮数，计算各参与方局部故障检测模型聚合权重；具体实现如下：

5.根据权利要求1所述的一种基于联邦增量学习的工业物联网故障检测方法，其特征在于，所述步骤3实现方式为：将本轮参与联邦训练参与方局部故障检测模型统一收集到中心服务器，结合参与方局部故障检测模型聚合权重，对模型参数进行加权计算，计算得到全局故障检测模型参数；加权计算具体如下：

技术总结
本发明涉及一种基于联邦增量学习的工业物联网故障检测方法。包括对全局模型和局部模型计算出的不同数据类准确率进行知识蒸馏操作，提取模型的知识学习特征，对蒸馏后的类精度进行非线性映射，并结合当前局部数据训练程度，计算不同数据类梯度学习权重；再从不同参与方训练数据抽象得到数据学习深度，进而结合该模型的训练参与度计算本轮全局聚合中的聚合权重，并在中心服务器使用各参与方的聚合权重完成聚合训练；最终使用全局故障检测模型对工业物联网任务进行故障检测，判断是否发生故障。本发明加速了局部模型在增量学习中有效高精度收敛，实现局部模型的个性化训练，并通过全局加全聚合模型有效缓解模型聚合导致的模型退化问题。

技术研发人员：刘延华,方文昱,许贻杰,谢飞,翁武焰
受保护的技术使用者：福州大学
技术研发日：
技术公布日：2024/2/21