一种纵向联邦学习模型的训练方法、装置及电子设备与流程

本申请涉及数据处理，尤其涉及一种纵向联邦学习模型的训练方法、装置及电子设备。

背景技术：

1、联邦学习(federated learing)是当前较为热点的机器学习技术之一，能够解决在多个数据中心参与时，如何保护各数据中心的数据安全的前提下，在虚拟“聚合”的数据之上共同训练全局模型的问题。

2、联邦学习作为隐私计算的重要技术路线之一，可以实现横向和纵向的分布式模型训练与推理。横向联邦学习可以找到行业内或上级管理/行政机构作为可信第三方进行联邦学习。而对于纵向联邦学习，如在金融、政务、医疗等跨行业的纵向多方联合预测的隐私计算应用场景，需要在没有各参与方共同相信的第三方的基础上进行分布式模型训练和模型推理。如何提高纵向联邦学习的安全性显得尤为重要。

技术实现思路

1、本申请实施例提供一种纵向联邦学习模型的训练方法、装置及电子设备，用于实现提升训练纵向联邦学习模型的安全性。

2、第一方面，本申请实施例提供一种纵向联邦学习模型的训练方法，应用于系统中的多个节点，上述方法包括：

3、按照预设的排序规则确定自身是否为本轮训练过程中用于融合密文的虚拟融合节点，和，用于解密密文的解密节点；

4、在确定自身不为虚拟融合节点的情况下，按照预设节点排序规则以及配置参数确定用于加密参数集合的公钥，采用公钥加密参数集合得到密文，并向虚拟融合节点发送密文，配置参数是采用预设的加密算法对任务号、任务时间戳以及节点个数进行计算得到的，参数集合是标准化参与纵向联邦训练的模型参数得到的；

5、在确定自身为虚拟融合节点的情况下，基于设置的融合规则对多个密文进行密文融合得到第一密文，并向解密节点发送第一密文；

6、在确定自身为解密节点的情况下，采用私钥解密第一密文得到中间参数，并向各节点发送中间参数进行下一轮模型训练。

7、可选的，上述配置参数是采用预设的加密算法对任务号、任务时间戳以及节点个数进行计算得到的，具体包括：

8、采用sm3加密算法对任务号、任务时间戳进行计算得到摘要信息；

9、将摘要信息与节点个数求模得到配置参数。

10、可选的，上述解密节点为按照排序规则确定的第i+a个节点，其中，第i个节点为虚拟融合节点，a为配置参数，a、i分别为自然数。

11、可选的，上述在确定自身为虚拟融合节点的情况下，基于设置的融合规则对多个密文进行密文融合得到第一密文，具体包括：

12、按照各节点的预设权重值对多个密文进行密文融合，得到第一密文。

13、可选的，上述向各节点发送中间参数进行下一轮模型训练，具体包括：

14、确定模型的已训练次数；

15、在已训练次数未达到设定的阈值的情况下，向各节点发送中间参数，进行下一轮模型训练。

16、可选的，上述方法还包括：

17、在已训练次数达到设定的阈值的情况下，结束纵向联邦学习模型的训练。

18、第二方面，本申请实施例提供一种纵向联邦学习模型的训练装置，包括：

19、确定模块，用于按照预设的排序规则确定自身是否为本轮训练过程中用于融合密文的虚拟融合节点，和，用于解密密文的解密节点；

20、处理模块，用于在确定自身不为虚拟融合节点的情况下，按照预设节点排序规则以及配置参数确定用于加密参数集合的公钥，采用公钥加密参数集合得到密文，配置参数是采用预设的加密算法对任务号、任务时间戳以及节点个数进行计算得到的，参数集合是标准化参与纵向联邦训练的模型参数得到的；

21、计算模块，用于在确定自身为虚拟融合节点的情况下，基于设置的融合规则对多个密文进行密文融合得到第一密文，以及在确定自身为解密节点的情况下，采用私钥解密第一密文得到中间参数；

22、收发模块，用于向虚拟融合节点发送密文、向解密节点发送第一密文，以及向各节点发送中间参数进行下一轮模型训练。

23、第三方面，本申请实施例提供了一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，当计算机程序被处理器执行时，使得处理器实现上第一方面至第二方面中的任一种纵向联邦学习模型的训练方法。

24、第四方面，本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质内存储有计算机程序，计算机程序被处理器执行时，实现第一方面至第二方面中的任一种的纵向联邦学习模型的训练方法。

25、第五方面，本申请实施例还提供了一种计算机程序产品，包括计算机程序，计算机程序被处理器执行以实现如上述第一方面至第三方面中任一种的纵向联邦学习模型的训练方法。

26、第三方面至第五方面中任意一种实现方式所带来的技术效果可参见第一方面至第二方面中对应的实现方式所带来的技术效果，此处不再赘述。

技术特征：

1.一种纵向联邦学习模型的训练方法，其特征在于，应用于系统中的多个节点，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述配置参数是采用预设的加密算法对任务号、任务时间戳以及节点个数进行计算得到的，具体包括：

3.根据权利要求1所述的方法，其特征在于，所述解密节点为按照所述排序规则确定的第i+a个节点，其中，第i个节点为所述虚拟融合节点，a为配置参数，a、i分别为自然数。

4.根据权利要求1所述的方法，其特征在于，所述在确定自身为虚拟融合节点的情况下，基于设置的融合规则对多个密文进行密文融合得到第一密文，具体包括：

5.根据权利要求1所述的方法，其特征在于，所述向所述各节点发送所述中间参数进行下一轮模型训练，具体包括：

6.根据权利要求1或5所述的方法，其特征在于，所述方法还包括：

7.一种纵向联邦学习模型的训练装置，其特征在于，包括：

8.一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-5中任一所述方法的步骤。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序用于使所述计算机执行权利要求1-5中任一所述方法的步骤。

10.一种计算机程序产品，其特征在于，所述计算机程序产品在被计算机调用时，使得所述计算机执行如权利要求1-6中任一所述方法的步骤。

技术总结
本申请涉及数据处理技术领域，尤其涉及一种纵向联邦学习模型的训练方法、装置及电子设备。该方法中，按照预设的排序规则确定自身是否为本轮训练过程中的虚拟融合节点和解密节点。在确定自身不为虚拟融合节点的情况下，按照预设节点排序规则以及配置参数确定用于加密参数集合的公钥，采用公钥加密参数集合得到密文，并向虚拟融合节点发送密文。在确定自身为虚拟融合节点的情况下，基于设置的融合规则对多个密文进行密文融合得到第一密文，并向解密节点发送第一密文。在确定自身为解密节点的情况下，采用私钥解密第一密文得到中间参数，并向各节点发送中间参数进行下一轮模型训练。上述方案，提升了纵向联邦学习模型训练的安全性。

技术研发人员：田心,张平,解军伟,王亚平,武昊,李璐璐
受保护的技术使用者：航天信息股份有限公司
技术研发日：
技术公布日：2024/2/21