联邦模型训练方法、装置、计算机设备和存储介质与流程

本技术涉及人工智能，特别是涉及一种联邦模型训练方法、装置、计算机设备、存储介质和计算机程序产品。

背景技术：

1、随着人工智能技术的发展，出现了联邦机器学习技术，联邦机器学习是一个机器学习框架，能有效帮助多个机构在满足用户隐私保护、数据安全和政府法规的要求下，进行数据使用和机器学习建模。目前，联邦机器学习的实现方案通常是纵向联邦实现方案，纵向联邦实现方案通常需要无标签参与方将底层模型的输出加密传递给有标签参与方来进行联邦模型的训练。然而，无标签的参与方将底层模型的输出传递给有标签的参与方，即无标签参与方的模型神经元会暴露给有标签参与方，会存在信息泄露的风险，导致训练的安全性降低。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种能够提高训练安全性的联邦模型训练方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

2、第一方面，本技术提供了一种联邦模型训练方法，应用于第一设备，第一设备中包括第一对齐样本，包括：

3、提取第一对齐样本对应的第一样本特征，并获取第二设备发送的第二样本特征，第二样本特征是第二设备对第二对齐样本进行特征提取并进行同态加密得到的，第二设备中包括第二对齐样本和训练标签；

4、基于第一样本特征、第二样本特征、第一交互参数和第二交互参数进行特征融合，得到融合特征，并将融合特征发送第二设备，第一交互参数和第二交互参数是初始化得到的；

5、获取第二设备返回的目标梯度和参数更新梯度，目标梯度是第二设备按照融合特征进行前向传播并按照训练标签进行反向传播计算得到的，参数更新梯度是第二设备基于目标梯度和第二样本特征进行梯度计算得到的；

6、按照参数更新梯度对第二交互参数进行更新，得到第二更新参数，按照第二交互参数对目标梯度进行更新，得到第二交互梯度，将第二交互梯度返回第二设备，第二设备按照第二交互梯度进行反向传播；

7、按照第一交互参数对目标梯度进行更新，得到第一交互梯度，按照第一交互梯度进行反向传播并进行循环迭代，直到达到训练完成条件时，得到目标联邦模型。

8、第二方面，本技术还提供了一种联邦模型训练装置，应用于第一设备，第一设备中包括第一对齐样本，包括：

9、特征提取模块，用于提取第一对齐样本对应的第一样本特征，并获取第二设备发送的第二样本特征，第二样本特征是第二设备对第二对齐样本进行特征提取并进行同态加密得到的，第二设备中包括第二对齐样本和训练标签；

10、特征融合模块，用于基于第一样本特征、第二样本特征、第一交互参数和第二交互参数进行特征融合，得到融合特征，并将融合特征发送第二设备，第一交互参数和第二交互参数是初始化得到的；

11、梯度获取模块，用于获取第二设备返回的目标梯度和参数更新梯度，目标梯度是第二设备按照融合特征进行前向传播并按照训练标签进行反向传播计算得到的，参数更新梯度是第二设备基于目标梯度和第二样本特征进行梯度计算得到的；

12、更新模块，用于按照参数更新梯度对第二交互参数进行更新，得到第二更新参数，按照第二交互参数对目标梯度进行更新，得到第二交互梯度，将第二交互梯度返回第二设备，第二设备按照第二交互梯度进行反向传播；

13、迭代模块，用于按照第一交互参数对目标梯度进行更新，得到第一交互梯度，按照第一交互梯度进行反向传播并进行循环迭代，直到达到训练完成条件时，得到目标联邦模型。

14、第三方面，本技术还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

15、提取第一对齐样本对应的第一样本特征，并获取第二设备发送的第二样本特征，第二样本特征是第二设备对第二对齐样本进行特征提取并进行同态加密得到的，第二设备中包括第二对齐样本和训练标签；

16、基于第一样本特征、第二样本特征、第一交互参数和第二交互参数进行特征融合，得到融合特征，并将融合特征发送第二设备，第一交互参数和第二交互参数是初始化得到的；

17、获取第二设备返回的目标梯度和参数更新梯度，目标梯度是第二设备按照融合特征进行前向传播并按照训练标签进行反向传播计算得到的，参数更新梯度是第二设备基于目标梯度和第二样本特征进行梯度计算得到的；

18、按照参数更新梯度对第二交互参数进行更新，得到第二更新参数，按照第二交互参数对目标梯度进行更新，得到第二交互梯度，将第二交互梯度返回第二设备，第二设备按照第二交互梯度进行反向传播；

19、按照第一交互参数对目标梯度进行更新，得到第一交互梯度，按照第一交互梯度进行反向传播并进行循环迭代，直到达到训练完成条件时，得到目标联邦模型。

20、第四方面，本技术还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

21、提取第一对齐样本对应的第一样本特征，并获取第二设备发送的第二样本特征，第二样本特征是第二设备对第二对齐样本进行特征提取并进行同态加密得到的，第二设备中包括第二对齐样本和训练标签；

22、基于第一样本特征、第二样本特征、第一交互参数和第二交互参数进行特征融合，得到融合特征，并将融合特征发送第二设备，第一交互参数和第二交互参数是初始化得到的；

23、获取第二设备返回的目标梯度和参数更新梯度，目标梯度是第二设备按照融合特征进行前向传播并按照训练标签进行反向传播计算得到的，参数更新梯度是第二设备基于目标梯度和第二样本特征进行梯度计算得到的；

24、按照参数更新梯度对第二交互参数进行更新，得到第二更新参数，按照第二交互参数对目标梯度进行更新，得到第二交互梯度，将第二交互梯度返回第二设备，第二设备按照第二交互梯度进行反向传播；

25、按照第一交互参数对目标梯度进行更新，得到第一交互梯度，按照第一交互梯度进行反向传播并进行循环迭代，直到达到训练完成条件时，得到目标联邦模型。

26、第五方面，本技术还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：

27、提取第一对齐样本对应的第一样本特征，并获取第二设备发送的第二样本特征，第二样本特征是第二设备对第二对齐样本进行特征提取并进行同态加密得到的，第二设备中包括第二对齐样本和训练标签；

28、基于第一样本特征、第二样本特征、第一交互参数和第二交互参数进行特征融合，得到融合特征，并将融合特征发送第二设备，第一交互参数和第二交互参数是初始化得到的；

29、获取第二设备返回的目标梯度和参数更新梯度，目标梯度是第二设备按照融合特征进行前向传播并按照训练标签进行反向传播计算得到的，参数更新梯度是第二设备基于目标梯度和第二样本特征进行梯度计算得到的；

30、按照参数更新梯度对第二交互参数进行更新，得到第二更新参数，按照第二交互参数对目标梯度进行更新，得到第二交互梯度，将第二交互梯度返回第二设备，第二设备按照第二交互梯度进行反向传播；

31、按照第一交互参数对目标梯度进行更新，得到第一交互梯度，按照第一交互梯度进行反向传播并进行循环迭代，直到达到训练完成条件时，得到目标联邦模型。

32、上述联邦模型训练方法、装置、计算机设备、存储介质和计算机程序产品，通过在第一设备中提取第一对齐样本对应的第一样本特征，并获取第二设备发送的第二样本特征，然后基于第一样本特征、第二样本特征、第一交互参数和第二交互参数进行特征融合，得到融合特征，并将融合特征发送第二设备。然后第一设备获取第二设备返回的目标梯度和参数更新梯度，并按照参数更新梯度对第二交互参数进行更新，得到第二更新参数，按照第二交互参数对目标梯度进行更新，得到第二交互梯度，将第二交互梯度返回第二设备。最后给第一设备按照第一交互参数对目标梯度进行更新，得到第一交互梯度，按照第一交互梯度进行反向传播并进行循环迭代，直到达到训练完成条件时，得到目标联邦模型。即通过在无训练标签的第一设备中进行特征融合，避免暴露模型神经元给有训练标签的第二设备，并且，在训练过程中第二设备无法获取到第一交互参数和第二交互参数，从而无法反推出第一设备中的任何信息，从而避免了信息泄露，提高了训练的安全性。