联邦学习模型的训练数据生成和联邦学习模型训练方法与流程

本公开涉及计算机，尤其涉及一种联邦学习模型的训练数据生成和联邦学习模型训练方法。

背景技术：

1、现有的联邦学习神经网络算法主要有两种形式，一种是带有加密交互层的划分式联邦神经网络，一种是基于多方安全计算的全密文联邦神经网络。基于多方安全计算的全密文联邦神经网络安全性最高，保证训练的全过程数据一直以加密的形式存在，所有的计算操作都需要各方联合进行，但是计算过于复杂导致速度极慢，并且多方安全计算必须使用近似的方式来模拟实现神经网络的中非线性操作又带来了必然的准确性缺陷。

技术实现思路

1、本公开旨在至少在一定程度上解决相关技术中的技术问题之一。

2、为此，本公开的一个目的在于提出一种联邦学习模型的训练数据生成方法。

3、本公开的第二个目的在于提出一种联邦学习模型训练方法。

4、本公开的第三个目的在于提出一种联邦学习模型的训练数据生成装置。

5、本公开的第四个目的在于提出一种联邦学习模型训练装置。

6、本公开的第五个目的在于提出一种电子设备。

7、本公开的第六个目的在于提出一种非瞬时计算机可读存储介质。

8、为达上述目的，本公开第一方面实施方式提出了一种联邦学习模型的训练数据生成方法，包括：针对联邦模型的任一计算节点，获取所述计算节点对应的标签数据、特征数据和特征数据权重；对所述特征数据进行拆分操作以生成第一特征数据和第二特征数据，以及对所述特征数据权重进行拆分操作以生成第一特征数据权重和第二特征数据权重；将所述第一特征数据和所述第一特征数据权重进行处理，以生成第一加密特征数据，以及将所述第二特征数据和所述第二特征数据权重进行处理，以生成第二加密特征数据；通过标签模型对所述第一加密特征数据、所述第二加密特征数据和所述标签数据进行处理，以生成目标训练数据。

9、根据本公开的一个实施方式，获取所述特征数据权重，包括：获取当前的训练轮次；基于所述训练轮次，获取所述特征数据权重。

10、根据本公开的一个实施方式，所述联邦学习模型的训练数据生成方法还包括：

11、根据本公开的一个实施方式，所述基于所述训练轮次，获取所述特征数据权重，包括：响应于所述训练轮次为第一轮训练，通过特征底层模型随机分配所述特征数据权重；或者，响应于所述训练轮次为非第一轮训练，获取所有计算节点的通过优化模块反馈的优化后的第一优化权重，并基于所述第一优化权重生成所述特征数据权重，其中，所述第一优化权重为所述优化模块基于上一轮训练中对应的目标训练数据输入至顶层模型中的输出结果生成的。

12、根据本公开的一个实施方式，所述基于所述第一优化权重生成所述特征数据权重，包括：针对任一计算节点，对所述第一优化权重进行拆分操作，以拆分生成第一初始特征权重和第二初始特征权重；分别对所述第一初始特征权重和所述第二初始特征权重进行加密计算，以分别生成第一加密特征权重和第二加密特征权重，并将所述第一加密特征权重和所述第二加密特征权重发送给特征模型，并通过所述特征模型基于所有计算节点的所述第一加密特征权重和所述第二加密特征权重生成所述特征数据权重。

13、根据本公开的一个实施方式，所述通过所述特征模型基于所有计算节点的所述第一加密特征权重和所述第二加密特征权重生成所述特征数据权重，包括：针对任一计算节点，通过所述特征模型将所述计算节点的所述第一加密特征权重和所述第二加密特征权重进行相加通过所述特征模型将所述计算节点的所述第一加密特征权重和所述第二加密特征权重进行相加，以生成加密特征权重；通过所述特征模型将所有计算节点的所述加密特征权重进行相加，以生成加密特征梯度；基于所述加密特征梯度和上一轮训练中对应的历史特征数据权重，确定本轮训练中的所述特征数据权重。

14、根据本公开的一个实施方式，所述基于所述加密特征梯度和上一轮训练中对应的历史特征数据权重，确定本轮训练中的所述特征数据权重，包括：获取预设学习率；将所述预设学习率与所述加密特征梯度相乘以获取变更因子；计算所述历史特征数据权重与所述变更因子的差值，作为本轮训练中的所述特征数据权重。

15、根据本公开的一个实施方式，所述通过所述标签模型基于所述第一加密特征数据、所述第二加密特征数据和所述标签数据，生成目标训练数据，包括：获取所述标签数据的标签数据权重；将所述标签数据权重和所述标签数据进行处理，以生成目标标签数据，将所述目标标签数据、所述第一加密特征数据和所述第二加密特征数据相加，以获取所述目标训练数据。

16、根据本公开的一个实施方式，所述获取所述标签数据的标签数据权重，包括：获取当前的训练轮次；响应于所述训练轮次为第一轮训练，通过标签底层模型随机分配所述标签数据权重；或者，响应于所述训练轮次为非第一轮训练，获取所有计算节点的通过优化模块反馈的优化后的第二优化权重，并基于所述第二优化权重生成所述标签数据权重，其中，所述第二优化权重为所述优化模块基于上一轮训练中对应的目标训练数据输入至顶层模型中的输出结果生成的。

17、根据本公开的一个实施方式，所述将所述目标标签数据、所述第一加密特征数据和所述第二加密特征数据相加，以获取所述目标训练数据，包括：将所述第一加密特征数据和所述第二加密特征数据进行解密，并将解密后的数据与所述目标标签数据进行相加，以生成所述目标训练数据。

18、根据本公开的一个实施方式，所述将所述第一加密特征数据和所述第二加密特征数据发送至标签模型之前，还包括：对所述第一加密特征数据和所述第二加密特征数据分别进行一次激活函数加密。

19、为达上述目的，本公开第二方面实施例提出了一种联邦学习模型训练方法，其特征在于，包括：获取目标训练数据和初始联邦学习模型，其中，所述目标训练数据为通过如第一方面实施例所述的联邦学习模型的训练数据生成方法生成的；将所述目标训练数据输入至所述初始联邦学习模型的顶层模型中进行训练，直至训练结束，生成训练完成的目标联邦学习模型。

20、为达上述目的，本公开第三方面实施例提出了一种联邦学习模型的训练数据生成装置，包括：获取模块，用于针对联邦模型的任一计算节点，获取所述计算节点对应的标签数据、特征数据和特征数据权重；拆分模块，用于对所述特征数据进行拆分操作以生成第一特征数据和第二特征数据，以及对所述特征数据权重进行拆分操作以生成第一特征数据权重和第二特征数据权重；处理模块，用于将所述第一特征数据和所述第一特征数据权重进行处理，以生成第一加密特征数据，以及将所述第二特征数据和所述第二特征数据权重进行处理，以生成第二加密特征数据；生成模块，用于通过标签模型对所述第一加密特征数据、所述第二加密特征数据和所述标签数据进行处理，以生成目标训练数据。

21、根据本公开的一个实施方式，所述获取模块，还用于：获取当前的训练轮次；基于所述训练轮次，获取所述特征数据权重。

22、根据本公开的一个实施方式，所述获取模块，还用于：响应于所述训练轮次为第一轮训练，通过特征底层模型随机分配所述特征数据权重；或者，响应于所述训练轮次为非第一轮训练，获取所有计算节点的通过优化模块反馈的优化后的第一优化权重，并基于所述第一优化权重生成所述特征数据权重，其中，所述第一优化权重为所述优化模块基于上一轮训练中对应的目标训练数据输入至顶层模型中的输出结果生成的。

23、根据本公开的一个实施方式，所述获取模块，还用于：针对任一计算节点，对所述第一优化权重进行拆分操作，以拆分生成第一初始特征权重和第二初始特征权重；分别对所述第一初始特征权重和所述第二初始特征权重进行加密计算，以分别生成第一加密特征权重和第二加密特征权重，并将所述第一加密特征权重和所述第二加密特征权重发送给特征模型，并通过所述特征模型基于所有计算节点的所述第一加密特征权重和所述第二加密特征权重生成所述特征数据权重。

24、根据本公开的一个实施方式，所述获取模块，还用于：针对任一计算节点，通过所述特征模型将所述计算节点的所述第一加密特征权重和所述第二加密特征权重进行相加通过所述特征模型将所述计算节点的所述第一加密特征权重和所述第二加密特征权重进行相加，以生成加密特征权重；通过所述特征模型将所有计算节点的所述加密特征权重进行相加，以生成加密特征梯度；基于所述加密特征梯度和上一轮训练中对应的历史特征数据权重，确定本轮训练中的所述特征数据权重。

25、根据本公开的一个实施方式，所述获取模块，还用于：获取预设学习率；将所述预设学习率与所述加密特征梯度相乘以获取变更因子；计算所述历史特征数据权重与所述变更因子的差值，作为本轮训练中的所述特征数据权重。

26、根据本公开的一个实施方式，所述生成模块，还用于：获取所述标签数据的标签数据权重；将所述标签数据权重和所述标签数据进行处理，以生成目标标签数据，将所述目标标签数据、所述第一加密特征数据和所述第二加密特征数据相加，以获取所述目标训练数据。

27、根据本公开的一个实施方式，所述生成模块，还用于：获取当前的训练轮次；响应于所述训练轮次为第一轮训练，通过标签底层模型随机分配所述标签数据权重；或者，响应于所述训练轮次为非第一轮训练，获取所有计算节点的通过优化模块反馈的优化后的第二优化权重，并基于所述第二优化权重生成所述标签数据权重，其中，所述第二优化权重为所述优化模块基于上一轮训练中对应的目标训练数据输入至顶层模型中的输出结果生成的。

28、根据本公开的一个实施方式，所述生成模块，还用于：将所述第一加密特征数据和所述第二加密特征数据进行解密，并将解密后的数据与所述目标标签数据进行相加，以生成所述目标训练数据。

29、根据本公开的一个实施方式，所述处理模块，还还用于：对所述第一加密特征数据和所述第二加密特征数据分别进行一次激活函数加密。

30、为达上述目的，本公开第四方面实施例提出了一种联邦学习模型训练装置，其特征在于，包括：接收模块，用于获取目标训练数据和初始联邦学习模型，其中，所述目标训练数据为通过如第一方面实施例所述的联邦学习模型的训练数据生成方法生成的；训练模块，用于将所述目标训练数据输入至所述初始联邦学习模型的顶层模型中进行训练，直至训练结束，生成训练完成的目标联邦学习模型。

31、为达上述目的，本公开第五方面实施例提出了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以实现如本公开第一方面实施例所述的联邦学习模型的训练数据生成方法。

32、为达上述目的，本公开第六方面实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于实现如本公开第一方面实施例所述的联邦学习模型的训练数据生成方法。

33、由此，通过特征数据和特征数据权重进行拆分的方式进行加密，并以密文的形式发送至标签模型中与标签数据进行汇总，而标签数据以明文的形式在模型内部进行处理，以此可以保证特征数据在传输的过程中的安全性，同时相较于当前技术中的同时对特征数据和标签数据都进行加密的方法，可以降低加密数据的数量，提升计算速度和模型训练的效率，同时通过这种拆分加密的方式进行数据传输，可以提升被非法破解的难度和成本。