一种联邦学习中基于秘密共享的模型聚合方法

本发明属于人工智能安全领域。

背景技术：

1、为了能够提高机器学习的准确性，需要用到大量的数据进行训练。然而，受到各种因素的制约，不同的数据来源方无法直接共享数据进行训练，从而导致“数据孤岛”问题。为了解决该问题，联邦学习的概念被提出。在联邦学习中，不同的机构作为参与训练的客户端，可以单独在自己的本地数据集上训练模型，然后将训练得到的本地模型参数发送给中心服务器。中心服务器聚合来自不同客户端的模型参数得到中心模型，并下发给客户端。在这个过程中，客户端无需共享数据而能共同完成训练，一定程度上解决了数据孤岛以及数据隐私问题。

2、然而，客户端在上传本地模型参数时，如果不采取任何保密措施，极易导致客户端的本地模型被网络中的其他设备所获取。一些“不怀好意”的窃听者完全可以通过窃取的模型反推出用于训练的数据，从而威胁客户端的数据安全。

技术实现思路

1、技术问题：在联邦学习中，参与学习的客户端需要将每轮迭代训练出的模型参数发送给中心服务器进行聚合。然而，在传递模型的过程中，极易造成模型参数被不法分子所获取，进一步根据模型反推出客户端的训练数据，威胁其数据安全。因此，在聚合客户端的本地模型时，需要对模型参数实施一定的保护措施，使得其他方无法窃取客户端的本地模型，但同时不影响中心服务器对客户端模型进行聚合。

2、技术方案：为解决上述技术问题，本发明提供一种联邦学习中基于秘密共享的模型聚合方法，其特征在于该方法在联邦学习中聚合客户端的本地模型参数时，利用秘密共享技术，使得本地模型参数以加密的形式传输，除客户端自身以外的其他方(包括负责聚合模型的中心服务器)无从获知客户端的本地模型参数。

3、具体的，包括如下步骤：

4、步骤1，在联邦学习开始时，中心服务器选取参与下一轮迭代训练的客户端，并向所有选中的客户端下发一个初始全局模型参数；客户端在全局模型参数的基础上进行本地训练，得到新一轮的本地模型参数；

5、步骤2，

6、在每轮迭代训练中，中心服务器为每个参与本轮训练的客户端分配一个非零参数，参数的形式与客户端训练的模型参数的形式相统一并且是公开的，客户端将本轮训练出的本地模型参数构建成关于这些非零参数的秘密多项式，具体构建方法为：

7、假设参与本轮训练的客户端有n个，分别记为c1,c2…,cn，客户端集合记为中心服务器分配给客户端ci的非零参数记为xi(i＝1,2,...,n)。客户端ci构建如下n个秘密多项式：

8、

9、其中，di为客户端ci上数据集的大小，d为所有参与训练的客户端数据集大小的总和，wi是客户端ci本轮训练出的本地模型参数，γi(k)(k＝1,2,...,n-1)是客户端ci本地生成的只有自己知道的随机数。

10、步骤3，每个客户端将秘密多项式值发送给其它对应的客户端，每个客户端将所有与自身非零参数相关的多项式值相加，并将得到的和值传给中心服务器。

11、客户端ci将构建出的多项式的值分别发送给对应的客户端cj，每个客户端ci将接收到的所有客户端的多项式值相加：

12、

13、并将得到的和值vi传给中心服务器。

14、步骤4，中心服务器构建方程组，求解得到本轮训练的聚合模型参数，同时也是下一轮训练的全局模型参数。

15、中心服务器将接收到的来自所有客户端得到的和值构建如下方程组：

16、

17、中心服务器求解方程组得到的值，将其作为本轮训练得到的聚合模型参数。

18、重复步骤1至步骤4，直到达到整体的训练收敛目标。

19、有益效果：本发明充分考虑在联邦学习过程中可能存在的客户端本地模型泄露问题，提出在客户端上传本地模型给中心服务器进行聚合时，采用秘密共享的方式对模型参数进行加密传输。所提方法能够在不影响中心服务器聚合模型的同时，保证客户端的本地模型不被除自身以外的其他任意方所获知，有效保障了客户端的本地数据安全。

技术特征：

1.一种联邦学习中基于秘密共享的模型聚合方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的联邦学习中基于秘密共享的模型聚合方法，其特征在于：步骤2中：在每轮迭代训练中，中心服务器为每个参与本轮训练的客户端分配一个非零参数，参数的形式与客户端训练的模型参数的形式相统一并且是公开的，客户端将本轮训练出的本地模型参数构建成关于这些非零参数的秘密多项式，具体构建方法为：

3.根据权利要求1所述的联邦学习中基于秘密共享的模型聚合方法，其特征在于：步骤3中：客户端ci将步骤2构建出的多项式的值分别发送给对应的客户端cj，每个客户端ci将接收到的所有客户端的多项式值以及本地构建的关于自身非零参数的多项式值相加：

4.根据权利要求1所述的联邦学习中基于秘密共享的模型聚合方法，其特征在于：步骤4中：中心服务器将接收到的来自所有客户端根据步骤3得到的和值构建如下方程组：

5.根据权利要求1所述的联邦学习中基于秘密共享的模型聚合方法，其特征在于：本地模型参数以加密的形式传输，除客户端自身以外的其他方，包括负责聚合模型的中心服务器，无从获知客户端的本地模型参数。

技术总结
本发明属于人工智能安全领域，提出了一种联邦学习中基于秘密共享的模型聚合方法，包括如下步骤：步骤1，中心服务器选取参与迭代训练的客户端，并下发一个初始全局模型参数；步骤2，在每轮迭代训练中，中心服务器为每个参与本轮训练的客户端分配一个非零参数，客户端将本轮训练出的本地模型参数构建成关于这些非零参数的秘密多项式；步骤3，每个客户端将秘密多项式值发送给其它客户端，客户端将所有与自身非零参数相关的多项式值相加，并将得到的和值传给中心服务器；步骤4，中心服务器构建方程组，求解得到本轮训练的聚合模型参数。本方法能够有效防止客户端本地模型被其他方获取，降低客户端本地数据被泄露的风险。

技术研发人员：朱亚萍,王洁,王俊元
受保护的技术使用者：同济大学
技术研发日：
技术公布日：2024/1/16