动态化公平性的隐私保护联邦深度学习方法

本发明涉及信息安全，具体涉及一种动态化公平性的隐私保护联邦深度学习方法。

背景技术：

1、联邦学习是一种很有前景的多参与方协同计算技术，它可以使多个参与者在不共享本地数据的情况下进行联合建模，协同训练多参与方用户数据，一定程度上保护了用户隐私，该技术有望在物联网领域发挥巨大潜力。

2、目前，联邦学习经常与物联网协同使用，然而目前还没有高效可靠的适用于物联网的隐私保护联邦学习技术，作为主流的隐私保护技术，同态加密支持密文同态操作，且不存在交互和准确率损失，目前，联邦学习中同态加密方案主要使用paillier,elgamal，改进的bgv(brakerski-gentry-vaikuntanathan)算法等。

3、由于物联网设备能量资源和处理单元的限制，这些密码体制不能很好地适用于物联网设备，且物联网的计算能力和通信资源有限，而联邦学习需要使用大量数据进行训练，同时训练过程交互多，因此原有密码体制无法满足联邦训练要求；另外，由于部分设备离线或退出、数据质量低、不均衡或非独立同分布(notidenticallyandindependentlydistributed,non-iid)等原因，可能导致训练结果不准确，也可能导致训练模型失效，这阻碍了物联网中多参与方联合建模的性能。

技术实现思路

1、为了解决现有问题中常规密码体制不能很好地适用于物联网设备，且由于部分设备离线或退出，数据质量低、不均衡或非独立同分布导致训练结果不准确或导致训练模型失效的问题，本发明提供一种动态化公平性的隐私保护联邦深度学习方法，边缘设备进行数据采集、数据预处理及本地模型训练后获得权重矩阵；对权重矩阵进行加密得到密文权重矩阵并发送到参数服务器；参数服务器使用联邦和优化算法计算获得安全联邦和，然后发送给边缘设备，边缘设备对密文权重矩阵的安全联邦和进行解密从而获取联邦平均矩阵；使用本地的卷积神经网络进行迭代训练获得更新后的权重并加密，然后再发送给参数服务器，经过反复训练直至输出密文权重矩阵的最优安全联邦和，获取最优联邦平均矩阵进行数据预测。本发明能够降低联邦学习的通信代价，实现用户的动态更新的同时保证用户数据质量的公平性。

2、本发明采用如下技术方案：动态化公平性的隐私保护联邦深度学习方法，应用于参数服务器和边缘设备，包括：

3、s1.初始化和加密阶段：边缘设备进行数据采集、数据预处理及本地模型训练后获得权重矩阵；利用改进的ec-elgamal密码体制对权重矩阵进行加密，将加密后得到的密文权重矩阵发送至参数服务器；

4、s2.联邦训练阶段：参数服务器从多个边缘设备中获取密文权重矩阵，使用联邦和优化算法选择高质量的密文权重矩阵计算获得安全联邦和，然后发送给边缘设备；

5、s3.解密和预测阶段：边缘设备对密文权重矩阵的安全联邦和进行解密，根据解密后的安全联邦和计算获得联邦平均矩阵；使用联邦平均矩阵在本地卷积神经网络中进行模型训练获得权重矩阵，加密权重矩阵发送给参数服务器；

6、重复步骤s2-s3，直至得到密文权重矩阵的最优安全联邦和，根据最优安全联邦和计算获得最优联邦平均矩阵，根据最优联邦平均矩阵进行数据预测。

7、进一步的，利用改进的ec-elgamal密码体制对权重矩阵进行加密的具体步骤包括：

8、边缘设备使用密钥生成算法生成私钥，依据私钥计算自己的公钥，并将公钥发送给参数服务器；

9、边缘设备利用smpc协商算法获取相同的随机数；

10、边缘设备从参数服务器获取初始权重w0后，利用机器学习算法训练边缘设备采集到的本地数据{x1，x2，...，xu}，其中，u为数据个数；经过多轮训练后得到权重矩阵wi＝(wi1，wi2，...，win)；

11、边缘设备利用改进的ec-elgamal密码体制，使用自己的公钥和随机数加密权重矩阵，得到密文权重矩阵

12、进一步的，改进的ec-elgamal密码体制包括密钥生成算法、加密算法、安全联邦和算法以及解密算法。

13、进一步的，所述密钥算法包括：给定一个基点和椭圆曲线上群的阶q，均匀随机选作为私钥，计算公钥pi＝kiq；

14、所述加密算法包括：获取n个边缘设备相应的私钥{k1,k2,...,kn}和明文{m1,m2,...,mn}，其中，明文mi∈q嵌入在点mi＝miq上，结合smpc协商算法中相同的均匀随机数计算n个边缘设备的密文；

15、所述安全联邦和算法包括：参数服务器从n个边缘设备中选择最优的t个边缘设备的的密文，其中，2≤t≤n，根据同态性质计算t个边缘设备密文的安全联邦和；

16、所述解密算法包括：参数服务器将安全联邦和发送给t个边缘设备，t个边缘设备通过smpc协商算法计算第l个边缘设备的

17、边缘设备l用kl和私钥解密csum，得到明文和msum，通过msum求出明文msum，获得平均明文mavg＝msum/t。

18、进一步的，进行所述联邦训练阶段之前，还包括用户动态更新阶段，具体包括：用户动态退出算法和用户动态加入算法；

19、用户动态退出算法：当第i*个边缘设备退出时，参数服务器接收到该边缘设备的退出信号quit，并删除该退出的边缘设备的密文权重矩阵若退出的边缘设备存在于t个边缘设备中，参数服务器计算t-1个边缘设备的安全联邦和；若退出的边缘设备不存在于t个边缘设备中，参数服务器计算t个边缘设备对应密文权重矩阵的安全联邦和；

20、用户动态加入算法：当第i*个边缘设备加入时，参数服务器收到该边缘设备的密文权重矩阵利用scp协议对第i*个边缘设备加入前所有边缘设备的密文权重矩阵进行排序，并判断最小密文权重矩阵e(wt)与第i*个边缘设备加入后的密文权重矩阵之间的大小，若大于e(wt)，参数服务器将e(wt)替换为若小于e(wt)，对参数服务器收到的密文权重矩阵不做替换。

21、进一步的，所述scp协议具体包括：

22、参数服务器从均匀随机选择r′，将r′分成ra和rb，满足r′＝ra+rb，分别对ra和rb加密得到e(ra)＝(ra+rqka,rq)和e(rb)＝(rb+rqkb,rq)；参数服务器将e(ra)和e(rb)发送给边缘设备a和边缘设备b；

23、边缘设备a收到e(ra)后，根据e(ra)的第一项ra+rqka计算ca′＝rqka+ra+rqka并将其发送给边缘设备b；

24、参与者b收到e(rb)后，根据e(rb)的第一项rb+rqkb计算cb′＝rqkb-(rb+rqkb)，收到ca′后，计算cr＝cb′-ca′并将cr发送给参数服务器；

25、利用ec-elgamal密码体制的同态性质，参数服务器计算e(r′)的第一项e(r1′)＝ra+rb+rq(ka+kb)，然后计算cc＝ca1-cb1+cr+e(r1′)＝ma-mb，通过判断cc的值是否大于零来判断边缘设备a和边缘设备b对应的密文权重矩阵的大小。

26、进一步的，所述联邦和优化算法具体包括：

27、参数服务器接收密文权重矩阵加密w1′,w2′,...,wn′得到密文权重标签其中，wi1,wi2,...,win是训练权重，w1′,w2′,...,wn′是权重标签，i∈{1,2,...,n},j∈{1,2,...,n}，wi是从边缘设备i获得的权重矩阵，wj′是参数服务器上已有的权重矩阵标签；所述权重标签通过随机梯度下降算法从最优权重或轮数阈值权重中获得；

28、参数服务器使用欧几里得距离计算训练权重wi和权重标签wj′之间的距离为：基于密文训练权重和密文权重标签，依据加法同态性质和smp协议计算然后参数服务器依据加法同态性计算距离的平方

29、参数服务器通过scp协议对密文中的距离平方进行降序排列，选择前t个记作分别对应其中a1,a2,...,at是重新排序后的公钥下标，d1,d2,...,dt是来自d2(wi,wj′)的t个最优数据的距离；

30、从n个边缘设备中找出t个最优距离的t个密文权重矩阵，参数服务器利用改进的ec-elgamal密码体制计算t个密文权重矩阵的安全联邦和e(wsum)。

31、进一步的，所述smp协议具体包括：

32、给定两个密文和smp将完成的计算，其具体流程如下；

33、参与者i用公钥pki＝pi＝kiq加密m1，得到密文然后计算d＝(m1-1)rpi和f＝rpi，并发送给参数服务器；

34、参数服务器使用公钥pki＝kiq对m2进行加密，得到密文

35、参数服务器计算具体计算公式如下：

36、

37、本发明的有益效果是：本发明提出了基于联邦和优化算法和ec-elgamal密码体制的隐私保护联邦深度学习方案，同时设计了用户动态退出和加入算法以及联邦和优化算法来实现高质量的数据应用，尽管联邦和优化算法受数据集数量的影响，其k值选择也会直接影响准确率，但本发明中通过构建改进的ec-elgamal密码体制进行加密，有效降低了通信代价，在一定程度上解决了联邦学习在物联网应用中的关键瓶颈问题，同时本方案也适用于其他联邦学习场景，支持同态性并适合于多密钥协同计算环境下联邦平均的计算。