一种安全且公平的联邦学习隐私保护聚合系统及方法

本发明涉及联邦学习，具体涉及一种安全且公平的联邦学习隐私保护聚合系统及方法。

背景技术：

1、近年来，基于联邦学习独有的隐私保护属性，将联邦学习引入物联网已经成为了解决物联网数据安全问题的一种有效途径。现有研究指出，联邦学习的分布式架构很容易遭受隐私和安全攻击。更具体的说，边缘客户端上传的梯度更新很可能遭受恶意分析者或服务器的推理攻击，从而获取用户本地数据的隐私信息。更明显的是安全攻击，特别在b2c的分布式网络应用场景中，相较于聚合服务器而言，边缘客户端设备更容易受到恶意攻击而被敌手控制，然后通过提交恶意模型更新的方式，阻碍全局模型收敛(拜占庭攻击)或产生错误的模型(中毒攻击)。

2、而针对模型中毒攻击的防御，目前主要存在三种策略：1.基于模型间的距离、相似度从局部模型集中移除出离群值。2.聚合服务器通过自身所拥有的测试集来测试接收到的模型。3.借助区块链来构建客户端的声誉系统，基于每次客户端上传模型的质量来动态调整客户端的声誉。然而，上述的三种防御策略均存在一定的问题。基于声誉评价可以达到约束良性客户端的目的，但是不能防止恶意攻击者入侵某个客户端后，直接开展模型中毒攻击影响本轮全局模型的聚合。基于服务器端模型质量检测的方案，要求聚合服务器拥有对应的测试数据集，这在许多应用场景中是不合理的。而仅基于模型距离的异常检测手段，对于拥有先验知识的敌手开展的适应性攻击而言，表现效果很差。

3、另一方面，如何保障异常模型检测算法的公平性也是一个问题。在物联网的分布式场景中，部分终端设备收集的数据可能呈现非独立同分布特点，这部分设备提交的局部模型与大多数设备提交的模型间存在显著且合理的差异。然而，现有的异常检测算法往往会忽略掉这种合理差异，移除所有的离群值，这对少数良性群体的模型而言是不公平的，也不符合使用差异化数据提升全局模型质量的初衷。因此在检测恶意模型的同时，识别并保留差异化的良好模型是有必要的。

4、由以上分析，现有的分布式跨设备(cross-device)联邦学习方案存在的主要问题有：1.难以同时满足模型隐私性和聚合安全性的需求。即便部分基于同态加密和第三方服务器辅助检测的方案满足，但它们的通信协议往往很复杂，且计算效率较低，对服务器的安全假设也较强。2.未能实现异常模型的公平性检测。基于欧式距离、余弦相似度的异常检测方案往往会在高纬时失效，且忽视了模型的多样性，对少数客户端而言不公平。

技术实现思路

1、为了解决上述现有技术中存在的问题，本发明拟提供了一种安全且公平的联邦学习隐私保护聚合系统及方法，拟解决现有的分布式跨设备联邦学习方案存在的计算效率低且对少数客户端不公平的问题。

2、一种安全且公平的联邦学习隐私保护聚合系统，包括云聚合服务器、边缘计算节点、物联网终端设备以及在m个边缘计算节点的协助下开展分布式跨设备横向联邦学习的n个训练客户端；其中，

3、云聚合服务器用于对收集到的局部模型做公平的异常检测，识别并排除恶意模型，聚合良性模型后更新全局模型，然后发送至智能终端设备。

4、边缘计算节点用于将收集到的局部模型打包后传输到匿名通信系统中，在通信层面实现模型的匿名化。

5、物联网终端设备用于收集所在局域网络中的数据，然后在本地数据集上开展模型训练得到本地模型更新，然后利用环签名技术在消息层面实现模型的匿名性，最后将本地模型更新上传到对应的边缘计算节点。

6、一种安全且公平的联邦学习隐私保护聚合方法，包括：

7、s1、初始化阶段：终端设备ci申请环签名密钥对{ski,pki}}，协商公钥加密算法}g}、哈希函数h和对称加密算法e}，边缘节点ej申请签名密钥对{skj,pkj}，m个边缘节点间建立p2p网络，云服务器公布密钥对{skm,pkm}并且将初始化模型model发送给所有终端设备；

8、s2、本地训练阶段：终端设备ci接收初始化模型model并在本地完成训练得到局部模型更新ui，将局部模型更新ui进行加密并附上环签名σi作为模型消息mi发送至边缘节点；

9、s3、匿名通信系统传输阶段：边缘节点ej收到一定数量的模型消息后生成消息集gj＝{mi|i∈sj}，其中sj为ej管理下的终端设备集，再按照匿名通信协议转发消息集到另一个边缘节点或者云服务器；

10、s4、恶意模型检测阶段：云服务器对接收到的消息集中的模型消息mi进行环签名验证，而后对模型消息进行数据降维再通过同质聚类技术进行恶意模型检测；

11、s5、全局模型更新阶段：剔除s4检测出的所有恶意模型后，聚合剩余良性模型，完成全局模型更新。

12、优选的，所述s2包括：

13、s201、终端设备ci本地模型训练后，得到模型局部更新ui，同时生成一个随机数ni，再根据云服务器的公钥pkm加密得到密文pkm(ui||ni)。

14、s202、终端设备ci随机地挑选一部分参与者的签名公钥作为公钥集r，并计算环签名

15、σi＝signring(h(ui||ni))，并发送mi＝(pkm(ui||ni),σi)作为模型消息给对应的边缘计算节点ej}。

16、优选的，所述s3中的匿名通信协议包括：

17、s301、边缘节点eα将收集到的多个mi组合成一个消息集gα＝{mi|i∈sα}，边缘节点eα将gα以(gα,skα(gα||eβ))形式转发给另外一个边缘节点eβ；

18、s302、eβ做出随机选择，即以1-p的概率向云服务器提交(gα,skγ(gα||server))，并且以p的概率转发消息(gα,skβ(gα||eγ))给另外一个边缘节点eγ；

19、s303、eγ将会以相同的概率做出决定是否提交消息(gα,skγ(gα||server))给云服务器，或者继续转发消息；

20、s304、云服务器收到消息(gα,skj(gα||server))，而后对消息集gα＝{mi|i∈sα}中的每个模型消息mi＝(pkm(ui||ni),σi)进行解密计算，再验证环签名σi的正确性以保证每一个模型消息mi确实是由合法终端设备ci产生的；环签名验证通过后，检查随机数ni，确保mi不是重复的消息。

21、优选的，所述s4包括：

22、s401、云服务器首先对接收到的所有模型消息mi＝(pkm(ui||ni),σi)做环签名验证，排除所有非法的模型消息。

23、s402、构造合法模型更新集{ui|1≤i≤n}，并做主成分分析，实现数据降维。针对降维后的数据开展微聚集，实现同质聚类。最后在每个同质类中开展恶意模型检测。

24、本发明的有益效果包括：

25、基于环签名技术和p2p网络设计了一种模型的匿名提交机制，使得模型更新具有不可连接性，从而防范云服务器开展模型推理攻击，窃取本地数据的敏感信息。然后针对明文态下的模型更新，利用主成分分析和微聚集算法实现异常模型公平性检测。安全分析表明所提方案可以真正实现模型的匿名性提交，通过不可链接性保障本地数据的隐私。实验评估证明，本发明的检测方案具备较高的恶意模型检测率，且针对少数派模型保有聚合公平性，使得全局模型可以从多样化的数据中学习知识，全局模型的质量得以提升。