基于多维指标动态识别联邦学习中的后门攻击防御方法

本发明涉及人工智能数据安全领域，具体涉及一种基于多维指标动态识别联邦学习中的后门攻击防御方法。

背景技术：

1、联邦学习是一种满足隐私保护、符合《数据安全保护法》和《个人隐私保护法》相关规定的协同式机器学习框架，但是由于无法检查合作方的数据，容易收到来自恶意参与方的后门攻击的影响。如图1所示，在联邦学习的框架下，各方都使用自己的数据进行模型的训练，只是将每次模型迭代更新的梯度等参数在公共区域进行聚合和更新，各方数据都保留在本地没有移出，不泄露隐私也不违反法规；多个参与者联合数据建立虚拟的共有模型，并且共同获益；在联邦学习的体系下，各个参与者的身份和地位平等；联邦学习的建模效果和将整个数据集放在一处建模的效果相同，或相差不大。联邦学习系统很容易受到后门的影响，后门攻击，也称为有目标的数据投毒攻击就是在特定对手选择的输入上，操纵模型走向目标行为。与无目标的数据投毒攻击相比，后门攻击更难被发现，因为它不影响模型的常规功能，其梯度与良性的更相似。因为联邦学习出于隐私考虑，中央服务器对用户本地数据和训练过程没有检查权限，使得其安全性降低从而更容易受到攻击的破坏。模型替换攻击通过单次攻击成功地将后门注入全局模型中。一些精心设计的攻击战略性地瞄准了防御的弱点，如pgd攻击缩放和投影梯度，或dba攻击在上传触发器之前分割它们。此外，edge-casepgd攻击修改了中毒的数据和模型。无疑，这些攻击对联邦学习系统的安全性提出了巨大的挑战。

2、现有的联邦学习中后门攻击的防御方法主要有以下两种：第一种是通过分类的方式将攻击者上传的梯度所剔除；第二种则是通过差分隐私的手段对联邦学习的模型添加噪声以逐渐消除后门。第一种方案的问题是无法识别比较隐蔽的后门攻击，特别是经过模型放缩后的后门攻击，同时这种方法难以应对不同的攻击策略，并且难以适应客户的数据不是独立同分布的情况；第二种方案的问题则是，添加的噪声会对模型主任务的性能产生较大影响，违背了协同训练的目的。

3、现有防御后门攻击的防御方法主要缺点有以下几点。

4、1.大多防御往往是假设特定的数据分布，例如krum防御方法通过比较每个客户模型之间的l2范数，剔除与其他模型l2范数较高的客户模型，其需要假设数据分布是独立同分布的(machine learning with adversaries：byzantine tolerant gradient descent，peva blanchard，el mahdi el mhamdi*，rachid guerraoui，julien stainer)；foolsgold防御方法则是比较客户模型与历史的余弦相似度(the limitations of federatedlearning in sybil settings，clement fung，chris j.m.yoon，ivan beschastnikh)，认为攻击者上传的模型具有一致性，而良性客户端则不具有一致性，其假设数据分布是非独立同分布的，造成适应性低；

5、2.目前很多防御会基于在向量空间中的欧氏距离去识别恶意的梯度例如krum和rfa防御算法，rfa防御算法通过各个客户端的几何中位数代替原有的平均算法，但是欧氏距离在高维空间中受到维度诅咒的影响较大，识别能力差，而神经网络又是很典型的高维空间，造成识别准确度低(robust aggregation for federated learning，krishnapillutla，sham m.

6、kakade，and zaid harchaoui)；

7、3.现有的防御大多无法防御经过模型放缩、隐蔽后门数据的攻击例如edge-casepgd攻击，而只能通过差分隐私加噪声的方法去防御例如weak-dp防御算法(can youreally backdoor federated learning，ziteng sun*，peter kairouz，ananda theerthasuresh，h.

8、brendan mcmahan)，而这样会降低模型主任务准确率，造成防御成本高。

9、4.大多后门攻击的防御策略死板单一，只能有针对性的去防御特定的攻击，难以去有效防御多种多样的攻击手段，防御效率差，例如krun和rfa通过欧式距离去防御，foolsgold通过余弦相似度去防御，很容易被攻击者进行针对性的突破；

技术实现思路

1、本发明目的在于提出基于多维指标动态识别联邦学习中的后门攻击防御方法，本发明首先引入了曼哈顿距离，在理论上它在高维空间比欧氏距离更有意义，利用曼哈顿距离，提出的基于距离的防御措施对隐蔽的后门显示出显著的性能。为了应对各种攻击，利用多种指标合作来识别恶意的梯度。此外，应用马氏距离并生成动态权重，以处理参与者的非iid分布和不同距离带来的不同尺度。最后，为每个提交的梯度计算分数，并根据分数只聚集良性的梯度。采用多维指标去动态识别联邦学习中的后门攻击，可以在保证主任务准确率及模型性能的同时，尽可能多的抵御不同的后门攻击手段，同时可以适应非独立同分布的数据分布情况，并且可以去防御隐蔽的、被攻击者精心设计后的后门攻击。

2、本发明至少通过如下技术方案之一实现。

3、基于多维指标动态识别联邦学习中的后门攻击防御方法，包括以下步骤：

4、s1、初始化联邦学习框架，定义和计算梯度特征，定义并计算每个客户端的特征值；

5、s2、使用马氏距离计算客户端动态权重和分数，按照距离分数di进行排序；

6、s3、剔除攻击梯度、聚合良性梯度并添加噪声。

7、进一步地，定义梯度的特征如下：

8、

9、

10、

11、其中，i为第i个用户，wi为第i个用户训练的本地模型，w0为上一轮聚合后并下发的全局模型；第i个用户训练的梯度特征包括曼哈顿距离欧氏距离和余弦距离用如下公式表达用户梯度特征信息：

12、x＝(xman，xeul，xcosine) (4)

13、进一步地，选用离散度作为评判一个梯度是否为异常值的依据，定义并计算每个客户的模型的特征值：

14、

15、

16、

17、其中分别为重定义的特征值，是梯度模型原有特征值，而是本轮上传的所有梯度中除以外的其他梯度。

18、进一步地，在定义梯度特征之后，用如下公式表达用户梯度的特征信息：

19、

20、其中x′(i)表示第i个客户端的离散度向量，表示在本轮选择的k个客户端中第i个客户端与其余客户端xj的在曼哈顿距离上差值的绝对值的和，以作为在该指标上的离散度，和分别为在欧氏距离和余弦距离指标上的离散度。

21、进一步地，使用马氏距离给梯度特征赋权计算动态权重和分数：

22、

23、其中∑为当轮选到参与训练的所有用户的梯度特征的矩阵的协方差矩阵，其求逆得到的逆矩阵作为该轮次的动态权重，di为通过第i个客户端的离散度向量x′(i)求得的分数，为x′(i)的转置。

24、进一步地，初始化由n个客户端组成的联邦学习框架，包括以下步骤：

25、(1)、中央服务器下发给k个参与本轮训练的客户端当轮的初始全局模型w0；

26、(2)、每个客户端利用其本地数据在本地训练模型w0，并将训练好的本地模型wi上传服务器，其中wi为第i个客户端上传的本地模型；

27、(3)、服务器接收k个训练好的本地模型。

28、进一步地，定义并计算每个客户端的特征值，包括以下步骤

29、1)、分别给第i个用户的本地模型wi计算模型向量的曼哈顿距离欧氏距离和

30、余弦距离

31、2)、分别给第i个用户的本地模型wi定义并计算其模型向量的特征向量xi＝(ximan，xieul，xicosine)；

32、3)、分别给第i个用户的本地模型wi计算模型向量的曼哈顿距离的离散度其中表示第i个用户与其他用户之间曼哈顿距离差的绝对值的和；

33、4)、分别给第i个用户的本地模型wi计算模型向量的欧氏距离离散度其中表示第i个用户与其他用户之间欧式距离差的绝对值的和；

34、5)、分别给第i个用户的本地模型wi计算模型向量的欧氏距离离散度其中表示第i个用户与其他用户之间余弦距离差的绝对值的和；

35、6)、重新定义并计算每个客户端的特征值为：

36、

37、7)、计算当轮k个客户的特征值向量组成的矩阵其中表示矩阵的转置。

38、进一步地，步骤s2，包括以下步骤：

39、s21、计算k个客户的特征值向量组成的矩阵x的协方差矩阵∑，该协方差矩阵的逆矩阵作为该轮的自适应权重矩阵；

40、s22、分别给第i个用户的本地模型wi计算其马氏距离di并作为其距离分数，其分数越低说明第i个用户的本地模型越能代表所有用户本地模型的群体；

41、s23、对所有本轮参与训练的k个客户端按照其距离分数di进行排序。

42、进一步地，步骤s3，包括以下步骤：

43、s31、剔除p个距离分数较高的用户的本地模型；

44、s32、聚合剩下的用户模型，并作为该轮联邦训练的全局模型w*；

45、s33、向全局模型w*添加差分隐私噪声；

46、s34、若轮次到达预设的联邦训练轮次则退出训练，若没到达则进行新的一轮联邦训练。

47、进一步地，向全局模型w*添加标准差为σ的差分隐私噪声并得到新的全局模型

48、与现有技术对比，本发明的有益效果是：

49、本发明的可以在满足维持主任务性能的同时，有效的识别多种后门攻击，并且不会受到数据分布性质的约束。

50、本发明使用多个不同的指标同时进行后门梯度的识别，以应对多种多样的后门攻击，实现后门攻击防御的高效率；

51、本发明通过马氏距离自适应生成的动态矩阵，在每一轮迭代中都会生成一个新的动态权重，以应对不同的数据分布造成梯度特征差异性大的问题，实现防御的高适应性；

52、本发明引入了曼哈顿距离参与识别攻击者的后门梯度，缓解了由维度诅咒带来的高维空间中识别能力差的问题，实现防御的高准确性；

53、本发明实现了对隐蔽的后门的精确识别，使得不需要通过差分隐私加噪声的手段也能防御住攻击者精心设计的、隐蔽的后门攻击，实现防御成本低。