联邦学习模型投毒攻击检测及防御方法、装置及设备与流程

本申请涉及人工智能安全领域，尤其涉及一种联邦学习模型投毒攻击检测及防御方法、装置及设备。

背景技术：

1、随着数据隐私保护需求的日益增加，联邦学习（federated learning，简称fl）作为一种分布式学习范式的隐私保护训练解决方案应用也日益广泛。fl 允许数据所有者在中央服务器的协调下协作训练模型，通过共享本地梯度更新而不是私有的数据集来获得更好的预测性能，从而保护每个参与者的原始数据的隐私。

2、然而，fl 在其训练过程中容易受到各种模型投毒攻击，其由于采用了分布式的结构和隐私保护的本地训练范式，使得中央服务器无法验证客户端本地上传的梯度更新。因此，攻击者可以通过劫持其中的参与用户，上传恶意本地梯度更新，来破坏全局聚合模型，最终导致模型预测性能下降，从而严重危害了 fl 应用。

技术实现思路

1、有鉴于此，本申请提供一种联邦学习模型投毒攻击检测及防御方法、装置及设备。

2、具体地，本申请是通过如下技术方案实现的：

3、根据本申请实施例的第一方面，提供一种联邦学习模型投毒攻击检测及防御方法，包括：

4、获取目标客户端本轮上传的梯度；

5、在处于检测模式的情况下，依据所述目标客户端本轮上传的梯度，构造与该梯度对应的测试梯度，并将该测试梯度作为聚合梯度，下发给所述目标客户端，以使所述目标客户端对所述测试梯度进行本地更新，得到更新后的测试梯度；其中，所述梯度对应的测试梯度与所述梯度之间在方向上的角度变化小于阈值；

6、获取所述目标客户端上传的更新后的测试梯度，并依据所述测试梯度与所述更新后的测试梯度在方向上的角度变化，对所述目标客户端进行投毒攻击检测。

7、根据本申请实施例的第二方面，提供一种联邦学习模型投毒攻击检测及防御装置，包括：

8、获取单元，用于获取目标客户端本轮上传的梯度；

9、测试单元，用于在处于检测模式的情况下，依据所述目标客户端本轮上传的梯度，构造与该梯度对应的测试梯度，并将该测试梯度作为聚合梯度，下发给所述目标客户端，以使所述目标客户端对所述测试梯度进行本地更新，得到更新后的测试梯度；其中，所述梯度对应的测试梯度与所述梯度之间在方向上的角度变化小于阈值；

10、所述获取单元，还用于获取所述目标客户端上传的更新后的测试梯度；

11、检测单元，用于依据所述测试梯度与所述更新后的测试梯度在方向上的角度变化，对所述目标客户端进行投毒攻击检测。

12、根据本申请实施例的第三方面，提供一种电子设备，包括处理器和存储器，其中，

13、存储器，用于存放计算机程序；

14、处理器，用于执行存储器上所存放的程序时，实现第一方面提供的方法。

15、本申请实施例的联邦学习模型投毒攻击检测及防御方法，在处于检测模式的情况下，中心服务器可以依据目标客户端本轮上传的梯度，构造与该梯度对应的测试梯度，并将该测试梯度作为聚合梯度，下发给目标客户端；目标客户端可以对测试梯度进行本地更新，得到更新后的测试梯度，并将更新后的测试梯度上传至中心服务器；中心服务器可以依据目标客户端更新前后的测试梯度在方向上的角度变化，对目标客户端进行投毒攻击检测，实现了针对投毒攻击的自动检测；此外，通过针对每个客户端分别进行投毒攻击检测，可以有效避免将良性离群梯度判定为恶意投毒梯度，提高了投毒攻击检测的准确性和可靠性。

技术特征：

1.一种联邦学习模型投毒攻击检测及防御方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述依据所述目标客户端本轮上传的梯度，构造与该梯度对应的测试梯度，包括：

3.根据权利要求1所述的方法，其特征在于，所述依据所述测试梯度与所述更新后的测试梯度在方向上的角度变化，对所述目标客户端进行投毒攻击检测，包括：

4.根据权利要求1所述的方法，其特征在于，在每一轮检测过程中，所述方法还包括：

5.根据权利要求4所述的方法，其特征在于，所述测试梯度与所述更新后的测试梯度在方向上的角度变化通过所述测试梯度与所述更新后的测试梯度之间的余弦相似度表征；

6.根据权利要求5所述的方法，其特征在于，所述依据所述测试梯度与所述更新后的测试梯度之间的余弦相似度，以及，所述更新后的测试梯度的模长，确定所述目标客户端的梯度异常程度值，通过以下方式实现：

7.根据权利要求4所述的方法，其特征在于，所述依据所述目标客户端的梯度异常程度值，确定目标客户端的聚合权重，包括：

8.根据权利要求7所述的方法，其特征在于，所述依据所述目标客户端的梯度异常程度值对所述目标客户端的信任分数进行更新，通过以下方式实现：

9.根据权利要求8所述的方法，其特征在于，所述方法还包括：

10.一种联邦学习模型投毒攻击检测及防御装置，其特征在于，包括：

11.一种电子设备，其特征在于，包括处理器和存储器，其中，

技术总结
本申请提供一种联邦学习模型投毒攻击检测及防御方法、装置及设备，该方法包括：获取目标客户端本轮上传的梯度；在处于检测模式的情况下，依据所述目标客户端本轮上传的梯度，构造与该梯度对应的测试梯度，并将该测试梯度作为聚合梯度，下发给所述目标客户端，以使所述目标客户端对所述测试梯度进行本地更新，得到更新后的测试梯度；其中，所述梯度对应的测试梯度与所述梯度之间在方向上的角度变化小于阈值；获取所述目标客户端上传的更新后的测试梯度，并依据所述测试梯度与所述更新后的测试梯度在方向上的角度变化，对所述目标客户端进行投毒攻击检测。该方法可以提高投毒攻击检测的准确性和可靠性。

技术研发人员：王滨,闫皓楠,万里,王星,李超豪,林克章
受保护的技术使用者：杭州海康威视数字技术股份有限公司
技术研发日：
技术公布日：2024/1/15