一种基于变分贝叶斯网络的联邦学习对抗样本检测方法

本发明涉及联邦学习，尤其是一种基于变分贝叶斯网络的联邦学习对抗样本检测方法。

背景技术：

1、联邦学习是一类分布式机器学习，但在学习过程中，各个参与对象不会共享自身的训练数据，而是每个参与方利用多个计算节点进行联合训练，最终形成一个性能较好的全局模型。联邦学习中的角色包括服务器和参与方，参与方会将训练产生的更新发送给服务器，而服务器会以某种策略将这些更新聚合，并利用聚合的结果来更新全局模型。

2、用于联邦学习的训练样本中通常包含一定数量的对抗样本。对抗样本是指在对抗攻击的作用下样本中被添加了人类感官难以察觉的微小扰动，但是全局模型学习过程中在对抗样本上和在与对抗样本对应的正常样本上所输出的判断结果不同。由于联邦学习中各个参与对象不会共享自身的训练数据，因此在全局服务器上无法直接辨别哪些训练样本是对抗样本，而需要采用一定的方法检测训练样本中的对抗样本。

3、现有对抗样本检测方法一般需要遍历整个数据集才能进行相关计算，而联邦学习系统一般有较大的数据量，遍历整个数据集而进行相关计算的时空代价都是巨大的，因此不能实现对抗样本的实时检测。且由于联邦学习中不能直接访问客户端的原始数据，因此这样的检测方法违背了联邦学习的隐私保护特性。

技术实现思路

1、有鉴于此，本发明实施例提供一种基于变分贝叶斯网络的联邦学习对抗样本检测方法。

2、本发明提供了一种基于变分贝叶斯网络的联邦学习对抗样本检测方法，包括以下步骤：

3、服务器向联邦学习的各参与对象下发训练模型；各参与对象使用本地样本对所述训练模型进行训练，得到样本空间；所述训练模型中包括用于检测对抗样本的贝叶斯子层；

4、各参与对象两两发起私密求交操作，使得各参与对象分别获得各自的样本交集；

5、服务器对各参与对象获得的样本交集进行求交，得到共有样本空间；所述共有样本空间指联邦学习中全部参与对象共有的样本交集；

6、各参与对象根据所述共有样本空间从各自的本地样本中筛选出位于所述共有样本空间内的本地样本作为目标本地样本，使用各参与对象各自的目标本地样本对所述训练模型进行训练，得到各参与对象各自的梯度信息；

7、服务器接收各参与对象发送的梯度信息，计算所述梯度信息分布密度的不确定度；

8、根据所述梯度信息分布密度的不确定度测定各参与对象本地样本中的对抗样本。

9、进一步地，在所述服务器向联邦学习的各参与对象下发训练模型步骤之前，还包括以下步骤：

10、服务器在训练模型中集成贝叶斯子层。

11、进一步地，所述联邦学习的各参与对象包括第一参与对象和第二参与对象；所述第一参与对象和第二参与对象之间的私密求交操作，具体包括以下步骤：

12、第一参与对象向第二参与对象发送私密求交请求；

13、第二参与对象生成包括公钥、大素数和私钥的秘钥；将秘钥中的公钥和大素数发送给第一参与对象；

14、第一参与对象在本地样本中添加第一随机数后，通过所述公钥和大素数加密本地样本，得到第一映射样本，将第一映射样本发送给第二参与对象；

15、第二参与对象使用私钥解密所述第一映射样本和第二参与对象的本地样本，并对第一映射样本和第二参与对象的本地样本进行盲签名，得到第一签名样本和第二签名样本，将第一签名样本和第二签名样本发送给第一参与对象；

16、第一参与对象使用公钥和大素数验证所述第一签名样本和第二签名样本后，通过第一随机数反推所述第一签名样本，得到第一样本集合；第一参与对象求得第一样本集合和第二签名样本的交集，作为第一样本空间发送给第二参与对象；

17、第一参与对象和第二参与对象分别使用公钥解密所述第一样本空间，得到第一参与对象和第二参与对象各自的样本交集。

18、进一步地，所述服务器对各参与对象获得的样本交集进行求交，得到共有样本空间之后，还包括以下步骤：

19、服务器对齐所述共有样本空间。

20、进一步地，所述计算所述梯度信息分布密度的不确定度，具体包括以下步骤：

21、寻找近似于所述梯度信息分布密度的一个贝叶斯分布，使用k-l散度表征所述梯度信息分布密度和贝叶斯分布的差异性；

22、以最小化k-l散度为目标，使用最大化证据下界表征所述最小化k-l散度；

23、基于蒙特卡洛方法对各个参与对象进行随机抽样，计算被抽样参与方梯度信息的先验概率，求取所述被抽样参与方梯度信息的先验概率平均值作为全局先验概率；

24、使用所述全局先验概率计算最大化证据下界，并求取最大化证据下界的梯度作为elbo梯度；

25、利用贝叶斯公式计算后验概率，计算所述elbo梯度的方差，略去噪声方差项后作为所述梯度信息分布密度的不确定度。

26、进一步地，所述寻找近似于所述梯度信息分布密度的一个贝叶斯分布，使用k-l散度表征所述梯度信息分布密度和贝叶斯分布的差异性，具体通过以下公式实现：

27、

28、式中，p表示梯度信息分布密度，q表示近似的变分贝叶斯分布，θ为所述训练模型贝叶斯子层的参数，w为训练模型参数，d为梯度信息数据集，eq(ω|θ)表示近似的变分贝叶斯分布的均值。

29、进一步地，所述以最小化k-l散度为目标，使用最大化证据下界表征所述最小化k-l散度，通过以下公式实现：

30、elbo＝eq(w|θ)lnp(d|w)-kl(q(w|θ)||p(w))

31、kl(q(w|θ)||p(w|d))＝-elbo+lnp(d)

32、

33、式中，elbo表示证据下界，表示最大化证据下界。

34、进一步地，所述不确定度通过如下公式计算：

35、

36、式中，u为不确定度，m为蒙特卡洛方法所抽样的样本数，xm为蒙特卡洛抽样后的数据中的一条，x为抽样后的数据。

37、进一步地，所述根据梯度信息分布密度的不确定度测定各参与对象本地样本中的对抗样本，具体包括以下步骤：

38、对各参与对象进行抽样，计算被抽样参与对象本地样本的不确定度和最大化证据下界；

39、将不确定度大于预设不确定度阈值且最大化证据下界小于预设elbo阈值的参与对象本地样本视作对抗样本。

40、进一步地，还包括以下步骤：

41、删除对抗样本数量大于预设阈值的参与对象；

42、使用剩余参与对象的梯度信息更新所述训练模型。

43、本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前面的方法。

44、本发明的实施例具有如下方面有益效果：本发明所提供一种基于变分贝叶斯网络的联邦学习对抗样本检测方法，通过减小对抗样本检测方法的计算代价，使其能够应用于联邦学习系统之中，使得在遵守联邦学习隐私保护特性的前提之下，不直接访问客户端的训练数据而实现实时的对抗样本检测。

45、本发明的附加方面和优点将在下面的描述部分中给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。