联邦学习中成员推理攻击方法及装置

1.本技术涉及机器学习技术领域，具体地，涉及一种联邦学习中成员推理攻击方法及装置。


背景技术：

2.联邦学习可以用来保护用户隐私，本质是一种分布式机器学习框架，其在保障数据隐私安全及合法合规的基础上，实现了若干个参与者数据共享，共同建模，即“数据可用不可见”的数据应用模式。在联邦学习中有若干个参与者，每个参与者拥有自己的本地训练集，在中央服务器的控制下共同训练一个模型。具体来说，每个参与者首先分别使用他们的本地数据集训练一个本地模型，然后将他们的本地模型参数上传到服务器。服务器对从参与者方接收到的本地模型参数进行聚合，使用平均聚合算法进行更新，并得到本地模型参数。每个参与者下载本地模型参数，并在其私有数据集上更新他们的本地模型参数，这个过程直到本地模型收敛。然而联邦学习模型仍然容易受到各种隐私攻击，如成员推理攻击。
3.现有的成员推理攻击算法主要可分为基于度量和基于神经网络两大类。基于度量的方法根据样本在目标模型上的输出和一定的规则计算样本的度量，然后设置相应的阈值来确定样本是否为成员，例如基于预测熵的攻击，首先计算样本的预测熵，然后设置阈值，小于阈值的被判断为成员。基于神经网络的方法是训练一个攻击模型来区分成员和非成员，攻击者将目标样本的特征输入到攻击模型中，攻击模型预测目标样本的成员概率。这两种方法都忽略了某些成员和非成员的隐含特征，对于在目标模型上表现相似的成员数据和非成员数据，攻击准确率只接近于随机猜测，无法准确区分出具有这些特征的数据。


技术实现要素：

4.为了克服现有技术中的至少一个不足，本技术实施例提供一种联邦学习中成员推理攻击方法及装置。
5.第一方面，提供一种联邦学习中成员推理攻击方法，包括：
6.确定攻击者在目标模型的训练过程中的关键轮次k；关键轮次k为成员样本和非成员样本在目标模型上表现差异最大的轮次；
7.将目标样本输入到目标模型中，获取样本特征；样本特征包括目标样本在目标模型的关键轮次k上的损失值以及在最后一个轮次上的损失值、真实标签、参数梯度和输出；
8.为目标样本在目标模型的关键轮次k上的损失值以及在最后一个轮次上的损失值分配权重；
9.将分配权重的样本特征输入到攻击模型中，输出目标样本为成员样本的概率值；
10.根据概率值判断目标样本是否为成员样本。
11.在一个实施例中，确定攻击者在目标模型的训练过程中的关键轮次k，采用以下公式：
12.13.其中，关键轮次k为δtr-δte取最大值时k的取值，δtr为训练过程关键轮次k与最后一个轮次的期望损失值的差值，δte为测试过程关键轮次k与最后一个轮次的期望损失值的差值；
[0014][0015][0016]
其中，l表示最后一个轮次，z表示样本数据，l为目标模型的损失函数，表示训练集d中的样本数据z在目标模型a轮次l上的期望损失值，表示训练集d中的样本数据z在目标模型a关键轮次k上的期望损失值，表示测试集s中的样本数据z在目标模型a轮次l上的期望损失值，是测试集s中的样本数据z在目标模型a关键轮次k上的期望损失值。
[0017]
在一个实施例中，方法还包括：
[0018]
将目标样本在目标模型的关键轮次k上的损失值以及在最后一个轮次上的损失值，输入到transformer模型中，得到目标样本在目标模型的关键轮次k上的损失值的权重，以及在最后一个轮次上的损失值的权重。
[0019]
在一个实施例中，将样本特征输入到攻击模型中，输出目标样本为成员样本的概率值，包括：
[0020]
攻击模型包括全连接神经网络组件、卷积神经网络组件和编码器；
[0021]
将目标样本在目标模型的关键轮次k上的损失值以及在最后一个轮次上的损失值、真实标签和输出，输入到全连接神经网络组件；
[0022]
将目标样本在最后一个轮次上的参数梯度输入到卷积神经网络组件；
[0023]
将全连接神经网络组件的输出和卷积神经网络组件的输出均输入到编码器，输出目标样本为成员样本的概率值。
[0024]
在一个实施例中，攻击模型的损失函数为：
[0025][0026]
其中，b表示攻击模型，z表示样本数据，d表示训练集，s表示测试集。
[0027]
第二方面，提供一种联邦学习中成员推理攻击装置，包括：
[0028]
关键轮次确定模块，用于确定攻击者在目标模型的训练过程中的关键轮次k；关键轮次k为成员样本和非成员样本在目标模型上表现差异最大的轮次；
[0029]
样本特征获取模块，用于将目标样本输入到目标模型中，获取样本特征；样本特征包括目标样本在目标模型的关键轮次k上的损失值以及在最后一个轮次上的损失值、真实标签、参数梯度和输出；
[0030]
权重分配模块，用于为目标样本在目标模型的关键轮次k上的损失值以及在最后一个轮次上的损失值分配权重；
[0031]
概率值确定模块，用于将分配权重的样本特征输入到攻击模型中，输出目标样本为成员样本的概率值；
[0032]
成员样本判断模块，用于根据概率值判断目标样本是否为成员样本。
[0033]
在一个实施例中，关键轮次确定模块，还用于：
[0034]
采用以下公式确定攻击者在目标模型的训练过程中的关键轮次k，：
[0035][0036]
其中，关键轮次k为δtr-δte取最大值时k的取值，δtr为训练过程关键轮次k与最后一个轮次的期望损失值的差值，δte为测试过程关键轮次k与最后一个轮次的期望损失值的差值；
[0037][0038][0039]
其中，l表示最后一个轮次，z表示样本数据，l为目标模型的损失函数，表示训练集d中的样本数据z在目标模型a轮次l上的期望损失值，表示训练集d中的样本数据z在目标模型a关键轮次k上的期望损失值，表示测试集s中的样本数据z在目标模型a轮次l上的期望损失值，是测试集s中的样本数据z在目标模型a关键轮次k上的期望损失值。
[0040]
在一个实施例中，还包括权重确定模块，用于：
[0041]
将目标样本在目标模型的关键轮次k上的损失值以及在最后一个轮次上的损失值，输入到transformer模型中，得到目标样本在目标模型的关键轮次k上的损失值的权重，以及在最后一个轮次上的损失值的权重。
[0042]
在一个实施例中，样本特征获取模块，用于：
[0043]
攻击模型包括全连接神经网络组件、卷积神经网络组件和编码器；
[0044]
将目标样本在目标模型的关键轮次k上的损失值以及在最后一个轮次上的损失值、真实标签和输出，输入到全连接神经网络组件；
[0045]
将目标样本在最后一个轮次上的参数梯度输入到卷积神经网络组件；
[0046]
将全连接神经网络组件的输出和卷积神经网络组件的输出均输入到编码器，输出目标样本为成员样本的概率值。
[0047]
在一个实施例中，攻击模型的损失函数为：
[0048][0049]
其中，b表示攻击模型，z表示样本数据，d表示训练集，s表示测试集。
[0050]
相对于现有技术而言，本技术具有以下有益效果：本技术通过过拟合特征感知，在目标模型训练过程中寻找一个能区分出表现相似的成员和非成员的关键轮次k，利用
transformer模型为不同的样本分配关键轮次和最后一轮的权重，提高攻击准确率。
附图说明
[0051]
本技术可以通过参考下文中结合附图所给出的描述而得到更好的理解，附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分。在附图中：
[0052]
图1示出了根据本技术实施例的联邦学习中成员推理攻击方法的流程框图；
[0053]
图2示出了根据本技术实施例的联邦学习中成员推理攻击装置的结构框图；
[0054]
图3示出了四个数据集在目标模型的各个训练时期的损失值大小对比图；其中，(a)表示cifar10-alexnet数据集在目标模型的各个训练时期的损失值大小，(b)表示cifar100-alexnet数据集在目标模型的各个训练时期的损失值大小，(c)表示purchase100-fcn数据集在目标模型的各个训练时期的损失值大小，(d)表示texas100-fcn数据集在目标模型的各个训练时期的损失值大小；
[0055]
图4示出了四个数据集中表现相似的成员和非成员在目标模型的各个训练时期上的平均损失值对比图，其中，(a)表示cifar10-alexnet数据集在目标模型的各个训练时期的平均损失值，(b)表示cifar100-alexnet数据集在目标模型的各个训练时期的平均损失值，(c)表示purchase100-fcn数据集在目标模型的各个训练时期的平均损失值，(d)表示texas100-fcn数据集在目标模型的各个训练时期的平均损失值；
[0056]
图5示出了采用本技术的方法对四个数据集的攻击准确率对比图，其中(a)表示cifar10-alexnet数据集的攻击准确率，(b)表示cifar100-alexnet数据集的攻击准确率，(c)表示purchase100-fcn数据集的攻击准确率，(d)表示texas100-fcn数据集的攻击准确率；
[0057]
图6示出了对四个数据集中表现相似的成员和非成员的攻击准确率对比图，其中，(a)表示cifar10-alexnet数据集的攻击准确率，(b)表示cifar100-alexnet数据集的攻击准确率，(c)表示purchase100-fcn数据集的攻击准确率，(d)表示texas100-fcn数据集的攻击准确率；
[0058]
图7示出了cifar10数据集中每个类上添加轮次k和不添加轮次k的攻击准确率分布图；
[0059]
图8示出了添加轮次k后cifar10数据集中各个类上成员和非成员的的梯度范数分布图；
[0060]
图9示出了添加轮次k后cifar10数据集中各个类上成员和非成员的的预测不确定性分布图。
具体实施方式
[0061]
在下文中将结合附图对本技术的示例性实施例进行描述。为了清楚和简明起见，在说明书中并未描述实际实施例的所有特征。然而，应该了解，在开发任何这种实际实施例的过程中可以做出很多特定于实施例的决定，以便实现开发人员的具体目标，并且这些决定可能会随着实施例的不同而有所改变。
[0062]
在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本技术，在附图中仅仅示出了与根据本技术的方案密切相关的装置结构，而省略了与本技术关系不大的其他
细节。
[0063]
应理解的是，本技术并不会由于如下参照附图的描述而只限于所描述的实施形式。在本文中，在可行的情况下，实施例可以相互组合、不同实施例之间的特征替换或借用、在一个实施例中省略一个或多个特征。
[0064]
成员推理攻击是一种针对模型训练集的攻击，目的是识别一个样本数据是否在目标模型的训练集中，这种攻击已被证实对各种机器学习模型都是有效的，如分类模型、生成模型；成员推理攻击可以作为一个衡量机器学习模型隐私风险的有效工具，在模型的训练阶段就可以帮助模型训练者分析模型存在的潜在隐私威胁，从而更好地设计模型，保护用户的隐私。成员推理攻击的目的是确定一个给定的样本是否在目标模型的训练数据集中。攻击者作为联邦学习的一个训练方，其目的是确定一个样本数据是否属于其余参与者的数据集。
[0065]
成员推理攻击可行的本质在于成员和非成员在目标模型上表现出的特征不同。对于表现相似的成员和非成员，现有的工作无法准确判断出目标样本的成员信息。成员推理攻击的可行性与机器学习模型的过拟合密切相关，泛化误差越大的模型，成员推理攻击的准确率越高。由于机器学习模型的过拟合，目标模型会记住其训练过的数据，当目标模型预测数据时，对其训练过的样本数据更有信心，所以目标模型会包含更多关于训练集的信息，其中目标模型的最后一轮包含的成员信息最多。因此，本技术针对表现相似的成员和非成员，通过因果分析，依据模型过拟合产生的特征，在目标模型的训练过程中，寻找能区分成员和非成员的特征，结合目标模型的最后一轮的信息，经transformer模型分配权重后，输入到攻击模型中，输出目标样本为成员样本的概率值。
[0066]
对于成员推理攻击，给定样本数据x、目标模型和攻击者的信息；攻击模型本质上是一个二元分类器，给定一个样本数据x，攻击模型的输出是一个介于0到1之间的值，将阈值设为0.5，如果输出在[0,0.5]中，则该样本数据将被判定为一个非成员，否则，该样本将被判定为一个成员。
[0067]
图1示出了根据本技术实施例的联邦学习中成员推理攻击方法的流程框图，方法包括：
[0068]
步骤s110，确定攻击者在目标模型的训练过程中的关键轮次k；关键轮次k为成员样本和非成员样本在目标模型上表现差异最大的轮次；
[0069]
该步骤中，对于目标模型，给定一个样本数据(x，y)，x是该样本数据的特征，y是真实标签，目标模型的目的找到一个f(
·
)为样本数据分配正确的标签。使用损失函数训练目标模型，对于每一个参与者，其目的是找到一个最优的f(
·
)使得损失函数最小化；关键轮次对应于在目标模型上的测试集的准确率开始趋于稳定或下降的轮次，这意味着关键轮次只有在经过若干轮次训练后才会出现，而不是前几个轮次。然而，在目标模型学习过程中，目标模型的测试集的准确性在稳定之前是波动的。因此，为了确定关键轮次，需要考虑到训练开始时的波动。该步骤中，攻击者是一个参与者，可以在训练过程中的每个阶段在其测试集上计算全局模型的准确性；关键轮次是全局模型的性能在测试集上稳定下来。因此，首先计算两个连续轮次之间的预测准确率差距。如果准确率间隙减小，从当前轮次开始后续的寻找。
[0070]
过拟合与成员推理攻击密切相关，过拟合程度越大的模型也具有较大的泛化误
差，更容易泄漏成员信息。过拟合的模型在训练集上的预测准确率大于在测试集上的预测准确率，导致目标模型包含丰富的成员信息。因此，本实施例根据过拟合的特征来确定关键轮次，当发生过拟合时，随着迭代次数的增加，训练集在目标模型上的性能逐渐优于测试集。具体来说，经过过拟合后，训练集上的预测准确率会不断提高，而测试集上的预测准确率则上升缓慢或下降。如果一个样本数据不是训练集的成员，并且该样本数据可以在最后一个时期被目标模型准确地预测，那么这个样本数据很大可能可以在关键时期以较高的概率被目标模型正确预测。样本数据在这两个时期的预测置信度将非常接近，并且这两个时期之间的损失值之差也将相对较小。但是，对于训练集中的样本数据，这两个时期的损失值差异有可能较大，因为目标模型在训练集上是持续训练的。关键轮次与目标模型的预测置信度大于非成员数据的预测置信度。该步骤的目的是找到具有这种区分能力的轮次k。
[0071]
综上，该步骤中，确定攻击者在目标模型的训练过程中的关键轮次k，可以采用以下公式：
[0072][0073]
其中，关键轮次k为δtr-δte取最大值时k的取值，δtr为训练过程关键轮次k与最后一个轮次的期望损失值的差值，δte为测试过程关键轮次k与最后一个轮次的期望损失值的差值；
[0074][0075][0076]
其中，l表示最后一个轮次，z表示样本数据，l为目标模型的损失函数，表示训练集d中的样本数据z在目标模型a轮次l上的期望损失值，表示训练集d中的样本数据z在目标模型a关键轮次k上的期望损失值，表示测试集s中的样本数据z在目标模型a轮次l上的期望损失值，是测试集s中的样本数据z在目标模型a关键轮次k上的期望损失值。
[0077]
步骤s120，将目标样本输入到目标模型中，获取样本特征；样本特征包括目标样本在目标模型的关键轮次k上的损失值以及在最后一个轮次上的损失值、真实标签、参数梯度和输出；
[0078]
该步骤中，目标样本为需要判断其为成员样本还是非成员样本的样本，攻击者作为目标模型训练的参与者，将目标样本输入到目标模型中，可以得到目标模型的所有隐藏层的输出h(x)和目标模型的最后一层的输出f(x)；基于目标模型的最后一层的输出f(x)和真实标签y，可以通过损失函数l(f(x),y)计算得到目标样本的损失值；攻击者还可以根据损失值计算反向传播中目标模型每一层的参数梯度。因此，攻击者可以获取到在每个训练轮次上的样本特征，包括关键轮次k上的损失值以及在最后一个轮次上的损失值、真实标签、参数梯度和输出。该步骤中，最后一个轮次上的参数梯度和输出，具体可以采用目标模型最后一个层的参数梯度和输出，在保证攻击效果的同时，攻击速度较快。
[0079]
步骤s130，为目标样本在目标模型的关键轮次k上的损失值以及在最后一个轮次上的损失值分配权重；
[0080]
该步骤中，在每个轮次的损失值、真实标签、参数梯度和输出中，损失值是最重要也是能最易推断样本成员信息的样本特征。因此采用transformer模型对关键轮次k和最后一轮上的损失值分配权重，将原始损失值与权重相乘，输入到攻击模型中。具体地，transformer模型为单层transformer模型，包括一个编码器和一个解码器。每个编码器都包含一个自我注意层和一个前馈神经层，transformer模型可以帮助定位当前任务的焦点区域。该实施例将基于transformer模型的注意力机制添加到攻击模型中，允许攻击模型在不同情况下关注更重要的信息。
[0081]
步骤s140，将分配权重的样本特征输入到攻击模型中，输出目标样本为成员样本的概率值；
[0082]
步骤s150，根据概率值判断目标样本是否为成员样本。
[0083]
该实施例中，通过过拟合特征感知，在目标模型训练过程中寻找一个能区分出表现相似的成员和非成员的关键轮次k，利用transformer模型为不同的样本分配关键轮次和最后一轮的权重，提高攻击准确率。
[0084]
在一个实施例中，步骤s140中，将样本特征输入到攻击模型中，输出目标样本为成员样本的概率值，包括：
[0085]
攻击模型包括全连接神经网络组件(fcn)、卷积神经网络组件(cnn)和编码器；
[0086]
该实施例中，将目标样本在目标模型的关键轮次k上的损失值以及在最后一个轮次上的损失值、真实标签和输出，输入到全连接神经网络组件；将目标样本在最后一个轮次上的参数梯度输入到卷积神经网络组件；
[0087]
将全连接神经网络组件的输出和卷积神经网络组件的输出均输入到编码器(encoder)，输出目标样本为成员样本的概率值。这里，编码器的输出是0-1之间的数字，代表攻击结果，表示目标样本为成员样本的概率值，将阈值设为0.5，若计算得到的概率值大于0.5，则判断目标样本为成员样本。
[0088]
在一个实施例中，攻击模型的损失函数为：
[0089][0090]
其中，b表示攻击模型，z表示样本数据，d表示训练集，s表示测试集。
[0091]
本实施例，对于非成员样本，使攻击模型的输出接近于0，对于成员样本，使攻击模型的输出接近于1；具体来说，损失函数可以使∑
z～d
(b(z)-1)2趋近于0，即对于成员样本，使攻击模型的输出趋近于1，将∑
z～s
(b(z))2趋近于0，即对于非成员样本，使攻击模型的输出趋近于0。
[0092]
基于与联邦学习中成员推理攻击方法相同的发明构思，本实施例还提供与之对应的联邦学习中成员推理攻击装置，图2示出了根据本技术实施例的联邦学习中成员推理攻击装置的结构框图，包括：
[0093]
关键轮次确定模块210，用于确定攻击者在目标模型的训练过程中的关键轮次k；关键轮次k为成员样本和非成员样本在目标模型上表现差异最大的轮次；
[0094]
样本特征获取模块220，用于将目标样本输入到目标模型中，获取样本特征；样本特征包括目标样本在目标模型的关键轮次k上的损失值以及在最后一个轮次上的损失值、真实标签、参数梯度和输出；
[0095]
权重分配模块230，用于为目标样本在目标模型的关键轮次k上的损失值以及在最后一个轮次上的损失值分配权重；
[0096]
概率值确定模块240，用于将分配权重的样本特征输入到攻击模型中，输出目标样本为成员样本的概率值；
[0097]
成员样本判断模块250，用于根据概率值判断目标样本是否为成员样本。
[0098]
该实施例中，通过过拟合特征感知，在目标模型训练过程中寻找一个能区分出表现相似的成员和非成员的关键轮次k，利用transformer模型为不同的样本分配关键轮次和最后一轮的权重，提高攻击准确率。
[0099]
为了验证本技术的联邦学习中成员推理攻击方法的有效性，本技术使用cifar10、cifar100、purchase100和texas100四个数据集进行实验评估；其中cifar10和cifar100数据集通常用于评估图像分类任务，purchase100数据集包含了197,324个在线客户的购物记录，texas100数据集包含了由德克萨斯州卫生服务部门发布的患者信息。
[0100]
表1为在四个数据集上现有方法对表现相似的成员和非成员的攻击准确率，实验结果表明现有方法不能准确区分出表现相似的成员和非成员，攻击准确率与随机猜测的概率(0.5)接近。
[0101]
表1表现相似的数据的攻击准确率
[0102]
数据集成员数量非成员数量攻击准确率cifar102000200050.81％cifar1002000200051.69％purchase1001000100050.25％texas10060060053.66％
[0103]
图3示出了四个数据集在目标模型的各个训练时期的损失值大小对比图，其中，(a)表示cifar10-alexnet数据集在目标模型的各个训练时期的损失值大小，(b)表示cifar100-alexnet数据集在目标模型的各个训练时期的损失值大小，(c)表示purchase100-fcn数据集在目标模型的各个训练时期的损失值大小，(d)表示texas100-fcn数据集在目标模型的各个训练时期的损失值大小。在训练阶段的前期，成员和非成员的损失值都逐渐下降。但在一定时期后，成员的损失值的下降速度明显大于非成员，这与模型的过拟合所产生的特征相一致。目标模型在训练集上持续训练，在某阶段后，目标模型在测试集上的准确率趋于稳定。
[0104]
图4示出了四个数据集中表现相似的成员和非成员在目标模型的各个训练时期上的平均损失值对比图，其中，(a)表示cifar10-alexnet数据集在目标模型的各个训练时期的平均损失值，(b)表示cifar100-alexnet数据集在目标模型的各个训练时期的平均损失值，(c)表示purchase100-fcn数据集在目标模型的各个训练时期的平均损失值，(d)表示texas100-fcn数据集在目标模型的各个训练时期的平均损失值。在cifar10数据集上，非成员在目标模型训练过程中从初期到中间某时刻损失值有较大的下降，然后缓慢减小。但是，对于成员来说，损失值从目标模型开始训练到结束训练是缓慢下降的。这意味着对于成员
和非成员，除了最后一个轮次之外，还可以在训练过程中找到可以区分成员和非成员的特征。这个能区分表现相似的成员和非成员的中间某时刻就是本技术所求关键轮次k。
[0105]
图5示出了采用本技术的方法对四个数据集的攻击准确率对比图，其中(a)表示cifar10-alexnet数据集的攻击准确率，(b)表示cifar100-alexnet数据集的攻击准确率，(c)表示purchase100-fcn数据集的攻击准确率，(d)表示texas100-fcn数据集的攻击准确率，图6示出了对四个数据集中表现相似的成员和非成员的攻击准确率对比图，其中，(a)表示cifar10-alexnet数据集的攻击准确率，(b)表示cifar100-alexnet数据集的攻击准确率，(c)表示purchase100-fcn数据集的攻击准确率，(d)表示texas100-fcn数据集的攻击准确率。为了表明轮次k与其他训练时期相比的重要性，从目标模型训练的开始到结束均匀地选择几个轮次来设置基线，将每个基线轮次与轮次k的攻击准确率进行比较。在cifar10数据集上，轮次k接近25，目标模型共训练了120个轮次，因此选择轮次[15,45,75,100]进行比较。在cifar100数据集上，轮次k接近100，目标模型共训练了700个轮次，因此选择轮次[100,200,300,400,500,600]进行比较。在purchase100上，轮次k接近90，目标模型上训练了220个轮次，因此选择轮次[10,50,130,170,210]进行比较。在texas100上，轮次k接近63，目标模型上训练了700个轮次，因此选择轮次[100,200,300,400,500,600]进行比较。从图5和图6可以看出，本方案所选择的轮次k与其他轮次相比具有最大的攻击准确率，特别是在表现相似的成员和非成员上效果更好，这证明了轮次k的有效性。
[0106]
表2为本技术的方法与现有的基于损失值和基于预测熵的方法的对比，结果表明本技术采用的基于神经网络的方法效果最好。
[0107]
表2攻击准确率对比
[0108]
数据集基于神经网络基于损失值基于预测熵cifar1071.54％70.30％70.20％cifar10081.55％79.00％79.60％purchase10063.80％62.20％61.50％texas10073.00％71.90％71.70％
[0109]
表3为四个数据集上加入注意力机制和不加注意力机制的攻击准确率对比，结果表明添加注意力机制后可以在一定程度上提高成员推理攻击准确率。
[0110]
表3有无注意力机制的攻击准确率
[0111]
数据集无注意力机制有注意力机制cifar1071.54％71.74％cifar10081.55％82.70％purchase10063.80％63.95％texas10073.00％73.56％
[0112]
图7示出了cifar10数据集中每个类上添加轮次k和不添加轮次k的攻击准确率分布图，从图中可以看出添加轮次k可以提高对每个类的攻击准确率，并且提高的幅度各有差异。为了解导致这种差异的原因，本技术研究了各类中成员和非成员的梯度范数和预测不确定性。
[0113]
图8示出了添加轮次k后cifar10数据集中各个类上成员和非成员的的梯度范数分布图。图9示出了添加轮次k后cifar10数据集中各个类上成员和非成员的的预测不确定性
分布图。从图7可以看出，在cifar10上，对第2、3、4、5类的攻击准确率最高，在图8中，第3类和第5类成员与非成员之间的梯度范数差异最大。在图9中，第2、3、4、5类成员与非成员之间的预测不确定性差异最大。可以看出，梯度范数和预测不确定性都可以作为区分成员和非成员的特征。
[0114]
为了评估目标模型哪一层的输出影响最大，使用每一层的输出单独执行攻击，而不使用梯度。表4给出了对四个数据集的攻击准确率。可以看出，仅使用最后一层的攻击准确率接近于使用所有层的输出，这意味着目标模型的最后一层的输出包含了最多的成员信息。
[0115]
为了评估哪一层的梯度对攻击的影响最大，分别使用每一层的梯度来执行攻击，而不使用输出。表5给出了对四个数据集的攻击准确率。结果与上面的相似，最后一层泄露了更多的成员信息。
[0116]
表6给出了在四个数据集上使用不同的层梯度和输出的攻击准确率。结果表明使用所有层的攻击准确率接近于只使用最后一层，从攻击效果和速度综合来看，攻击者可以只使用目标模型最后一层的信息训练攻击模型。
[0117]
表4不同层输出的攻击准确率
[0118]
输出cifar10cifar100purchase100texas100最后三层68.99％79.50％62.17％71.86％最后两层69.30％81.01％62.10％71.96％最后一层69.40％81.61％62.14％72.39％
[0119]
表5不同层梯度的攻击准确率
[0120]
梯度cifar10cifar100purchase100texas100最后三层70.29％78.51％61.32％70.66％最后两层70.39％79.45％61.62％70.85％最后一层71.52％81.50％61.75％71.06％
[0121]
表6不同层梯度和输出组合的攻击准确率
[0122]
梯度输出cifar10cifar100purchase100texas100最后一层—71.52％81.45％61.75％71.06％—最后一层69.40％81.54％62.14％72.13％最后一层最后一层71.54％81.55％63.80％73.00％
[0123]
表7显示了攻击模型使用不同训练规模时对四个数据集的攻击准确率，结果表明增大攻击模型的训练数目，可以一定程度上提高攻击准确率。
[0124]
表7训练数据大小对攻击准确率的影响
[0125]
成员数量非成员数量cifar10cifar100purchase100texas1002000200070.90％79.15％61.20％73.00％4000400070.97％81.10％63.80％—6000600071.40％81.55％——8000800071.54％81.55％——
[0126]
综上，本技术提高了攻击准确率，尤其是对于在目标模型上表现相似的成员和非
成员；利用注意机制结合关键轮次和最后轮次的特征，有助于推断不同类型样本的成员信息；通过实验分析，验证本技术的方法与现有的方法相比可以提高攻击准确率。
[0127]
以上所述，仅为本技术的各种实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。