基于视觉预训练模型的迁移对抗攻击方法及分析装置

本发明涉及对抗攻击领域，具体涉及一种基于视觉预训练模型的迁移对抗攻击方法及分析装置。

背景技术：

1、近年来，由于大型预训练模型具有卓越的特征表示能力，无论是在自然语言处理还是计算机视觉领域中，为下游任务微调一个大型预训练模型已经成为一种常见做法。按照这种预训练-微调范式，一个深度学习模型的训练过程被解耦成了两步。在预训练阶段，训练者使用传统的有监督学习方法或新兴的自监督学习方法，例如自编码器技术，训练一个通用特征表示提取器，它可以用作各种下游任务的基座模型。而在微调阶段，训练者在下游数据上对模型参数进行细微调整，使得模型能够有针对性地提升性能。在大型预训练模型的帮助下，应用开发者可以用更少的训练数据和时间训练下游模型，却能获得比从随机初始化开始训练更好的性能。

2、然而，深度神经网络dnn，包括卷积神经网络cnn和最新的视觉自注意力模型vit模型，很容易受到对抗样本的影响。所谓对抗样本是指通过某种对抗攻击方法轻微地扰动测试输入，从而欺骗dnn做出错误预测。现有的对抗攻击方法大致可以分为两类，即白盒攻击和黑盒攻击。其区别在于白盒攻击设定下，攻击者能够获取到受害者模型的所有信息，包括模型结构、参数和梯度信息等。而黑盒攻击只能通过查询目标模型来估计对抗梯度，或者利用替代模型来生成可迁移的对抗样本。基于查询的攻击通常需要对目标模型进行大量的查询，与之相比，转移攻击可以说更容易、更便宜地针对实际世界中的商业应用程序接口进行攻击。

3、现有的迁移攻击大多集中在跨模型的可迁移性上，在这种场景中替代模型是在与目标模型相同的数据集上训练的，这一范畴下的典型方法有基于动量的迭代攻击等等。需要强调的是，这类方法考虑的场景是攻击者能够获得完整的训练集和测试集，而这并不是一个非常现实的场景，因为用户会对他的私有数据进行严格的保护。在当前的预训练和微调范式下，下游模型往往是在与预训练完全不同的数据集或任务上进行微调的。这种情况为下游迁移攻击，它可以被视为跨域攻击的一种特例。在下游迁移攻击设定下，对抗者使用预训练模型生成无目标的对抗样本，然后在下游数据集上应用对抗样本，攻击模型的微调版本。

4、然而，现有的研究均基于通用对抗扰动的范式进行，没有考虑到每个样本在某个给定预训练模型中的特征表示的特性，所以攻击效果欠佳。

技术实现思路

1、本发明是为了解决上述问题而进行的，目的在于提供一种基于视觉预训练模型的迁移对抗攻击方法及分析装置。

2、本发明提供了一种基于视觉预训练模型的迁移对抗攻击方法，用于根据图片x和视觉预训练模型生成对应的最终对抗样本x'，视觉预训练模型包括顺次连接的浅层、中间层和深层，浅层、中间层和深层均分别由多个层构成，具有这样的特征，包括以下步骤：步骤s1，对图片x进行初始化，得到初始化对抗样本x0；步骤s2，根据图片x和初始化对抗样本x0对浅层的第一层进行迭代优化计算，得到第一对抗样本x*；步骤s3，根据图片x和第一对抗样本x*计算浅层的第一层的平均token余弦相似度，得到计算结果l1(x,x*)；步骤s4，判断计算结果l1(x,x*)是否小于给定阈值，若是，则将第一对抗样本x*作为最终对抗样本x'，若否，则进入步骤s5；步骤s5，根据图片x、初始化对抗样本x0和第一目标函数对中间层和深层进行迭代优化计算，得到第二对抗样本x**；步骤s6，根据图片x和第二对抗样本x**分别计算中间层和深层中各层的平均token余弦相似度，得到对应的计算结果；步骤s7，选取前n个最小的计算结果对应的层作为集合m*；步骤s8，根据图片x、初始化对抗样本x0和第二目标函数对集合m*中的各层进行迭代优化计算，得到第三对抗样本x***作为最终对抗样本x'，其中，平均token余弦相似度的计算表达式为：式中,为视觉预训练模型fθ在第k层的特征输出，为图片x在的第t个token，|t|为视觉预训练模型fθ在第k层的token集合中的token的总数，x”为图片x对应的对抗样本。

3、在本发明提供的基于视觉预训练模型的迁移对抗攻击方法中，还可以具有这样的特征：其中，第一对抗样本x*、第二对抗样本x**和第三对抗样本x***均通过对初始化对抗样本x0进行多次迭代优化计算得到，迭代优化计算的表达式为：式中η为攻击的步长，clipx,ε为输入值投影到以x为中心，以ε为半径的球面上的操作，sign为取符号操作，为计算梯度操作，xi为第i次迭代优化计算后的图片，i为自然数。

4、在本发明提供的基于视觉预训练模型的迁移对抗攻击方法中，还可以具有这样的特征：其中，在步骤s1中，初始化为在图片x上添加均匀分布的噪声，其表达式为：x0＝x+u(-ε,ε)，式中ε为攻击预算，u(-ε,ε)为(-ε,ε)的均匀分布。

5、在本发明提供的基于视觉预训练模型的迁移对抗攻击方法中，还可以具有这样的特征：其中，在步骤s5中，第一目标函数的表达式为：式中3/l为中间层中第一层的序号，l为深层中最后一层的序号。

6、在本发明提供的基于视觉预训练模型的迁移对抗攻击方法中，还可以具有这样的特征：其中，在步骤s8中，第二目标函数的表达式为：

7、本发明还提供了一种基于视觉预训练模型的迁移对抗攻击分析装置，用于对基于视觉预训练模型生成的下游模型进行分析得到对应的分析结果具有这样的特征，包括：输入模块，用于输入包含多张图片的测试数据集；存储模块，用于存储测试数据集、视觉预训练模型和下游模型，视觉预训练模型包括顺次连接的浅层、中间层和深层，浅层、中间层和深层均分别由多个层构成；对抗数据生成模块，用于根据测试数据集和视觉预训练模型生成对应的对抗数据集；分析模块，用于通过对抗数据集对下游模型进行攻击，得到攻击成功率作为分析结果，其中，对抗数据生成模块包括：初始化单元、第一对抗样本生成单元、第一相似度计算单元、判断单元、第二对抗样本生成单元、第二计算单元、层集合生成单元、第三对抗样本生成单元和对抗数据集生成单元，初始化单元用于对测试数据集的图片x进行初始化，得到初始化对抗样本x0，第一对抗样本生成单元用于根据图片x和初始化对抗样本x0对浅层的第一层进行迭代优化计算，得到第一对抗样本x*，第一计算单元用于根据图片x和第一对抗样本x*计算浅层的第一层的平均token余弦相似度，得到计算结果l1(x,x*)，判断单元用于判断计算结果l1(x,x*)是否小于给定阈值，若是，则将第一对抗样本x*作为最终对抗样本x'，若否，则控制第二对抗样本生成单元运行，第二对抗样本生成单元存储有预设的第一目标函数，用于根据图片x、初始化对抗样本x0和第一目标函数对中间层和深层进行迭代优化计算，得到第二对抗样本x**，第二计算单元用于根据图片x和第二对抗样本x**分别计算中间层和深层中各层的平均token余弦相似度，得到对应的计算结果，层集合生成单元用于选取前n个最小的计算结果对应的层作为集合m*，第三对抗样本生成单元存储有预设的第二目标函数，用于根据图片x、初始化对抗样本x0和第二目标函数对集合m*中的各层进行迭代优化计算，得到第三对抗样本x***作为最终对抗样本x'，对抗数据集生成单元用于根据测试数据集中所有图片对应的对抗样本x'构建对抗数据集，平均token余弦相似度的计算表达式为：式中,为视觉预训练模型fθ在第k层的特征输出，为图片x在的第t个token，|t|为视觉预训练模型fθ在第k层的token集合中的token的总数，x”为图片x对应的对抗样本。

8、发明的作用与效果

9、根据本发明所涉及的基于视觉预训练模型的迁移对抗攻击方法及分析装置，因为，首先，设置平均token余弦相似度来衡量对抗样本的攻击强度，结合目标函数使得在没有分类头的情况下依旧能计算得到对应的最终对抗样本；其次，根据视觉预训练模型的浅层的第一层生成第一对抗样本并进行判断，衡量其是否可以作为最终对抗样本，从而避免了后续不必要的计算资源浪费；最终，通过对中间层和深层进行统一攻击，挑选出最脆弱的n个层，再对该n个层进行统一攻击生成第三对抗样本作为最终对抗样本，节省了对每层分别进行攻击并计算n个层的时间成本，并且取得了相较于现有方法更好的对抗样本质量。所以，本发明的基于视觉预训练模型的迁移对抗攻击方法及分析装置能够在降低时间成本的同时生成高质量的最终对抗样本。