生成对抗模型训练方法、对抗样本生成方法及相关装置

本发明涉及计算机，尤其涉及一种生成对抗模型训练方法、对抗样本生成方法及相关装置。

背景技术：

1、对抗样本是计算机视觉领域图像分类的重要分支，其旨在愚弄模型，使其分类错误；随着深度学习理论的广泛应用，现有的对抗样本生成技术可以在特征空间设计对抗扰动。

2、相关技术中，常见的对抗样本生成方法在cnn(convolutional neural networks，卷积神经网络)或者vit(vision transformer，自注意力模型)结构上对单物体图像不加区分地扰动目标模型的内部特征，其原因主要有以下两点：(1)针对多目标物体图像，不同模型的注意力变化较大；(2)cnn和vit的结构差异较大，现存的在cnn迁移性好的特征级攻击在vit中表现较差，由此导致得到的对抗样本对于多物体图像的攻击效果较差，或导致cnn与vit的攻击方法相差过大，与对抗样本生成方法在cnn或者vit结构上对单物体图像不加区分地扰动目标模型的内部特征没有区别，导致对抗样本的可迁移性差，利用该样本实现图像分类的分类效果差。

技术实现思路

1、本发明提供一种生成对抗模型训练方法、对抗样本生成方法及相关装置，用以解决现有技术采用的对抗样本生成方法在cnn或者vit结构上对单物体图像不加区分地扰动目标模型的内部特征，导致得到的对抗样本对于多物体图像的攻击效果较差，进而导致对抗样本的可迁移性差的缺陷，提高了对抗样本的可迁移性和图像分类准确性。

2、本发明提供一种生成对抗模型训练方法，包括：

3、获取多个样本图像，每个样本图像包括多个不同类别的区域；

4、基于注意力感知加权扰动机制对所述多个样本图像进行处理的，得到多个自注意力图；对所述多个样本图像进行编解码处理，得到近似注意图和原始对抗扰动；对所述多个样本图像通过vit关键区域检索，得到检索结果，所述检索结果用于表征所述vit关键区域中各子区域块的重要性；

5、根据所述近似注意图、所述原始对抗扰动和所述检索结果确定对抗损失函数；根据所述多个自注意力图和所述近似注意图确定注意力损失函数，并根据所述注意力损失函数和所述对抗损失函数确定目标损失函数；

6、根据所述目标损失函数对生成对抗模型进行训练，得到目标生成对抗模型。

7、根据本发明提供的一种生成对抗模型训练方法，所述基于注意力感知加权扰动机制对所述多个样本图像进行处理的，得到多个自注意力图包括：

8、从所述多个样本图像中提取出特征图；

9、根据以下公式计算所述特征图对应的重要性图：

10、

11、其中，x为样本图像，为第k层的第c个特征图，为中空间位置为[i，j]的神经元的激活值，m为缩小因子，为第k层的第c个特征图对真值标签t的重要性图；

12、根据如下公式计算所述重要性图对应的多个自注意力图：

13、

14、其中，为自注意力图，upsample(·)函数用于将输入向量上采样到和x相同的维度。

15、根据本发明提供的一种生成对抗模型训练方法，所述根据所述多个自注意力图和所述近似注意图确定注意力损失函数包括：

16、通过下式计算所述注意力损失函数：

17、

18、其中，lattn为所述注意力损失函数，d1(z)为所述近似注意图，为所述自注意力图，||||2为2-范数。

19、根据本发明提供的一种生成对抗模型训练方法，所述根据所述近似注意图、所述原始对抗扰动和所述检索结果确定对抗损失函数包括：

20、对所述近似注意图和所述原始对抗扰动进行注意力感知加权处理，得到第一对抗扰动；

21、对所述注意力感知加权后的扰动和所述检索结果进行注意力感知加权处理，得到第二对抗扰动，并根据第二对抗扰动确定对抗样本；

22、通过下式计算所述对抗样本对应的对抗损失函数：

23、ladv=f(xadv)[t]；

24、其中，ladv为所述对抗损失函数，xadv为所述对抗样本。

25、根据本发明提供的一种生成对抗模型训练方法，所述根据所述注意力损失函数和所述对抗损失函数确定目标损失函数包括：

26、l＝ladv-λlattn；

27、其中，l为所述目标损失函，λ为控制注意力损失和对抗损失相对大小的超参数。

28、本发明还提供一种对抗样本生成方法，包括：

29、获取待测样本；

30、将待测样本输入至目标生成对抗模型，得到所述待测样本对应的对抗样本；其中，所述目标生成对抗模型通过如所述的生成对抗模型训练方法训练得到。

31、本发明还提供一种生成对抗模型训练装置，包括：

32、样本获取模块，用于获取多个样本图像，每个样本图像包括多个不同类别的区域；

33、第一处理模块，用于基于注意力感知加权扰动机制对所述多个样本图像进行处理的，得到多个自注意力图；对所述多个样本图像进行编解码处理，得到近似注意图和原始对抗扰动；对所述多个样本图像通过vit关键区域检索，得到检索结果，所述检索结果用于表征所述vit关键区域中各子区域块的重要性；

34、第二处理模块，用于根据所述近似注意图、所述原始对抗扰动和所述检索结果确定对抗损失函数；根据所述多个自注意力图和所述近似注意图确定注意力损失函数，并根据所述注意力损失函数和所述对抗损失函数确定目标损失函数；

35、训练模块，用于根据所述目标损失函数对生成对抗模型进行训练，得到目标生成对抗模型。

36、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述方法。

37、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述方法。

38、本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述方法。

39、本发明提供的生成对抗模型训练方法、对抗样本生成方法及相关装置，通过采用注意力感知加权扰动机制、vit关键区域检索和图像编码、解码提高了对抗样本的迁移性，并采用了对抗损失对对抗样本的生成进行约束，通过注意力损失函数和对抗损失函数构造的目标损失函数对生成对抗模型进行训练，提高了对抗样本的可迁移性和后续图像分类准确性。

技术特征：

1.一种生成对抗模型训练方法，其特征在于，包括：

2.根据权利要求1所述的生成对抗模型训练方法，其特征在于，所述基于注意力感知加权扰动机制对所述多个样本图像进行处理的，得到多个自注意力图包括：

3.根据权利要求1所述的生成对抗模型训练方法，其特征在于，所述根据所述多个自注意力图和所述近似注意图确定注意力损失函数包括：

4.根据权利要求1所述的生成对抗模型训练方法，其特征在于，所述根据所述近似注意图、所述原始对抗扰动和所述检索结果确定对抗损失函数包括：

5.根据权利要求1所述的生成对抗模型训练方法，其特征在于，所述根据所述注意力损失函数和所述对抗损失函数确定目标损失函数包括：

6.一种对抗样本生成方法，其特征在于，包括：

7.一种生成对抗模型训练装置，其特征在于，包括：

8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述方法。

9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述方法。

10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述方法。

技术总结
本发明提供一种生成对抗模型训练方法、对抗样本生成方法及相关装置，该生成对抗模型训练方法包括：获取多个样本图像；基于注意力感知加权扰动机制对多个样本图像进行处理的，得到多个自注意力图；对多个样本图像进行编解码处理，得到近似注意图和原始对抗扰动；对多个样本图像通过ViT关键区域检索，得到检索结果；根据近似注意图、原始对抗扰动和检索结果确定对抗损失函数；根据多个自注意力图和近似注意图确定注意力损失函数，并根据注意力损失函数和对抗损失函数确定目标损失函数，根据目标损失函数对生成对抗模型进行训练，得到目标生成对抗模型。本发明所述方法提高了对抗样本的可迁移性和后续图像分类准确性。

技术研发人员：李琦,孙哲南,李智威
受保护的技术使用者：中国科学院自动化研究所
技术研发日：
技术公布日：2024/5/10