一种基于联合标签平滑的对抗训练方法与流程

本发明涉及一种基于联合标签平滑的对抗训练方法，属于人工智能。

背景技术：

1、深度学习作为人工智能领域一项重要技术，近几年在智慧医疗、智慧交通、智慧安防等领域上得到广泛应用，同时也取得巨大成功。然而，通过向样本中加入特定的扰动就可导致深度学习网络模型错误分类，这极大的造成安全隐患。

2、对抗训练是一种典型的模型防御策略，通过将对抗样本引入训练阶段，可以增强模型的鲁棒性，有效抵抗对抗样本攻击。然而目前经过对抗训练的模型大多只能正确识别较小扰动攻击下的对抗样本，对大扰动的对抗攻击不能保持很好的鲁棒性。

3、目前，一些基于弃权的模型防御方法逐渐兴起，针对一些大扰动时可以通过放弃本次样本达到增强模型鲁棒性的目的。然而，基于弃权的防御方法存在以下问题：(1)很难检测小扰动的对抗攻击；(2)模型可能放弃一些无害的样本和一些带有小噪声的训练样本，这些都在很多程度上降低了模型的实用性。

技术实现思路

1、本发明解决的技术问题是：克服现有技术的不足，提供了一种基于联合标签平滑的对抗训练方法，解决现有对抗训练方法不能兼顾大扰动攻击下弃权与小扰动攻击下正确识别的问题。

2、本发明的技术解决方案是：一种基于联合标签平滑的对抗训练方法，包括：

3、1)建立卷积神经网络模型，选取图片数据集作为训练样本；

4、2)选择最大攻击扰动大小；

5、3)根据比例系数确定第一扰动与第二扰动的大小；所述第一扰动大于第二扰动；

6、4)根据最大扰动攻击大小，基于当前批次数据的前半部分生成对抗样本；

7、5)根据第一扰动大小，将步骤4)生成的对抗样本和原始样本进行融合获取第一扰动的对抗样本；

8、6)根据第二扰动，基于当前批次的后半部分样本生成对应的对抗样本；

9、7)根据平滑参数生成标签平滑函数；

10、8)依次使用标签平滑函数生成最大扰动对抗样本、第一扰动对抗样本、第二扰动对抗样本的标签；

11、9)基于步骤8)生成的3类样本以及对应的平滑后的标签，送入卷积神经网络，设计损失函数对模型进行训练，更新网络模型；

12、10)迭代步骤2)至步骤9)，直到训练的网络收敛，给出判断输入样本是否是对抗样本的置信度阈值。

13、进一步地，所述步骤4)、步骤6)分别基于最大扰动、第二扰动的对抗攻击算法生成对抗样本。

14、进一步地，所述步骤5)使用融合系数对最大扰动样本和对应的原始样本进行融合。

15、进一步地，使用融合系数对最大扰动样本和对应的原始样本进行融合，具体为：xα＝αx+(1-α)xadv；其中，xadv为最大扰动生成的对抗样本，α为较大扰动系数，x为原始样本。

16、进一步地，所述步骤7)中的标签平滑方式采用one-hot编码方法。

17、进一步地，所述标签平滑方式为

18、

19、

20、其中，a,b为固定值，ε为扰动大小，k为类别数，δ为标签平滑系数，e为自然数底数，one_hot为标签编码形式，y为样本的真实标签，ys为平滑后的样本标签，λ为关于δ的函数。

21、进一步地，所述步骤8)中使用步骤7)的标签平滑函数分别对最大对抗样本、第一对抗样本、第二对抗样本的标签进行平滑。

22、进一步地，所述步骤9)中的损失函数为

23、

24、其中，b为一个批次的样本数量，将当前批次平分为两部分，b为一个批次数据中的样本索引，为前半部分数据的第b个原始样本在最大扰动ε下生成的对抗样本，为最大扰动对抗样本对应的平滑后的标签，为前半部分数据的第b个原始样本与对应的最大扰动对抗样本融合后得到的较大对抗扰动样本，为较大扰动样本对应的平滑后的样本标签，为后半部分数据的第b个原始样本在较小扰动ε'下生成的对抗样本，为较小扰动样本对应的平滑后的标签。

25、一种计算机可读存储介质，所述的计算机可读存储介质存储有计算机程序，所述的计算机程序被处理器执行时实现所述一种基于联合标签平滑的对抗训练方法的步骤。

26、一种基于联合标签平滑的对抗训练设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述的处理器执行所述的计算机程序时实现所述一种基于联合标签平滑的对抗训练方法的步骤。

27、本发明与现有技术相比的优点在于：

28、1)本发明提出的基于联合标签的对抗训练方法，通过提出一种新的的标签平滑方式，使得样本标签在大扰动和小扰动下表现出不同的平滑结果，联合大小扰动下的标签平滑方式，增大了模型在对抗训练中小扰动样本的上限，增强模型在微小扰动下的分类能力，并在较大扰动条件下保持良好的抑制能力。

29、2)本发明将训练样本和对抗样本按一定比例融合，增强了数据表示能力，提高了模型的鲁棒性。

技术特征：

1.一种基于联合标签平滑的对抗训练方法，其特征在于，包括：

2.根据权利要求1所述的一种基于联合标签平滑的对抗训练方法，其特征在于，所述步骤4)、步骤6)分别基于最大扰动、第二扰动的对抗攻击算法生成对抗样本。

3.根据权利要求1所述的一种基于联合标签平滑的对抗训练方法，其特征在于，所述步骤5)使用融合系数对最大扰动样本和对应的原始样本进行融合。

4.根据权利要求3所述的一种基于联合标签平滑的对抗训练方法，其特征在于，使用融合系数对最大扰动样本和对应的原始样本进行融合，具体为：xα＝αx+(1-α)xadv；其中，xadv为最大扰动生成的对抗样本，α为较大扰动系数，x为原始样本。

5.根据权利要求1所述的一种基于联合标签平滑的对抗训练方法，其特征在于，所述步骤7)中的标签平滑方式采用one-hot编码方法。

6.根据权利要求5所述的一种基于联合标签平滑的对抗训练方法，其特征在于，所述标签平滑方式为

7.根据权利要求1所述的一种基于联合标签平滑的对抗训练方法，其特征在于，所述步骤8)中使用步骤7)的标签平滑函数分别对最大对抗样本、第一对抗样本、第二对抗样本的标签进行平滑。

8.根据权利要求1所述的一种基于联合标签平滑的对抗训练方法，其特征在于，所述步骤9)中的损失函数为

9.一种计算机可读存储介质，所述的计算机可读存储介质存储有计算机程序，其特征在于，所述的计算机程序被处理器执行时实现如权利要求1～权利要求8任一所述方法的步骤。

10.一种基于联合标签平滑的对抗训练设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于：所述的处理器执行所述的计算机程序时实现如权利要求1～权利要求8任一所述方法的步骤。

技术总结
一种基于联合标签平滑的对抗训练方法，在训练神经网络过程中，可训练获得具备抵御不同攻击扰动大小的神经网络模型的能力，模型能够在大扰动攻击下识别出对抗样本存在从而拒绝其输出结果，能够在小扰动攻击下正确识别样本真实类别。

技术研发人员：谢海东,唐平,路鹰,向雪霜,陈远清,鹿明,王振亚,阎岩,李博遥,范佳宣,陈雷,李曜,欧样湦
受保护的技术使用者：中国航天科技创新研究院
技术研发日：
技术公布日：2024/1/13