一种基于特征一致性约束的图像分类对抗样本防御方法

本发明属于图像分类，具体涉及一种基于特征一致性约束的图像分类对抗样本防御方法。

背景技术：

1、对抗样本的出现给智能系统的安全带来了挑战。在各种对抗防御算法中，基于通道特征抑制的方法取得了良好的鲁棒性。然而，在特征抑制中使用全局平均池化并不能有效去除通道中的异常值，且这些算法忽略了对抗样本特征中的空间维度。

技术实现思路

1、本发明要解决的技术问题是提供一种基于特征一致性约束的图像分类对抗样本防御方法，以解决现有技术存在的上述至少一个问题。

2、基于上述目的，本申请中一个或多个实施例提供了一种基于特征一致性约束的图像分类对抗样本防御方法，其包括以下步骤：

3、s1、通过特征细化模块检测通道特征激活中的最小激活值，然后对最小激活值特征进行细化；

4、s2、利用具有并行互补模式的特征激活抑制模块同时抑制通道激活值和空间激活值，从通道和空间两个维度对细化后的特征进行权重调整；

5、s3、利用特征对齐模块对细化和抑制后的中间特征进行中心约束和知识蒸馏，用以对加权后的特征进行对齐。

6、基于本发明的上述技术方案，还可以作出以下改进：

7、可选的，步骤s1包括：

8、所述特征细化模块首先计算特征图中的每个通道特征的平均激活值，然后将每个通道的最小激活值缩放到其平均激活值上，操作表述如下：

9、x′＝x-x*minmask+(1-minmask)*mean(x)

10、其中，x表示原始的中间特征，x′表示细化后的特征，minmask是一个只包含(0,1)的掩码矩阵，其中1表示该通道中最小值的位置，0表示其他值，mean表示通道特征的平均激活值。

11、可选的，步骤s2包括：

12、s201、通过gap操作聚合空间信息并生成通道上下文描述符，通过使用额外的1*1卷积层对特征进行聚合后再经过gap操作并生成空间上下文描述符，所述通道上下文描述符和空间上下文描述符互补；

13、s202、利用两个全连接层作为额外的辅助分类器，将通道上下文描述符和空间上下文描述符分别作为分类器的输入，其中，基于一个具有k类的多分类任务，定义全连接层的权值通过若干权重向量表示为w＝[w1，w2，…，wk]，每个权重向量属于一个对应于真值标签的特定类别，通过权重向量对通道激活值和空间激活值重新加权，将细化后的特征激活重组形成新特征，该新特征包括通道特征和空间特征；

14、s203、采用并行方式来合并通道特征和空间特征，获得最终聚合特征。

15、可选的，步骤s201包括：

16、定义通道激活值为fc，空间激活值为fs，分别通过以下公式计算:

17、

18、

19、其中，z为特征细化模块获得的中间特征，且z属于特征空间rc*h*w，c、h和w分别表示特征映射z的通道、高度和宽度。

20、可选的，步骤s202中激活重组的具体操作如下：

21、

22、

23、其中表示逐元素相乘，wtrue和wpredict分别表示全连接层中真实标签和预测标签对应的权重向量，两个z′分别是由权重向量重新激活之后的通道维度和空间维度上的新特征，它将被输入到骨干网络的后续层中。

24、可选的，步骤s303中最终聚合特征通过以下方式计算：

25、

26、其中，zc和zs分别为通道抑制特征和空间抑制特征，zsup为最终聚合特征。

27、可选的，步骤s3包括：

28、s301、在特征激活抑制模块的两个辅助分类器上添加中心约束，通过修改原始的分类损失来对目标模型的特征空间施加额外的限制；

29、s302、以注意力图的形式将知识从一个独立训练的教师模型迁移到当前的对抗训练的学生模型进行知识蒸馏。

30、可选的，步骤s302中，教师模型与目标学生模型具有相同的网络结构，且仅在干净的样本上进行训练；具体包括以下步骤：

31、首先从教师模型与目标学生模型的同一网络层中提取特征图，并生成一对用于知识迁移的注意力图，然后进行知识蒸馏操作。

32、可选的，特征激活抑制模块中的辅助分类器的修正分类损失通过以下公式计算：

33、

34、

35、其中表示辅助分类器的原始交叉熵损失，表示中心约束；变量cyi是特定类yi的类中心；λ1和λ2为交叉熵损失与中心约束之间的调整系数；e为自然对数，w为分类器的权重向量，b为偏置项，xi为当前分类的图像，yi为该图像对应的标签。

36、可选的，定义教师模型与目标学生模型的同一网络层中提取特征图分别是xt和xs，通过优化以下损失函数来进行知识蒸馏:

37、

38、其中xt和xs属于特征空间rc*h*w，以及xt和xs分别对应的知识kn(xt)和kn(xs)属于特征空间r1*h*w，函数distance()用于度量两个二维张量之间的距离；

39、通过知识蒸馏束，来自教师模型的知识可以具体地指导来自学生模型的特征，使得扭曲的特征空间接近原始的干净特征分布，最终损失函数表示为:

40、

41、其中表示骨干网络中的原始分类丢失,和分别表示辅助分类器在通道和空间维度上的修正分类损失,表示知识蒸馏损失。

42、本发明的有益效果是，本发明提供一种基于特征一致性约束的图像分类对抗样本防御方法，通过特征细化、抑制和对齐来抵消干扰，为了扩大特征通道的整体激活量，减轻对抗实例的恶意影响，首先将每个通道的最小值细化为平均值，然后采用特征激活抑制模块以并行互补的方式从通道和空间维度对细化的特征进行权重调整，为了避免模型在干净样本上的性能下降，最后加入了额外的约束进行特征对齐。在大量公共数据集上的定量和定性实验表明，与其他最先进的防御模型相比，在对抗鲁棒性方面具有优越的性能。此外，本发明技术方案在干净样本的分类精确度上也超过了基线模型。

技术特征：

1.一种基于特征一致性约束的图像分类对抗样本防御方法，其特征是，其包括以下步骤：

2.如权利要求1所述的一种基于特征一致性约束的图像分类对抗样本防御方法，其特征是，步骤s1包括：

3.如权利要求2所述的一种基于特征一致性约束的图像分类对抗样本防御方法，其特征是，步骤s2包括：

4.如权利要求3所述的一种基于特征一致性约束的图像分类对抗样本防御方法，其特征是，步骤s201包括：

5.如权利要求4所述的一种基于特征一致性约束的图像分类对抗样本防御方法，其特征是，步骤s202中激活重组的具体操作如下：

6.如权利要求5所述的一种基于特征一致性约束的图像分类对抗样本防御方法，其特征是，步骤s303中最终聚合特征通过以下方式计算：

7.如权利要求6所述的一种基于特征一致性约束的图像分类对抗样本防御方法，其特征是，步骤s3包括：

8.如权利要求7所述的一种基于特征一致性约束的图像分类对抗样本防御方法，其特征是，步骤s302中，教师模型与目标学生模型具有相同的网络结构，且仅在干净的样本上进行训练；具体包括以下步骤：

9.如权利要求8所述的一种基于特征一致性约束的图像分类对抗样本防御方法，其特征是，特征激活抑制模块中的辅助分类器的修正分类损失lfas通过以下公式计算：

10.如权利要求9所述的一种基于特征一致性约束的图像分类对抗样本防御方法，其特征是，定义教师模型与目标学生模型的同一网络层中提取特征图分别是xt和xs，通过优化以下损失函数来进行知识蒸馏:

技术总结
本发明提供一种基于特征一致性约束的图像分类对抗样本防御方法，其包括以下步骤：S1、通过特征细化模块检测通道特征激活值中的最小激活值，然后对最小激活值特征进行细化；S2、利用具有并行互补模式的特征激活抑制模块同时抑制通道激活值和空间激活值，从通道和空间两个维度对细化后的特征进行权重调整；S3、利用特征对齐模块对细化和抑制后的中间特征进行中心约束和知识蒸馏，用以对加权后的特征进行对齐。与其他最先进的防御模型相比，在对抗鲁棒性方面具有优越的性能。此外，本发明技术方案在干净样本的分类精确度上也超过了基线模型。

技术研发人员：郭延明,武与伦,于天元,阮逸润,白亮,王昊冉
受保护的技术使用者：中国人民解放军国防科技大学
技术研发日：
技术公布日：2024/1/15