一种针对大尺寸图像分类的对抗样本混合防御方法

1.本发明涉及信息安全技术领域，尤其涉及一种针对大尺寸图像分类的对抗样本混合防御方法。


背景技术：

2.近年来深度神经网络在各种应用中表现出了卓越的性能，但深度学习的流行揭示了深度神经网络容易受到对抗样本的攻击。不法分子通过故意制造敌对的例子可以操纵深度神经网络从而产生不正确的输出。
3.安全问题是对抗性的，其中有防御者—好人角色，例如，网络管理员、反病毒公司、防火墙制造商、计算机用户等，尽管受到外部威胁，他们仍然试图保持工作效率；还有攻击者—坏人角色，传播恶意软件、发送垃圾邮件和网络钓鱼电子邮件、侵入易受攻击的计算设备、窃取数据或执行拒绝服务攻击，不管他们出于什么恶意目的。恶意的攻击者通常利用机器学习算法的缺点，通过修改训练或测试样本来降低机器学习系统的性能，从而达到他们的非法目的。由于大多数的机器学习系统在设计之初并没有考虑到可能遭受的攻击，因此目前大多数机器学习算法在对抗环境下性能较差，只要有少量攻击就能使系统的性能大大降低，这严重影响机器学习算法在安全领域中的应用。在这种环境下，对抗机器学习(adversarial machine learning，aml)领域应运而生，目的是研究机器学习方法在对抗性环境下的脆弱性，并开发出使机器学习对对抗性操作具有鲁棒性的技术。目前，对抗学习，即对抗环境下的机器学习，已成为机器学习研究中的一个热门方向。
4.传统的机器学习算法基于一个平稳性假设，即假设训练和测试数据来自同一个分布。但在对抗环境中，这一假设不再成立。对抗环境中的机器学习假定在一定的前提条件下，攻击者能操纵部分训练或测试数据，使得训练数据和测试数据具有不同的分布，从而误导分类器的学习和逃脱分类器的检测。攻击者和防御者之间构成一种互相竞争的关系，它们不断地考虑对方的策略并提出相应的针对反击措施。攻击者通过探索安全系统所存在的漏洞来设计新型的攻击，而防御者通过筛选训练样本和提升分类器的鲁棒性来对抗攻击。这一过程不断地重复，直到达到一个博弈均衡。
5.对抗样本防御方法开始朝着以下三个方向发展：
6.(1)第一个方向是抵抗更广泛更强大攻击的防御方法。大多数防御方法面对强大的攻击方法时往往效果很差。设计出的防御方法可以抵抗快速梯度符号法、基本迭代法等基于梯度的攻击方法仅仅是第一步，还要能够抵御目前最强攻击方法的对抗攻击，例如c&w攻击方法。
7.(2)第二个方向是抵抗二次对抗攻击。对抗样本防御方法不仅要可以抵抗对抗攻击，还要尽可能地不会被针对此防御方法生成的对抗样本攻破，也就是要可以抵御二次对抗攻击。
8.(3)第三个方向是抵抗在大尺寸图片数据集上生成的对抗样本。许多防御方法可以十分有效地对抗小尺寸图片数据集上生成的对抗样本，例如mnist数据集和cifar数据
集。然而，这些防御方法对大尺寸图片数据集(例如imagenet数据集)生成的对抗样本却没那么有效。在实际应用中人工智能系统处理的往往是大尺寸的自然图像，因此设计一个可以抵抗在大尺寸图片数据集上生成的对抗样本的防御方法是目前备受关注的问题。


技术实现要素：

9.本发明要解决的技术问题是针对上述现有技术的不足，提供一种针对大尺寸图像分类的对抗样本混合防御方法，抵抗从大尺寸图片数据集上生成的对抗样本。
10.为解决上述技术问题，本发明所采取的技术方案是：一种针对大尺寸图像分类的对抗样本混合防御方法，
11.训练原始分类模型；
12.训练对攻击方法有抵抗性的强化分类模型；
13.对输入原始分类模型的样本图像进行检测，确定输入样本是干净样本还是对抗样本；
14.针对对抗样本，自适应地选择图像预处理方式进行预处理；
15.使用原始分类模型和强化分类模型对样本图像进行分类识别并分析识别结果；
16.具体包括以下步骤：
17.步骤1：使用干净图片数据集训练测试原始分类模型m1；
18.步骤1.1：训练；首先导入干净图片数据集并创建列表样本，将列表转换为数组格式；然后获取符合分类模型要求的二维特征数据，将样本拆分为训练数据集和测试数据集，使用训练数据训练原始分类模型，获取分类的精确度；
19.步骤1.2：测试；将干净图片测试数据集导入训练阶段得到的分类模型，根据像素坐标轴对干净图片数据集进行划分，对划分之后的图片进行维度、格式的调整，使测试数据集与训练数据集保持一致，之后进行分类并获取精确度，保存分类模型m1；
20.步骤2：训练对攻击方法有抵抗性的的分类模型m1，得到强化分类模型m2；使用多种攻击方法去攻击训练好的分类m1模型，生成原始干净数据集对应的对抗样本，将这些对抗样本作为新增加的数据与干净数据一起放入分类模型m1中进行再训练，直至训练出对这些攻击方法有抵抗性的强化分类模型m2；
21.步骤3：对输入样本图像s进行自适应去噪，生成去噪后的样本图像s1；
22.首先以适当的间隔对样本进行量化，该间隔是通过计算样本的熵来确定的；熵还被用来确定是否需要对量化样本进行平滑处理，仅当熵大于阈值时，才会通过滤波器对其进行平滑；
23.步骤4：对输入分类模型m1的样本图像s进行特征压缩检测，确定输入样本图像s是干净样本还是对抗样本；
24.将原始样本图像s、中值平滑后的样本图像s2以及非局部均值平滑后的样本图像s3输入分类模型m1进行预测，得到预测值f1、f2、f3，计算f1和f2之间的距离d1以及f1和f3之间的距离d2，取d1和d2的最大值与阈值t进行比较，如果max(d1，d2)》t，则说明输入样本s为对抗样本，反之则为干净样本；
25.同时，将自适应去噪后的样本图像s1输入分类模型m1进行分类预测，如果分类结果和原始样本图像s的分类结果相同，则进一步确定原始样本图像s为干净样本，反之则进
一步确定原始样本图像s为对抗样本；所述中值平滑的滑动窗口的尺寸设置为2
×
2，在2
×
2的窗口中，中心像素始终位于右下角。非局部均值平滑的搜索窗口设置为12
×
12，领域窗口大小为3
×
3，控制平滑程度的参数为2；
26.步骤5：对检测出的对抗样本进行图像预处理；对于检测出的对抗样本，从减少像素颜色深度、局部平滑、非局部平滑和jpeg压缩防御四种预处理方法中随机选择一种进行预处理；
27.步骤6：将待分类样本根据样本类型导入分类模型m1或强化分类模型m2进行分类；步骤6.1：根据步骤3的检测结果确定分类模型；如果是干净样本则分别导入原始分类模型m1和强化分类模型m2中进行分类，执行步骤6.2并比较分析分类结果，若是对抗样本则只导入强化模型m2进行分类；
28.步骤6.2：判断原始分类模型m1和强化分类模型m2的分类结果是否相同；若相同则输出分类结果；若不同则输出强化分类模型m2的分类结果并对样本进行标记。
29.采用上述技术方案所产生的有益效果在于：本发明提供的一种针对大尺寸图像分类的对抗样本混合防御方法，采用混合防御策略，让攻击者难以下手，而且能同时兼顾到对抗样本和干净样本，有效弥补了对抗防御的强化模型m2对干净样本分类准确性的损失，提高了对抗样本图像的分类稳健性，相比于单一防御策略具有更优越的泛化性能；训练强化模型m2时，集成多种攻击方法并加以创新得到大量对抗样本，集成思想的使用使得强化模型m2能适应更广泛的攻击类型；对对抗样本的预处理过程中，引入了减少像素颜色深度、中值平滑、非局部均值滤波、jpeg压缩四种预处理方法，随机选择其中一种对对抗样本进行处理。即使整体防御方法被暴露给恶意攻击者，攻击者想针对该方法设计攻击手段，因为不知道方法运行时到底会随机选择哪种预处理方式，因此很难针对性地实现有效攻击，提高了抵抗二次攻击的性能。
附图说明
30.图1为本发明实施例提供的一种针对大尺寸图像分类的对抗样本混合防御方法的流程图；
31.图2为本发明实施例提供的训练测试原始分类模型m1的过程示意图；
32.图3为本发明实施例提供的训练对攻击方法有抵抗性的强化分类模型发流程图；
33.图4为本发明实施例提供的对输入样本图像进行自适应去噪检测的流程图
34.图5为本发明实施例提供的对输入样本图像进行特征压缩检测的流程图。
具体实施方式
35.下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
36.本实施例中，一种针对大尺寸图像分类的对抗样本混合防御方法，
37.训练原始分类模型；
38.训练对攻击方法有抵抗性的强化分类模型；
39.对输入原始分类模型的样本图像进行检测，确定输入样本是干净样本还是对抗样本；
40.针对对抗样本，自适应地选择图像预处理方式进行预处理；
41.使用原始分类模型和强化分类模型对样本图像进行分类识别并分析识别结果；
42.如图1所示，具体包括以下步骤：
43.步骤1：使用干净图片数据集训练测试原始分类模型m1；训练模型的主要步骤如图2所示，详细分步骤如下：
44.步骤1.1：训练；首先导入干净图片数据集并创建列表样本，将列表转换为数组格式；然后获取符合分类模型要求的二维特征数据，将样本拆分为训练数据集和测试数据集，使用训练数据训练原始分类模型，获取分类的精确度；
45.步骤1.2：测试；将干净图片测试数据集导入训练阶段得到的分类模型，根据像素坐标轴对干净图片数据集进行划分，对划分之后的图片进行维度、格式的调整，使测试数据集与训练数据集保持一致，之后进行分类并获取精确度，保存分类模型m1；
46.步骤2：训练对攻击方法有抵抗性的强化分类模型m2；对抗训练的具体实现步骤，如图3所示。使用多种攻击方法(fgsm、pgd、c&w)去攻击分类m1模型，生成原始干净数据集对应的对抗样本，将这些对抗样本作为新增加的数据与干净数据一起放入分类模型m1中进行再训练，直至训练出对这些攻击方法有抵抗性的强化分类模型m2；
47.步骤3：对输入样本图像s进行自适应去噪；具体实现步骤如图4所示，该方法的关键部分是滤波器。在输入样本图像s被送到分类模型m1之前，它将被滤波器去噪以生成去噪后的样本图像s1；首先以适当的间隔对样本进行量化，该间隔是通过计算样本的熵来确定的；熵还被用来确定是否需要对量化样本进行平滑处理，仅当熵大于阈值时，才会通过滤波器对其进行平滑；
48.步骤4：对输入分类模型m1的样本图像s进行特征压缩检测，确定输入样本图像s是干净样本还是对抗样本；
49.特征压缩检测的具体实现步骤，如图5所示。将原始样本图像s、中值平滑后的样本图像s2以及非局部均值平滑后的样本图像s3输入分类模型m1进行预测，得到预测值f1、f2、f3，计算f1和f2之间的距离d1以及f1和f3之间的距离d2，取d1和d2的最大值与阈值t进行比较，如果max(d1，d2)》t，则说明输入样本s为对抗样本，反之则为干净样本；
50.同时，将自适应去噪后的样本图像s1输入分类模型m1进行分类预测，如果分类结果和原始样本图像s的分类结果相同，则进一步确定原始样本图像s为干净样本，反之则进一步确定原始样本图像s为对抗样本；
51.本发明使用了两种特征压缩方法：中值平滑、非局部均值平滑。中值平滑的滑动窗口的尺寸设置为2
×
2，在2
×
2的窗口中，中心像素始终位于右下角。非局部均值平滑的搜索窗口设置为12
×
12，领域窗口大小为3
×
3，控制平滑程度的参数为2。并利用imagenet数据集计算阈值t，具体的计算原则是：在特征压缩检测开始之前，假定输入样本均是干净数据，选择一个将假阳性率目标定在5％以下的阈值。
52.步骤5：对检测出的对抗样本进行图像预处理；对于检测出的对抗样本，从减少像素颜色深度、局部平滑、非局部平滑和jpeg压缩防御四种预处理方法中随机选择一种进行预处理；
53.(1)减少像素颜色深度；本发明选用高分辨率的imagenet数据集，使用numpy库在python中实现了位深度缩减操作；输入和输出处于相同的数值范围[0,1]，因此不需要改变
任何目标模型；为了减少到i位深度(1≤i≤7)，首先将输入值乘以2^i-1(由0减至1)，然后四舍五入为整数；接下来将整数缩回到[0,1]，除以2^i-1；通过整数舍入运算，表示的信息容量从8位减少到i位；
[0054]
(2)局部平滑和非局部平滑是两种空间平滑方法；空间平滑是一组广泛用于图像处理以降低图像噪声的技术；其中，局部平滑方法利用各像素点附近的像素来平滑每个像素。通过选择不同的机制对相邻像素进行加权，可以将局部平滑方法设计为高斯平滑、平均平滑或中值平滑方法。基于中值滤波器，在2
×
2滑动窗口中，中心像素总是位于右下角。当由于一个窗口中的偶数像素而有两个相等的中值时，使用像素位置较大的值作为中值。
[0055]
非局部平滑不同于局部平滑，因为它在更大的区域中平滑相似的像素，而不仅仅是像素点附近的像素。对于给定的图像块，非局部平滑在图像的大区域中找到几个相似的块，并用这些相似块的平均值替换中心块；假设噪声的平均值为零，对相似的图像块求平均值将消除噪声，同时保留对象的边缘；与局部平滑类似，在平均操作中有几种可能的方法来加权相似的图像块，例如高斯、均值和中值。本实施例使用高斯核的变体，因为它被广泛使用，并且允许控制偏离均值的情况。非局部平滑方法的参数通常包括搜索窗口大小(用于搜索相似图像块的大区域)、图像块大小和滤波器强度(高斯核的带宽)。本实施例首先将彩色图像转换到cielab颜色空间，然后分别对其a,b两个分量进行非局部平滑去噪，再转换回rgb空间。
[0056]
(3)jpeg压缩防御；为了消除图像中未修复区域可能存在的对抗扰动，可以采用jpeg压缩防御方法。jpeg压缩能够去除图像块内的高频信号分量，这种操作等效于图像选择性模糊，有助于消除对抗扰动。对输入图像中没有进行图像修复的区域采用jpeg压缩防御方法进行处理，之后将jpeg压缩后的区域与进行图像修复的区域拼合在一起，得到最终的图像。
[0057]
步骤6：将待分类样本根据样本类型导入分类模型m1或强化分类模型m2进行分类；详细分步骤如下：
[0058]
步骤6.1：根据步骤3的检测结果确定分类模型；如果是干净样本则分别导入原始分类模型m1和强化分类模型m2中进行分类，执行步骤6.2并比较分析分类结果，若是对抗样本则只导入强化模型m2进行分类；
[0059]
步骤6.2：判断原始分类模型m1和强化分类模型m2的分类结果是否相同；若相同则输出分类结果；若不同则分析可能是非常强的对抗样本逃避了检测，这时也输出强化分类模型m2的分类结果并对样本进行标记。
[0060]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。