一种基于颜色空间分量的对抗样本图像生成方法和系统

1.本发明属于图像安全技术领域，尤其涉及一种基于颜色空间分量的对抗样本图像生成方法和系统。


背景技术：

2.对抗样本生成方法是指针对智能模型的对抗性噪声生成技术，通过在正常输入样本上，包括数字域和物理域，人为加入对抗性噪声，使得智能模型的输出结果出现错误。在人脸识别、无人驾驶、智能跟踪等安全相关领域，对抗样本对于评估智能模型的安全性起着重要作用，同时，也对未经审查的智能模型具有极大威胁。
3.当前已有的针对目标检测算法的对抗样本生成方法，仅仅考虑了对抗样本在显示器上与打印后的数值上的差异，通过在损失函数中添加单个像素在rgb空间和cmyk空间转换中的差异，来缩小数字显示和物理打印的像素值偏差。然而，这种方法还缺少对环境的考虑，即光照变化和成像设备的差异也会导致打印出的对抗样本在不同时段，或者是目标算法搭载不同设备时而失效。究其原因，是传统的对抗样本生成方法，并没有考虑到对抗样本在颜色空间分量变化的过程中的鲁棒性。


技术实现要素：

4.本发明的目的之一，在于提供一种基于颜色空间分量的对抗样本图像生成方法，该对抗样本图像生成方法能够保证对抗样本图像在颜色空间分量变化过程中的鲁棒性。
5.本发明的目的之二，在于提供一种基于颜色空间分量的对抗样本图像生成系统。
6.为了达到上述目的之一，本发明采用如下技术方案实现：一种基于颜色空间分量的对抗样本图像生成方法，所述对抗样本图像生成方法包括：步骤s1、确定待对抗图像中待对抗的位置像素块；步骤s2、设置与所述位置像素块的颜色空间分量相同、大小相同的对抗扰动块；所述对抗扰动块上的每位数值均位于0和1之间；步骤s3、对所述对抗扰动块在所述颜色空间上进行采样，以形成多个对抗样本图像；步骤s4、将所述多个对抗样本图像输入到目标检测模型中进行目标预测，得到每个对抗样本图像对应的预测值；步骤s5、根据所述多个对抗样本图像对应的预测值，对所述对抗样本图像进行迭代优化处理。
7.进一步的，在所述步骤s1中，所述确定待对抗图像中待对抗的位置像素块的具体过程包括：步骤s11、获取所述待对抗图像；步骤s12、对所述待对抗图像进行目标对象检测，得到待对抗目标区域；
步骤s13、从所述待对抗目标区域中选取出所述待对抗的位置像素块。
8.进一步的，在所述步骤s3中，所述多个对抗样本图像的形成过程包括：步骤s31、将所述对抗扰动块上的每位数值在颜色空间的各个分量预设范围内进行随机变动，构成多个对抗扰动像素块；步骤s32、采用每个对抗扰动像素块上各个像素点的像素值，替换所述位置像素块对应的像素点的像素值，得到所述多个对抗扰动像素块各自对应的对抗样本图像。
9.进一步的，在所述步骤s4中，所述目标预测的具体实现过程包括：步骤s41、对每个对抗样本图像进行目标对象检测，得到所述对抗样本图像上的目标对象区域；步骤s42、对所述目标对象区域依次进行卷积处理、全连接层变换和softmax函数计算，得到所述对抗样本图像对应的预测值。
10.进一步的，在所述步骤s5中，所述对抗扰动块进行迭代优化处理的具体实现过程包括：步骤s51、设置目标对象识别正确的第一阈值；步骤s52、计算所述第一阈值分别与每个预测值的差值，以将所述差值作为对应的对抗样本图像的目标函数的损失值；步骤s53、判断所述各个对抗样本图像的目标函数的损失值是否均大于第二阈值，如是，则输出所述对抗样本图像，结束；如否，则进入步骤s54；步骤s54、根据所述每个对抗样本图像的目标函数的损失值，采用链式法则，计算所述各个对抗样本图像对应的梯度；步骤s55、计算所述各个对抗样本图像对应的梯度的均值；步骤s56、将所述对抗扰动块的每一位数值减去所述均值赋给所述对抗扰动块，返回步骤s3。
11.为了达到上述目的之二，本发明采用如下技术方案实现：一种基于颜色空间分量的对抗样本图像生成系统，所述对抗样本图像生成系统包括：确定模块，被配置为：确定待对抗图像中待对抗的位置像素块；设置模块，被配置为：设置与所述位置像素块的颜色空间分量相同、大小相同的对抗扰动块；所述对抗扰动块上的每位数值均位于0和1之间；形成模块，被配置为：对所述对抗扰动块在所述颜色空间上进行采样，以形成多个对抗样本图像；目标预测模块，被配置为：将所述多个对抗样本图像输入到目标检测模型中进行目标预测，得到每个对抗样本图像对应的预测值；迭代优化处理模块，被配置为：根据所述多个对抗样本图像对应的预测值，对所述对抗样本图像进行迭代优化处理。
12.进一步的，所述确定模块包括：获取子模块，被配置为：获取所述待对抗图像；第一目标对象检测子模块，被配置为：对所述待对抗图像进行目标对象检测，得到
待对抗目标区域；选取子模块，被配置为：从所述待对抗目标区域中选取出所述待对抗的位置像素块。
13.进一步的，所述形成模块包括：构成子模块，被配置为：将所述对抗扰动块上的每位数值在颜色空间的各个分量预设范围内进行随机变动，构成多个对抗扰动像素块；；替换子模块，被配置为：采用每个对抗扰动像素块上各个像素点的像素值，替换所述位置像素块对应的像素点的像素值，得到所述多个对抗扰动像素块各自对应的对抗样本图像。
14.进一步的，所述目标预测模块包括：第二目标对象检测子模块，被配置为：对每个对抗样本图像进行目标对象检测，得到所述对抗样本图像上的目标对象区域；处理子模块，被配置为：对所述目标对象区域依次进行卷积处理、全连接层变换和softmax函数计算，得到所述对抗样本图像对应的预测值。
15.进一步的，所述迭代优化处理模块包括：设置子模块，被配置为：设置目标对象识别正确的第一阈值；第一计算子模块，被配置为：计算所述第一阈值分别与每个预测值的差值，以将所述差值作为对应的对抗样本图像的目标函数的损失值；判断子模块，被配置为：判断所述各个对抗样本图像的目标函数的损失值是否均大于第二阈值，如是，则输出所述对抗样本图像，结束；如否，则将所述每个对抗样本图像的目标函数的损失值给第二计算子模块；第二计算子模块，被配置为：根据所述每个对抗样本图像的目标函数的损失值，采用链式法则，计算所述各个对抗样本图像对应的梯度；第三计算子模块，被配置为：计算所述各个对抗样本图像对应的梯度的均值；赋给子模块，被配置为、将所述对抗扰动块的每一位数值减去所述均值赋给所述对抗扰动块，并将所述对抗扰动块给所述形成模块。
16.综上，本发明提出的方案具备如下技术效果：本发明通过确定待对抗图像中待对抗的位置像素块，设置对抗扰动块，并对对抗扰动块在颜色空间上进行采样，形成多个对抗样本图像；通过目标检测模型，得到每个对抗样本图像对应的预测值；并根据多个对抗样本图像对应的预测值，对对抗样本图像进行迭代优化处理，提高了对抗样本图像在颜色空间上的范围鲁棒性，避免了对抗样本图像仅仅聚焦于缩小像素在两个颜色空间上的值差异，解决了数字域中生成的对抗样本因为光照、材料、打印设备等因素造成的在物理域中失效问题。
附图说明
17.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
18.图1为本发明的基于颜色空间分量的对抗样本图像生成方法流程示意图；图2为实施例的基于rgb颜色空间分量的对抗样本图像生成方法流程示意图。
具体实施方式
19.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例只是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
20.本实施例给出了一种基于颜色空间分量的对抗样本图像生成方法，参考图1，该对抗样本图像生成方法包括：步骤s1、确定待对抗图像中待对抗的位置像素块。
21.本实施例中的待对抗图像的标准尺寸为w*h*c，w、h和c为待对抗图像的宽度、高度和颜色空间的分量数。yolov5的颜色空间的分量为r、g和b，分量数为3。当待对抗图像为rgb图像时，则颜色空间的分量数为3。
22.本实施例中的位置像素块与待对抗图像的颜色空间的分量数相同，位置像素块的宽度和高度一般取待对抗图像的宽度和高度的1/10，如图2中的位置像素块为目标对象人的腹部。当待对抗图像的尺寸为800*600*3时，位置像素块的尺寸可为8*6*3。本实施例，确定待对抗图像中待对抗的位置像素块的具体过程包括：步骤s11、获取所述待对抗图像；步骤s12、对所述待对抗图像进行目标对象检测，得到待对抗目标区域；步骤s13、从所述待对抗目标区域中选取出所述待对抗的位置像素块。
23.步骤s2、设置与所述位置像素块的颜色空间分量相同、大小相同的对抗扰动块。
24.本实施例的对抗扰动块（如图2中的对抗噪声p）上的每位数值均位于0和1之间。当位置像素块的尺寸为8*6*3时，对抗扰动块尺寸也为8*6*3。
25.步骤s3、对所述对抗扰动块在所述颜色空间上进行采样，以形成多个对抗样本图像。
26.本实施例中，多个对抗样本图像的形成过程包括：步骤s31、将所述对抗扰动块上的每位数值在颜色空间的各个分量预设范围内进行随机变动，构成多个对抗扰动像素块；以rgb颜色空间为例，将对抗扰动块p映射为rgb空间中的像素块，即将对抗扰动块p的每一位数值乘上255并向下取整，得到8*6*3的像素矩阵x
p
，像素矩阵x
p
的每一位数值在（0，255）之间。
27.在确定像素矩阵x
p
后，以阈值d为半径，绘制r
h*w*c
空间内的高维球体，并在这一球体内随机采样一个新像素矩阵，即为对抗扰动像素块x
pi
，其中，i=1，2，
…
，b，b为对抗扰动像素块的数量，b一般为16或64，参考图2。
28.步骤s32、采用每个对抗扰动像素块上各个像素点的像素值，替换所述位置像素块对应的像素点的像素值，得到所述多个对抗扰动像素块各自对应的对抗样本图像x
ˊ
pi
。
29.以一张人物图片为例，通过将对抗扰动像素块x
pi
的像素值直接替换待对抗图像中的目标人物腹部（即位置像素块）对应的各个像素值，得到对抗样本图像x
ˊ
pi
，参考图2。
30.步骤s4、将所述多个对抗样本图像输入到目标检测模型中进行目标预测，得到每个对抗样本图像对应的预测值。
31.本实施例中的目标检测模型包括yolo和fast rcnn两类模型，目标检测模型首先对目标进行框选，也就是识别出对抗样本图像上的目标对象区域，再对目标对象区域进行卷积处理，经过全连接层变换，提取出目标特征，最后利用分类器对提取后的目标特征进行组合计算，得到该目标属于某一类别的概率值，也可称作模型对该目标在某一类上的预测值。目标预测的具体实现过程包括：步骤s41、对每个对抗样本图像进行目标对象检测，得到所述对抗样本图像上的目标对象区域；步骤s42、对所述目标对象区域依次进行卷积处理、全连接层变换和softmax函数计算，得到所述对抗样本图像对应的预测值。
32.以上述的目标人物检测为例，通过目标检测模型，给出该目标人物被分类为“人”的概率值，即预测值。
33.步骤s5、根据所述对抗样本图像对应的预测值，对所述对抗样本图像进行迭代优化处理。
34.在所述步骤s5中，所述对抗扰动块进行迭代优化处理的具体实现过程包括：步骤s51、设置目标对象识别正确的第一阈值；步骤s52、计算所述第一阈值分别与每个预测值的差值，以将所述差值作为对应的对抗样本图像的目标函数的损失值；因为对抗样本图像的目标是使得模型预测错误，所以目标函数是最小化模型对该人物的人这一类上的预测值，例如，使其低于某一阈值0.3，由此可通过阈值减预测值的方式计算出损失值。
35.步骤s53、判断所述各个对抗样本图像的目标函数的损失值是否均大于第二阈值，如是，则输出所述对抗样本图像，结束；如否，则进入步骤s54；步骤s54、根据所述每个对抗样本图像的目标函数的损失值，采用链式法则，计算所述各个对抗样本图像对应的梯度；步骤s55、计算所述各个对抗样本图像对应的梯度的均值；步骤s56、将所述对抗扰动块的每一位数值减去所述均值赋给所述对抗扰动块，返回步骤s3。
36.本实施例通过确定待对抗图像中待对抗的位置像素块，设置对抗扰动块，并对对抗扰动块在颜色空间上进行采样，形成多个对抗样本图像；通过目标检测模型，得到每个对抗样本图像对应的预测值；并根据多个对抗样本图像对应的预测值，对对抗样本图像进行迭代优化处理，提高了对抗样本图像在颜色空间上的范围鲁棒性，避免了对抗样本图像仅仅聚焦于缩小像素在两个颜色空间上的值差异，解决了数字域中生成的对抗样本因为光照、材料、打印设备等因素造成的在物理域中失效问题。
37.另一实施例给出了一种基于颜色空间分量的对抗样本图像生成系统，该对抗样本图像生成系统包括：确定模块，被配置为：确定待对抗图像中待对抗的位置像素块。确定模块包括：获取子模块，被配置为：获取所述待对抗图像；
第一目标对象检测子模块，被配置为：对所述待对抗图像进行目标对象检测，得到待对抗目标区域；选取子模块，被配置为：从所述待对抗目标区域中选取出所述待对抗的位置像素块。
38.设置模块，被配置为：设置与所述位置像素块的颜色空间分量相同、大小相同的对抗扰动块；所述对抗扰动块上的每位数值均位于0和1之间；形成模块，被配置为：对所述对抗扰动块在所述颜色空间上进行采样，以形成多个对抗样本图像。形成模块包括：构成子模块，被配置为：将所述对抗扰动块上的每位数值在颜色空间的各个分量预设范围内进行随机变动，构成多个对抗扰动像素块；；替换子模块，被配置为：采用每个对抗扰动像素块上各个像素点的像素值，替换所述位置像素块对应的像素点的像素值，得到所述多个对抗扰动像素块各自对应的对抗样本图像。
39.目标预测模块，被配置为：将所述多个对抗样本图像输入到目标检测模型中进行目标预测，得到每个对抗样本图像对应的预测值。目标预测模块包括：第二目标对象检测子模块，被配置为：对每个对抗样本图像进行目标对象检测，得到所述对抗样本图像上的目标对象区域；处理子模块，被配置为：对所述目标对象区域依次进行卷积处理、全连接层变换和softmax函数计算，得到所述对抗样本图像对应的预测值。
40.迭代优化处理模块，被配置为：根据所述对抗样本图像对应的预测值，对所述对抗样本图像进行迭代优化处理。迭代优化处理模块包括：设置子模块，被配置为：设置目标对象识别正确的第一阈值；第一计算子模块，被配置为：计算所述第一阈值分别与每个预测值的差值，以将所述差值作为对应的对抗样本图像的目标函数的损失值；判断子模块，被配置为：判断所述各个对抗样本图像的目标函数的损失值是否均大于第二阈值，如是，则输出所述对抗样本图像，结束；如否，则将所述每个对抗样本图像的目标函数的损失值给第二计算子模块；第二计算子模块，被配置为：根据所述每个对抗样本图像的目标函数的损失值，采用链式法则，计算所述各个对抗样本图像对应的梯度；第三计算子模块，被配置为：计算所述各个对抗样本图像对应的梯度的均值；赋给子模块，被配置为、将所述对抗扰动块的每一位数值减去所述均值赋给所述对抗扰动块，并将所述对抗扰动块给所述形成模块。
41.请注意，以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。以上实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。