对抗样本生成方法、装置、设备及存储介质与流程

1.本发明涉及计算机技术领域，尤其涉及到一种对抗样本生成方法、装置、设备及存储介质。


背景技术：

2.对抗攻击早期仅针对计算机视觉中的图像分类任务，而后逐渐扩展到目标检测与语义分割等模型更为复杂、攻击难度更大的任务中。在目标检测任务中，一张输入图像中大都存在多个目标需要定位及分类，并且这多个目标有可能分属不同类别。而在分类任务中，仅需将输入图像作为单个目标进行分类即可。因此，目标检测问题比分类问题更具挑战性，复杂程度更高，同时针对目标检测模型的对抗攻击表现形式与分类模型相比也更为多变。比如，攻击分类模型仅能使得模型将输入图像误分类，而攻击目标检测模型可以使得模型对目标定位错误、定位不到目标以及将某个目标误分类。
3.根据添加扰动类型的不同，针对目标检测模型的对抗攻击可以分为两类：基于全局扰动的对抗攻击和基于补丁的对抗攻击。基于全局扰动的对抗攻击是指向输入图像中添加全局扰动，即修改图像中的所有像素点，并限制修改的像素在一个较小的范围内，以此构造对抗样本并对目标模型实施攻击。基于补丁的对抗攻击是指将对抗性扰动限制在图像中的一小块区域中，但是不限制扰动的大小，即只修改图像中的小部分像素点，以此构造对抗样本并对目标模型实施攻击。
4.当前的部分基于全局扰动的对抗攻击方法的可迁移性较差，只针对某种特定的目标检测模型，难以迁移到其他模型中形成有效的攻击。虽然现有的一些方法在一定程度上解决了这一问题，但其生成的对抗样本扰动过大，导致攻击隐蔽性下降。比如，公开号为cn112364938a的专利“对抗样本生成方法、装置和电子设备”中生成的针对人脸图像的对抗补丁。以及公开号为 cn112241790a的专利“小型对抗补丁生成方法及装置”中生成的面向物理世界的小尺寸对抗补丁，都具有较大的对抗性扰动从而导致攻击隐蔽性降低。另外，上述方法中大多数都存在攻击结果不可控的问题，即攻击者只能攻击目标模型并使其出现错误，但具体会出现什么错误，比如模型无法检测出目标、目标定位错误或是目标分类错误，这些都是攻击者无法控制的。
5.因此，如何解决目前对抗攻击技术生成的对抗样本扰动大、攻击隐蔽性低以及攻击结果不可控是一个亟需解决的技术问题。
6.上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。


技术实现要素：

7.本发明的主要目的在于提供一种对抗样本生成方法、装置、设备及存储介质，旨在解决目前对抗攻击技术生成的对抗样本扰动过大、攻击隐蔽性低以及攻击结果不可控的技术问题。
8.为实现上述目的，本发明提供一种对抗样本生成方法，所述方法包括以下步骤：
9.获取目标检测模型对原始图像的检测结果，根据原始图像被分类到指定类别中的候选区域，构造分类损失函数；
10.将原始图像中指定类别对应的目标像素点替换为随机噪声，并根据所述原始图像和替换后的图像，构造特征损失函数；
11.基于所述分类损失函数和所述特征损失函数，确定优化目标函数；
12.对所述优化目标函数求解，获得对抗样本。
13.可选的，所述获取目标检测模型对原始图像的检测结果步骤之前，所述方法还包括：
14.获取原始图像数据集，将所述原始图像数据集划分为训练集和测试集；
15.利用所述训练集对目标检测模型进行训练，并基于所述测试集，获得在所述测试集上平均精度值最高的目标检测模型。
16.可选的，所述目标检测模型采用faster r-cnn模型、yolo模型或ssd模型。
17.可选的，所述根据原始图像被分类到指定类别中的候选区域，构造分类损失函数步骤，具体包括：
18.提取原始图像中被分类到指定类别中所有的候选区域，并分别获得每个候选区域在指定类别下和非指定类别下的分类得分；
19.根据所述分类得分，构造分类损失函数。
20.可选的，所述分类损失函数为：
[0021][0022]
其中，为分类损失函数，i为原始图像，为对利用所有输入原始图像i计算出的结果求期望，l
t
为指定类别，lb为非指定类别，n为候选区域的数量，tn为第n个候选区域，f
l
(i,tn)为第n个候选区域在l
t
类别下的得分，为第n个候选区域在lb类别下的得分。
[0023]
可选的，所述将原始图像中指定类别对应的目标像素点替换为随机噪声，并根据所述原始图像和替换后的图像，构造特征损失函数步骤，具体包括：
[0024]
将原始图像中指定类别对应的目标像素点替换为随机噪声，获得原始图像和替换后的图像；
[0025]
分别提取原始图像和替换后的图像到目标检测模型中特征提取网络每一层特征图的映射，并基于所述映射，构造特征损失函数。
[0026]
可选的，所述特征损失函数为：
[0027][0028][0029]
其中，为特征损失函数，为对利用所有输入原始图像i计算出的结果求期望，φk为输入图像到特征提取网络第k层特征图的映射，k为特征提取网络的层数，t为针
对原始图像i将指定类别对应的目标像素点替换为随机噪声的图像，为元素值全为1的向量，为掩码，指定类别目标像素点对应位置的掩码值为1，非指定类别目标像素点以及其他目标像素点对应位置的掩码值为0，p为随机噪声，填充变为0的目标像素值，表示矩阵或向量中对应元素相乘。
[0030]
可选的，所述基于所述分类损失函数和所述特征损失函数，确定优化目标函数步骤，具体包括：
[0031]
组合所述分类损失函数和所述特征损失函数，采用无穷范数约束所生成的对抗样本扰动大小，获得优化目标函数。
[0032]
可选的，所述优化目标函数为：
[0033][0034][0035]
其中，为原始图像i对应的对抗样本，∈为控制损失函数中特征损失的重要性程度的超参数，η为限制添加到原始图像上的对抗性扰动大小的超参数。
[0036]
可选的，所述对所述优化目标函数求解采用l-bfgs-b算法。
[0037]
此外，为了实现上述目的，本发明还提供了一种对抗样本生成装置，所述装置包括：
[0038]
第一构造模块，用于获取目标检测模型对原始图像的检测结果，根据原始图像被分类到指定类别中的候选区域，构造分类损失函数；
[0039]
第二构造模块，用于将原始图像中指定类别对应的目标像素点替换为随机噪声，并根据所述原始图像和替换后的图像，构造特征损失函数；
[0040]
确定模块，用于基于所述分类损失函数和所述特征损失函数，确定优化目标函数；
[0041]
求解模块，用于对所述优化目标函数求解，获得对抗样本。
[0042]
可选的，所述第一构造模块，还用于提取原始图像中被分类到指定类别中所有的候选区域，并分别获得每个候选区域在指定类别下和非指定类别下的分类得分；根据所述分类得分，构造分类损失函数。
[0043]
可选的，所述第二构造模块，还用于将原始图像中指定类别对应的目标像素点替换为随机噪声，获得原始图像和替换后的图像，分别提取原始图像和替换后的图像到目标检测模型中特征提取网络每一层特征图的映射，并基于所述映射，构造特征损失函数。
[0044]
此外，为了实现上述目的，本发明还提供了一种对抗样本生成设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的对抗样本生成程序，所述对抗样本生成程序被所述处理器执行时实现如上所述的对抗样本生成方法的步骤。
[0045]
此外，为了实现上述目的，本发明还提供了一种存储介质，所述存储介质上存储有对抗样本生成程序，所述对抗样本生成程序被处理器执行时实现上述的对抗样本生成方法的步骤。
[0046]
本发明实施例提出的一种对抗样本生成方法、装置、设备及存储介质，该方法包括获取目标检测模型对原始图像的检测结果，根据原始图像被分类到指定类别中的候选区域，构造分类损失函数；将原始图像中指定类别对应的目标像素点替换为随机噪声，并根据所述原始图像和替换后的图像，构造特征损失函数；基于所述分类损失函数和所述特征损
失函数，确定优化目标函数；对所述优化目标函数求解，获得对抗样本。本发明通过构造分类损失函数和特征损失函数，确定优化目标函数，以此获得对抗样本，能够将指定类别目标误分类到非指定类别中，通过构造与背景特征图尽可能接近的对抗样本特征图，从而使得对抗样本的扰动较小，攻击隐蔽性更高。
附图说明
[0047]
图1为本发明对抗样本生成设备的结构示意图；
[0048]
图2为本发明对抗样本生成方法实施例的流程示意图；
[0049]
图3为本发明对抗样本生成的具体实例的流程示意图；
[0050]
图4为本发明中不同攻击方法生成对抗样本的对比图；
[0051]
图5为本发明中攻击前后不同目标检测模型检测结果对比图；
[0052]
图6为本发明对抗样本生成装置的结构框图。
[0053]
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
[0054]
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0055]
目前，在相关技术领域，对抗攻击技术生成的对抗样本扰动过大、攻击隐蔽性低以及攻击结果不可控。
[0056]
为了解决这一问题，提出本发明的对抗样本生成方法的各个实施例。本发明提供的对抗样本生成方法通过构造分类损失函数和特征损失函数，确定优化目标函数，以此获得对抗样本，能够将指定类别目标误分类到非指定类别中，通过构造与背景特征图尽可能接近的对抗样本特征图，从而使得对抗样本的扰动较小，攻击隐蔽性更高。
[0057]
参照图1，图1为本发明实施例方案涉及的对抗样本生成设备的结构示意图。
[0058]
对抗样本生成设备可以是移动电话、智能电话、笔记本电脑、数字广播接收器、个人数字助理(pda)、平板电脑(pad)等用户设备(user equipment， ue)、手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其它处理设备、移动台(mobile station，ms)等。设备可能被称为用户终端、便携式终端、台式终端等。
[0059]
通常，对抗样本生成设备包括：至少一个处理器301、存储器302以及存储在所述存储器上并可在所述处理器上运行的对抗样本生成程序，所述对抗样本生成程序配置为实现对抗样本生成方法的步骤。
[0060]
处理器301可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器301可以采用dsp(digital signal processing，数字信号处理)、 fpga(field－programmable gate array，现场可编程门阵列)、 pla(programmable logic array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器301也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称cpu(central processingunit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器301可以在集成有gpu(graphics processing unit，图像处理器)，gpu用于负责显示屏所需要显示的内容的渲染和绘制。处理器301还可以包括ai(artificial intelligence，人工智能)处理器，该ai处理器用于处理有关对抗样本生成操
作，使得对抗样本生成模型可以自主训练学习，提高效率和准确度。
[0061]
存储器302可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器302还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器302中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器301所执行以实现本技术中方法实施例提供的对抗样本生成方法。
[0062]
在一些实施例中，对抗样本生成设备还可选包括有：通信接口303和至少一个外围设备。处理器301、存储器302和通信接口303之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与通信接口303 相连。具体地，外围设备包括：射频电路304、显示屏305和电源306中的至少一种。
[0063]
通信接口303可被用于将i/o(input/output，输入/输出)相关的至少一个外围设备连接到处理器301和存储器302。通信接口303通过外围设备用于接收用户上传的多个移动终端的移动轨迹以及其他数据。在一些实施例中，处理器301、存储器302和通信接口303被集成在同一芯片或电路板上；在一些其他实施例中，处理器301、存储器302和通信接口303中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
[0064]
射频电路304用于接收和发射rf(radio frequency，射频)信号，也称电磁信号。射频电路304通过电磁信号与通信网络以及其他通信设备进行通信，从而可获取多个移动终端的移动轨迹以及其他数据。射频电路304将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路304包括：天线系统、rf收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路 304可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2g、3g、4g及5g)、无线局域网和/或wifi(wireless fidelity，无线保真)网络。在一些实施例中，射频电路 304还可以包括nfc(near field communication，近距离无线通信)有关的电路，本技术对此不加以限定。
[0065]
显示屏305用于显示ui(user interface，用户界面)。该ui可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏305是触摸显示屏时，显示屏305还具有采集在显示屏305的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器301进行处理。此时，显示屏305 还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏305可以为一个，电子设备的前面板；在另一些实施例中，显示屏305可以为至少两个，分别设置在电子设备的不同表面或呈折叠设计；在再一些实施例中，显示屏305可以是柔性显示屏，设置在电子设备的弯曲表面上或折叠面上。甚至，显示屏305还可以设置成非矩形的不规则图形，也即异形屏。显示屏305可以采用lcd(liquid crystal display，液晶显示屏)、 oled(organic light-emitting diode,有机发光二极管)等材质制备。
[0066]
电源306用于为电子设备中的各个组件进行供电。电源306可以是交流电、直流电、一次性电池或可充电电池。当电源306包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
[0067]
本领域技术人员可以理解，图1中示出的结构并不构成对对抗样本生成设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
[0068]
本发明实施例提供了一种对抗样本生成方法，参照图2，图2为本发明对抗样本生成方法实施例的流程示意图。
[0069]
本实施例中，所述对抗样本生成方法包括以下步骤：
[0070]
步骤s100，获取目标检测模型对原始图像的检测结果，根据原始图像被分类到指定类别中的候选区域，构造分类损失函数。
[0071]
需要说明的是，目标检测模型可采用faster r-cnn模型、yolo模型或ssd 模型，本实施例提供的对抗样本生成方法，能够对两阶段类型的目标检测模型和单阶段类型的目标检测模型执行对抗攻击，并具有较好的攻击效果。
[0072]
在实际应用中，在构造分类损失函数时，可将原始图像输入到训练好的目标检测模型，获得目标检测模型对原始图像的检测结果。在检测结果中，任意选取某一类别作为指定类别，并从区域生成网络层中获取原始图像所有被分类到指定类别的候选区域。
[0073]
在此之后，利用原始图像被分类到指定类别中的候选区域，构造分类损失函数；具体而言，在获得目标检测模型对原始图像的检测结果后，在构造分类损失函数时，通过提取原始图像中被分类到指定类别中所有的候选区域，并分别获得每个候选区域在指定类别下和非指定类别下的分类得分，再根据所述分类得分，构造分类损失函数。
[0074]
在本实施例中，构造的分类损失函数的具体表达式为：
[0075][0076]
其中，为分类损失函数，i为原始图像，为对利用所有输入原始图像i计算出的结果求期望，l
t
为指定类别，lb为非指定类别，n为候选区域的数量，tn为第n个候选区域，f
l
(i,tn)为第n个候选区域在l
t
类别下的得分，为第n个候选区域在lb类别下的得分。
[0077]
另外，需要说明的是，在利用目标检测模型对原始图像进行检测之前，还需要对目标检测模型进行训练，获得适应于正常原始图像数据的目标检测模型。
[0078]
在本实施例中，通过获取原始图像数据集，将所述原始图像数据集划分为训练集和测试集，再利用所述训练集对目标检测模型进行训练，并基于所述测试集，获得在所述测试集上平均精度值最高的目标监测模型。
[0079]
步骤s200，将原始图像中指定类别对应的目标像素点替换为随机噪声，并根据所述原始图像和替换后的图像，构造特征损失函数。
[0080]
具体而言，在构造特征损失函数时，将原始图像中指定类别对应的目标像素点替换为随机噪声，获得原始图像和替换后的图像，在此之后，分别提取原始图像和替换后的图像到目标监测模型中特征提取网络每一层特征图的映射，并基于所述映射，构造特征损失函数。
[0081]
在本实施例中，构造的特征损失函数的具体表达式为：
[0082][0083]
[0084]
其中，为特征损失函数，为对利用所有输入原始图像i计算出的结果求期望，φk为输入图像到特征提取网络第k层特征图的映射，k为特征提取网络的层数，t为针对原始图像i将指定类别对应的目标像素点替换为随机噪声的图像，为元素值全为1的向量，为掩码，指定类别目标像素点对应位置的掩码值为1，非指定类别目标像素点以及其他目标像素点对应位置的掩码值为0，p为随机噪声，填充变为0的目标像素值，表示矩阵或向量中对应元素相乘。
[0085]
步骤s300，基于所述分类损失函数和所述特征损失函数，确定优化目标函数。
[0086]
具体而言，在获得分类损失函数和特征损失函数之后，即可根据分类损失函数和特征损失函数，确定优化目标函数。在实际应用中，可通过组合所述分类损失函数和所述特征损失函数，采用无穷范数约束所生成的对抗样本扰动大小，获得优化目标函数。
[0087]
在本实施例中，获得的优化目标函数的具体表达式为：
[0088][0089][0090]
其中，为原始图像i对应的对抗样本，∈为控制损失函数中特征损失的重要性程度的超参数，η为限制添加到原始图像上的对抗性扰动大小的超参数。
[0091]
步骤s400，对所述优化目标函数求解，获得对抗样本。
[0092]
具体而言，在获得优化目标函数后，可利用l-bfgs-b算法对优化目标函数进行求解，获得最终的对抗样本。
[0093]
本实施例提供一种对抗样本生成方法，通过构造分类损失函数和特征损失函数，确定优化目标函数，以此获得对抗样本，能够将指定类别目标误分类到非指定类别中，通过构造与背景特征图尽可能接近的对抗样本特征图，从而使得对抗样本的扰动较小，攻击隐蔽性更高。
[0094]
为了更清楚的解释本技术，下面对本技术的具体实例进行详细说明。
[0095]
参照图3，本实施例提供一种基于图像背景信息的可迁移对抗攻击方法，该方法包括如下步骤：
[0096]
步骤s1：利用原始图像数据对faster r-cnn网络模型进行训练，得到在正常数据集上表现较好的faster r-cnn网络模型。
[0097]
本实施例以自构建绝缘子数据集为例。自构建绝缘子数据集中共包含1598幅图像，将其按8:2的比例划分为训练集和测试集。训练集中含1280副图像，测试包含318幅图像。本实施例中使用的faster r-cnn以vgg16作为特征提取网络，利用自构建绝缘子数据集中的训练集对faster r-cnn模型进行训练，得到在测试集上平均精度(average precision，ap)值最高的模型。
[0098]
步骤s2：将原始图像i输入到训练好的faster r-cnn网络模型中，并任意选取某一类别l
t
；从faster r-cnn网络模型的rpn(region proposal network) 层中获取原始图像i所有被分类到l
t
类别中的候选区域。
[0099]
本实施例中，选取“绝缘子”类作为待攻击类别l
t
，将pascal voc 2007 训练集图像作为原始图像i输入到训练好的faster r-cnn网络模型中，从其 rpn层中获取原始图像i
所有被分类到l
t
类别中的候选区域{t1，t2，...，tn}。
[0100]
步骤s3：利用原始图像i所有被分类到l
t
类别中的候选区域构造分类损失
[0101]
具体的，构造出的分类损失为：
[0102][0103]
其中，攻击者指定的类别为l
t
，本实施例中l
t
为“绝缘子”类，背景对应的类别为lb。为原始图像，{t1，t2，...，tn}为i中所有类别为l
t
的候选区域， f
l
(i，tn)为第n个候选区域在类别l下对应的得分，即网络模型在softmax层之前的输出。攻击者的攻击目标是使得尽可能多的真实类别为l
t
的目标被误分类到类别lb中。
[0104]
步骤s4：利用标注好的原始图像数据，将l
t
类别目标位置的像素点替换为随机噪声，构造特征损失
[0105]
针对原始图像i，构造其对应的将指定类别目标去除的图像t，也就是将标注类别为l
t
的标注框内部像素点替换为随机噪声。公式如下：
[0106][0107]
其中，为元素值全为1的向量；为掩码，指定类别目标像素点对应位置的掩码值为1，背景像素点以及其他目标像素点对应位置的掩码值为0；p为随机噪声，用以填充变为0的目标像素值。表示矩阵或向量中对应元素相乘。
[0108]
利用原始图像i与其对应的除去指定类别目标的图像t构造出的特征损失为：
[0109][0110]
其中，φk为输入图像到特征提取网络第k层特征图的映射。
[0111]
步骤s5：组合分类损失与特征损失并采用无穷范数约束所生成的对抗样本扰动大小，得到最终的优化目标函数。
[0112]
最终的优化目标函数如下：
[0113][0114][0115]
其中，为原始图像i对应的对抗样本；∈与η均为超参数，∈用于控制损失函数中特征损失的重要性程度，η用于限制添加到原始图像上的对抗性扰动大小。
[0116]
本实施例中，选择vgg16中conv3-3层以及conv4-2层上的特征图用来优化特征损失其对应的∈分别设置为1
×
10-4
和2
×
10-4
。另外，无穷范数约束η越大，生成的对抗样本的攻击性越强，但是攻击隐蔽性越差。本实施例中无穷范数约束η分别选取5、10以及15以
生成不同攻击强度的对抗样本。
[0117]
步骤s6：利用l-bfgs-b算法对优化目标函数求解，得到对抗样本。
[0118]
需要说明的是，本实施例还通过对目标检测模型性能进行评估，以此衡量对抗攻击的强度。
[0119]
具体而言，通常采用ap这一常用指标对目标检测模型性能进行评估，并使用ap值下降的幅度来衡量对抗攻击的强度。除了攻击强度之外，攻击的隐蔽性也是评判对抗攻击的一个重要参考。本实施例选取mse(mean squarederror)、psnr(peak signal to noise ratio)以及ssim(structural similarity)等图像质量评价指标来衡量对抗样本与原始图像之间的相似度。两幅图像之间的相似度越高，psnr与ssim指标越高，mse指标越小。对抗样本与原始图像的相似度越高，对抗攻击隐蔽性越高。
[0120]
利用uea方法以及本实施例生成的对抗样本分别对faster r-cnn、 yolov5s以及ssd等常用的目标检测模型进行测试，结果如表1所示。
[0121]
表1：攻击前后目标检测模型ap对比
[0122][0123]
从表1中可以看出，uea方法生成的对抗样本对faster r-cnn攻击性最强，使得其ap值由0.835降低到0.269。不仅如此，uea方法对yolov5s 以及ssd也有较好的攻击效果，攻击后二者的ap值分别降低了0.240以及 0.189。
[0124]
相较于uea方法，本实施例对目标检测模型的攻击性随对抗扰动约束η的增大而增强，当η＝10时，本实施例对于faster r-cnn的攻击效果与uea方法大致相当，当η＝15时，本发明对于faster r-cnn的攻击效果已经超过了 uea方法。虽然对于yolov5s以及ssd这种“两阶段”目标检测模型，本实施例的攻击效果要弱于uea方法，但是本实施例所产生的对抗样本与原始图像的相似度更高，攻击更加隐蔽，威胁性更强。uea方法与本发明所产生的对抗样本之间的对比如图4所示(图4a)为原始样本，图4b)为uea攻击方法生成对抗样本，图4c)为目标隐匿攻击方法(η＝10)生成对抗样本)，二者在mse、psnr以及ssim等图像质量评价指标上的对比结果如表2所示。
[0125]
表2：攻击方法图像质量评价指标对比
[0126][0127]
由图4可以看出，相较于uea方法，本实施例所产生的对抗样本扰动更小，人眼更加难以察觉。从表2中可以看出，本实施例产生的对抗样本与原始样本的相似度随着对抗扰动约束η的增大而减小，但是即使当η＝15时，本实施例产生的对抗样本在mse、psnr以及ssim等图像质量评价指标上仍要优于uea方法。
[0128]
uea方法和本实施例对faster-rcnn模型的具体攻击结果如图5所示(图 5a)为原始图像检测结果，图5b)为uea方法生成对抗样本检测结果，图 5c)为目标隐匿攻击方法生成对抗样本检测结果)。从图5中可以看出，uea 方法导致目标检测模型产生的错误比较多样，有绝缘子的漏检、绝缘子定位错误以及产生多余的边界框。而在本实施例成功实施的攻击中，目标检测模型产生的所有错误几乎都是对绝缘子的漏检。相较于uea方法，本实施例产生的对抗样本能够实现目标检测模型对指定类别目标的漏检，从而使得攻击结果受攻击者控制。
[0129]
本实施例提供一种基于图像背景信息的可迁移对抗攻击方法，能够使得目标检测模型将指定类别目标误分类到背景类别中，从而达到逃避检测的目的。本发明方法所构造出的对抗样本的特征图与其背景的特征图尽可能的接近，从而使得对抗样本的扰动较小，攻击隐蔽性更高。
[0130]
参照图6，图6为本发明对抗样本生成装置实施例的结构框图。
[0131]
如图6所示，本发明实施例提出的对抗样本生成装置包括：
[0132]
第一构造模块10，用于获取目标检测模型对原始图像的检测结果，根据原始图像被分类到指定类别中的候选区域，构造分类损失函数；
[0133]
第二构造模块20，用于将原始图像中指定类别对应的目标像素点替换为随机噪声，并根据所述原始图像和替换后的图像，构造特征损失函数；
[0134]
确定模块30，用于基于所述分类损失函数和所述特征损失函数，确定优化目标函数；
[0135]
求解模块40，用于对所述优化目标函数求解，获得对抗样本。
[0136]
在优选的实施例中，对抗样本生成装置还包括训练模块50，训练模块用于获取原始图像数据集，将所述原始图像数据集划分为训练集和测试集，利用所述训练集对目标检测模型进行训练，并基于所述测试集，获得在所述测试集上平均精度值最高的目标检测模型。
[0137]
在优选的实施例中，第一构造模块10还用于提取原始图像中被分类到指定类别中所有的候选区域，并分别获得每个候选区域在指定类别下和非指定类别下的分类得分，根据所述分类得分，构造分类损失函数。
[0138]
在优选的实施例中，第二构造模块20还用于将原始图像中指定类别对应的目标像
素点替换为随机噪声，获得原始图像和替换后的图像，分别提取原始图像和替换后的图像到目标检测模型中特征提取网络每一层特征图的映射，并基于所述映射，构造特征损失函数。
[0139]
本发明对抗样本生成装置的其他实施例或具体实现方式可参照上述各方法实施例，此处不再赘述。
[0140]
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有对抗样本生成程序，所述对抗样本生成程序被处理器执行时实现如上文所述的对抗样本生成方法的步骤。因此，这里将不再进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。对于本技术所涉及的计算机可读存储介质实施例中未披露的技术细节，请参照本技术方法实施例的描述。确定为示例，程序指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。
[0141]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，上述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，上述的存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory，rom)或随机存储记忆体(random access memory，ram)等。
[0142]
另外需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
[0143]
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件的方式来实现，当然也可以通过专用硬件包括专用集成电路、专用cpu、专用存储器、专用元器件等来实现。一般情况下，凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现，而且，用来实现同一功能的具体硬件结构也可以是多种多样的，例如模拟电路、数字电路或专用电路等。但是，对本发明而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘、u盘、移动硬盘、只读存储器(rom， read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。