面向目标检测模型的对抗样本生成方法、系统及设备

所属的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的面向目标检测模型的对抗样本生成设备、计算机可读存储介质的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

背景技术：

1、目标检测是计算机视觉中一个非常重要的研究问题。随着电子成像技术的持续发展，目标检测技术在自动驾驶领域备受广大科技企业与学术研究人员关注，例如自动驾驶场景下的交通标志识别、车辆识别、车牌识别、行人识别等技术不仅能够为系统提供各种引导和约束信息，同时可以为驾驶安全提供相应的指引策略，从而实现更加安全、高效、智能地行驶。随着自动驾驶技术的不断研究，使得其中隐藏的安全问题逐渐暴露出来，有研究者发现深度神经网络是非常脆弱的，对输入数据施加轻微的干扰，其输出就会发生错误。因此目标检测的对抗攻击受到了学术界和产业界的高度重视。

2、通过在计算机中存储的数字图像分别添加一些细微的、仅凭肉眼难以察觉的扰动，均可致使图像分类、目标检测、语义分割等模型输出不正确的结果。这种扰动对人类的视觉系统来说是极其难以察觉的，却会对深度学习模型的输出产生巨大的影响。

3、目前对抗攻击按照攻击施加的对象可以分为数字域的攻击与物理域的攻击，前者即只在计算机内部修改存储的图像，后者意在对现实世界中的物体施加某种影响，使得搭载深度学习模型的目标检测系统输出错误。相比于数字域，物理域的对抗攻击无法获取被攻击系统捕获的输入数据并施加干扰，只能在客观现实物体上“动手脚”。而在实际的物理环境中存在着大量的随机干扰，如光照条件，摄像机的成像质量，拍摄角度，拍摄距离等，这可能会造成被攻击的系统捕获的对抗性输入与攻击者期望的输入产生偏差，影响攻击效果。

4、现有技术存在以下问题：基于数字域的对抗攻击无法应用在现实世界中，基于物理域的对抗攻击针对单类别数据产生的攻击效果并不理想。现有的物理域对抗样本在目标检测模型中攻击效果与范围还有待提高。

技术实现思路

1、为了解决现有技术中的上述问题，即现有的物理域的对抗样本针对指定类别数据攻击效果不理想(攻击类别单一、效果差)，即生成的物理域的对抗样本鲁棒性较差的问题，本发明的第一方面，提供了一种面向目标检测模型的对抗样本生成方法，包括：

2、步骤s10，选取要被攻击的目标检测模型与待攻击的数据集；对所述目标检测模型进行预训练，预训练结束后冻结所述目标检测模型的权重；

3、步骤s20，生成设定大小的灰度图，作为初始对抗样本；对所述初始对抗样本预处理，预处理后贴附在所述数据集的样本上，作为输入图像；

4、步骤s30，通过冻结权重后的目标检测模型对所述输入图像进行检测，在检测过程中获取所述目标检测模型的最大检测框概率，以计算最大检测边框损失；同时减少预测边框和真实边界框之间的交集，抑制目标预测边框的区域，计算检测边框位置损失；对所述最大检测边框损失与所述检测边框位置损失进行最小化处理后并求和，作为检测损失；

5、步骤s40，通过所述冻结权重后的目标检测模型中的特征提取模型提取所述输入图像的深层纹理特征，计算风格损失；

6、步骤s50，通过计算当前生成的对抗样本的像素与打印机可打印的输出颜色像素值中差值最小的数值的差值的绝对值，以计算不可打印损失；最终通过反馈所述检测损失、所述风格损失、与所述不可打印损失以优化对抗样本。

7、在一些优选的实施例中，所述预处理包括随机变换、缩放；

8、所述随机变换包括大小、随机旋转、噪声、亮度/对比度的变换。

9、在一些优选的实施例中，对生成的灰度图进行缩放时的缩放因子的获取方法为：

10、

11、其中，scale表示缩放因子，w、h表示目标检测模型中检测框的宽、高，m为缩放比例，n为初始对抗样本大小。

12、在一些优选的实施例中，所述最大检测边框损失、所述检测边框位置损失，计算方法为：

13、lobj＝max(pobj1，pobj2，...，pobjn)

14、

15、其中，pobj表示最大检测边框损失，pobjn表示目标检测模型所检测到的目标存在置信度分数，liou表示检测边框位置损失，bi与分别表示目标检测模型预测边框和对应的真实边界框。

16、在一些优选的实施例中，对所述最大检测边框损失与所述检测边框位置损失进行最小化处理后并求和，作为检测损失，其方法为：

17、ldet＝αlobj+βliou

18、其中，α与β为超参数，ldet表示检测损失，为最小化处理后的检测边框损失与检测边框位置损失之和。

19、在一些优选的实施例中，所述风格损失，其计算方法为：

20、

21、gramf＝fft

22、其中，lstyle表示风格损失，i表示特征提取模型中第i个卷积层，w_i是第i个卷积层的权重，i表示输入图像，s表示当前生成的对抗样本，gramf表示特征图f的gram矩阵。

23、在一些优选的实施例中，所述不可打印约束损失，其计算方法为：

24、

25、其中，lnps表示不可打印约束损失，ppatch是对抗样本p中的像素，cprint是一组打印机可打印的输出颜色c的三元组集合。

26、本发明的第二方面，提出了一种面向目标检测模型的对抗样本生成系统，该系统包括：

27、模型预训练模块，配置为选取要被攻击的目标检测模型与待攻击的数据集；对所述目标检测模型进行预训练，预训练结束后冻结所述目标检测模型的权重；

28、预处理模块，配置为生成设定大小的灰度图，作为初始对抗样本；对所述初始对抗样本预处理，预处理后贴附在所述数据集的样本上，作为输入图；

29、检测损失获取模块，配置为通过冻结权重后的目标检测模型对所述输入图像进行检测，在检测过程中获取所述目标检测模型的最大检测框概率，以计算最大检测边框损失；同时减少预测边框和真实边界框之间的交集，抑制目标预测边框的区域，计算检测边框位置损失；对所述最大检测边框损失与所述检测边框位置损失进行最小化处理后并求和，作为检测损失；

30、风格损失获取模块，配置为通过所述冻结权重后的目标检测模型中的特征提取模型提取所述输入图像的深层纹理特征，计算风格损失；

31、样本生成模块，配置为通过计算当前生成的对抗样本的像素与打印机可打印的输出颜色像素值中差值最小的数值的差值的绝对值，以计算不可打印损失；最终通过反馈所述检测损失、所述风格损失、与所述不可打印损失以优化对抗样本。

32、本发明的第三方面，提出了一种面向目标检测模型的对抗样本生成设备，包括：

33、至少一个处理器；以及与至少一个所述处理器通信连接的存储器；其中，所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述的面向目标检测模型的对抗样本生成方法。

34、本发明的第四方面，提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述的面向目标检测模型的对抗样本生成方法。

35、本发明的有益效果：

36、(1)本发明方法利用目标检测模型检测数据的过程来训练对抗样本，通过降低模型检测损失，可以获得针对目标检测模型的对抗样本。

37、(2)本发明方法将检测损失与纹理损失结合，提升对抗样本的攻击效果，能够获取更鲁棒对抗攻击样本。

38、(3)本发明方法具有较强的物理域攻击能力，可以克服对抗样本在数字域攻击的局限性，以克服对抗样本对物理域目标攻击的单一性，具有较高的物理域鲁棒性，可在现实世界中对目标检测模型产生攻击效果。