一种对成像主体变化鲁棒的行人目标检测物理抗衰减对抗方法

本发明属于自动驾驶汽车的目标检测领域，具体涉及一种对成像主体变化鲁棒的行人目标检测物理抗衰减对抗方法。

背景技术：

1、人工智能作为引领数字化未来的战略性技术，日益成为驱动经济社会各领域加速跃升的重要引擎。近年来，数据量爆发式增长、计算能力显著性提升、深度学习算法突破性应用，极大地推动了人工智能发展。然而，深度神经网络(deep neural networks，dnns)潜在的安全问题也给智能驱动的数字世界带来了极大的安全隐患。dnns在面对肉眼不可见的微小扰动时，往往会出现意料之外的错误行为，在诸如自动驾驶系统、金融信贷和医疗等安全关键应用，可能会造成灾难性的后果，阻碍深度模型的实际部署。例如，在“停止”交通标志上添加了一个不显眼的微小污渍，使“停止”标志被自动驾驶汽车识别为“限速”标志。人工智能安全问题越来越接近现实生活，针对深度学习模型的攻击越来越具有威胁，这也引起了学术界和工业界的广泛关注。

2、在自动驾驶场景中，行人是路面上的高危群体，行人检测成为安全驾驶领域的一个研究热点。行人检测环节需要利用深度模型对马路上的行人进行实时检测，在路径规划和智能避障方面发挥着重要作用。为了避免在分类过程中出现异常判断，需要在深度模型具体部署之前，对其进行安全性漏洞挖掘和修复。为了找到自动驾驶车辆行人检测模块中智能算法存在的深层次漏洞，需要生成易导致模型错误分类的对抗样本，对其进行重训练，从而修复漏洞。通过生成大量多样性对抗样本，面向行人检测的攻击方法能够在早期阶段对模型进行漏洞挖掘和潜在缺陷检测，从而引导模型修复，降低模型在运行过程中发生错误的概率，并有助于提高深度学习模型的可靠性。

3、如何全面且高效地挖掘深度模型中的深层次漏洞，通过重训练进行修复模型，进一步提高模型应用的可靠性，成为安全可靠人工智能研究中的一个关键问题。

4、目前面向目标检测的深度识别模型的对抗攻击往往在物理域内失效，是因为这些算法在生成对抗样本的过程中没有考虑扰动的抗衰减性，缺乏针对成像主体(包括光源、成像设备、目标对象光学特性因素)的对抗性保持技术。nguyen等人利用对抗性光投影来攻击人脸识别系统，并保持扰动的对抗性。光投影攻击的关键技术是对投影仪与数字图像的对抗性区域和颜色进行标定。作者提出了两种标定方法(人工赋值和带有标志检测的自动获取)来约束对抗区域来标定位置，通过改变成像主体的光源来保持扰动的对抗性。lovisotto等人[5]通过调节投影仪的投影，提出了一种新颖的对抗性攻击，而不是直接生成对抗性补丁。作者考虑了相机噪声和投影仪的工作机制，以尽可能地收集真实的颜色。为了优化对抗性示例，他们结合eot并将检测器的对象性和分类输出视为对抗性损失。与在物体表面制作对抗补丁和粘贴不同，zolfi等人提出了一种新的对抗攻击，可以制作粘贴在相机镜头上的对抗补丁。为了避免相机镜头被敌对补丁重叠，作者在优化过程中考虑了图像的阿尔法通道。作者同时实施了目标攻击，并保持未受攻击的对象不受影响。suryanto等人指出，这些工作未能考虑更具体的物理环境阴影。为了解决这一问题，作者建议使用网络来近似阴影效应。作者没有采用神经渲染器来优化对抗性纹理，而是将2d图像优化为纹理，但使用与车辆相同的相机矩阵对其进行变换。作者用3d打印机打印出伪装的3d对象，以执行物理攻击并表现更好。

5、以上研究虽然发现了对抗性衰减的某些影响因素并一定程度上给出了对抗性保持的方法，但它们仍面临以下挑战：

6、(1)只考虑了静态的物理对抗性，未考虑目标物体快速运动时的对抗性衰减情况。

7、(2)大部分的研究都只关注保持技术，缺少机理探究且缺少体系化的衰减因素建模，比如只关注光照阴影、成像设备、光学特性等部分衰减因素，且对于各个因素影响对抗性保持的权重没有定量或定性的分析。

8、(3)算法所找到的模型漏洞还是浅层的，容易修复，但是也容易再次复发。

9、因此，亟需对成像主体中的光源、目标对象和采集设备等影响扰动效果的因素进行具体分析和参数化，实现成像主体中衰减原因的体系化建模，以其为指导生成对抗样本，找到行人检测模型中的深层次漏洞，提高自动驾驶的安全可靠性。

技术实现思路

1、为了克服已有对抗方法的上述不足，本发明提供一种对成像主体变化鲁棒的行人目标检测物理抗衰减对抗方法，能生成对各种光源、目标物体和采集设备都鲁棒的对抗性样本，发现更多深度模型中的潜在缺陷。

2、本发明解决其技术问题所采用的技术方案是：

3、一种对成像主体变化鲁棒的行人目标检测物理抗衰减对抗方法，所述方法包括以下步骤：

4、1)成像主体的衰减因子体系化建模，具体过程如下：

5、1.1)针对光源的衰减因素定义与参数化。能发出一定波长范围的电磁波(包括可见光以及紫外线、红外线和x射线等不可见光)的物体都称之为光源。按照波长的不同，光源可以分为可见光、近红外光源和远红外光源。在不同的照明条件和光学环境下，相机捕获的图像具有不同的亮度和对比度。在实际的光照环境下，天气条件也会影响光线强弱，攻击者物理地添加到物体上的任何扰动都必须能够经受住光线强弱的变换。

6、沿用物理学中的概念，用光照强度来指示光照的强弱和物体表面积被照明程度的量，它指单位面积上所接受可见光的光通量，由以下公式计算得到：

7、

8、其中e表示面元ds上的光照强度，dφ表示此面元上的光通量。

9、光的波长是指光波在一个振动周期内传播的距离。光的频率在传播中保持不变，意思是在光通过不同介质的时候，频率不变而波长发生改变。因此，光的波长由光的频率(颜色)，以及传播的介质决定。本项目中的光均在空气中传播，因此传播介质统一。智能感知场景中常用的光，根据波长由长到短排序为：红橙黄绿蓝靛紫，近红外，远红外光。

10、假设光源为理想单一点光源，且不考虑其辐射光强的空间分布。周围环境对景物表面的影响，即环境光，被假设为一常数。

11、1.2)针对目标对象的衰减因素定义与参数化。目标对象是指待成像或待添加对抗性扰动的物体。根据物体发射/反射的光波长度和光谱特性，它们可以被分为可见光对象和不可见光对象。这些物体往往有不同的表面颜色和纹理，会混淆所添加的物理域对抗性扰动，起到削弱作用。因此，在生成扰动时必须考虑到目标对象主体表面的特殊光学特征，以保证对抗效果。

12、在对添加了扰动的目标对象进行纹理分析时，主要是把扰动区域的特征显现出来，无扰动的区域过滤掉。图像的纹理呈现出一定的周期性，或者说它在图像空间中具有一定的发生频率。因此可以对图像进行频谱分析来提取纹理特征。傅里叶变换是把图像从空间域变换到频域的常用方法。

13、傅里叶变换的作用是把空间域信号变换到频域，图像的数据是二维离散数据，则它们的傅里叶变换为离散的频谱：

14、

15、其中f(x,y)是数字图像，x，y是空间域中图像的横、纵坐标轴；f(u,v)是频域图像谱，通常f(u,v)是两个实频率变量u和v的复值函数，频率u是对应于x轴，频率v是对应于y轴。图像尺寸为m×n。变换后数据为复数。由于图像大小不一，为了具有可比性，所以本项目采用高频信息所占整个图像频谱特征的百分比作为纹理特征。

16、从上到下对经过傅里叶变换的图像进行扫描，对于每一行中每一个像素点(此时像素点应为相邻像素之间的差值)，判断其幅值，如果该频率大于设定的频率阈值th1，则令其为1，否则，为0。对于每一行，统计其中为1的点数，如果大于设定的起伏高频阈值th2，则令该行的水平投影值为1，否则，为0。因此，水平投影矩阵为一个只含有0和1的m×1的列向量，其中，1处可能就是含有物体纹理的区域。

17、1.3)针对采集设备的衰减因素定义。学采集设备就是将不同波长的光波由光信号转换为电信号并进一步处理的产品，主要包括成像元器件，光学透镜部分，后端的电信号经过处理就成为人们能够理解的图像，将连续抓拍的图像合成播放就是常见的视频。人们常用的手机摄像头就是一种典型的光学采集设备。物理域中添加的对抗性扰动要能自适应多种光学采集设备，以保持其对抗性。

18、摄像机等采集设备存在景深概念，目标在不同距离需要不同对焦参数，常规场景下没有人为干预难以对目标成像。此外，采集可见光目标的设备在夜间成像能力较白天大幅度下降，成像对比度和清晰度都较差。此时挂载热成像镜头的红外成像仪，根据目标的温度产生热成像图片，将目标的温度用图像亮度呈现，用另一种方式区分目标属性，这种特性让用户可以在夜间轻易找到自然界中的物体，而用于无人机反制系统的话，由于无人机的电子系统及动力系统产生大量热量，温度远高于一般生物体，在图像中可以轻易被区分开来。专门将热量转换为亮度信号的红外热成像系统，另外还加上了能够控制镜头伸缩变焦以及旋转和俯仰的伺服系统，可控制镜头对不同方位与距离进行拍摄。

19、2)基于插值的单因子对抗衰减建模，通过多样本拟合，对成像主体的光源光线和目标物体表面特征进行衰减效果的细粒度分析，具体如下：

20、2.1)定义牛顿插值多项式。f(x)关于节点xi的n次基本插值多项式定义为：

21、

22、其中差商其余项公式为：

23、

24、2.2)对光源-对抗衰减函数进行插值。光源由波长和光照强度决定。将光源x建模为l(x)＝{l1，l2，...，l7，l8，l9}，其中l1到l7表示可见光，l8和l9分别表示近红外和远红外光。将扰动的对抗性函数记为f，它可以由模型对于输入成像图片的预测输出计算得到。

25、基于牛顿插值法，对于光源中每个影响扰动对抗性的元素li，改变其中一个变量，保持其余变量不变，重复实验n次，可以获得n组数据。基于所获得的大量数据样本对，对扰动对抗性函数进行多项式插值，由其可以得到该变量对扰动对抗性的衰减函数。对于每个单变量li，可得：

26、

27、其中ai,n表示插值所得常数，rn为牛顿插值余项。将以上函数展开可得：

28、

29、当有足够数据样本时，可将式中的余项rn省略。结合不同波长和光照强度，光源与对抗衰减函数可以写为：

30、

31、该式也可以改写为矩阵相乘的形式：

32、

33、其中l表示光源矩阵，c为常数。

34、2.3)对2.2)中的光源矩阵进行影响因子分析。

35、光源矩阵与光照强度相关。具体而言，对于待成像的静态物体x，其在摄像头中的成像照片可以表示为：

36、xt＝me⊙x+(1-me)⊙bkg(x)   (9)

37、其中xt为成像后的图像，me为成像遮罩函数，在分离了物体和背景后，对其进行分别处理，叠加形成了最终图像。me与光照强度e相关，光照越强，遮罩的透明度α越低，成像中的物体越亮。此外，光的波长也会影响光源矩阵，可见光波长可能对红外光的对抗扰动起到强衰减作用，红外光的对抗性扰动可能对可见光完全无效。

38、2.4)对目标物体-对抗衰减函数进行插值。目标物体对对抗性衰减的因素主要是外在形态，表现为纹理和颜色。数学上，对于目标物体x，其成像主体表示为s(x)＝{xt，xc}，其中xt，xc分别表示物体的纹理和颜色。具体地，对于纹理变量xt，获得n组扰动衰减结果，由插值法可得：

39、

40、其中t表示纹理变量矩阵，ct为与纹理相关的常数。

41、对于颜色变量xc，获得n组扰动衰减结果，由插值法可得：

42、

43、其中c表示颜色变量矩阵，cc为与颜色相关的常数。

44、2.5)重复实验并确定衰减因子重要性。对于成像主体中光源、目标物体和采集设备，重复多次数据采集和实验可以通过插值拟合出三条关于扰动衰减的函数。成像主体中不同的自变量对扰动衰减的影响程度不同，若某衰减因子的微小变化导致扰动效果的剧烈衰减，则说明该衰减因子会导致更大的扰动变化范围，对于函数的贡献度更大，在优化过程中应予以优先考虑。

45、3)面向成像主体的多因子联合扰动优化，具体步骤如下：

46、3.1)多因子联合衰减建模。对面向成像主体的光学环境条件提前进行建模，以多个衰减因子指导物理域扰动优化，使其在不同的光线下对多种目标物体都具有对抗性效果。扰动联合优化的重点是在给定图像x的情况下搜索物理域扰动δ的向量，最终导致模型f的错误分类。

47、由于成像主体变化导致对抗性的衰减，基于2)中所述的扰动衰减对抗性分析，结合多个成像主体的衰减因子，将目标物体颜色和纹理导致的扰动衰减建模为：

48、

49、其中矩阵h2＝[t，c]t为纹理和颜色矩阵，c为常数。

50、3.2)联合优化扰动的优化目标定义。定义搜索空间θ，表示为:θ＝{δ|δ＝[l，xt，xc]，∈min≤δ≤∈max}，其中∈表述约束条件的列表。本方法考虑了最实际的场景：攻击者无法获得目标模型的知识，而只能获得模型对于物体x在输出类y上的置信度分数。利用置信度分数作为对抗性损失。因此，优化目标为使正确标签上的置信分数最小化，通过解决以下目标来构建对抗性扰动：

51、

52、此外，对抗性扰动还应该在尽可能多变的环境中保持对抗性，即：使光源光照强度和波长、目标物体的纹理颜色和采集设备尽可能覆盖更大的范围，更多样化。因此，优化目标还需要加上以下公式：

53、

54、其中range函数表示所涵盖的范围，f为扰动的对抗性函数。

55、3.3)最优解搜索。利用目标模型给出的置信度分数，并使用贪婪算法来搜索向量δ以生成对抗性物理域扰动。简而言之，用置信度fy(x+δ)指导的更强对抗强度更新参数δ的当前向量，如果fy(x+δ)减小，则用δ’更新参数δ的向量。为了避免陷入局部最优，在贪婪算法中加入了k-随机重启的策略，以引入更多随机性。在搜索过程中重新启动搜索过程k次，使用不同初始化的δ，可以大大提高搜索过程的效率。

56、3.4)优化方向确定。更新过程中可能无法兼顾光源、目标物体的纹理和颜色，此时依旧需要以紧耦合的变量指导优化方向，即：若某一变量的微小改变急剧影响了扰动衰减函数的输出值，则优先优化该变量。若某变量的巨大改变对衰减函数的输出并无明显影响，则最后优化该变量，并以其值作为优化的初始值。

57、3.5)扰动生成。同时优化式(13)和(14)以找到最优解，即为对成像主体变化鲁棒的对抗性扰动。将扰动添加到原始图像中，就能对多种光源、目标物体和光学采集设备都具有很强的对抗能力。

58、本发明的技术构思为：一种对成像主体变化鲁棒的行人目标检测物理抗衰减对抗方法，对成像主体中的光源、目标对象和采集设备等影响扰动效果的因素进行具体分析和参数化，实现成像主体中衰减原因的体系化建模，探究光学特性对成像中扰动的衰减作用，利用插值算法拟合单因子对扰动对抗性的影响函数，以此指导对抗样本生成，以挖掘深度模型中的深层次漏洞。利用生成的对抗样本对模型进行重新训练，可以修复其中的漏洞，使深度模型在应用时更加安全可靠。

59、本发明的有益效果主要表现在：对于现有深度学习模型对抗方法，提出了一种对成像主体变化鲁棒的行人目标检测物理抗衰减对抗方法。在真实深度学习模型上的实验结果表明，该方法具有良好的适用性，对抗样本能对多种光源、目标物体和光学采集设备都保持对抗性，有效发现模型中的深层次缺陷。对自动驾驶汽车的目标检测模型在行人检测的过程中更加安全可靠。