一种基于三维重建的对抗补丁重投影方法及系统

本发明涉及计算机视觉图像处理，具体涉及投影变换技术，提出了一种基于三维重建的对抗补丁重投影方法。

背景技术：

1、最近的研究表明，目标检测器容易受到对抗样本的攻击。对抗样本攻击是攻击者在输入图像的有限大小的区域内对像素进行扭曲，导致模型以高置信度给出一个错误的输出，对现实世界的目标检测系统构成严重威胁。如果类似攻击发生在无人驾驶领域将可能会导致严重后果，例如对抗性补丁可能会使的目标检测器无法识别出停车标志和人。因此，我们需要未雨绸缪，研究和模拟出现实世界中可能存在的各种对抗攻击。研究对抗攻击有助于我们评估目标检测系统的安全性。

2、目前大多数现有的对抗补丁算法在物理域对目标检测器进行攻击时，未考虑成像系统拍摄的俯仰角度问题，导致成像系统在大视角范围拍摄时对抗补丁攻击会失效，即它们对于成像设备相对于目标物体的位置的变化不是鲁棒的。而在实际的环境中，对目标拍摄往往不是沿着固定的俯仰角度，而是在一定的俯仰角度多方位的进行拍摄的。因此，物理世界覆盖在目标上的对抗补丁在拍摄成像系统中将会呈现不同的分辨率和仿射变化。然而，当前大多数方法在优化对抗补丁时通常仅考虑理想的拍摄俯仰角（一般为90°），这使得对抗补丁很可能无法适应实际拍摄带来的分辨率差异和仿射形变。因此，设计一个在优化过程中能够根据拍摄俯仰角度自动实施仿射变换的动态机制，对促进对抗补丁在大范围角度内保持攻击有效性具有重要意义。

技术实现思路

1、本发明针对现有技术的不足，提供一种对抗补丁投影变换的方法。目前，在模拟对抗补丁攻击物体时，主流的方法将对抗补丁进行一定程度的缩放并放置在被攻击图像的检测框的正中心。然而贴在物体表面的真实补丁随着物体发生了一定程度的旋转时，会使得补丁在摄像机中的成像形状发生形变，将导致真实的攻击效果相较于模拟的攻击效果大幅度下降。对此，本发明提供的对抗补丁投影变换方法能够准确模拟出补丁的真实形变，从而保证了真实的补丁和模拟补丁具有同样的攻击效果。

2、为了达到上述目的，本发明采用如下技术方案：

3、一种基于三维重建的对抗补丁重投影方法，包括如下步骤：

4、步骤1，建立初始匹配集:通过特征检测建立初始匹配集；

5、步骤2，去除误匹配点:对所述步骤1中初始匹配集中的误匹配点进行去除获取准确匹配点对；

6、步骤3，稀疏重建:利用步骤2得到的准确匹配点对估计相机的内部参数和外部参数；

7、步骤4，稠密重建:根据步骤3中计算的相机参数计算图片中每个像素点对应的三维点的深度值，将上述深度值按照原始彩色图像的像素点顺序进行排列组成对应的深度图，在拍摄的多视角图片集合中选取某一张图像作为主视角，其他视角的图片统称为副视角，在副视角中寻找出与主视角的匹配像素点；

8、步骤5，主视角投影:在主视角上选取一块四边形区域作为投影区域，将区域的四个顶点即控制点的二维坐标记为，则对应的齐次坐标为,则对抗补丁控制点的齐次坐标记为，基于与获取对抗补丁到主视角的投影变换矩阵，利用投影变换矩阵将对抗补丁中的所有的像素点投影到中对应的位置；

9、步骤6，副视角投影：利用步骤3计算的相机参数和步骤4计算的深度图，计算出副视角上对应的控制点，通过四组对应坐标可以计算出对抗补丁控制点到副视角对应点之间的投影矩阵，再利用对抗补丁控制点到副视角对应点之间的投影矩阵将对抗补丁中所有的像素点投影到副视角对应的区域中。

10、进一步地，所述步骤1中，特征点检测使用尺度不变特征变换方法sift，sift的具体步骤如下：

11、步骤1.1，尺度空间极值检测：通过高斯差分函数构建图像的尺度空间金字塔，然后在尺度空间中寻找极值点作为潜在的关键点；

12、步骤1.2，关键点定位：通过拟合关键点周围像素的二次函数来精确定位关键点的位置，同时排除对比度低于的关键点和边缘效应点，其中t为经验值，n为特征点数目；

13、步骤1.3，方向确定：根据关键点周围像素的梯度方向，计算主方向，使得特征具有旋转不变性；

14、步骤1.4，特征描述：在关键点周围的图像区域中，使用高斯加权的梯度直方图描述关键点的局部特征，以达到尺度不变性和旋转不变性；

15、步骤1.5，特征匹配：对于两个图像中的特征点，使用特征向量间的欧氏距离或其他距离度量方法来计算它们之间的相似性，以进行特征匹配。

16、进一步地，所述步骤2中，利用随机采样一致算法ransac对可能存在的错误匹配点进行去除，ransac的具体步骤如下：

17、步骤2.1，随机采样：从数据集中随机选择少量的样本，用于拟合模型；

18、步骤2.2，模型拟合：使用步骤2.1选择的样本，使用多项式模型进行拟合；

19、步骤2.3，计算误差：对于数据集中的每个非内点，计算它与当前模型的拟合误差，如果这个误差小于给定的阈值，将该点标记为内点；

20、步骤2.4，确定内点：将误差小于某个给定阈值的数据点标记为内点；

21、步骤2.5，重新拟合：如果内点的数量达到了设定的阈值，则使用所有内点重新拟合一个新的模型，否则返回步骤2.1。

22、进一步地，所述步骤3中，通过从运动恢复结构算法sfm估计相机的参数，所述相机参数包括相机内部参数和相机外部参数，

23、其中，相机内部参数：相机的x方向焦距、y方向焦距、光心的x轴坐标、光心的y轴坐标；

24、相机的外部参数：旋转矩阵r即相机坐标系在世界坐标系下的坐标、平移向量t即世界坐标系原点到相机光心的向量。

25、进一步地，所述步骤4中具体包括如下子步骤:

26、步骤4.1，随机初始化：对于图像中的每一个像素值随机初始化一个设定的平面参数，设定的法相量必须朝向于相机，即，其中表示一条以相机光心为起点经过像素点的射线，其中为空间平面的法向量，为空间平面与相机光心之间的距离；

27、步骤4.2，稠密匹配点查找：通过估计的平面参数和相机参数，利用单应性矩阵查找副视角中与主视角像素点对应的匹配点；

28、步骤4.3，匹配代价计算：在以主视角的像素点为中心，大小为10*10的窗口内，利用单应性矩阵将所有像素点投影到副视角中，利用归一化互相关函数ncc进行匹配代价计算；

29、步骤4.4，假设传播：在待处理点的八个方向上选取八个候选区域，遍历候选区域中所有的点，从每个区域中挑选出一个代价最小的设定平面参数，将8个传播候选平面参数代入到当前点，计算对应的匹配像素点以及相应的匹配代价，最后，将待处理点的平面参数更新为代价最小的候选平面参数；

30、步骤4.5，平面参数扰动优化：对当前的平面法向量进行随机扰动，使得法向量绕相机坐标系的坐标轴产生一定的旋转，得到的新的法向量记为，然后对像素点的深度值进行一定程度的扰动，得到扰动后的深度值，接着随机初始化一个法向量和深度值和，将新的法向量和深度值组合构成新的候选的平面参数，将新的平面参数代入到待处理点中，计算匹配像素点和相应的匹配代价，如果新的候选平面相比于原始的平面参数具有更小的匹配代价，则将平面参数更新为具有最小代价的平面参数。

31、进一步地，所述步骤步骤4.2中，

32、单应性矩阵公式为：

33、

34、其中是的相机内参，是第 j张的相机内参，表示第 j张图像的相机旋转矩阵，表示图像的相机旋转矩阵，是列向量，表示对应相机的光心在世界坐标系下的坐标，表示第 j张对应相机的光心在世界坐标系下的坐标，是行向量，表示法向量，为光心到设定平面的距离；查找到的匹配点坐标为：

35、

36、其中，表示主视角中的像素点，表示副视角中的像素点。

37、步骤步骤4.3中，匹配代价计算表达式如下：

38、

39、其中，是属于主视角中窗口的像素点，是属于副视角中窗口的像素点，表示点的像素值，表示点的像素值，表示窗口的平均像素值，表示窗口中的平均像素值，ncc值越大，表示像素点的匹配程度越高。

40、进一步地，所述步骤4.5中，新的法向量和深度值组合构成新的扰动候选平面参数为：

41、。

42、进一步地，所述步骤5中，投影公式表示为：

43、

44、其中为对抗补丁到主视角的投影矩阵，用四组对应关系求解方程组，可以解得投影矩阵：

45、

46、其中，为主视角四个控制点的二维坐标，为副视角四个控制点的二维坐标。

47、本发明还提供一种基于三维重建的对抗补丁重投影系统，包括：

48、初始匹配集建立模块，其通过特征检测建立初始匹配集；

49、误匹配点去除模块:其对初始匹配集中的误匹配点进行去除获取准确匹配点对；

50、稀疏重建模块，其利用准确匹配点对估计相机的内部参数和外部参数；

51、稠密重建模块，其根据计算的相机参数计算图片中每个像素点对应的三维点的深度值并按照原始彩色图像的像素点顺序进行排列组成对应的深度图，在拍摄的多视角图片集合中选取某一张图像作为主视角，其他视角的图片统称为副视角，在副视角中寻找出与主视角的匹配像素点；

52、主视角投影模块，在主视角上选取一块四边形区域作为投影区域，将区域的四个顶点即控制点的二维坐标记为，则对应的齐次坐标为,则对抗补丁控制点的齐次坐标记为，基于与获取对抗补丁到主视角的投影变换矩阵，利用投影变换矩阵将对抗补丁中的所有的像素点投影到中对应的位置；

53、副视角投影模块，其利用计算的相机参数和深度图，计算出副视角上对应的控制点，通过四组对应坐标可以计算出对抗补丁控制点到副视角对应点之间的投影矩阵，再利用对抗补丁控制点到副视角对应点之间的投影矩阵将对抗补丁中所有的像素点投影到副视角对应的区域中。

54、与现有技术相比，本发明具有如下有益效果：

55、现有的方法没有考虑补丁的投影变换问题，导致模拟的数字补丁和真实的打印补丁的攻击效果有着明显差别，无法在真实的物理环境下实现应有攻击效果。本发明通过投影变换的方式将模拟的数字补丁投影到被攻击的图像中，并保证不同视角下的投影补丁满足多视角几何一致性，从而消除了数字补丁和真实补丁之间的差别，使得真实补丁的实际攻击效果和模拟补丁的效果保持一致。