一种基于雷达和图像数据融合检测的防御方法及系统

本发明涉及自动驾驶的目标检测领域、人工智能攻防领域，特别是涉及一种基于深度学习的雷达和图像数据融合检测的防御方法及系统。

背景技术：

近年来，在自动驾驶的目标检测领域，卷积神经网络是在利用摄像机图像进行目标检测的方法中最有效的。然而，即使摄像机图像中视觉表示与人类的视觉感知密切相关，在天气恶劣的条件下，如大雨或大雾，能见度也会降低，单靠摄像机进行安全驾驶得不到保证。于是，出现了新的方法，用神经网络融合雷达和摄像机传感器数据，以提高目标检测精度。与摄像机传感器相比，雷达传感器对环境条件(如光照变化、雨、雾)更加鲁棒。此外，目前已有论文提出可以针对摄像头进行致盲攻击。结合数据融合思想，我们提出了一种基于深度学习的雷达和图像数据融合检测的防御方法和系统，可以用于抵御致盲攻击。

在《adeeplearning-basedradarandcamerasensorfusionarchitectureforobjectdetection》论文中提出了一种基于深度学习的目标检测的雷达与摄像机传感器融合架构。研究表明，在神经网络中融合雷达和摄像机数据可以提高目标检测网络的检测精度。但是论文中并没有提出可以检测攻击并防御的方法。

申请号为cn201711459314.8的专利所公开的技术方案，基于雷达和图像数据融合的深度学习车载障碍物检测方法。提出了一种基于智能设备传感器数据融合和深度学习的目标检测算法，通过融合的雷达点云数据和摄像头数据，丰富了检测模型所能够感知的数据特征类型。利用yolo深度卷积神经网络模型处理融合数据，进行道路场景的目标障碍物检测目标。专利中提出的检测方法提高了目标检测的准确度，然而，并没有考虑到致盲攻击对于目标检测的影响。

技术实现要素：

本发明提供一种针对雷达和图像数据融合检测的防御方法及系统，能够应对致盲攻击对目标检测造成的影响，使自动驾驶更安全。

为实现上述目的，本发明提供了如下方案：

本发明提供一种基于雷达和图像数据融合检测的防御方法，其方法包括以下步骤：

s1，在自动驾驶正常运行过程中，对摄像机进行致盲攻击；

s2，自动驾驶的离线平台对数据进行采集，并进行攻击检测；

s3，经过主系统确认存在攻击，自动驾驶的离线平台重新进行training部署；

s4，自动驾驶的在线平台，利用新的防御模型进行目标检测，从而达到防御效果。

进一步地，所述s1具体包括：

s1.1，在自动驾驶正常运行过程中，会利用车载传感器收集相关数据；仿真实验利用nuscenes数据集进行实验，使用其官方提供的v1.0-mini数据集中的5个毫米波雷达数据和6个摄像机图像数据；

s1.2，利用led灯对摄像机进行攻击；仿真实验利用python程序在6个摄像机图像数据上添加光斑。

进一步地，所述s1.2具体包括：

s1.2.1，自行设置光斑半径与图像最短变长之比、光斑中心大小和亮度；

s1.2.2，遍历摄像机图像数据，利用随机函数在每个图像上随机添加光斑进行攻击，生成被攻击后的摄像机图像数据集。

进一步地，所述s2具体包括：

s2.1，利用svm分类算法，对新采集图像数据和原始数据进行攻击检测，发现分类错误，则给主系统发送错误信号；仿真实验中新采集的图像数据为攻击后的摄像机图像数据集；

s2.2，未发现分类错误，则给主系统发送正常驾驶信号，无需进行后续步骤。

进一步地，所述s3具体包括：

s3.1，离线平台提高雷达数据在数据融合神经网络模型训练中的比重；

s3.2，利用被攻击后的图像数据和雷达数据重新进行模型训练，从而提高目标检测分类精度。

进一步地，所述s3.1具体包括：

s3.1.1，未受到攻击时，雷达数据预处理，将多周期的雷达数据从二维点云数据同时映射到图像垂直平面，雷达数据包括方位角，距离，雷达高度均设置为3米；雷达回波的特征作为像素值存储在增强图像中；在没有雷达回波的图像像素位置，投影的雷达通道值被设置为0值；

s3.1.2，检测受到攻击时，将雷达回波的特征扩大5倍作为像素值存储在增强图像中；在没有雷达回波的图像像素位置，投影的雷达通道值被设置为0值。

进一步地，所述s3.2具体包括：

s3.2.1，神经网络的输入为相机图像的三个通道(红、绿、蓝)和雷达通道组成的四维通道，输出为目标检测盒的二维回归坐标和检测盒的分类分数；

s3.2.2，深度学习神经网络采用以vgg16的卷积块作为主要处理单元，通过max-pooling以相应比例处理输入；

s3.2.3，在每层均进行融合处理，深层网络增加特征金字塔(fpn)产生分类和回归结果，通过不断训练优化损失，最终使得模型达到稳定状态；

s3.2.4，保存训练好的新的防御模型。

实施本发明的一种基于雷达和图像数据融合检测的防御方法的系统，包括以下模块：攻击检测模块、training重部署模块、目标检测模块：

所述攻击检测模块，利用svm分类算法，对新采集图像数据和原始数据进行攻击检测，发现分类错误，离线平台给主系统发送错误通知；未发现分类错误，正常驾驶，无需进行后续步骤；

所述training重部署模块，自动驾驶的离线平台重新进行training部署，保存新的防御模型；

所述目标检测模块，自动驾驶在线平台载入所述training重部署模块保存的模型，重新进行自动驾驶；

所述攻击检测模块、training重部署模块、目标检测模块依次链接。

本发明的技术构思：一种基于深度学习的雷达和图像数据融合检测的防御方法，本发明考虑了自动驾驶的在线平台设计和离线平台设计，提出了一种用于自动驾驶的防御方法。其次，仿真进行致盲攻击时，在图像上添加的光斑位置是随机的，而且大小可调节。再者，考虑到led灯对摄像头进行攻击的效果受天气的影响，因此光斑的亮度也是可调节的，且中间亮四周减弱。另外，本发明已经进行了仿真实验，证实了本方法的可行性。

本发明的有益效果：

1.本方法仿真实验不需要人工收集毫米波雷达数据和摄像机图像数据，不需要有自动驾驶数据集相关的先验知识。

2.仿真实验中，致盲攻击利用对图像数据随机添加光斑实现，其光斑大小、亮度可调，更贴合实际情况。

3.经过仿真实验，验证了添加光斑确实对摄像头的目标检测结果有影响，说明现实世界中自动驾驶确实存在摄像头被led灯攻击后无法正常行驶的可能性。

4.利用本发明的防御方法，可以有效的抵抗致盲攻击，提高了自动驾驶的安全性。

附图说明

图1为实现本发明方法及系统的流程图；

图2为实现本发明方法及系统的框架图；

图3为基于深度学习的雷达和图像数据融合神经网络框架图；

图4为仿真致盲攻击效果图。

具体实施方式

下面结合说明书附图对本发明的具体实施方式作进一步详细描述。

自动驾驶的在线平台是车载环境的平台，完成对数据的实时分析，实现车辆自动驾驶的功能。自动驾驶的离线平台实现车辆的运营、数据管理与分析、模型训练、离线仿真。在自动驾驶正常运行过程中，在线平台利用离线平台提供的模型进行目标检测，从而保证安全驾驶。以下具体实施方式，以自动驾驶过程中受到致盲攻击为例。

参照图1至图4，一种基于雷达和图像数据融合检测的防御方法及系统，包括以下步骤：

s1，在自动驾驶正常运行过程中，对摄像头进行致盲攻击；

s1.1，在自动驾驶正常运行过程中，会利用车载传感器收集相关数据；仿真实验利用nuscenes数据集，这是第一个提供自动汽车全套传感器数据的大型数据集，包括了6个相机、1个激光雷达、5个毫米波雷达、以及gps和imu；这个数据集由1000个场景组成，每个场景长度为20秒，包含了各种各样的情景。在每一个场景中，有40个关键帧，也就是每秒钟有2个关键帧，其他的帧为sweeps。使用其官方提供的v1.0-mini数据集中的5个毫米波雷达数据和6个摄像头图像数据进行实验。

s1.2，利用led灯对摄像头进行攻击；仿真实验利用python程序在6个摄像头图像数据上添加光斑。

s1.2.1，自行设置光斑半径与图像最短变长之比、光斑中心大小和亮度。

s1.2.2，遍历摄像机图像数据，利用随机函数在每个图像上随机添加光斑进行攻击，生成被攻击后的摄像机图像数据集。

s2，自动驾驶的离线平台对数据进行采集，并进行攻击检测；

s2.1，利用svm分类算法，对新采集图像数据和原始数据进行攻击检测，发现分类错误，则给主系统发送错误信号；仿真实验中新采集的图像数据为攻击后的摄像机图像数据集。

s2.2，未发现分类错误，则给主系统发送正常驾驶信号，无需进行后续步骤。

s3，经过主系统确认存在攻击，自动驾驶的离线平台重新进行training部署；

s3.1，离线平台提高雷达数据在数据融合神经网络模型训练中的比重。

s3.1.1，未受到攻击时，雷达数据预处理，将多周期的雷达数据从二维点云数据同时映射到图像垂直平面，雷达数据包括方位角，距离，雷达高度均设置为3米；雷达回波的特征作为像素值存储在增强图像中；在没有雷达回波的图像像素位置，投影的雷达通道值被设置为0值。

s3.1.2，检测受到攻击时，将雷达回波的特征扩大5倍作为像素值存储在增强图像中；在没有雷达回波的图像像素位置，投影的雷达通道值被设置为0值。

s3.2，利用被攻击后的图像数据和雷达数据重新进行模型训练，从而提高目标检测分类精度。

s3.2.1，神经网络的输入为相机图像的三个通道(红、绿、蓝)和雷达通道组成的四维通道，输出为目标检测盒的二维回归坐标和检测盒的分类分数。

s3.2.2，深度学习神经网络采用以vgg16的卷积块作为主要处理单元，通过max-pooling以相应比例处理输入。

s3.2.3，在每层均进行融合处理，深层网络增加特征金字塔(fpn)产生分类和回归结果，通过不断训练优化损失，最终使得模型达到稳定状态。

s3.2.4，保存训练好的新的防御模型。

s4，自动驾驶的在线平台，利用新的防御模型进行目标检测，从而达到防御效果。

实施本发明的一种基于雷达和图像数据融合检测的防御方法的系统，包括：攻击检测模块、training重部署模块、目标检测模块；

所述攻击检测模块，利用svm分类算法，对新采集图像数据和原始数据进行攻击检测，发现分类错误，离线平台给主系统发送错误通知；未发现分类错误，正常驾驶，无需进行后续步骤；具体包括：

s2.1，利用svm分类算法，对新采集图像数据和原始数据进行攻击检测，发现分类错误，则给主系统发送错误信号；仿真实验室新采集的图像数据为攻击后的摄像机图像数据集。

s2.2，未发现分类错误，则给主系统发送正常驾驶信号，无需进行后续步骤。

所述training重部署模块，自动驾驶的离线平台重新进行training部署，保存新的防御模型；具体包括：

s3.1，离线平台提高雷达数据在数据融合神经网络模型训练中的比重。

s3.1.1，未受到攻击时，雷达数据预处理，将多周期的雷达数据从二维点云数据同时映射到图像垂直平面，雷达数据包括方位角，距离，雷达高度均设置为3米；雷达回波的特征作为像素值存储在增强图像中；在没有雷达回波的图像像素位置，投影的雷达通道值被设置为0值。

s3.1.2，受到攻击后，将雷达回波的特征扩大5倍作为像素值存储在增强图像中；在没有雷达回波的图像像素位置，投影的雷达通道值被设置为0值。

s3.2，利用被攻击后的图像数据和雷达数据重新进行模型训练，从而提高目标检测分类精度。

s3.2.1，神经网络的输入为相机图像的三个通道(红、绿、蓝)和雷达通道组成的四维通道，输出为目标检测盒的二维回归坐标和检测盒的分类分数。

s3.2.2，深度学习神经网络采用以vgg16的卷积块作为主要处理单元，通过max-pooling以相应比例处理输入。

s3.2.3，在每层均进行融合处理，深层网络增加特征金字塔(fpn)产生分类和回归结果，通过不断训练优化损失，最终使得模型达到稳定状态。

s3.2.4，保存训练好的新的防御模型。

所述目标检测模块，自动驾驶在线平台载入所述training重部署模块保存的模型，重新进行自动驾驶。

所述攻击检测模块、所述training重部署模块、所述目标检测模块依次链接。

本发明利用了可以调节大小、位置、亮度的光斑，仿真进行致盲攻击，仿真实验结果说明致盲攻击会对自动驾驶形成安全隐患，利用所提出的防御方法可以抵御攻击，提高自动驾驶的安全性。

本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。