一种基于毫米波雷达与相机的目标检测方法及相关设备与流程

本技术涉及车辆自动驾驶目标检测领域，尤其涉及一种基于毫米波雷达与相机的目标检测方法、系统、车辆及计算机可读存储介质。

背景技术：

1、目前，在车辆自动驾驶目标检测方面，采用多种类型的传感器实现对车辆周围目标的检测。其中，相机部署成本低廉，可以获取物体的颜色和纹理信息，但是缺少深度信息；激光雷达可以获取准确并且较为稠密的深度和3d(3-dimension，三维)位置信息，但是受天气影响较大，并且部署成本高昂；毫米波雷达部署成本低，可以获取物体深度和3d位置信息，但是缺少颜色和纹理信息，并且获取的数据较为稀疏并且存在较多噪声点。因此，采用毫米波雷达和相机的数据进行融合可以实现优势互补。

2、但是，在采用毫米波雷达和相机的数据进行融合时，由于数据采集误差会导致最终得到的目标检测结果不准确，从而会影响车辆自动驾驶过程中对周围目标的检测。

3、因此，现有技术还有待于改进和发展。

技术实现思路

1、本技术的主要目的在于提供一种基于毫米波雷达与相机的目标检测方法、系统、车辆及计算机可读存储介质，旨在解决现有技术中在采用毫米波雷达和相机的数据进行融合时，由于数据采集误差会导致最终得到的目标检测结果不准确，从而会影响车辆自动驾驶过程中对周围目标的检测的问题。

2、本技术第一方面实施例提供一种基于毫米波雷达与相机的目标检测方法，包括以下步骤：获取毫米波雷达采集到的目标点云数据和相机拍摄到的目标图像，通过经过训练的毫米波特征提取网络从所述目标点云数据中提取毫米波特征，通过经过训练的图像特征提取网络从所述目标图像中提取图像特征；将所述毫米波特征和所述图像特征输入到经过训练的区域候选网络中，生成并输出候选框；将所述毫米波特征、所述图像特征和所述候选框输入到经过训练的检测头网络中，生成并输出目标框；根据所述目标框，得到目标检测结果。

3、根据上述技术手段，本技术实施例可以结合毫米波雷达部署成本低，获取物体深度和3d位置信息的效果，以及相机可以获取物体的颜色和纹理信息的效果，将毫米波雷达和相机获取信息进行融合从而得到对应的候选框，在通过候选框对毫米波雷达和相机的特征进行一次框选后，最后经过检测头网络输出对应的目标框，通过目标框框选的目标可以获取到目标检测结果。在该过程中，结合了毫米波雷达和相机的优势，并通过融合输出结果，从而从全局上进行判断给出了目标检测结果，避免了由于数据采集误差会导致最终得到的目标检测结果不准确，从而会影响车辆自动驾驶过程中对周围目标的检测的问题。

4、可选地，在本技术的一个实施例中，所述通过经过训练的毫米特征提取网络从所述目标点云数据中提取毫米波特征，具体包括：对所述目标点云数据进行位置补偿，得到补偿目标点云数据；将所述补偿目标点云数据输入到所述经过训练的毫米波特征提取网络中的稀疏嵌入卷积检测网络中，得到初步毫米波特征；将所述初步毫米波特征输入到所述经过训练的毫米波特征提取网络中的特征金字塔网络中，得到所述毫米波特征。

5、根据上述技术手段，本技术实施例可以在获取到目标点云数据后，对目标点云数据进行位置补偿，从而消除由于毫米波雷达的波长和工作原理，雷达的方位角分辨率和准确性较低，存在较多噪点，并且点云数量稀疏所带来的数据稀疏的问题；进一步的，在得到对应的补偿目标点云数据后，通过稀疏嵌入卷积检测网络和特征金字塔网络得到毫米波特征，由于采用了稀疏嵌入卷积检测网络，因此可以大大降低大量无效计算的问题，同时采用特征金字塔可以获取到综合多尺度特征的毫米波特征。

6、可选地，在本技术的一个实施例中，所述通过经过训练的图像特征提取网络从所述目标图像中提取图像特征，具体包括：将所述目标图像输入到所述经过训练的图像特征提取网络中的残差网络中，得到初步图像特征；将所述初步图像特征输入到所述经过训练的图像特征提取网络中的特征金字塔网络中，得到所述图像特征。

7、根据上述技术手段，本技术实施例可以通过两个网络多目标图像进行处理，得到图像特征，其中采用包含了多层卷积的残差网络对目标图像进行处理得到初步图像特征，对初步图像特征采用特征金字塔网络进行处理，从而可以有效获取图像中包含的语义特征，得到更加准确的图像特征。

8、可选地，在本技术的一个实施例中，所述经过训练的区域候选网络包括第一特征权重预测模块和卷积神经网络。

9、根据上述技术手段，本技术实施例通过将第一权重预测模块和卷积神经网络设组合为经过训练的区域候选网络，可以通过第一权重预测模块将毫米波特征和图像特征进行融合，从而通过融合后的特征采用卷积神经网络来生成对应的候选框，其中由于采用特征融合的方式，使得获得的候选框可以选取到更加准确的特征。

10、可选地，在本技术的一个实施例中，所述将所述毫米波特征和所述图像特征输入到经过训练的区域候选网络中，生成并输出候选框，具体包括：根据所述毫米波特征和所述图像特征生成锚框，将所述锚框投影到所述毫米波特征和所述图像特征上，得到第一兴趣区域特征和第二兴趣区域特征；将所述第一兴趣区域特征和所述第二兴趣区域特征输入到所述第一特征权重预测模块中，得到第一融合特征；将所述第一融合特征输入到所述卷积神经网络中，生成所述候选框。

11、根据上述技术手段，本技术实施例可以通过毫米波特征和图像特征简单的生成一个锚框，而之后将锚框投影到毫米波特征和图像特征上后，实现了向特征中引入框的步骤，之后对特征进行审神经网络处理从而可以将锚框进一步优化，得到候选框；其中，根据毫米波雷达和图像特征生成锚框，为本技术实施例引入了初步的框，而不至于生成一个初始化的框，从而节约了候选框的生成过程，而后续采用多个神经网络处理投影了锚框的毫米波特征和图像特征可以得到准确的候选框。

12、可选地，在本技术的一个实施例中，所述经过训练的检测头网络包括第二特征权重预测模块和多层感知机网络。

13、根据上述技术手段，本技术实施例可以在生成候选框后，采用由第二特征权重预测模块和多层感知机网络得到的检测头对候选框进行处理，从而可以得到准确的目标框，通过目标框实现最终的目标检测。

14、可选地，在本技术的一个实施例中，所述将所述毫米波特征、所述图像特征和所述候选框输入到经过训练的检测头网络中，生成并输出目标框，具体包括：将所述候选框投影到所述毫米波特征和所述图像特征上，得到第三兴趣区域特征和第四兴趣区域特征；将所述第三兴趣区域特征和所述第四兴趣区域特征输入到所述第二特征权重预测模块，得到第二融合特征；将所述第二融合特征输入到所述多层感知机网络中，生成所述目标框。

15、根据上述技术手段，本技术实施例可以在生成目标框的时候，将通过候选框投影的第三兴趣区域特征和第四兴趣区域特征输入到第二特征权重模块中，从而得到融合后得第二融合特征，将第二融合特征输入到对应的多层感知机中，从而得到准确的目标框，获得自车周围车辆、行人和物体的检测，其中通过采用多层感知机，具有较好的泛化能力，从而可以得到更加准确的目标框。

16、本技术第二方面实施例提供一种基于毫米波雷达与相机的目标检测系统，所述基于毫米波雷达与相机的目标检测系统包括：特征生成模块，用于获取毫米波雷达采集到的目标点云数据和相机拍摄到的目标图像，通过经过训练的毫米波特征提取网络从所述目标点云数据中提取毫米波特征，通过经过训练的图像特征提取网络从所述目标图像中提取图像特征；候选框生成模块，用于将所述毫米波特征和所述图像特征输入到经过训练的区域候选网络中，生成并输出候选框；目标框生成模块，用于将所述毫米波特征、所述图像特征和所述候选框输入到经过训练的检测头网络中，生成并输出目标框；结果输出模块，用于根据所述目标框，得到目标检测结果。

17、可选地，在本技术的一个实施例中，所述特征生成模块包括：位置补偿单元，用于对所述目标点云数据进行位置补偿，得到补偿目标点云数据；初步毫米波特征生成单元，用于将所述补偿目标点云数据输入到所述经过训练的毫米波特征提取网络中的稀疏嵌入卷积检测网络中，得到初步毫米波特征；毫米波特征生成单元，用于将所述初步毫米波特征输入到所述经过训练的毫米波特征提取网络中的特征金字塔网络中，得到所述毫米波特征。

18、可选地，在本技术的一个实施例中，所述特征生成模块包括：初步图像特征生成单元，用于将所述目标图像输入到所述经过训练的图像特征提取网络中的残差网络中，得到初步图像特征；图像特征生成模块，用于将所述初步图像特征输入到所述经过训练的图像特征提取网络中的特征金字塔网络中，得到所述图像特征。

19、可选地，在本技术的一个实施例中，所述经过训练的区域候选网络包括第一特征权重预测模块和卷积神经网络。

20、可选地，在本技术的一个实施例中，所述候选框生成模块包括：候选兴趣区域生成单元，用于根据所述毫米波特征和所述图像特征生成锚框，将所述锚框投影到所述毫米波特征和所述图像特征上，得到第一兴趣区域特征和第二兴趣区域特征；候选融合单元，用于将所述第一兴趣区域特征和所述第二兴趣区域特征输入到所述第一特征权重预测模块中，得到第一融合特征；候选框生成单元，用于将所述第一融合特征输入到所述卷积神经网络中，生成所述候选框。

21、可选地，在本技术的一个实施例中，所述经过训练的检测头网络包括第二特征权重预测模块和多层感知机网络。

22、可选地，在本技术的一个实施例中，所述目标框生成模块包括：目标兴趣区域生成单元，用于将所述候选框投影到所述毫米波特征和所述图像特征上，得到第三兴趣区域特征和第四兴趣区域特征；目标融合单元，用于将所述第三兴趣区域特征和所述第四兴趣区域特征输入到所述第二特征权重预测模块，得到第二融合特征；目标框生成单元，用于将所述第二融合特征输入到所述多层感知机网络中，生成所述目标框。

23、本技术第三方面实施例提供一种车辆，所述车辆包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于毫米波雷达与相机的目标检测程序，所述基于毫米波雷达与相机的目标检测程序被所述处理器执行时实现如上述实施例所述的基于毫米波雷达与相机的目标检测方法的步骤。

24、本技术第四方面实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有基于毫米波雷达与相机的目标检测程序，所述基于毫米波雷达与相机的目标检测程序被处理器执行时实现如上述实施例所述的基于毫米波雷达与相机的目标检测方法的步骤。

25、本技术的有益效果：

26、(1)本技术实施例结合毫米波雷达部署成本低，获取物体深度和3d位置信息的效果，以及相机可以获取物体的颜色和纹理信息的效果，将毫米波雷达和相机获取信息进行融合从而得到对应的候选框，在通过候选框对毫米波雷达和相机的特征进行一次框选后，最后经过检测头网络输出对应的目标框，通过目标框框选的目标可以获取到目标检测结果。在该过程中，结合了毫米波雷达和相机的优势，并通过融合输出结果，从而从全局上进行判断给出了目标检测结果，避免了由于数据采集误差会导致最终得到的目标检测结果不准确，从而会影响车辆自动驾驶过程中对周围目标的检测的问题。

27、(2)本技术实施例对获取的毫米波雷达进行位置补偿，从而将多帧点云数据进行汇聚，从而可以消除由于毫米波雷达的波长和工作原理所带来的点云数量稀疏的问题。

28、(3)本技术实施例使用图像的前视图特征和毫米波特征的鸟瞰图视角特征预测不同的目标，有效利用了特征在视角上的差异进行相互弥补，同时避免了将前视图中的图像特征投影到鸟瞰视角所需要的巨大计算量和其中会引入的误差。

29、(4)本技术实施例通过预测得到的权重控制多传感器特征不匹配的问题，当不同传感器的特征相互冲突，或者由于视角和采集时间等原因导致特征错位时，可以通过权重获取更可靠的特征进行后续预测，高效实现特征融合，提升检测精度。

30、本技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。