基于聚类和深度学习的4D毫米波雷达目标检测方法与流程

本发明涉及一种用于自动驾驶中的目标检测方案，该目标检测方案只使用4d毫米波雷达。

背景技术：

1、当前自动驾驶目标检测方案包括以聚类为关键技术的目标检测方案和以深度学习数据驱动为关键技术的目标检测方案。基于深度学习的自动驾驶解决方案使用数据驱动的方式来适用大量的场景，泛化能力强。基于聚类的解决方案，具有更高的召回率。

2、4d毫米波雷达包括距离、速度、水平角度和俯仰角度四个维度的信息，比传统毫米波雷达多了一个高度信息，与传统毫米波雷达相比，4d成像雷达的特点就是更高的角度高分辨，得到的点云数量是传统毫米波雷达的数十倍，4d成像雷达点云图能得到障碍物轮廓，因此使用深度学习的解决方案能获取比较高的检测精度。但这对自动驾驶是不够的，深度学习可能会漏掉明显的障碍物。4d毫米波点云可获取障碍物轮廓且点云数目远少于激光雷达的特点。

技术实现思路

1、本发明的的目的是：将深度学习和聚类融合起来，提供一种新的目标检测解决方案。

2、为了达到上述目的，本发明的技术方案是提供了一种基于聚类和深度学习的4d毫米波雷达目标检测方法，其特征在于，包括以下步骤：

3、步骤1、选取当前帧的毫米波雷达点云数据进行点云裁剪，获得截取的点云；

4、步骤2、对截取的点云进行体素化，选择每个体素网格的点云的中心偏移量、体素内点云密度、点云的径向速度和点云补偿速度、信噪比、能量值为特征，投影到2d鸟瞰图网格内；

5、步骤3、使用特征金字塔网络对步骤2所获得的数据进行2d backbone特征提取；

6、步骤4、对步骤1获得的截取的点云进行聚类，通过聚类获得聚类框的位置信息、聚类框的尺寸长宽高信息、聚类框航向角信息和聚类点数、聚类点云速度、聚类点均值、方差；将作为聚类中心，将聚类框的尺寸长宽高信息、聚类框航向角信息、聚类点数、聚类点云速度、聚类点云均值、方差作为聚类特征clusterfeature；步骤5、本发明将步骤4获得的聚类框投影到2d鸟瞰图空间，同时，将步骤3所获得的2d backbone特征输入无锚框深度学习目标检测模型；

7、步骤6、将聚类框投影到2d鸟瞰图空间后所获得的投影结果与无锚框深度学习目标检测模型的检测头回归的热力图进行加法计算，使用加法计算的结果作为关键点提取的热力图，提取该热力图的目标关键点，作为目标中心；

8、步骤7、从目标中心对应的鸟瞰图网格中提取对应的特征图进行鸟瞰图到点的投影，获得目标关键点的实际位置信息以及关键点特征position_feature；

9、步骤8、将步骤4获得的聚类中心和聚类特征clusterfeature以及步骤7获得的目标关键点的实际位置信息和关键点特征position_feature输入深度学习网络模型transformer，通过深度学习网络模型transformer进一步融合聚类和深度学习的全局特征。

10、优选地，步骤2中，点云补偿速度采用下式计算：

11、

12、式中，为点云的径向速度、为自车速度、θ为点云与自车车头朝向的夹角。

13、优选地，步骤3中，所述特征金字塔网络包括下采样层部分以及上采样层部分；下采样层部分使用一个卷积层和resnet18进行特征提取对所述输入的数据共降采样16倍；上采样层部分对降采样到16倍的特征层进行一次上采样，得到第一次上采样特征，该第一次上采样特征和下采样层部分中的8倍降采样结果进行通道拼接和卷积，然后上采样得到第二次上采样特征；第二次上采样特征与下采样层部分中的4倍降采样特征进行通道拼接和卷积，然后上采样得到第三次上采样特征；另外，第二次上采样特征直接进行上采样得到所述特征金字塔网络的第一层输出，第三次上采样特征作为所述特征金字塔网络的第二层输出，第三次上采样特征与第一部分中的降采样2倍降采样结果进行通道拼接和卷积得到所述特征金字塔网络的第三层输出；最后，第一层输出、第二层输出以及第三层输出进行通道拼接作为所述特征金字塔网络的最终输出结果。

14、优选地，步骤5中，所述投影计算公式如下式所示：

15、

16、式中： 、为步骤1中截取的点云范围的最小值；、为2d鸟瞰图空间中每个网格的距离大小；表示聚类框的聚类中心投影到鸟瞰图网格空间得到的聚类热力图，int()表示取整运算。

17、优选地，步骤7中，从鸟瞰图网格中提取目标关键点的位置信息和目标关键点的特征，计算得到目标关键点的实际位置信息以及关键点特征position_feature，如下式所示：

18、

19、式中，为每个网格的实际距离大小，、为步骤1中截取的点云范围的最小值。

20、优选地，步骤8中，在所述深度学习网络模型中：首先使用自注意力机制模块一提取输入的聚类特征clusterfeature，该自注意力机制模块一使用聚类特征clusterfeature作为所述深度学习网络模型的多头注意力模块的k、q、v，使用聚类中心作为位置嵌入；然后使用自注意力机制模块二提取输入的关键点特征position_feature，该自注意力机制模块二使用关键点特征position_feature为所述深度学习网络模型的多头注意力模块的k、q、v，使用目标关键点的实际位置信息作为位置嵌入；关键点特征position_feature经过自注意力机制模块一后的输出作为所述深度学习网络模型的交叉注意力机制模块的k、v，聚类特征clusterfeature经过自注意力机制模块二后的输出作为所述深度学习网络模型的交叉注意力机制模块的q，交叉注意力机制模块计算关键点特征position_feature和聚类特征clusterfeature的相关度；交叉注意力机制的输出特征与当前帧的目标关键点的实际位置信息进行通道拼接得到融合后的特征，该融合后的特征送入投票层，获得追踪中心点。

21、优选地，所述投票层使用三个卷积层提取融合后的特征，且融合后的特征经过两层卷积得到追踪置信度。

22、优选地，所述融合后的特征中包含位置特征部分以及非位置特征部分，所述深度学习网络模型使用归一化指数函数对融合后的特征中的非位置特征部分和当前帧的关键点特征position_feature进行归一化，然后与当前帧的实际位置信息进行通道拼接，再通过两层卷积得到目标检测的类别置信度，通过两层卷积得到回归框和速度。

23、本发明使用聚类为深度学习提供先验信息，提高深度学习目标检测召回率，融合聚类特征和深度学习特征全局信息进行目标检测。与现有技术方案相比，本发明具有如下优势：

24、（1）将聚类和深度学习网络融合在一起，使用单阶段网络的方式实现多目标检测；

25、（2）使用无锚框设计，将目标检测转换成基于点的目标检测，使用基于点序列的transformer作为聚类特征和网络特征融合模块；

26、（3）将聚类结果作为先验信息，进行关键点提取，可有效降低小目标漏检，提高模型召回率；

27、（4）只使用4d毫米波雷达，在成本控制上具有优势。