一种室外3D目标检测方法及系统与流程

本申请涉及三维检测领域，具体涉及一种室外3d目标检测方法及系统。

背景技术：

1、三维目标检测作为环境感知的重要手段，在自动驾驶系统中具有重要意义。激光雷达由于具有精度高、分辨率高、抗干扰能力强以及测距范围广等特点，目前大部分的室外三维目标检测方法都以其作为主要传感器。在自动驾驶应用中，为了满足实时性的要求，大部分方法首先将点云划分为规则的网格，如体素(voxel)或点云柱(pillar)。这一过程不仅对庞大的点云数据进行了降采样，而且还将不规则的数据转变成规则的，从而节省更多的内存和时间消耗。

2、在真实复杂的驾驶场景中，不仅需要快速准确地进行推断预测，还需要三维目标检测方法预测出物体的朝向属性。准确地识别目标朝向对于三维目标检测方法在真实驾驶场景中的应用是很重要的，它能提升智能驾驶系统的可靠性和安全性。然而，现有的三维目标检测方法并没有针对朝向方面的研究。

3、为了提高目标朝向预测的准确率，目前常见的方法是旋转数据增强，即在检测网络训练的时候在给定区间内给场景点云一个随机的旋转，丰富样本目标的朝向角，在一定程度上提高了检测网络的泛化性从而提高其对朝向的预测准确率。然而，数据增强的本质是增加训练样本的丰富度而一定程度上增强网络的泛化性能，并没有真正提高检测网络对物体朝向特征的捕捉能力以及朝向的预测能力。基于群的群等变卷积神经网络(groupequivariant cnn,g-cnn)为传统卷积神经网络(convolutional neural network,cnn)引入了旋转等变性，使得卷积操作能够在4个群元素之间共享权值，捕获某一区域四个方向下的特征，增强cnn的表达能力。

技术实现思路

1、为了提高三维目标检测方法的朝向预测准确率，提升其在实际驾驶场景中的应用意义，本申请提出了一种基于等变卷积的三维目标检测方法。

2、为实现上述目的，本申请提供了一种室外3d目标检测方法，步骤包括：

3、获取室外目标场景中特定3d目标的点云数据，将多帧的所述点云数据通过数据编码转换成伪图像；

4、在所述伪图像中进行等变特征提取，得到等变特征；

5、基于所述等变特征，利用以中心为基准的检测器进行回归预测，得到最终的3d目标检测结果。

6、优选的，所述数据编码的方法包括：

7、将所述点云数据输入划分为规则的点云柱；

8、对所述点云柱内部的点进行特征的聚合得到点云柱的特征；

9、基于所述点云柱的特征，经过坐标映射，完成所述数据编码。

10、优选的，得到所述等变特征的方法包括：构建等变特征提取骨干网络对所述伪图像进行等变特征提取，得到所述等变特征。

11、优选的，所述等变特征提取骨干网络包括：空间提升层和等变卷积层；

12、所述空间提升层用于将低维图像转换为高维图像；

13、所述等变卷积层用于将捕获的局部区域特征信息进行拼接，得到所述等变特征。

14、优选的，所述拼接的方法包括：在四个群元素之间共享所述等变卷积层的卷积核权值；基于共享的所述卷积核权值，捕获局部区域的四个方向下的特征信息；将所述特征信息进行拼接。

15、优选的，进行所述回归预测的方法包括：以关键点表示物体的中心，并回归朝向、尺寸和速度属性。

16、本申请还提供了一种室外3d目标检测系统，包括：转换模块、提取模块和预测模块；

17、所述转换模块用于获取室外目标场景中特定3d目标的点云数据，将多帧的所述点云数据通过数据编码转换成伪图像；

18、所述提取模块用于在所述伪图像中进行等变特征提取，得到等变特征；

19、所述预测模块用于基于所述等变特征，利用以中心为基准的检测器进行回归预测，得到最终的3d目标检测结果。

20、优选的，所述提取模块包括：空间提升层构建单元和等变卷积层构建单元；

21、所述空间提升层构建单元用于将低维图像转换为高维图像；

22、所述等变卷积层构建单元用于将捕获的局部区域特征信息进行拼接，得到所述等变特征。

23、与现有技术相比，本申请的有益效果如下：

24、本申请基于群等变理论，设计了一种新颖的骨干网络—等变特征提取骨干网络，该骨干网络利用等变卷积能够捕获局部区域4个方向下的特征，可以更好提取物体朝向特征信息。除此之外，本申请还提出了一种基于等变卷积的3d目标检测方法，不仅具有更优的朝向预测，且漏检误检情况更少，比其他先进方法的性能更优。

技术特征：

1.一种室外3d目标检测方法，其特征在于，步骤包括：

2.根据权利要求1所述的室外3d目标检测方法，其特征在于，得到所述等变特征的方法包括：构建等变特征提取骨干网络对所述伪图像进行等变特征提取，得到所述等变特征。

3.根据权利要求2所述的室外3d目标检测方法，其特征在于，所述等变特征提取骨干网络包括：空间提升层和等变卷积层；

4.根据权利要求3所述的室外3d目标检测方法，其特征在于，所述拼接的方法包括：在四个群元素之间共享所述等变卷积层的卷积核权值；基于共享的所述卷积核权值，捕获局部区域的四个方向下的特征信息；将所述特征信息进行拼接。

5.根据权利要求3所述的室外3d目标检测方法，其特征在于，进行所述回归预测的方法包括：以关键点表示物体的中心，并回归朝向、尺寸和速度属性。

6.一种室外3d目标检测系统，其特征在于，包括：转换模块、提取模块和预测模块；

7.根据权利要求6所述的室外3d目标检测系统，其特征在于，所述提取模块包括：空间提升层构建单元和等变卷积层构建单元；

技术总结
本申请提供了一种室外3D目标检测方法及系统，其中方法包括：获取室外目标场景中特定3D目标的点云数据，将多帧的点云数据通过数据编码转换成伪图像；在伪图像中进行等变特征提取，得到等变特征；基于等变特征，利用以中心为基准的检测器进行回归预测，得到最终的3D目标检测结果。本申请基于群等变理论，设计了一种新颖的骨干网络—等变特征提取骨干网络，该骨干网络利用等变卷积能够捕获局部区域4个方向下的特征，可以更好提取物体朝向特征信息。除此之外，本申请还提出了一种基于等变卷积的3D目标检测方法，不仅具有更优的朝向预测，且漏检误检情况更少，比其他先进方法的性能更优。

技术研发人员：郭杰龙,魏宪,俞辉,邵东恒,张剑锋,李杰
受保护的技术使用者：泉州装备制造研究所
技术研发日：
技术公布日：2024/1/13