一种采用稀疏体素融合的3D目标检测方法、装置、设备及存储介质

本发明涉及机器视觉、3d目标检测领域，尤其是涉及一种采用稀疏体素融合的3d目标检测方法、装置、设备及存储介质。

背景技术：

1、3d目标检测是自动驾驶环境感知系统中不可或缺的核心组件，在机器人领域中也有广泛的应用。激光雷达(lidar)点云可以提供更多关于目标的深度和几何空间结构信息，现有技术通过基于体素的方法将点云进行立方(cubic)体素化，然后在体素上进行3d稀疏卷积以提取点云特征。但是大多数基于lidar的方法将关注点放在了尺寸比较大且点云比较密集的汽车或者交通工具类别上，而在点云更加稀疏和远距离的难检测样本，例如比如尺寸比较小的目标自行车手和行人上并没有取得令人满意的检测性能。

2、现有基于体素的方法是通过将点云进行立方(cubic)体素化，然后在体素上进行3d稀疏卷积以提取点云特征。但是由于lidar点云内在的稀疏性和变化的密度，传统立方体素划分方式的检测器会生成更多空体素(比如在wod一帧点云中非空体素占了不到0.1％)，使得点云表示的目标不完整，缺失了物体级别的信息，这为3d目标检测带来了挑战。此外，立方体素化带来的体素内点不平衡分布也会不可避免地引入额外的计算开销。

3、现有技术中，公开号cn 114743079 a的中国专利公开了稀疏雷达和双目立体图像融合的3d目标检测方法及装置，提出了高效率、快速度地图像检测问题，但是并未提及对于远距离、小尺寸的目标的检测与解决。总的来说，现有技术中存在两个问题：1)传统单一的立方体素化存在导致物体局部信息缺失，以及卷积有限的感受野不能捕获丰富的上下文信息的缺点，只使用立方体素的传统激光雷达检测器在远距离、小目标上检测不准确，信息有损失；2)现有技术中使用点云多种表示进行融合的方法在3d骨干网络之前还使用了昂贵的体素编码器，导致增加了时间和空间开销此外，也会引入交叉视角的背景点噪声，干扰检测。

技术实现思路

1、本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种采用稀疏体素融合的3d目标检测方法、装置、设备及存储介质，通过采取稀疏体素融合的方法，将柱状体素和立方体素融合，得到更多信息特征，实现了远距离、小目标的更为精确的目标检测。

2、本发明的目的可以通过以下技术方案来实现：

3、第一方面，本发明提出了一种采用稀疏体素融合的3d目标检测方法，包括以下步骤：

4、s1、将采集的点云同时进行立方体素化和柱状体素化，得到前景立方体素和柱状体素；

5、s2、根据前景立方体素和柱状体素，计算柱状体素质心和前景立方体素质心，并提取两种体素质心作为两种体素特征；

6、s3、选取部分前景立方体素质心在所有柱状体素质心中进行查询，并将前景立方体素的特征与柱状体素特征融合，得到第一阶段增强的立方体素特征，并形成第一阶段增强的立方体素；

7、s4、选择物体中心的立方体素作为中心体素，根据所述的中心体素得到中心体素特征，将中心体素特征与第一阶段增强的立方体素特征聚合，得到第二阶段增强的立方体素特征，并得到第二阶段增强的立方体素；

8、s5、将第二阶段增强的立方体素送入3d目标检测器中实现目标检测。

9、进一步地，所述步骤s1中，柱状体素化具体通过距离感知的动态柱状体素化实现，包括：从笛卡尔坐标系表示转换成柱坐标系表示，并在柱坐标ρ轴方向按照距离不同间隔的方式对体素进行划分。

10、进一步地，所述步骤s2中，计算两种体素质心的具体步骤包括：得到前景立方体素和柱状体素后，选取体素内点的平均空间坐标来计算两种体素质心。

11、进一步地，所述步骤s3具体包括如下步骤：

12、s31、根据两种体素质心得到对应的柱状质心体素和前景立方质心体素，将前景立方质心体素通过一层3d稀疏卷积得到前景预测分数，根据前景预测得分排名，从高到低选取前k个前景立方质心体素作为查询源；

13、s32、以两种体素质心为查询媒介，以所述的前景立方质心体素为查询源，在柱状质心体素集合内执行多尺度分组球查询；

14、s33、将柱状质心体素特征与所述的前景立方质心体素特征进行融合，得到第一阶段融合的特征，得到第一阶段增强的立方体素。

15、进一步地，所述步骤s4具体包括以下步骤：

16、s41、利用前景立方体素质心生成3d稀疏热图；

17、s42、根据3d稀疏热图，选取物体中心的立方体素作为中心体素；

18、s43、将所述的中心体素输入到transformer模块，输出得到的中心体素特征；

19、s44、将所述的中心体素特征映射回第一阶段增强的立方体素特征中，得到第二阶段增强的立方体素特征，并得到第二阶段增强的立方体素。

20、进一步地，所述的步骤s41中，生成3d稀疏热图的具体步骤如下：

21、s411、选择前景立方体素质心，给定每个以前景立方体素所在的立方坐标系为中心标注边界框；

22、s412、计算所述边界框的中心和前景立方体素质心之间的距离；

23、s413、基于所述距离，应用3d高斯核将数值范围响应限制在0到1的范围内，生成3d稀疏热图。

24、进一步地，所述的步骤s42中，选取物体中心的立方体素作为中心体素通过基于在3d稀疏热图预测分数前k个立方体素中进行选取。

25、第二方面，本发明提出了一种采用体素融合的3d目标检测装置，该装置包括三个模块：动态柱状体素化模块、体素选择-查询-融合模块和中心体素transformer模块；该装置用于实现上述任一种采用稀疏体素融合的3d目标检测方法。

26、第三方面，本发明提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一种采用稀疏体素融合的3d目标检测方法。

27、第四方面，本发明提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任一种采用稀疏体素融合的3d目标检测方法。

28、与现有技术相比，本发明具有以下有益效果：

29、1)本发明提出借助柱状体素内均匀合理的点分布模式，能够更加遵循点云旋转扫描规律的方式对点云进行体素化，在距离越远、点云越稀疏的地方，体素就更大，因此，这种体素表示能够保持目标在点云中的空间结构特征，从而构建一种更加紧凑的体素特征表示，从而最大限度利用了每个点，无需丢弃或补充点，最小化了信息量化损失，扩大了3d目标检测器的检测视野，起到了有效检测远距离、小目标的检测效果。

30、2)本发明借助柱状体素内均匀合理的点分布模式，选择性地局部融合两种不同表示的体素特征以形成增强的立方体素，并以物体中心为指导，选择其附近的体素进行长范围物体级的全局上下文信息汇聚，对小目标的检测效果具有大幅度提升，避免了其他关于空间和时间的处理计算，无需使用昂贵的体素编码器，还避免了空体素对检测的影响。