一种基于点云集合注意力的激光雷达目标检测方法及装置

本发明涉及计算机视觉，尤其涉及一种基于点云集合注意力的激光雷达目标检测方法及装置。

背景技术：

1、三维目标检测在许多应用领域都具有重要意义，尤其在自动驾驶、医疗影像处理和虚拟现实等领域得到了广泛运用。相比于二维目标检测，三维目标检测能够检测出环境中物体更丰富的空间信息，比如物体的长、宽、高和旋转角信息，增强环境感知和定位能力。激光雷达是三维目标检测的主要传感器之一，能够克服图像等传感器的局限性。激光雷达采集点云数据并通过处理获得高精度的距离测量和的三维坐标信息，在低光照条件下表现出色，同时激光雷达能够探测透明障碍物，具备卓越的多目标分辨率。

2、注意力机制在许多二维视觉任务中表现出了良好的性能，然而，由于点云是一个长序列且在空间中分布不均匀的数据，在大规模点云数据上计算自注意力十分困难。目前已有的方法通常将点云划分为大小相同的簇，在计算相似度时，对称性限制了不同位置之间的信息交互，这可能会导致信息的不充分或者重复；或者进行体素化，在离散空间中执行卷积注意力，这种方式无法同时满足扩大卷积感受野和减少计算量的要求。如何在增加较少计算量的同时引入注意力机制，是一个挑战。

3、激光雷达获取点云的密度会随着目标与雷达的距离发生变化，近距离的点云密度大，远距离的点云密度小，使远处的小目标检测更加困难。而且，在激光雷达目标检测中，不同目标，如人和汽车，它们表现在点云数据中的密度有所不同。通过分析点云中的密度信息，可以更加准确地确定目标和物体的边界和位置，从而提高检测的准确性。此外，点云密度信息可用于检测遮挡物体，提供更全面的环境感知。

技术实现思路

1、本发明针对如何在引入注意力机制和充分利用点云密度信息的同时，减少计算量的问题，提出了本发明。

2、为解决上述技术问题，本发明提供如下技术方案：

3、一方面，本发明提供了一种基于点云集合注意力的激光雷达目标检测方法，该方法由电子设备实现，该方法包括：

4、s1、获取待检测目标的三维点云数据。

5、s2、将三维点云数据输入到构建好的基于点云集合注意力的激光雷达目标检测模型；其中，激光雷达目标检测模型包括点云集合注意力模块、鸟瞰图检测模块、密度感知池化模块以及分类和回归检测头模块。

6、s3、根据三维点云数据、点云集合注意力模块、鸟瞰图检测模块、密度感知池化模块以及分类和回归检测头模块，获得目标检测结果。

7、可选地，s1中的获取待检测目标的三维点云数据，包括：

8、s11、通过激光雷达传感器，获取待检测目标的三维点云数据；其中，三维点云数据包含位置信息。

9、s12、根据预设的坐标范围，对三维点云数据中超出坐标范围的点云数据进行删除，获得删除后的三维点云数据。

10、可选地，s3中的根据三维点云数据、点云集合注意力模块、鸟瞰图检测模块、密度感知池化模块以及分类和回归检测头模块，获得目标检测结果，包括：

11、s31、使用点云集合注意力模块，对三维点云数据进行特征提取，获得二维鸟瞰图数据。

12、s32、使用鸟瞰图检测模块，对二维鸟瞰图数据进行感兴趣区域提取，获得初始提案框数据。

13、s33、使用密度感知池化模块，对初始提案框数据进行特征融合，获得密度感知特征。

14、s34、对密度感知特征，通过分类和回归检测头模块，获得目标检测结果。

15、可选地，s31中的使用点云集合注意力模块，对三维点云数据进行特征提取，获得二维鸟瞰图数据，包括：

16、s311、对三维点云数据进行输入编码，获得输入特征向量。

17、s312、将输入特征向量依次输入到第一特征注意力模块、第二特征注意力模块、第三特征注意力模块以及第四特征注意力模块，得到第一特征注意力模块的输出f1、第二特征注意力模块的输出f2、第三特征注意力模块的输出f3以及第四特征注意力模块的输出f4。

18、s313、对第四特征注意力模块的输出f4按照坐标索引进行网格划分，得到多个网格，每个网格代表一个立柱；其中，立柱包含局部点云信息。

19、s314、对立柱在平面上进行投影，获得二维鸟瞰图数据。

20、可选地，s312中的将输入特征向量输入到第一特征注意力模块，得到第一特征注意力模块的输出f1，包括：

21、s3121、将输入特征向量与三维点云数据的空间位置嵌入特征进行相加，将相加后的特征线性投影到低维特征，并通过自注意力机制编码获得隐藏特征。

22、s3122、对隐藏特征通过前馈神经网络获得高度语义化的特征。

23、s3123、对高度语义化的特征进行多头注意力机制解码，得到第一特征注意力模块的输出f1。

24、可选地，s32中的使用鸟瞰图检测模块，对二维鸟瞰图数据进行感兴趣区域提取，获得初始提案框数据，包括：

25、s321、对二维鸟瞰图数据进行两次下采样操作，获得第一下采样特征fc1和第二下采样特征fc2。

26、s322、使用反卷积模块，分别对第一下采样特征fc1和第二下采样特征fc2进行上采样，得到第一上采样结果和第二上采样结果，将第一上采样结果和第二上采样结果进行拼接，获得二维特征图。

27、s323、对二维特征图进行线性回归，通过分类预测和定位预测，获得初始提案框数据。

28、可选地，s33中的使用密度感知池化模块，对初始提案框数据进行特征融合，获得密度感知特征，包括：

29、s331、对初始提案框数据进行非极大值抑制，保留预设个数的高质量提案框，对高质量提案框进行统一采样，得到每个高质量提案框的多个网格点。

30、s332、基于多个网格点，对第四特征注意力模块的输出f4进行体素查询，提取每个网格点所在网格内的点密度特征，将点密度特征作为偏移量，通过自注意力机制得到每个网格点特征，对每个高质量提案框的多个网格点特征进行池化，获得第一提案框特征fg1。

31、s333、基于多个网格点，对第三特征注意力模块的输出f3进行体素查询，进而获得第二提案框特征fg2。

32、s334、对第一提案框特征fg1和第二提案框特征fg2进行特征融合，获得密度感知特征。

33、可选地，s34中的对密度感知特征，通过分类和回归检测头模块，获得目标检测结果，包括：

34、对密度感知特征进行线性回归，通过分类预测、定位预测和角度预测，获得目标检测和分类结果。

35、另一方面，本发明提供了一种基于点云集合注意力的激光雷达目标检测装置，该装置应用于实现基于点云集合注意力的激光雷达目标检测方法，该装置包括：

36、获取模块，用于获取待检测目标的三维点云数据。

37、输入模块，用于将三维点云数据输入到构建好的基于点云集合注意力的激光雷达目标检测模型；其中，激光雷达目标检测模型包括点云集合注意力模块、鸟瞰图检测模块、密度感知池化模块以及分类和回归检测头模块。

38、输出模块，用于根据三维点云数据、点云集合注意力模块、鸟瞰图检测模块、密度感知池化模块以及分类和回归检测头模块，获得目标检测结果。

39、可选地，获取模块，进一步用于：

40、s11、通过激光雷达传感器，获取待检测目标的三维点云数据；其中，三维点云数据包含位置信息。

41、s12、根据预设的坐标范围，对三维点云数据中超出坐标范围的点云数据进行删除，获得删除后的三维点云数据。

42、可选地，输出模块，进一步用于：

43、s31、使用点云集合注意力模块，对三维点云数据进行特征提取，获得二维鸟瞰图数据。

44、s32、使用鸟瞰图检测模块，对二维鸟瞰图数据进行感兴趣区域提取，获得初始提案框数据。

45、s33、使用密度感知池化模块，对初始提案框数据进行特征融合，获得密度感知特征。

46、s34、对密度感知特征，通过分类和回归检测头模块，获得目标检测结果。

47、可选地，输出模块，进一步用于：

48、s311、对三维点云数据进行输入编码，获得输入特征向量。

49、s312、将输入特征向量依次输入到第一特征注意力模块、第二特征注意力模块、第三特征注意力模块以及第四特征注意力模块，得到第一特征注意力模块的输出f1、第二特征注意力模块的输出f2、第三特征注意力模块的输出f3以及第四特征注意力模块的输出f4。

50、s313、对第四特征注意力模块的输出f4按照坐标索引进行网格划分，得到多个网格，每个网格代表一个立柱；其中，立柱包含局部点云信息。

51、s314、对立柱在平面上进行投影，获得二维鸟瞰图数据。

52、可选地，输出模块，进一步用于：

53、s3121、将输入特征向量与三维点云数据的空间位置嵌入特征进行相加，将相加后的特征线性投影到低维特征，并通过自注意力机制编码获得隐藏特征。

54、s3122、对隐藏特征通过前馈神经网络获得高度语义化的特征。

55、s3123、对高度语义化的特征进行多头注意力机制解码，得到第一特征注意力模块的输出f1。

56、可选地，输出模块，进一步用于：

57、s321、对二维鸟瞰图数据进行两次下采样操作，获得第一下采样特征fc1和第二下采样特征fc2。

58、s322、使用反卷积模块，分别对第一下采样特征fc1和第二下采样特征fc2进行上采样，得到第一上采样结果和第二上采样结果，将第一上采样结果和第二上采样结果进行拼接，获得二维特征图。

59、s323、对二维特征图进行线性回归，通过分类预测和定位预测，获得初始提案框数据。

60、可选地，输出模块，进一步用于：

61、s331、对初始提案框数据进行非极大值抑制，保留预设个数的高质量提案框，对高质量提案框进行统一采样，得到每个高质量提案框的多个网格点。

62、s332、基于多个网格点，对第四特征注意力模块的输出f4进行体素查询，提取每个网格点所在网格内的点密度特征，将点密度特征作为偏移量，通过自注意力机制得到每个网格点特征，对每个高质量提案框的多个网格点特征进行池化，获得第一提案框特征fg1。

63、s333、基于多个网格点，对第三特征注意力模块的输出f3进行体素查询，进而获得第二提案框特征fg2。

64、s334、对第一提案框特征fg1和第二提案框特征fg2进行特征融合，获得密度感知特征。

65、可选地，输出模块，进一步用于：

66、对密度感知特征进行线性回归，通过分类预测、定位预测和角度预测，获得目标检测和分类结果。

67、一方面，提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现上述基于点云集合注意力的激光雷达目标检测方法。

68、一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现上述基于点云集合注意力的激光雷达目标检测方法。

69、上述技术方案，与现有技术相比至少具有如下有益效果：

70、上述方案，提供了一种基于点云集合注意力的激光雷达目标检测方法，把点云特征数据通过线性层进行降维，降低加入注意力机制带来的计算量，提高了激光雷达目标检测速度；提出密度感知池化模块，在提案框网格点池化过程加入密度特征，充分利用点云密度信息，利用自注意力机制对初始提案框进一步微调，提高网络对目标的定位能力。本发明有效提高了激光雷达目标检测的精度和速度。