一种激光雷达点云分割方法、系统、设备及存储介质与流程

本申请实施例涉及深度学习与自动驾驶感知，特别涉及一种激光雷达点云分割方法、系统、设备及存储介质。

背景技术：

1、激光雷达点云分割是自动驾驶感知中的重要任务之一。近年来，基于不同表征的激光雷达点云分割算法被相继提出。其中，基于距离视图的表征是激光雷达点云分割中常见且实用的表征之一。该表征将三维空间中的点投影至排列紧凑的二维的距离视图图像上，以实现三维到二维的栅格化。如此一来，能够将三维的激光雷达点云分割问题转化为二维的距离视图图像分割问题，从而提升了点云表征的紧凑性，并降低了计算复杂度。

2、现有的基于距离视图表征的激光雷达点云分割算法，即rangenet++、fidnet和cenet，均由全卷积网络所构成。由于卷积操作本身受限于较小感受野，难以建模长距离范围下的特征表征。基于距离视图表征的激光雷达点云分割将三维空间中的点栅格化至二维空间，该转化过程受距离视图图像分辨率等的制约，导致了一系列可能出现的转化问题。然而，基于全卷积网络的分割模型由于不具备全局感受野和长距离范围下的特征建模等特性，难以缓解上述问题。

技术实现思路

1、本申请实施例提供一种激光雷达点云分割方法、系统、设备及存储介质，能够在全局感受野下建模长距离范围特征，以更好地解决基于距离视图表征的激光雷达点云分割中存在的问题。

2、为解决上述技术问题，第一方面，本申请实施例提供一种激光雷达点云分割方法，包括以下步骤：以栅格化后的距离视图图像作为分割网络的输入，将栅格化后的距离视图图像映射至高维嵌入中，得到特征图；对特征图进行注意力计算，得到与特征图对应的特征；对特征进行语义类别预测，得到距离视图图像中每个栅格位置对于不同语义类别的概率分布；以概率分布作为分割网络的输出，并将网络输出投影至三维空间，完成对激光雷达点云的语义分割。

3、在一些示例性实施例中，在将栅格化后的距离视图图像送至分割网络之前，包括：对栅格化后的距离视图图像进行数据增强处理。

4、在一些示例性实施例中，在将栅格化后的距离视图图像送至分割网络之前，还包括：将栅格化后的距离视图图像进行切割，得到若干个子距离视图图像；以所述子距离视图图像作为分割网络的输入。

5、在一些示例性实施例中，所述栅格化后的距离视图图像通过对激光雷达点云进行栅格化处理得到，所述栅格化处理包括：将激光雷达点云中的每个点投影至距离视图图像的栅格中，得到点云输入；所述点云输入由二维距离视图图像表征；且所述点云输入包括以下特征：点的坐标、深度、反射强度和掩码；其中，掩码用于表征所述点云输入中每一个栅格位置是否包含有效的点。

6、在一些示例性实施例中，通过公式(1)对所述特征图进行注意力计算，所述公式(1)如下所示：

7、o＝multi(q，k，v)＝concat(head1，...，headh)wo    (1)

8、其中，o为多头注意力模块的输出；为自注意力机制；为注意力计算公式；σ表示归一化指数函数，dhead表示头的维度；wq、wk、wv、wo分别为自注意力机制中的查询q、键值k、值项v和输出o的权重矩阵。

9、第二方面，本申请实施例还提供了一种激光雷达点云分割系统，包括：分割网络以及与所述分割网络连接的投影模块，所述分割网络的输入为栅格化后的距离视图图像，所述分割网络的输出为距离视图图像中每个栅格位置对于不同语义类别的概率分布；分割网络用于将所述栅格化后的距离视图图像映射至高维嵌入中，得到特征图；对所述特征图进行注意力计算，得到与所述特征图对应的特征；并对所述特征进行语义类别预测，得到距离视图图像中每个栅格位置对于不同语义类别的概率分布；投影模块用于将所述网络输出投影至三维空间，完成对激光雷达点云的语义分割。

10、在一些示例性实施例中，所述分割网络包括依次相连的距离嵌入模块、分割模块以及语义分割头模块；所述距离嵌入模块、所述语义分割头模块均包括若干层多层感知机；所述分割模块包括多个依次相连的子分割模块，每个所述子分割模块包括块嵌入模块、加与归一化模块、前向模块、多头注意力模块以及块聚合模块；所述距离嵌入模块用于将所述距离视图图像映射至高维嵌入中，得到特征图；所述分割模块用于将所述特征图送入所述子分割模块中进行注意力计算，以进行特征提取，得到每个阶段的特征；所述阶段与所述子分割模块一一对应；所述语义分割头模块用于利用每个阶段的特征进行语义类别预测。

11、在一些示例性实施例中，所述前向模块包括若干层多层感知机和激活函数；所述前向模块通过公式(2)表征：

12、

13、其中，ffn(·)表示前向模块；linear(·)表示线性层；表示残差连接。

14、另外，本申请还提供了一种电子设备，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述激光雷达点云分割方法。

15、另外，本申请还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述激光雷达点云分割方法。

16、本申请实施例提供的技术方案至少具有以下优点：

17、本申请实施例提供一种激光雷达点云分割方法、系统、设备及存储介质，该方法包括以下步骤：以栅格化后的距离视图图像作为分割网络的输入，将栅格化后的距离视图图像映射至高维嵌入中，得到特征图；对特征图进行注意力计算，得到与特征图对应的特征；对特征进行语义类别预测，得到距离视图图像中每个栅格位置对于不同语义类别的概率分布；以概率分布作为分割网络的输出，并将网络输出投影至三维空间，完成对激光雷达点云的语义分割。

18、本申请提供的激光雷达点云分割方法，是基于自注意力机制的激光雷达点云分割算法；该算法使用距离视图表征，在保证高推理速度的同时，追求相较现有算法更优的分割性能，以在性能与速度之间实现更好的权衡。本申请提供的激光雷达点云分割方法，不同于以往由全卷积网络所构成的分割算法，本申请所提出的算法由自注意力机制搭建，能够在全局感受野下建模长距离范围特征，以更好地解决基于距离视图表征的激光雷达点云分割中存在的问题。

技术特征：

1.一种激光雷达点云分割方法，其特征在于，包括：

2.根据权利要求1所述的激光雷达点云分割方法，其特征在于，在将栅格化后的距离视图图像送至分割网络之前，包括：对所述栅格化后的距离视图图像进行数据增强处理。

3.根据权利要求1所述的激光雷达点云分割方法，其特征在于，在将栅格化后的距离视图图像送至分割网络之前，还包括：

4.根据权利要求1所述的激光雷达点云分割方法，其特征在于，所述栅格化后的距离视图图像通过对激光雷达点云进行栅格化处理得到，所述栅格化处理包括：

5.根据权利要求1所述的激光雷达点云分割方法，其特征在于，通过公式(1)对所述特征图进行注意力计算，所述公式(1)如下所示：

6.一种激光雷达点云分割系统，其特征在于，包括：分割网络以及与所述分割网络连接的投影模块，所述分割网络的输入为栅格化后的距离视图图像，所述分割网络的输出为距离视图图像中每个栅格位置对于不同语义类别的概率分布；

7.根据权利要求6所述的激光雷达点云分割系统，其特征在于，所述分割网络包括依次相连的距离嵌入模块、分割模块以及语义分割头模块；

8.根据权利要求7所述的激光雷达点云分割系统，其特征在于，所述前向模块包括若干层多层感知机和激活函数；

9.一种电子设备，其特征在于，包括：

10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一所述的激光雷达点云分割方法。

技术总结
本申请实施例涉及三维场景补全技术领域，特别涉及一种激光雷达点云分割方法、系统、设备及存储介质，该方法包括：以栅格化后的距离视图图像作为分割网络的输入，将栅格化后的距离视图图像映射至高维嵌入中，得到特征图；对特征图进行注意力计算，得到与特征图对应的特征；对特征进行语义类别预测，得到距离视图图像中每个栅格位置对于不同语义类别的概率分布；以概率分布作为分割网络的输出，并将网络输出投影至三维空间，完成对激光雷达点云的语义分割。本申请提供的激光雷达点云分割方法，能够在全局感受野下建模长距离范围特征，以更好地解决基于距离视图表征的激光雷达点云分割中存在的问题。

技术研发人员：侯跃南,孔令东,刘有权,陈润楠,祝新革,马月昕,李怡康,乔宇,刘子纬
受保护的技术使用者：上海人工智能创新中心
技术研发日：
技术公布日：2024/1/13