点云语义分割方法、装置、电子设备及存储介质与流程

本发明涉及计算机处理，尤其涉及一种点云语义分割方法、装置、电子设备及存储介质。

背景技术：

1、近年来，对于3d点云的语义分割已成为自动驾驶领域的一大重点，语义分割的精度影响着行车的安全性。目前，基于点云语义分割的方式通常是基于数据投影的方式。

2、基于数据投影方法是指将点云投影到2d球面网格，以得到稠密图像，基于图像进行分割，但是将图像领域的技术适配到点云处理中，存在离散误差以及遮挡的问题，从而导致语义分割精度低的问题。

技术实现思路

1、本发明提供了一种点云语义分割方法、装置、电子设备及存储介质，以实现提高语义分割模型的场景泛化能力，达到提高语义分割精度的技术效果。

2、根据本发明的一方面，提供了一种点云语义分割方法，该方法包括：

3、获取点云数据和图像数据；其中，所述点云数据中包含多个点云的坐标信息和反射强度；所述图像数据中包含多个像素的颜色信息；

4、基于所述点云数据、所述图像数据以及每个点云的掩码信息，确定每个点云的点云特征；

5、基于预先训练得到的语义分割模型，对所述点云特征进行处理，得到相应点云的语义标签。

6、根据本发明的另一方面，提供了一种点云语义分割装置，该装置包括：

7、数据获取模块，用于获取点云数据和图像数据；其中，所述点云数据中包含多个点云的坐标信息和反射强度；所述图像数据中包含多个像素的颜色信息；

8、点云特征确定模块，用于基于所述点云数据、所述图像数据以及每个点云的掩码信息，确定每个点云的点云特征；

9、语义标签确定模块，用于基于预先训练得到的语义分割模型，对所述点云特征进行处理，得到相应点云的语义标签。

10、根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

11、至少一个处理器；以及

12、与所述至少一个处理器通信连接的存储器；其中，

13、所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的点云语义分割方法。

14、根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的点云语义分割方法。

15、本发明实施例的技术方案，通过获取点云数据和图像数据；基于点云数据、图像数据以及每个点云的掩码信息，确定每个点云的点云特征；基于预先训练得到的语义分割模型，对点云特征进行处理，得到相应点云的语义标签，解决了现有技术中问题，实现了通过融合点云数据中点云的坐标信息和反射强度以及点云的掩码信息，以及图像数据中像素的颜色信息等多种特征，提高丰富的特征信息进行语义分割处理，使得语义分割模型具有更好的场景泛化能力，提高语义分割精度。

16、应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

技术特征：

1.一种点云语义分割方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述基于所述点云数据、所述图像数据以及每个点云的掩码信息，确定每个点云的点云特征，包括：

3.根据权利要求2所述的方法，其特征在于，所述确定所述图像数据中与所述点云数据中每个点云相对应的第一像素，包括：

4.根据权利要求2所述的方法，其特征在于，所述基于所述点云的坐标信息、反射强度和掩码信息，以及与所述点云相对应的第一像素的颜色信息，确定所述点云的点云特征，包括：

5.根据权利要求1所述的方法，其特征在于，还包括：

6.根据权利要求5所述的方法，其特征在于，还包括：

7.根据权利要求1-6中任一项所述的方法，其特征在于，所述语义分割模型的输入数据通道数量为至少九个，每个数据通道分别对应同一点云的不同特征。

8.一种点云语义分割装置，其特征在于，包括：

9.一种电子设备，其特征在于，所述电子设备包括：

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的点云语义分割方法。

技术总结
本发明公开了一种点云语义分割方法、装置、电子设备及存储介质。该方法包括：获取点云数据和图像数据；基于点云数据、图像数据以及每个点云的掩码信息，确定每个点云的点云特征；基于预先训练得到的语义分割模型，对点云特征进行处理，得到相应点云的语义标签。解决了现有技术中基于数据投影方法进行点云语义分割，导致语义分割精度低的问题，实现提高语义分割精度的效果。

技术研发人员：张松林,曹容川,王宇,张建,曹天书
受保护的技术使用者：中国第一汽车股份有限公司
技术研发日：
技术公布日：2024/2/21