一种三维场景语义感知方法、系统、设备与介质与流程

本发明涉及三维视觉，尤其涉及一种三维场景语义感知方法、系统、设备与介质。

背景技术：

1、本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

2、随着机器人技术在工业、服务业和日常生活中的应用越来越广泛，对机器人三维场景感知的需求也在不断增加。对于整个机器人系统来说，场景感知是其与外界信息交互的关键节点，具有至关重要的地位，它不仅可作为决策层先验，还是自主导航、人机交互等任务的基础。因此，机器人三维场景语义感知方法显得尤为重要。

3、当前三维场景语义感知方法主要通过单一的点云数据或rgb图像进行场景语义感知，现有技术采集的点云数据在复杂环境下存在较多的缺陷，对于这些缺陷造成的环境信息缺失，现有方法大多是通过拟合、插值的方法进行补充的，得到的信息只是对环境信息的估计，而不是真实准确的信息。现有点云数据利用技术不能满足复杂条件下环境实时精确感知的要求。rgb图像包含丰富的颜色和纹理，但对于空间信息无法精准提供，故当通过单一的点云数据或rgb图像进行场景语义感知时，不能保证场景语义感知结果的准确性。

技术实现思路

1、本发明为了解决上述问题，提出了一种三维场景语义感知方法、系统、设备与介质，同时利用三维场景的点云数据和rgb图像对三维场景进行语义感知，提高了三维场景语义感知的准确性。

2、为实现上述目的，本发明采用如下技术方案：

3、第一方面，提出了一种三维场景语义感知方法，包括：

4、获取三维场景的点云数据和rgb图像；

5、根据点云数据，获得点云的距离图像和体素图像；

6、分别从点云数据、点云的距离图像、体素图像和rgb图像中，提取点云特征、距离特征、体素特征和图像特征；

7、通过图像特征分别对体素特征和距离特征进行图像增强，获得图像增强的体素特征和图像增强的距离特征；

8、将图像增强的体素特征和图像增强的距离特征分别与体素特征和距离特征进行对应融合，获得体素-图像融合特征及距离-图像融合特征；

9、将点云特征、体素-图像融合特征和距离-图像融合特征进行加权融合和残差连接，获得多模态融合特征；

10、通过多模态融合特征对三维场景进行语义分割，获得三维场景的语义感知结果。

11、第二方面，提出了一种三维场景语义感知系统，包括：

12、多模态数据获取模块，用于获取三维场景的点云数据和rgb图像；

13、多模态特征获取模块，用于根据点云数据，获得点云的距离图像和体素图像；分别从点云数据、点云的距离图像、体素图像和rgb图像中，提取点云特征、距离特征、体素特征和图像特征；

14、多模态特征融合模块，用于通过图像特征分别对体素特征和距离特征进行图像增强，获得图像增强的体素特征和图像增强的距离特征；将图像增强的体素特征和图像增强的距离特征分别与体素特征和距离特征进行对应融合，获得体素-图像融合特征及距离-图像融合特征；将点云特征、体素-图像融合特征和距离-图像融合特征进行加权融合和残差连接，获得多模态融合特征；

15、场景语义感知模块，用于通过多模态融合特征对三维场景进行语义分割，获得三维场景的语义感知结果。

16、第三方面，提出了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成一种三维场景语义感知方法所述的步骤。

17、第四方面，提出了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成一种三维场景语义感知方法所述的步骤。

18、与现有技术相比，本发明的有益效果为：

19、1、本发明充分利用点云精确的三维位置信息和rgb图像丰富的颜色和纹理信息，获得更具有鲁棒性的场景语义分割效果，从而提升机器人语义感知的性能。

20、2、本发明基于最近邻简化的点云特征提取方法从点云数据中提取点云特征，通过最近邻搜索算法和香农信息熵公式求得的最优邻域来确定点的曲率，可以得到更加合适的曲率值，以此进行点云简化，能够降低点的数据密度，减少计算开销，同时又能够尽可能保留有效信息，保证特征的精度和有效。

21、3、本发明分别从点云数据、点云的距离图像、体素图像和rgb图像中，提取点云特征、距离特征、体素特征和图像特征；通过图像特征分别对体素特征和距离特征进行图像增强，获得图像增强的体素特征和图像增强的距离特征；将点云特征、图像增强的体素特征和图像增强的距离特征进行加权融合和残差连接，获得多模态融合特征；将rgb图像的图像特征作为点云的自然补充，充分利用了rgb图像丰富的语义信息。同时，对点云的三个视图的特征进行自适应的融合，可以有效结合三种视图的优势，获得更完整和细粒度的空间信息。多模态的数据相辅相成，能够产生更好的语义分割效果。当用该多模态融合特征进行三维场景的语义分割时，能够提高机器人对场景语义信息的获取能力，使其具备更稳健的场景感知能力，提高机器人三维场景语义感知的准确性。

22、本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

技术特征：

1.一种三维场景语义感知方法，其特征在于，包括：

2.如权利要求1所述的一种三维场景语义感知方法，其特征在于，将点云数据进行球面投影，获得点云的距离图像。

3.如权利要求1所述的一种三维场景语义感知方法，其特征在于，根据点云数据构建体素空间；对体素空间进行体素网格划分；将每个点云数据与最近的体素中心点进行关联，获得点云的体素图像。

4.如权利要求1所述的一种三维场景语义感知方法，其特征在于，基于最近邻简化的点云特征提取方法，从点云数据中提取点云特征。

5.如权利要求4所述的一种三维场景语义感知方法，其特征在于，确定每个点云数据的最优邻域；

6.如权利要求1所述的一种三维场景语义感知方法，其特征在于，获得图像增强的体素特征和图像增强的距离特征的过程包括：

7.如权利要求1所述的一种三维场景语义感知方法，其特征在于，将体素-图像融合特征和距离-图像融合特征映射到点云空间，利用插值使得体素-图像融合特征和距离-图像融合特征的特征数量与点云的数量相匹配。

8.一种三维场景语义感知系统，其特征在于，包括：

9.一种电子设备，其特征在于，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-7任一项所述的一种三维场景语义感知方法的步骤。

10.一种计算机可读存储介质，其特征在于，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-7任一项所述的一种三维场景语义感知方法的步骤。

技术总结
本发明公开的一种三维场景语义感知方法、系统、设备与介质，涉及三维视觉技术领域，包括：获取三维场景的点云数据和RGB图像；分别从点云数据和RGB图像中，提取点云特征、距离特征、体素特征和图像特征；通过图像特征分别对体素特征和距离特征进行图像增强，获得图像增强的体素特征和图像增强的距离特征；将图像增强的体素特征和图像增强的距离特征分别与体素特征和距离特征进行对应融合，获得体素‑图像融合特征及距离‑图像融合特征；将点云特征、体素‑图像融合特征和距离‑图像融合特征进行加权融合和残差连接，获得多模态融合特征；通过多模态融合特征对三维场景进行语义分割，提高了三维场景语义感知结果的准确性。

技术研发人员：徐龙生,薛冰,欧兆明,庞士玺,杨纪冲
受保护的技术使用者：山东省凯麟环保设备股份有限公司
技术研发日：
技术公布日：2024/2/8