基于超图计算的三维室外场景实例分割方法及装置

本技术涉及计算机三维视觉，特别涉及一种基于超图计算的三维室外场景实例分割方法及装置。

背景技术：

1、室外场景点云的实例分割推动了新时期自主车辆的环境感知研究，室外场景点云分割任务旨在通过将语义和实例分割统一到一个架构中来识别复杂的城市环境中的物体实例，有助于自主车辆在具有挑战性的开放环境中运行。目前，二维图像和三维室内点云分割任务已得到广泛研究。

2、然而，因点云的空间位置特征在室外场景点云实例分割任务中发挥着关键作用，但底层光学遥感数据lidar(light detection andranging)存在稀疏性和不规则性，导致户外三维全景分割任务在数据分布时，稀疏卷积在lidar点云的应用效果不佳，即三维室内点云分割任务方法难以应用于三维室外场景，使三维室外场景的点云实例分割无法准确施行，亟待解决。

技术实现思路

1、本技术提供一种基于超图计算的三维室外场景实例分割方法及装置，以解决因点云的空间位置特征在室外场景点云实例分割任务中发挥着关键作用，但底层光学遥感数据lidar存在稀疏性和不规则性，导致户外三维全景分割任务在数据分布时，稀疏卷积在lidar点云的应用效果不佳，即三维室内点云分割任务方法难以应用于三维室外场景，使三维室外场景的点云实例分割无法准确施行等问题。

2、本技术第一方面实施例提供一种基于超图计算的三维室外场景实例分割方法，包括以下步骤：采集目标场景的三维室外场景点云数据，并生成所述三维室外场景点云数据对应的鸟瞰视图；分别获取所述鸟瞰视图的二维特征矩阵与三维特征矩阵，融合所述二维特征矩阵与所述三维特征矩阵，得到多视角特征矩阵；基于所述多视角特征矩阵构建超图结构，利用预设超图神经网络优化所述超图结构，得到优化后的各体素节点特征，并利用所述优化后的各体素节点特征得到所述目标场景的实例分割结果。

3、可选地，在本技术的一个实施例中，所述采集目标场景的三维室外场景点云数据，得到所述三维室外场景点云数据对应的鸟瞰视图，包括：对所述三维室外场景点云数据体素化，得到体素化后的点云节点；将所述点云节点投影至二维平面，生成所述三维室外场景点云数据对应的鸟瞰视图。

4、可选地，在本技术的一个实施例中，所述基于所述鸟瞰视图，分别获取所述鸟瞰视图的二维特征矩阵与三维特征矩阵，融合所述二维特征矩阵与所述三维特征矩阵得到多视角特征矩阵，包括：提取所述鸟瞰视图的二维特征与三维特征，并将所述二维特征与所述三维特征输入预设编码器进行编码，得到所述二维特征矩阵与所述三维特征矩阵；基于二维特征矩阵与三维特征矩阵，利用预设融合全连接层输出所述多视角特征矩阵。

5、可选地，在本技术的一个实施例中，所述基于所述多视角特征矩阵构建超图结构，包括：将所述多视角特征矩阵输入预设语义分割分类器，得到包含语义信息的多视角特征矩阵；利用预设实例分割分类器，对所述包含语义信息的多视角特征矩阵进行k-近邻聚类操作，得到粗实例分割结果，并基于所述粗实例分割结果构建所述超图结构。

6、可选地，在本技术的一个实施例中，所述利用所述优化后的各体素节点特征，得到所述目标场景的实例分割结果，包括：对所述优化后的各体素节点特征进行k-近邻聚类操作，得到各体素实例id的预测结果；基于所述各体素的实例id的预测结果对所述目标场景进行实例分割，得到所述实例分割结果。

7、可选地，在本技术的一个实施例中，其特征在于，所述利用预设超图神经网络优化所述超图结构，具体为：

8、

9、其中，l为优化函数，dv为所述超图结构节点的度对角矩阵，h为所述超图结构的邻接矩阵，de表示超图结构超边的度对角矩阵，w为可学习权重矩阵。

10、本技术第二方面实施例提供一种基于超图计算的三维室外场景实例分割装置，包括：采集模块，用于采集目标场景的三维室外场景点云数据，并生成所述三维室外场景点云数据对应的鸟瞰视图；融合模块，用于分别获取所述鸟瞰视图的二维特征矩阵与三维特征矩阵，融合所述二维特征矩阵与所述三维特征矩阵，得到多视角特征矩阵；分割模块，用于基于所述多视角特征矩阵构建超图结构，利用预设超图神经网络优化所述超图结构，得到优化后的各体素节点特征，并利用所述优化后的各体素节点特征得到所述目标场景的实例分割结果。

11、可选地，在本技术的一个实施例中，所述采集模块包括：处理单元，用于对所述三维室外场景点云数据体素化，得到体素化后的点云节点；投影单元，用于将所述点云节点投影至二维平面，生成所述三维室外场景点云数据对应的鸟瞰视图。

12、可选地，在本技术的一个实施例中，所述融合模块包括：提取单元，用于提取所述鸟瞰视图的二维特征与三维特征，并将所述二维特征与所述三维特征输入预设编码器进行编码，得到所述二维特征矩阵与所述三维特征矩阵；输出单元，用于基于二维特征矩阵与三维特征矩阵，利用预设融合全连接层输出所述多视角特征矩阵。

13、可选地，在本技术的一个实施例中，所述分割模块包括：获取单元，用于将所述多视角特征矩阵输入预设语义分割分类器，得到包含语义信息的多视角特征矩阵；构建单元，用于利用预设实例分割分类器，对所述包含语义信息的多视角特征矩阵进行k-近邻聚类操作，得到粗实例分割结果，并基于所述粗实例分割结果构建所述超图结构。

14、可选地，在本技术的一个实施例中，所述分割模块还包括：预测单元，用于对所述优化后的各体素节点特征进行k-近邻聚类操作，得到各体素实例id的预测结果；分割单元，用于基于所述各体素的实例id的预测结果对所述目标场景进行实例分割，得到所述实例分割结果。

15、可选地，在本技术的一个实施例中，所述利用预设超图神经网络优化所述超图结构，具体为：

16、

17、其中，l为优化函数，dv为所述超图结构节点的度对角矩阵，h为所述超图结构的邻接矩阵，de表示超图结构超边的度对角矩阵，w为可学习权重矩阵。

18、本技术第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的基于超图计算的三维室外场景实例分割方法。

19、本技术第四方面实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，该程序被处理器执行时实现如上的基于超图计算的三维室外场景实例分割方法。

20、本技术实施例可以基于超图结构对三维室外场景点云数据进行建模，从而得到目标场景的实例分割结果，从而实现了室外场景点云的精准实例级分割，提高了统一实例中体素节点的特征表达，得到更精确的三维室外场景的点云实例分割结果。由此，解决了因点云的空间位置特征在室外场景点云实例分割任务中发挥着关键作用，但底层光学遥感数据lidar存在稀疏性和不规则性，导致户外三维全景分割任务在数据分布时，稀疏卷积在lidar点云的应用效果不佳，即三维室内点云分割任务方法难以应用于三维室外场景，使三维室外场景的点云实例分割无法准确施行等问题。

21、本技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。