基于单目视图的室外场景点云增强方法及装置

本技术涉及计算机视觉，特别涉及一种基于单目视图的室外场景点云增强方法及装置。

背景技术：

1、点云增强是指对原始点云数据进行处理和优化，以提高点云质量、减少噪声、增加特征信息或改善数据结构等目的。点云增强可以提升后续任务(如点云配准、物体识别、三维重建等)的性能和效果。该技术在计算机视觉中广泛应用，例如目标检测、物体识别、语义分割等。其主要流程包括数据预处理、特征提取和特征分析等步骤。通过这些步骤，能够实现对数据中的信息进行有效提取和分析，从而满足不同领域的需求。

2、相关技术中，可以被大体分为三类：基于几何学的增强方法、基于配准的增强方法、基于学习的增强方法。其中，基于几何学的点云增强方法可以通过事先的几何学假设直接从观察到的形状部分预测出不可见的形状部分。基于配准的点云增强方法旨在形状数据库中检索与目标对象相似的相同模型，然后将输入与标准模型配准，补全输入数据中缺失的部分。有些方法直接检索三维形状，如整个模型或者其中的一部分。其他的一些方法则使用变形后的合成模型或者是非三维几何基元，如平面和四边形来代替数据库中的三维形状。基于学习的点云增强方法可以构建一个参数化的模型来学习形状不完整和完整点云的两个特征空间之间的映射。

3、然而，相关技术中，难以界定场景尺度下每种点云的几何规律，在推理优化以及数据库建设过程中需要昂贵的成本，对噪声点敏感，不适用于场景尺度的点云增强，只在特别类别的物体或具有小范围不完整性的形状上表现良好，泛用性差，亟待改进。

技术实现思路

1、本技术提供一种基于单目视图的室外场景点云增强方法及装置，以解决相关技术中，难以界定场景尺度下每种点云的几何规律，在推理优化以及数据库建设过程中需要昂贵的成本，对噪声点敏感，不适用于场景尺度的点云增强，只在特别类别的物体或具有小范围不完整性的形状上表现良好，泛用性差等问题。

2、本技术第一方面实施例提供一种基于单目视图的室外场景点云增强方法，包括以下步骤：采集户外场景下初始帧的点云数据及单目视图数据；对所述点云数据进行基于语义的局部特征提取，获得当前帧的点云逐点特征；对所述单目视图数据进行基于语义的局部特征提取与分割，获得图像的分块局部特征，并对所述单目视图数据中的地面部分与天空部分进行分离，得到分离结果；对所述点云逐点语义特征与所述局部特征进行特征匹配，获得局部点云与局部图像的配准关系；基于预设标定结果构建2d图像到3d点云的转换，以根据所述分离结果对图像中非天空、非地面的目标物体进行重建，得到图片重建获得的点云；将所述图片重建获得的点云利用所述配准关系增补至对应位置，获得经过图像增强的点云。

3、可选地，在本技术的一个实施例中，所述采集户外场景下初始帧的点云数据及单目视图数据，包括：在户外场景的多个点采集环境的所述单目视图数据；在所述单目视图数据的同视角的点位采集环境的激光雷达的所述点云数据。

4、可选地，在本技术的一个实施例中，所述对所述点云数据进行基于语义的局部特征提取，获得当前帧的点云逐点特征，包括：对所述点云数据进行去噪处理，得到点集；对所述点集进行点云分类，得到归属于平面点的全部平面点集和归属于边缘点的边缘点集；利用深度聚类的方法对所述平面点集和所述边缘点集进行分类，以利用基于学习的方法对点进行特征提取，得到所述点云逐点特征。

5、可选地，在本技术的一个实施例中，所述对所述单目视图数据进行基于语义的局部特征提取与分割，获得图像的分块局部特征，包括：对所述单目视图数据中的图像进行语义分割，获得每个像素点在至少一个类别上的概率；基于所述每个像素点在至少一个类别上的概率，将属于同一类且空间位置满足预设条件的像素标记为同一个类别物体的多个像素，获得以图像区块表示的分割结果，得到所述分块局部特征。

6、可选地，在本技术的一个实施例中，所述对所述点云逐点语义特征与所述局部特征进行特征匹配，获得局部点云与局部图像的配准关系，包括：将每一帧的点云投影至图像中，使点与图像中的像素点达成局部匹配；利用所述点云逐点语义特征与所述局部特征进行特征匹配，获取所述局部点云与局部图像的配准关系。

7、可选地，在本技术的一个实施例中，所述基于预设标定结果构建2d图像到3d点云的转换，以根据所述分离结果对图像中非天空、非地面的目标物体进行重建，得到图片重建获得的点云，包括：基于所述配准关系，将未有点投影的像素点进行映射，并通过插值的方式补足到原始点云中。

8、可选地，在本技术的一个实施例中，所述将所述图片重建获得的点云利用所述配准关系增补至对应位置，获得经过图像增强的点云，包括：基于采集系统的雷达坐标系到相机坐标系的旋转矩阵和平移矩阵，将补足到所述原始点云中的插值增加的点映射回所述原始点云中，与所述原始点云进行结合，获得所述经过图像增强的点云。

9、本技术第二方面实施例提供一种基于单目视图的室外场景点云增强装置，包括：采集模块，用于采集户外场景下初始帧的点云数据及单目视图数据；提取模块，用于对所述点云数据进行基于语义的局部特征提取，获得当前帧的点云逐点特征；分离模块，用于对所述单目视图数据进行基于语义的局部特征提取与分割，获得图像的分块局部特征，并对所述单目视图数据中的地面部分与天空部分进行分离，得到分离结果；匹配模块，用于对所述点云逐点语义特征与所述局部特征进行特征匹配，获得局部点云与局部图像的配准关系；重建模块，用于基于预设标定结果构建2d图像到3d点云的转换，以根据所述分离结果对图像中非天空、非地面的目标物体进行重建，得到图片重建获得的点云；增强模块，用于将所述图片重建获得的点云利用所述配准关系增补至对应位置，获得经过图像增强的点云。

10、可选地，在本技术的一个实施例中，所述采集模块包括：第一采集单元，用于在户外场景的多个点采集环境的所述单目视图数据；第二采集单元，用于在所述单目视图数据的同视角的点位采集环境的激光雷达的所述点云数据。

11、可选地，在本技术的一个实施例中，所述提取模块包括：去噪单元，用于对所述点云数据进行去噪处理，得到点集；分类单元，用于对所述点集进行点云分类，得到归属于平面点的全部平面点集和归属于边缘点的边缘点集；提取单元，用于利用深度聚类的方法对所述平面点集和所述边缘点集进行分类，以利用基于学习的方法对点进行特征提取，得到所述点云逐点特征。

12、可选地，在本技术的一个实施例中，所述分离模块包括：分割单元，用于对所述单目视图数据中的图像进行语义分割，获得每个像素点在至少一个类别上的概率；标记单元，用于基于所述每个像素点在至少一个类别上的概率，将属于同一类且空间位置满足预设条件的像素标记为同一个类别物体的多个像素，获得以图像区块表示的分割结果，得到所述分块局部特征。

13、可选地，在本技术的一个实施例中，所述匹配模块包括：投影单元，用于将每一帧的点云投影至图像中，使点与图像中的像素点达成局部匹配；匹配单元，用于利用所述点云逐点语义特征与所述局部特征进行特征匹配，获取所述局部点云与局部图像的配准关系。

14、可选地，在本技术的一个实施例中，所述重建模块包括：补足单元，用于基于所述配准关系，将未有点投影的像素点进行映射，并通过插值的方式补足到原始点云中。

15、可选地，在本技术的一个实施例中，所述增强模块包括：结合单元，用于基于采集系统的雷达坐标系到相机坐标系的旋转矩阵和平移矩阵，将补足到所述原始点云中的插值增加的点映射回所述原始点云中，与所述原始点云进行结合，获得所述经过图像增强的点云。

16、本技术第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的基于单目视图的室外场景点云增强方法。

17、本技术第四方面实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，该程序被处理器执行时实现如上的基于单目视图的室外场景点云增强方法。

18、本技术实施例可以将点云数据和单目视图数据作为输入数据，基于局部特征的配准关系将图片重建的点云增补至对应位置，从而获取图像增强的点云，使得模型适用于场景规模点云的增强，提高泛用性。由此，解决了相关技术中，难以界定场景尺度下每种点云的几何规律，在推理优化以及数据库建设过程中需要昂贵的成本，对噪声点敏感，不适用于场景尺度的点云增强，只在特别类别的物体或具有小范围不完整性的形状上表现良好，泛用性差等问题。

19、本技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。