一种点云数据语义分割方法、系统及相关组件与流程

1.本技术涉及林业测树领域，特别涉及一种点云数据分割方法、系统及相关组件。


背景技术：

2.面向林业的激光雷达点云数据，数据级别往往异常的庞大，若直接使用深度学习的方法来处理将会变得很困难，而使用传统体素化的方法也面临着处理时间较长、受gpu(graphicsprocessing unit，图形处理器)内存限制的问题。早期的方法通常采用基于三维点云的三维卷积神经网络，三维图形通常由体素网格上二元变量的概率分布来表示。虽然已经取得了不错的性能，但由于计算量和内存占用量随分辨率的增加而呈立方体增长，因此这些方法无法很好地适应密集的三维数据。目前，也有一些直接处理大规模点云的方案，比如说spg用超图(super graph)和超点(super points)来表征大场景点云，fcpn和pct等方法结合了voxel 和point的优势来处理大规模点云。尽管这些方法也达到了不错的分割效果，但大多数方法的预处理计算量太大或内存占用高，难以在实际应用中部署。
3.实现高效、准确的大场景三维点云语义分割是当前三维场景理解、环境智能感知的关键问题之一，针对移动式激光雷达采集的面积百米范围，千万级别数量级的大规模场景点云，一个很重要的工作是对大规模点云做一个有效的缩减。随机采样的方法具有计算成本很低、 gpu内存占用小、运算效率高等优点，并且对点云的输入个数没有需求，使得任意大小的点云的都可以直接输入网络里进行训练，但该方法会导致点云有效信息的缺失，从而在下一步对提取的数据进行分割处理应用时常常会出现误差，降低准确率。所以我们要构造点云的冗余特征以减少有效信息的缺失。
4.因此，如何提供一种解决上述技术问题的方案是本领域技术人员目前需要解决的问题。


技术实现要素：

5.本技术的目的是提供一种点云数据分割方法、系统、装置及计算机可读存储介质，能够通过构建冗余的点云特征来减少随机采样带来的点云信息缺失。
6.为解决上述技术问题，本技术提供了一种点云数据语义分割方法，包括：
7.定义点云空间中的每一点云数据的特征的描述符，所述特征包括线性特征、平面度特征、散射性特征及垂直度特征；
8.计算每一点云数据对应的邻域空间中各个点的所述描述符；
9.将所有所述特征级联，得到所述点云数据的新特征；
10.将所述新特征与所述邻域空间的中心点的所述描述符级联，得到目标点特征；
11.将所述目标点特征分割得到m个大小不同的点集，m为正整数；
12.获取每簇所述点集的点特征值，进过mlp将所述点云数据分割成m类；
13.根据所述类和最邻近插值法进行临近点插值，以完成点云分割。
14.优选的，所述计算每一点云数据对应的邻域中各个点的所述描述符之前，该点云
数据分割方法还包括：
15.通过k临近算法确定每一所述点云数据的邻域空间的k个临近点。
16.优选的，所述将所有所述特征级联的过程包括：
17.通过第一关系式为每个所述特征学习attention score；
18.利用mlp的可学习参数为每一所述点云数据学习一个单独的attention score；
19.根据自动选择特征的soft mask，得到所述邻域空间各特征点级的加权求和。
20.优选的，所述点云空间中的每一点云数据的特征的描述符之后，该点云数据分割方法还包括：
21.通过旋转对每一所述点云数据的特征进行增强处理。
22.优选的，所述得到目标点特征之后，该点云数据分割方法还包括：
23.根据能量函数对所述目标点特征进行能量最优处理，所述能量函数为
24.优选的，所述获取每簇所述点集的点特征值的过程包括：
25.对每簇所述点集做共享参数的mlp，升维得到预设维度的特征向量；
26.对每簇所述点集中做maxpooling，得到每簇所述点集的预设维度的局部特征；
27.对所有所述点集对应的所述局部特征做maxpooling，得到全局特征；
28.将所述全局特征复制n次，以便将所述目标点特征连接在n
×
1024维的全局特征上，得到多个点特征值。
29.优选的，该点云数据分割方法还包括：
30.对语义分割数据结果进行评估。
31.为解决上述技术问题，本技术还提供了一种点云数据分割系统，包括：
32.定义模块，用于定义点云空间中的每一点云数据的特征的描述符，所述特征包括线性特征、平面度特征、散射性特征及垂直度特征；
33.计算模块，用于计算每一点云数据对应的邻域空间中各个点的所述描述符；
34.第一级联模块，用于将所有所述特征级联，得到所述点云数据的新特征；
35.第二级联模块，用于将所述新特征与所述邻域空间的中心点的所述描述符级联，得到目标点特征；
36.分割模块，用于将所述目标点特征分割得到m个大小不同的点集，获取每簇所述点集的点特征值，进过mlp将所述点云数据分割成m类，根据所述类和最邻近插值法进行临近点插值，以完成点云分割，m为正整数。
37.为解决上述技术问题，本技术还提供了一种点云数据分割装置，包括：
38.存储器，用于存储计算机程序；
39.处理器，用于执行所述计算机程序时实现如上文任意一项所述的点云数据分割方法的步骤。
40.为解决上述技术问题，本技术还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上文任意一项所述的点云数据分割方法的步骤。
41.本技术提供了一种点云数据语义分割方法，通过对各个特征进行处理、级联，得到
冗余的点云特征，通过构建冗余的点云特征来减少随机采样带来的点云信息缺失，把点云的几何特征描述符融入到后续的深度神经网络，这样可以实时快速降采样并能最大化保留点云几何特征有效信息，对稀疏化和非规则化的点云起到更好的划分效果。本技术还提供了一种点云数据分割系统、装置及计算机可读存储介质，具有和上述点云数据分割方法相同的有益效果。
附图说明
42.为了更清楚地说明本技术实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的部分附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
43.图1为本技术所提供的一种语义分割pointlae网络结构；
44.图2为本技术所提供的若干种点云特征可视化处理结果，其中(a)semantic3d数据集中点云几何特征可视化(b)s3dis数据集中点云几何特征可视化(c)nuscene数据集中点云几何特征可视化(d)bjfumap数据集中主楼区域点云几何特征可视化(e)bjfumap数据集中大道区域点云几何特征可视化；
45.图3为本技术所提供的若干种超分割可视化处理结果，其中(a)semantic3d数据集中点云超分割可视化(b)s3dis数据集中点云超分割可视化(c)nuscene数据集中点云超分割可视化(d)bjfumap数据集中主楼区域点云超分割可视化(e)bjfumap数据集中大道区域点云超分割可视化；
46.图4为本技术所提供的若干种数据分割效果可视化结果，其中(a)pointlae在semantic3d 数据集分割效果可视化(b)pointnet++分割效果可视化(c)semantic3d label groundtruth；
47.图5为本技术所提供的的摘要附图，涉及点云数据语义分割处理发明的流程框图。
具体实施方式
48.本技术的核心是提供一种点云数据分割方法、系统、装置及计算机可读存储介质，能够通过构建冗余的点云特征来减少随机采样带来的点云信息缺失。
49.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
50.本技术所提供的一种点云数据分割方法的步骤流程，即该点云数据分割方法包括：
51.s101：定义点云空间中的每一点云数据的特征的描述符，特征包括线性特征、平面度特征、散射性特征及垂直度特征；
52.具体的，本技术首先对整个大规模点云空间进行随机降采样，用k近邻搜索算法knn为每一个点p找到邻域空间的k个近邻点，并对近邻点的几何特征和位置与相对位置进行编码。为了限制计算量的负担，本技术仅定义了4个点云局部几何特征的描述符，用来描述点云的空间特征结构，线性、平面性、散射性和垂直度。
53.线性：点云邻域的拉伸拉长程度
54.平面度：评估它与平面的拟合程度
55.散射性：对应球形邻域，描述了各向同性的特征。
56.垂直度描述符：最佳邻域的垂直特性是区分道路和立面以及多边形和垂直物体点云之间具有相似的重要特征。
57.前三个特征综称为点云的维度特性，垂直特征描述符则也从上面特征向量和特征值中获取的，设a1，a2，a3分别为与λ1，λ2，λ3相关的三个特征向量，本技术将这三个向量中主方向的一元向量定义为特征向量按其特征值进行加权的坐标绝对值之和：本技术认为这个向量的垂直分量表征了一个knn点邻域的垂直度。对于水平邻域，它达到了最小值(等于零)，对于线性垂直邻域，它达到了最大值(等于1)，就很方便划分了水平邻域和线性垂直邻域。
58.在每个knn邻域，本技术计算点云协方差特征值λ1≥λ2≥λ3，根据weinmann等人的最佳邻域原则，邻域大小的选择会使得(λ1/λ，λ2/λ，λ3/λ)的本征性最小化，且∧＝p3 i＝1λi。以上这些特征使本技术可以通过以下的向量来对局部邻域的几何形状进行最佳描述。
[0059][0060][0061][0062]
s102：计算每一点云数据对应的邻域空间中各个点的描述符；
[0063]
具体的，本技术用k近邻算法对每一个点pi找到欧氏空间中最近的k个邻域点并根据公式(1)(2)(3)计算每个邻域中心点的几何特征描述符f
i l，f
i s， f
i p，f
i v和其邻域点的几何特征描述符
[0064]
s103：将所有特征级联，得到点云数据的新特征；
[0065]
s104：将新特征与邻域空间的中心点的描述符级联，得到目标点特征；
[0066]
具体的，采用用共享权重的mlp把点的邻域几何特征级联在一起，得到新的点特征该特征是点的冗余特征，在随机采样过程中可以有效降低有效信息的损失。并通过concat的方法，将与点几何特征描述符f
i l，f
i s，f
i p，f
i v级联起来，得到点特征
[0067]
为了把上述特征聚合在一起，可以采用max pooling的方法，但是这种暴力的方法会导致很多有用信息缺失，本技术希望通过attention的方法自动学习选择聚合1所级联特征中的有用信息，如公式(6)本技术采用函数α来为每个特征学习attention score，并通过共享mlp的可学习参数的w来为每一个点学习一个单独的attention score，通过这个自动选择特征的soft mask，得到邻域特征点级的加权求和计算，如(7)所示。
[0068][0069]
[0070][0071][0072]
s105：将目标点特征分割得到m个大小不同的点集，m为正整数；
[0073]
s106：获取每簇点集的点特征值，进过mlp将点云数据分割成m类；
[0074]
s107：根据类和最邻近插值法进行临近点插值，以完成点云分割。
[0075]
具体的，如附图1所示，我们把任意规模的点云随机下采样，并经过图上述atse模块处理，得到具有d维的特征结合点云固有的x,y,z三维特征，n
×
(3+d)特征输入基础pointnet 的mlp模块中，做特征升维，得到n
×
64的特征向量，此时如果继续通过pointnet的后续模块处理，会受制于pointnet感受野的问题，考虑到输入的点云会被大幅度的降采样，因此显著地增加每个点的感受也是非常有必要的。
[0076]
为了使即便网络地丢弃某些点的特征，输入点云的整体的几何细节也能够被保留下来，本发明提出了一种利用超分割模块来有效划分点云的局部几何感受野的方法，这也是一种结合无监督学习的方法。
[0077]
算法的第一步是将点云划分成几何上简单但有意义的形状。我们通过这个模块，可以生成高质量的点云超分割，相当于几何意义上的可靠性高的预分割，具有以下三个属性：
[0078]
对象不重叠性：不同对象上点云是互不重叠的，尤其是在所代表的语义不同的情况下；
[0079]
边界性：超分割的点云簇与对象之间边界重合；
[0080]
规则性：超分割形状与轮廓必须简单。
[0081]
我们把降采样后的点云用无向图g＝(v，e)来表示，其中v代表节点，表示点云的点， e表示边，即对节点v的相互邻近关系编码处理。我们仅计算10个最近邻图，对于每个点，我们将其局部几何特征向量fi∈r4(维数和垂直度，即前文中计算的几何特征描述符f
i l， f
i s，f
i p，f
i v)相关联，并计算出分段常量并由图g构造函数并由图g构造函数定义为 rv
×
4的矢量，通过对下列能量函数做优化，使下列potts分割能量最小。
[0082][0083]
可见，本实施例通过对各个特征进行处理、级联，得到冗余的点云特征，通过构建冗余的点云特征来减少随机采样带来的点云信息缺失，把点云的几何特征描述符融入到后续的深度神经网络，这样可以实时快速降采样并能最大化保留点云几何特征有效信息，对稀疏化和非规则化的点云起到更好的划分效果。
[0084]
在上述实施例的基础上作为一种优选的实施例，点云空间中的每一点云数据的特征的描述符之后，该点云数据分割方法还包括：
[0085]
通过旋转对每一点云数据的特征进行增强处理。
[0086]
具体的，通过旋转做数据增强处理，在semantic3d训练结果基础上加入数据集一起训练，采用随机dropout的方法，对稠密点云做随机召回处理，可以增强对点云稀疏不匀
场景的泛化能力。
[0087]
作为一种优选的实施例，该点云数据分割方法还包括：
[0088]
对语义分割数据进行评估。
[0089]
我们遵循semantic3d的评估指标，应用召回率iou，每类iou，联合交集，总精度oa来对使用的数据集进行评估。其中，c
ij
是从i类groudtruth中预测为j类的样本数量。a-iou 是对每类的评估指标，iou是对数据集的总体评价指标，oa是数据集的总体精度评价指标。
[0090][0091][0092][0093]
本技术所提供的一种点云数据分割系统的结构包括：
[0094]
定义模块，用于定义点云空间中的每一点云数据的特征的描述符，特征包括线性特征、平面度特征、散射性特征及垂直度特征；
[0095]
计算模块，用于计算每一点云数据对应的邻域空间中各个点的描述符；
[0096]
第一级联模块，用于将所有特征级联，得到点云数据的新特征；
[0097]
第二级联模块，用于将新特征与邻域空间的中心点的描述符级联，得到目标点特征；
[0098]
分割模块，用于将目标点特征分割得到m个大小不同的点集，获取每簇点集的点特征值，进过mlp将点云数据分割成m类，根据类和最邻近插值法进行临近点插值，以完成点云分割， m为正整数。
[0099]
可见，本实施例通过对各个特征进行处理、级联，得到冗余的点云特征，通过构建冗余的点云特征来减少随机采样带来的点云信息缺失，把点云的几何特征描述符融入到后续的深度神经网络。
[0100]
作为一种优选的实施例，该点云数据分割系统还包括：
[0101]
确定模块，用于通过k临近算法确定每一点云数据的邻域空间的k个临近点。
[0102]
作为一种优选的实施例，将所有特征级联的过程包括：
[0103]
通过第一关系式为每个特征学习attention score；
[0104]
利用mlp的可学习参数为每一点云数据学习一个单独的attention score；
[0105]
根据自动选择特征的soft mask，得到邻域空间各特征点级的加权求和。
[0106]
作为一种优选的实施例，该点云数据分割系统还包括：
[0107]
增强处理模块，用于通过旋转对每一点云数据的特征进行增强处理。
[0108]
作为一种优选的实施例，该点云数据分割装置还包括：
[0109]
能量优化模块，用于根据能量函数对目标点特征进行能量最优处理，能量函数为
[0110]
作为一种优选的实施例，获取每簇点集的点特征值的过程包括：
[0111]
对每簇点集做共享参数的mlp，升维得到预设维度的特征向量；
[0112]
对每簇点集中做maxpooling，得到每簇点集的预设维度的局部特征；
[0113]
对所有点集对应的局部特征做maxpooling，得到全局特征；
[0114]
将全局特征复制n次，以便将目标点特征连接在n
×
1024维的全局特征上，得到多个点特征值。
[0115]
作为一种优选的实施例，该点云数据分割系统还包括
[0116]
评估模块，用于对语义分割数据进行评估。
[0117]
另一方面，本技术还提供了一种点云数据分割装置，包括：
[0118]
存储器，用于存储计算机程序；
[0119]
处理器，用于执行计算机程序时实现如上文任意一个实施例所描述的点云数据分割方法的步骤。
[0120]
对于本技术所提供的一种点云数据分割装置的介绍请参照上述实施例，本技术在此不再赘述。
[0121]
本技术所提供的一种点云数据分割装置具有和上述点云数据分割方法相同的有益效果。
[0122]
为解决上述技术问题，本技术还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上文任意一项的点云数据分割方法的步骤。
[0123]
对于本技术所提供的一种计算机可读存储介质的介绍请参照上述实施例，本技术在此不再赘述。
[0124]
本技术所提供的一种计算机可读存储介质具有和上述点云数据分割方法相同的有益效果。
[0125]
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的状况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0126]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本技术。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本技术的精神或范围的情况下，在其他实施例中实现。因此，本技术将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。