基于深度网络的三维点云面片分割方法

本发明服务于计算机算法、人工智能、智慧农业、无人系统等，尤其涉及基于深度网络的三维点云面片分割方法。

背景技术：

1、对三维点云进行算法分割与分析是国民经济的一个重要研发方向，能够服务于无人车、智慧城市、农作物自动表型与育种、智能机械制造与加工等领域。三维点云中包含着大量的三维空间中的坐标点(可同时具有色彩和法向量等其他特征)。传统的点云分割算法往往直接在点级别进行计算和操作，容易受到三维传感器噪声点的影响，在复杂的三维物体表面难以获得令人满意的语义分割或者实例分割结果。本发明考虑使用中尺度的结构进行点云分割，构建一个深度学习网络把点云预先处理成一个个小面片形成面片集合，后续再针对这些面片进行分割能够避免点级别噪声的影响，且后续操作计算量更小。本文也在所提出的网络生成的面片集合的基础上进一步提出了两种应用方向，分别为基于该网络生成的面片进行抽象的点云降采样方式与基于网络输出的面片进行聚类的点云分割方法。

2、自二十世纪九十年代以来，点云面片分割或面片化划分任务大多以无监督聚类算法为主，通过修改聚类算法内的阈值参数能够得到不同的面片分割粒度。achanta等人提出了一种新的点云迭代聚类算法slic(simple linear iterative clustering)，它使用局部k均值方法不断迭代更新聚类中心实现面片划分。papon等人提出了基于体素的聚类方法vccs(voxel cloud connectivity segmentation)，此方法使用了具有旋转不变性的fpfh特征，规范了初始聚类中心并使用广度优先搜索完成面片聚类。li等人使用pca(principalcomponentanalysis)得到点云的向量特征，再使用距离阈值和角度阈值来作为聚类条件以获得小面片集，为后续作物点云的器官实例分割提供基础。在使用深度网络的有监督聚类领域，jampani等人提出了一种基于可微slic方法的网络—ssn(superpixelsamplingnetwork)，可微slic使用可实现梯度传导的软关系矩阵替代传统slic的最近邻局部聚类操作，并可以集成进入网络当中实现可端到端训练的神经网络，但网络输出分割结果的规整性不佳。

3、目前常见的点云降采样方式以无监督算法为主。vitter等人提出了随机降采样方法，即随机选取一些点进行保留，但能保留住的关键特征点较少。devroye等人提出了一种均匀体素降采样方法，即等距离地保留一些点，将三维点云划分成一个个正方体，在每个正方体中只取一个点进行代表。eldar等人提出了最远点降采样方法，首先随机选取一个点，再寻找离这个点最远的点加入集合并依次类推直到选择的点达到规定的上限n。该方法的优点是可以进行所有点的遍历，具有全局性；但缺点是计算量较大。diez等人提出基于法线特征进行降采样，可尽量保证各个点的法向量方向均匀，在降采样后能够保留局部点云的细节。

技术实现思路

1、本发明提出了一种专门用于在点云上生成固定数量面片的深度神经元网络，建立了一种基于深度网络的三维点云面片分割方法，并基于该网络的面片分割方法的结果提出了两种应用，应用一为基于该网络生成的面片进行抽象的点云降采样方式；应用二为基于网络输出的面片进行聚类的点云分割方法。分别用作物三维点云的降采样和作物点云器官分割为例，形象化地阐述两个应用可能实现的形式和结果。

2、为了实现上述网络及应用，本发明的技术方案是首先提出一种带有残差前馈的类pointnet特征提取器作为网络前端，然后提出了spslic方法作为网络后端聚类方法。之后在完成网络训练与测试后，基于网络的面片分割输出实现了两种可能的应用。

3、一种基于深度网络的三维点云面片分割方法，包括如下步骤：

4、步骤s1、数据准备：准备好带语义标签、实例标签、无监督面片划分标签的点云数据集，并将b×n×f维度大小的点云数据输入深度网络当中，其中b为训练批量大小，n为输入的每个点云中点的数量，f为每个点所包含的特征维度；

5、步骤s2、网络构架与训练方式：用于在点云上生成固定数量面片的深度神经元网络使用带有残差前馈的类pointnet特征提取器作为网络前端提取特征，网络后端在训练时为可微slic，在测试时为spslic；

6、步骤s3、网络测试阶段：根据步骤s2已训练好且后端为spslic的网络输出固定数量面片集合，对每一个面片使用其面片中心点最近的真实点来替代该面片，每一个点代表一个面片从而实现基于网络生成的面片进行抽象的点云降采样；

7、步骤s4：根据步骤s2已训练好且后端为spslic的网络输出固定数量面片集合，对面片集合进行面片生长从而实现点云分割。

8、本发明首先提出了一种专门用于在点云上生成固定数量面片的深度神经元网络，并基于该网络的面片分割结果提出了两种应用，应用一为基于该网络生成的面片进行抽象的点云降采样方式，可被用于生成包含固定点数的点云数据集，能够满足其他点云深度学习网络的数据集需求；应用二为基于网络输出的面片进行聚类的点云分割方法，以智慧农业领域的作物三维器官识别为例展示了该点云分割方法的应用，有助于农学家与植物学家更好地观测植物器官并分析植物的生长。

9、本发明为了对单点云生成面片数量固定的面片集，我们提出了一种新的点云面片分割深度网络，网络的前端使用带有残差前馈的类pointnet特征提取器提取高维特征，后端使用一种新的种子点线性迭代聚类方式spslic(seedpoint simple linear iterativeclustering)对高维点云特征进行loss函数下控制的迭代聚类，最终得到面片集合。本发明还在该网络的面片分割结果基础上提出了两种应用，应用一为基于该网络生成的面片进行抽象的点云降采样方式，可被用于生成包含固定点数的点云数据集，能够满足其他点云深度学习网络的数据集需求；应用二为基于网络输出的面片进行聚类的点云分割方法，以智慧农业领域的作物三维器官识别为例展示了该点云分割方法的应用，有助于农学家与植物学家更好地观测植物器官并分析植物的生长。应用一的主要思路是先获得网络输出的面片集合，再对每一个面片使用其面片中心点最近的原点云真实点来替代该面片从而实现降采样。应用二的主要思路是对面片分割的结果进行区域生长以实现点云分割，分两阶段进行面片生长，第一阶段是基于边界面片的初步生长，第二阶段是针对复杂陡峭三维结构的再次面片生长。

10、与现有技术相比，本发明的有益效果是：

11、1)提出了一种专门用于在点云上生成固定数量面片的深度神经元网络，使用带有残差前馈的类pointnet特征提取器作为网络前端提取特征。训练时，网络后端模块为可微slic；测试时，网络后端模块为新提出的spslic。此网络能够为基于面片的两种可能的应用打好基础；

12、2)本发明根据网络输出的面片集合提出了一种基于面片抽象的点云降采样方式(应用1)。与其它降采样方式相比，基于面片的降采样方式有助于提升点云深度学习网络的性能，在plantnet的语义分割与实例分割两方面的定量指标均有提升。基于面片的降采样方法能够精确控制降采样点数，也得益于网络输出面片规整性较好且面片具有全局均匀分布的性质，降采样后的点可以实现均匀的全局抽样特征；

13、3)本发明提出的基于面片生长的点云分割方法(应用2)能够有效地进行点云的实例分割。以植物点云为例，本方法可以准确分割出不同的器官，对植物叶片个体间交叉重叠与共面重叠的问题具有鲁棒性，可有效分离叶片与茎秆这两种不同的器官，有助于农学家与植物学家观测与分析植物生长。