基于几何特征提取和边缘感知编码的三维点云分割方法

本发明涉及一种三维点云分割方法，尤其是涉及一种基于几何特征提取和边缘感知编码的三维点云分割方法。

背景技术：

点云是三维空间中一堆点的集合，可以用来表示三维的场景和物体。点云通常是由激光雷达、深度相机采集得到或着通过对三维mesh模型采样得到。作为三维数据的常用表征形式，点云也可以与体素以及网格等常用的三维数据表征形式相互转换。而基于点云的识别和理解技术发展缓慢。

随着深度学习的不断发展，于2017年，深度学习技术开始被应用于点云的识别和理解中。基于深度学习的点云识别和理解技术在之后的几年时间里快速发展。点云的语义分割是点云场景理解里面重要的环节，可以为后续的虚拟增强现实技术、机器人技术以及自动驾驶技术等提供强有力的支持。

现有的基于深度学习的点云语义分割方法缺乏对点云独有的几何信息的利用，有很少人工设计出来的几何特征，但是这些几何特征缺乏对输入点云的适应能力。此外现有点云特征提取过程中对所有的点不做区分，使得不同类别点的特征混合在一起，导致边缘的分割效果很差。

技术实现要素：

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于几何特征提取和边缘感知编码的三维点云分割方法。

本发明的目的可以通过以下技术方案来实现：

一种基于几何特征提取和边缘感知编码的三维点云分割方法，该方法包括如下步骤：

构建并训练用于三维点云边缘预测的边缘预测网络以及用于对三维点云中各点进行分割预测的分割网络；

所述的边缘预测网络输入为三维点云中各个点所在邻域内的原始特征方差，输出为三维点云中各个点是否为边缘点；

所述的分割网络采用编码器解码器的结构，包括多层依次级联的且呈对称结构的编码器和解码器，三维点云的原始特征作为分割网络第一层的输入，同时边缘预测网络预测的边缘预测结果会在不同的尺度下进行使用，在点云进行采样的过程中，边缘预测结果随着一起下采样并与通常的下采样共享下采样的采样点，分割网络中的每一层执行以下操作：

首先，对当前采样尺度下的点云进行几何特征提取得到几何特征；

然后，将几何特征与当前层已有输入特征进行拼接得到拼接特征；

接着，基于边缘预测结果对拼接特征进行边缘感知特征提取更具有表征能力的特征并输出作为下一层的输入特征；

最后，利用跳跃链接将对应分辨率下编码器的特征与解码器的特征融合在一起，得到原始分辨率的特征，使用激活函数对原始分辨率的特征进行归一化，得到每个点属于不同类别的概率，完成点云分割。

优选地，三维点云的原始特征包括颜色、坐标、反射强度、法向量方向中的一种或多种的组合。

优选地，所述的边缘预测网络的进行边缘预测的过程包括：

对于三维点云中的每个点收集其原始特征，所述的原始特征包括多个维度；

对于每一个点的每一维特征，计算这一维特征周围邻域k个点的特征对应的方差，并将不同特征的方差作为新的输入特征送入边缘预测网络；

基于每个点的特征方差所组成的新的输入特征，利用共享的多层感知机提取每个点的高维特征；

将sigmoid函数应用到共享的多层感知机提取的特征上，得到每一个点属于非边缘点的概率。

优选地，边缘预测网络训练过程中对各点是否是边缘点进行标记的过程包括：

获取训练集中三维点云中每个点的语义类别标签，对于待标记的中心点寻找邻域内的k个最近邻居的标签信息；

计算中心点所在邻域内与中心点语义类别标签相同的点的数量，并除以k得到周围点与中心点语义类别标签相同的点的比例，若比例大于设定阈值，则中心点为非边缘点，否则中心点为边缘点。

优选地，所述的分割网络中进行几何特征提取具体为：

对于点云或者降采样后的点云中的某一个点，将其作为参照点，获取基准点邻域内的m个邻近点，计算各邻近点相对于参照点的位移向量；

设定几何卷积核为大小为m的无序三维方向向量集合，在几何卷积核中，利用点积最大的原则寻找到几何卷积核里面与各位移向量对应的方向向量；

对基准点邻域内的所有邻近点所对应的位移向量与匹配的方向向量分别进行点积并求和得到基准点的几何特征。

优选地，所述的寻找到几何卷积核里面与各位移向量对应的方向向量具体方式为：对于任意一个位移向量，分别与几何卷积核中的各个方向向量进行点积，选取点积值最大的方向向量作为与该位移向量匹配的方向向量。

优选地，所述的边缘预测网络的边缘预测结果为三维点云中各点属于非边缘点的概率。

优选地，边缘感知特征提取具体步骤为：

将边缘预测结果与拼接特征进行点乘；

使用共享的多层感知机分别对各个点的不同通道的特征进行融合得到融合特征；

利用共享的多层感知机模拟三维卷积的卷积核，将每个点邻域点的相对坐标映射到对应位置的特征权重从而模拟三维的连续卷积核，之后将融合特征与邻域提取的特征进行点乘求和最终得到新一层的点的输入特征。

优选地，所述的分割网络中的编码器包括依次级联的多层局部特征编码器，与编码器对称地，所述的解码器包括依次级联的多层局部特征解码器，所述的多层局部特征编码器和多层局部特征解码器进行边缘感知特征提取时将边缘预测结果和拼接特征进行点乘过滤边缘点的特征。

优选地，所述的分割网络中的编码器还包括一层或多层依次级联的全局特征编码器，与编码器对称地，所述的解码器包括一层或多层依次级联的全局特征解码器，所述的全局特征编码器和全局特征解码器进行边缘感知特征提取时将边缘预测结果中的边缘点视作非边缘点，保留边缘点的拼接特征。

与现有技术相比，本发明具有如下优点：

(1)本发明首先利用边缘预测网络对三维点云的边缘点进行预测，从而利用边缘信息更好地提取特征，使得该系统在点云尤其是边缘区域拥有更好的分割效果；

(2)本发明分割网络采用编码器解码器的结构，其中涉及对点云几何特征的提取，有效利用点云几何特征信息，同时进行边缘感知特征提取，使得分割效果更佳。

附图说明

图1为本发明一种基于几何特征提取和边缘感知编码的三维点云分割方法的整体流程框图；

图2为本发明采用边缘预测网络预测边缘点的流程框图；

图3为本发明分割网络中每一层进行特征提取的流程框图；

图4为本发明实施例中构建的分割网络和边缘预测网络的网络框架。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。注意，以下的实施方式的说明只是实质上的例示，本发明并不意在对其适用物或其用途进行限定，且本发明并不限定于以下的实施方式。

实施例

本发明提供一种基于几何特征提取和边缘感知编码的三维点云分割方法，该方法包括如下步骤：

构建并训练用于三维点云边缘预测的边缘预测网络以及用于对三维点云中各点进行分割预测的分割网络；

边缘预测网络输入为三维点云中各个点所在邻域内的原始特征方差，输出为三维点云中各个点是否为边缘点；

分割网络采用编码器解码器的结构，包括多层依次级联的且呈对称结构的编码器和解码器，三维点云的原始特征作为分割网络第一层的输入，同时边缘预测网络预测的边缘预测结果会在不同的尺度下进行使用，在点云进行采样的过程中，边缘预测结果随着一起下采样并与通常的下采样共享下采样的采样点，分割网络中的每一层执行以下操作：

首先，对当前采样尺度下的点云进行几何特征提取得到几何特征；

然后，将几何特征与当前层已有输入特征进行拼接得到拼接特征；

接着，基于边缘预测结果对拼接特征进行边缘感知特征提取更具有表征能力的特征并输出作为下一层的输入特征；

最后，利用跳跃链接将对应分辨率下编码器的特征与解码器的特征融合在一起，得到原始分辨率的特征，使用激活函数对原始分辨率的特征进行归一化，得到每个点属于不同类别的概率，完成点云分割。

三维点云的原始特征包括颜色、坐标、反射强度、法向量方向中的一种或多种的组合。本实施例将颜色(r、g、b三个通道)以及坐标(x、y、z三维空间坐标)作为分割网络作为三维点云的原始特征。

边缘预测网络的进行边缘预测的过程包括：

对于三维点云中的每个点收集其原始特征，原始特征包括多个维度；

对于每一个点的每一维特征，计算这一维特征周围邻域k个点的特征对应的方差，并将不同特征的方差作为新的输入特征送入边缘预测网络；

基于每个点的特征方差所组成的新的输入特征，利用共享的多层感知机提取每个点的高维特征；

将sigmoid函数应用到共享的多层感知机提取的特征上，得到每一个点属于非边缘点的概率。

边缘预测网络训练过程中对各点是否是边缘点进行标记的过程包括：

获取训练集中三维点云中每个点的语义类别标签，对于待标记的中心点寻找邻域内的k个最近邻居的标签信息；

计算中心点所在邻域内与中心点语义类别标签相同的点的数量，并除以k得到周围点与中心点语义类别标签相同的点的比例，若比例大于设定阈值，则中心点为非边缘点，否则中心点为边缘点。

分割网络中进行几何特征提取具体为：

对于点云或者降采样后的点云中的某一个点，将其作为参照点，获取基准点邻域内的m个邻近点，计算各邻近点相对于参照点的位移向量；

设定几何卷积核为大小为m的无序三维方向向量集合，在几何卷积核中，利用点积最大的原则寻找到几何卷积核里面与各位移向量对应的方向向量；

对基准点邻域内的所有邻近点所对应的位移向量与匹配的方向向量分别进行点积并求和得到基准点的几何特征。

寻找到几何卷积核里面与各位移向量对应的方向向量具体方式为：对于任意一个位移向量，分别与几何卷积核中的各个方向向量进行点积，选取点积值最大的方向向量作为与该位移向量匹配的方向向量。

边缘预测网络的边缘预测结果为三维点云中各点属于非边缘点的概率。

边缘感知特征提取具体步骤为：

将边缘预测结果与拼接特征进行点乘；

使用共享的多层感知机分别对各个点的不同通道的特征进行融合得到融合特征；

利用共享的多层感知机模拟三维卷积的卷积核，将每个点邻域点的相对坐标映射到对应位置的特征权重从而模拟三维的连续卷积核，之后将融合特征与邻域提取的特征进行点乘求和最终得到新一层的点的输入特征。

分割网络中的编码器包括依次级联的多层局部特征编码器，与编码器对称地，解码器包括依次级联的多层局部特征解码器，多层局部特征编码器和多层局部特征解码器进行边缘感知特征提取时将边缘预测结果和拼接特征进行点乘过滤边缘点的特征。

分割网络中的编码器还包括一层或多层依次级联的全局特征编码器，与编码器对称地，解码器包括一层或多层依次级联的全局特征解码器，全局特征编码器和全局特征解码器进行边缘感知特征提取时将边缘预测结果中的边缘点视作非边缘点，保留边缘点的拼接特征。

参阅图1～图3对本发明方法步骤进行具体说明：

首先，收集每个点周围k最近邻个点的颜色或位置特征并计算邻域内不同特征的方差，邻域内的特征方差是检测边缘点的重要指标并作为边缘预测网络的输入。边缘预测网络由级联的多层感知机构成，输出的特征进入一个线性分类器预测每个点是否为边缘点，具体地：

s100：对于点云中的每个点收集该点周围k最近邻的点的原始特征，包括点的颜色、坐标、反射强度、法向量方向等特征，本实施例将颜色(r、g、b三个通道)以及坐标(x、y、z三维空间坐标)作为分割网络作为三维点云的原始特征；

s110：对于每一个点的每一维特征，计算这一维特征周围邻域k个点该特征的方差，并将不同特征的方差作为新的输入特征送入边缘识别网络；

s120：对于每个点的特征方差所组成的新特征，利用共享的多层感知机提取每个点的高维特征，并且利用激活函数增加非线性性；

s130：将sigmoid函数应用到共享的多层感知机提取的特征上，得到每一个点属于非边缘点的概率。

参阅图2，本发明对点云中所有的点收集邻域内点的标签，并根据标签的一致情况判定是否为边缘点，具体设定为邻域中标签与中心点标签相同的比例大于阈值的点被设定为非边缘点，邻域中标签与中心点标签相同的比例小于等于阈值的点被审定为边缘点，具体步骤为：

s140：获得点云中每个点的语义类别标签，之后寻找邻域内的k个最近邻居的标签信息；

s150-s160：在获得每个点周围k最近邻标签后，与中心点的标签进行比对，计算出与中心类别相同的标签的数量，并除上k得到周围点与中心点类别相同的点的比例。如果该比例大于设定的阈值，那么该点被认为是非边缘点，如果改比例小于等于设定的阈值，那么该点被认为是边缘点；

s170：利用语义标签生成的边缘点gt监督边缘点的预测，这里使用二值的交叉熵训练共享的多层感知机使得预测的边缘点更加准确；

参阅图3，本发明对于任意一个尺度的点云的每一个点，收集周围的m最近邻相对中心点的位移，并根据位移寻找几何卷积核当中匹配的点。

s200：对于点云或者降采样过后的点云中的点，得到他们周围m个邻近点以及他们的坐标位置，并计算相对于参照点的相对位置。在几何卷积核中，利用点积最大的原则寻找到几何卷积核里面对应的方向向量。这里点积最大原则是指，每一个相对位移的向量与几何卷积核里的每一个向量进行一次点积，然后选择获得最大的点积值的方向向量作为匹配的向量；

参阅图3，本发明步骤2中对于每个点的邻域，将其邻近的点的相对位移点乘积几何卷积核对应三维向量得到响应值，此后将不同邻近点的点积得到结果求和得到一个通道上的几何特征。

s210：对点云中每个点邻点的相对位移与几何卷积核中匹配到的方向向量进行点积，对不同邻点与对应方向向量点积得到的结果进行求和得到提取的几何特征。利用不同的几何卷积核可以匹配不同的几何模式，得到的特征值表示邻域与几何卷积核的角分布相似度，从而得到多个结构特征；

s220：将几何卷积操作得到的几何特征与点云中点的原始特征或上一层提取的特征拼接的到新的特征地图；

参阅图3，本发明对于当前层的特征，使用预测的边缘进行特征的过滤，即将预测的边缘在通道的维度进行复制并点乘上特征使得边缘点的特征变为零，之后使用多层感知机融合不同通道从而提取更好的表示。

s230：将得到的边缘点预测结果和s220得到的特征进行点乘，对于预测为边缘点的点，预测为非边缘点的概率低，而将这个概率和特征进行点乘能够降低该点在提取的特征中的贡献。而远离边缘的点被预测为非边缘点的概率接近1，点乘上点的特征后特征变化很小，依然能够在后续特征提取中作出贡献；

s240：使用各个点共享的多层感知机对不同通道的特征进行结合，提取更具有表征能力的特征；

参阅图3，本发明利用共享的多层感知机模拟三维卷积的卷积核，将每个点邻域点的相对坐标映射到对应位置的特征权重从而模拟三维的连续卷积核，之后与邻域提取的特征进行点乘求和最终得到新一层的点的特征。

s250：利用共享的多层感知机将每个点邻近点相对于中心点的位移映射到一个前一层特征维度的向量，从而模拟三维的卷积核。将得到的权重向量点乘上邻近点的特征再对特征的维度进行求和，同时对周围邻近点求和得到的数值进行求和得到一个新的特征。对于要学习的不同特征，需要使用不同的多层感知机来模拟三维卷积核；

参阅图1，本发明边缘预测网络预测的边缘预测结果会在不同的尺度下进行使用，在点云进行采样的过程中，边缘预测结果也随着一起下采样并与通常的下采样共享下采样的采样点。

s300：由s130得到的边缘点预测结果为原始分辨率下边缘点与非边缘点的预测结果，边缘点的预测结果和点云的下采样共享下采样得到的点，即利用通常点云下采样所得到的采样点的索引得到下采样过后点云的边缘点的预测结果，并在s230中使用。

对点云原始的特征进行编码和降采样，并在每一层利用几何卷积操作提取邻域几何特征，同时在提取局部特征时使用边缘感知的编码方式。在提取全局特征的时候，所得到的降采样边缘点会被视为非边缘点。

s310：整个网络使用了编码器解码器的结构，其中每一层利用s300得到的该分辨率下的边缘点预测结果进行边缘感知的几何编码，编码包括s200到s260的步骤。在编码的过程中，利用点云的降采样不断提取更加整体的特征，在提取全局特征的时候，所有点会被认为是非边缘点。在解码的过程，同样适用s200到s260的步骤进行特征提取，并在全局特征的提取中不使用边缘信息，之后利用跳跃链接将编码起对应分辨率的特征与解码器的特征融合在一起，最后的到原始分辨率的特征；

对于解码器得到的每个点的特征，使用多层感知机得到每个点的预测中间值。之后使用softmax将预测的中间值转换为每个点是不同类别的概率，并使用每个点的标签进行监督以及交叉熵进行优化。

s320：将步骤s310最后得到的原始分辨率的特征使用softmax激活函数进行归一化，得到每个点属于不同类别的概率；

s330：将每个点的类别标签转换为独热码，并使用交叉熵作为损失函数减小预测概率分布于目标概率分布之间的差距，训练边缘感知的几何编码网络，使得训练得到的网络能够在边缘处拥有更好的分割效果。

如图4为本实施例中构建的边缘预测网络和分割网络的网络框架，图4中(a)为网络整体框架，(b)为边缘预测网络的结构示意图，(c)为分割网络中每一层的结构示意图。该实施例中分割网络依次包括2层局部特征编码器、1层全局特征编码器、1层全局提特征解码器和2层局部特征解码器，图中n1、n2、n3表示采样点个数，c1、c2、c3、c4、c5、c6表示当前层输出特征维数。

上述实施方式仅为例举，不表示对本发明范围的限定。这些实施方式还能以其它各种方式来实施，且能在不脱离本发明技术思想的范围内作各种省略、置换、变更。