基于多视角图结构特征注意力卷积的点云语义分割方法

本发明涉及一种基于多视角图结构特征注意力卷积的点云语义分割方法，属于语义分割。

背景技术：

1、星载、机载、车载和地面激光雷达探测技术可以快速高效地进行对地观测，主动、实时、直接地获取大范围地表及地物的三维信息，生成大范围的lidar点云数据。lidar点云数据已经广泛应用在测绘生产、地物三维重建、数字地面模型建立、地表覆盖分类、变化检测、电力巡线、森林资源调查、城市规划、自动驾驶、机器人系统、增强/虚拟现实、智慧城市等领域。尽管点云应用广泛，但当面对复杂的地物结构以及大规模、不规则的地物分布时，点云的语义分割精度仍然较低，严重制约点云应用的发展。

2、在早期阶段，通过传统的机器学习方法，实现点云语义分割。首先，这些方法需要利用特定的专家知识，设计人工特征，包括几何特征、辐射测量特征、拓扑特征、回波特征和全波形特征等，然后，利用支持向量机、随机森林、条件随机场和马尔可夫随机场等作为分类器。这些方法无法提取原始点云的有效特征，无法应用于大规模的复杂环境中，其分类精度受到人工特征质量和分类器性能的限制。

3、近年来，深度学习模型已成功应用于自然语言处理、语音识别和图像分类等领域。目前，研究人员已经将深度学习中最流行的模型卷积神经网络(cnn)应用到点云语义分割。但由于卷积神经网络(cnn)仅能接收规则的数据输入，所以，许多研究人员主要关注将不规则、无序的点云转换为规则的输入，比如点云体素划分、点云不同视角投影、点云特征图集合转换等。这些点云转换处理方法不可避免导致点云原始信息的丢失，影响点云语义分割的精度。为了避免点云转换带来的信息损失，研究人员提出pointnet、pointnet++等点云直接处理方法，不对点云进行转换，直接处理原始点云数据，这类方法可以更好地利用点云的几何结构信息，比点云转换处理方法具有更高的识别精度。

4、点云转换处理方法和点云直接处理方法等所有上述方法的卷积核均具有固定的感受野，卷积核的形状和权重均是固定的，忽略了点云对象的潜在几何结构信息，缺乏灵活性，不能适应点云不规则、无序的、分布不均匀的结构，导致部分点云对象分割效果不佳。

技术实现思路

1、针对如何高精度的点云语义分割的问题，本发明提供一种基于多视角图结构特征注意力卷积的点云语义分割方法。

2、本发明基于多视角图结构特征注意力卷积的点云语义分割方法，包括：

3、s1、获取点云数据；

4、s2、将点云数据输入编码器网络，提取点云数据的多尺度特征，编码器网络包括五个依次连接的编码器层，每个编码器层包括采样层和多视角图结构特征注意力卷积层；

5、采样层对点云进行采样，将采样点作为参考点，获取参考点的邻域点，构建参考点的邻域图；

6、多视角图结构特征注意力卷积层包括图结构特征注意力分支和多视角空间特征分支；

7、将参考点及其邻域点同时输入至图结构特征注意力分支和多视角空间特征分支；

8、图结构特征注意力分支根据参考点及其邻域点，计算相对邻域点坐标集合和相对邻域点特征集合，将相对邻域点特征集合输入多层感知机mlp 1，将多层感知机mlp 1输出的特征向量与相对邻域点坐标集合连接，并输入多层感知机mlp 2和softmax组成的函数中，学习图结构特征注意力权重ga，同时将相对邻域点坐标集合和相对邻域点特征集合同时输入多层感知机mlp 3，获得特征向量g1，并将ga与g1进行逐元素相乘，将乘积输入至多层感知机mlp 4中，该多层感知机mlp 4输出图结构特征注意力分支的输出特征向量gout；

9、多视角空间特征分支根据参考点及其邻域点计算相对邻域点坐标集合，将相对邻域点坐标集合分别投影到x-y、x-z和y-z平面，获得3个平面的相对坐标集合，将3个平面的相对坐标集合分别输入多层感知机mlp 5、多层感知机mlp 6、多层感知机mlp 7，将3个多层感知机mlp的输出特征向量进行连接，再输入至多层感知机mlp 8，多层感知机mlp 8输出多视角空间特征分支的输出特征向量mout；

10、将输出特征向量gout和输出特征向量mout连接，并输入多层感知机mlp 9中，多层感知机mlp 9的输出进行最大池化操作，获得多视角图结构特征注意力卷积的输出特征向量fout，为点云数据的多尺度特征；

11、s3、将输出特征向量fout输入至解码器网络，获得与s2中点云数据相同点数的特征向量；

12、s4、将s3获得的特征向量输入到多层感知器mlp 10中，获得点云数据中每个点的最终语义标签。

13、作为优选，所述采样层利用最远点采样法对点云进行采样，将采样点作为参考点v＝{p1,p2,…,pn}，以参考点为圆心，以特定半径构建球形邻域，在球形邻域范围内随机采样，得到参考点的k个邻域点，h(i)是参考点pi的邻域，构建参考点v的邻域图g(v,e)，边点云中的任一点pi均可被分为坐标部分和特征属性部分

14、作为优选，图结构特征注意力分支获取图结构特征注意力权重ga的方法：

15、

16、其中，gji表示图结构特征注意力权重，是邻域点pj的空间坐标，是参考点pi的空间坐标，是邻域点pj关于参考点pi的相对坐标，是邻域点pj的特征属性，是参考点pi的特征属性，δfji是邻域点pj关于参考点pi的相对特征；mδ是输入通道数为c、输出通道数为1的多层感知机mlp 1，mρ是输入通道数为4、输出通道数为c1的多层感知机mlp 2；是连接操作，h(i)表示关于参考点pi的邻域；

17、

18、gij是图结构特征注意力权重，所有邻域点pj关于参考点pi的图结构特征注意力权重gij的集合为k为邻域点的个数,n为参考点的个数。

19、作为优选，将特征向量和特征向量连接，获得特征向量并输入至输入通道数为6+c1、输出通道数为c2的多层感知机mlp 9中，进行最大池化，获得特征向量

20、作为优选，所述解码器网络五个依次连接的解码器层，每个解码器层包括插值层和多层感知机mlp；每个解码器层通过跳跃连接与相应编码器层连接，解码器层解码方法包括：

21、插值层利用3个最近邻域点的逆距离加权插值算法，将输入从最粗尺度逐层插值到相应编码器层的尺度，并通过跳跃连接的方式，将插值特征与相应编码器层的点特征相连接，连接后的特征输入到输入通道数为2*c2、输出通道数为c3的多层感知机mlp中进行特征细化。

22、作为优选，依次连接的五个编码器层中特征通道的维度分别设置为(32，64)、(64，128)、(128，256)、(256，512)、(512，1024)；

23、依次连接的五个解码器层中特征通道的维度分别设置为(1024，512)、(512，256)、(256，128)、(128，64)、(64，64)；

24、s4中，将s3获得的特征向量输入到输入通道数为64、输出通道数为点云的类别数目的多层感知器mlp 10中，获得点云数据中每个点的最终语义标签。

25、本发明的有益效果，本发明是一个端到端的、编码器-解码器网络，可以直接处理点云数据，无需进行点云数据转换，避免了原始点云数据的信息损失，能动态调整卷积核的权重和形状，适应点云不规则、无序的、分布不均匀的结构，避免了传统卷积核无法适应点云数据结构的缺陷，可以多角度精确获取点云的结构特征，可以捕捉点云的多尺度特征。本发明方法可以有效提高点云语义分割的精度，可以适用于大规模、不规则的复杂地物的语义分割。