多尺度特征跳跃融合的三维点云语义分割方法

本发明属于三维点云处理领域，具体涉及一种多尺度特征跳跃融合的三维点云语义分割方法。

背景技术：

1、基于深度学习技术的三维点云语义分割方法按数据的表现形式可分为间接基于点云的方法(包括基于投影的方法、基于体素的方法、基于多视图的方法)和直接基于点云的方法。其中，间接方法是一种将不规则点云转化为规则结构，然后输入到网络中进行分割的方法。该类方法可以很好地弥补卷积神经网络(convolutional neural network，cnn)不能应用在点云的缺陷，但在转换的过程中会不可避免丢失一些重要的信息特征。而直接方法则是一种不需要转换形式，直接将点云输入到网络中实现分割的方法。该类方法能够充分利用点云数据的特性，降低网络计算的复杂度，提高语义分割的精度。

2、直接基于点云的方法最具有代表性的是斯坦福大学的qi提出的pointnet[1]和pointnet++[2]。pointnet主要是由空间转换网络模块、循环神经网络模块以及对称函数模块三个组成。空间转换网络模块能够将所有数据处理成一种规范形式，循环神经网络模块能够以连续信号形式进行训练，对称函数模块能够汇总点云中所有点的信息。通过这三个模块处理使得点云具有旋转不变性、序列不变性，成功的解决了点云的无序性。但是由于pointnet中每个点的特征都是独立学习的，因此无法捕获点之间的局部特征来提取细粒度特征。为了解决这一问题，在pointnet的基础上，pointnet++方法以层次结构特征来学习点云的特征，通过加深网络层，使得局部特征更加精确，但是由于自身体系结构复杂，所以运算复杂度过高，总体精度也有待于进一步提高。

3、上述参考文献为：

4、[1]qi c r,su h,mo k,et al.pointnet:deep learning on point sets for 3dclassification and segmentation[c].//30th ieee conference on computervisionand pattern recognition,2017:77-85.

5、[2]qi c r,yi l,su h,et al.pointnet++:deep hierarchical featurelearning on point sets in a metric space[c].//31st annual conference onneuralinformation processing systems,2017:5100-5109.

技术实现思路

1、为解决上述问题，提供一种提高三维点云语义分割精度的三维点云语义分割方法，本发明采用了如下技术方案：

2、本发明提供了一种多尺度特征跳跃融合的三维点云语义分割方法，其特征在于，包括以下步骤：步骤s1，构建多尺度学习空间上下文特征网络，该网络具有学习空间上下文特征模块、信息特征跳跃融合模块、多尺度连接模块、编码层、解码层以及全连接层；步骤s2，将待测三维点云数据输入至多尺度学习空间上下文特征网络中，基于全连接层生成对应的第一点云特征(n，8)，从而作为学习空间上下文特征模块的输入；步骤s3，学习空间上下文特征模块基于第一点云特征学习对应的局部信息特征和全局上下文信息，得到第二点云特征(n，16)；步骤s4，对第二点云特征进行一次随机采样，生成第三点云特征(n/4，16)；步骤s5，编码层对第三点云特征进行四次的上下文特征提取和随机采样，即重复步骤s3-步骤s4，生成第一点云特征集；步骤s6，解码层利用最近邻插值对第一点云特征集进行上采样，生成第二点云特征集；步骤s7，信息特征跳跃融合模块基于共享感知器将第一点云特征集与第二点云特征集进行特征映射，从而消除编码层与加码层之间的语义鸿沟；步骤s8，多尺度连接模块将编码层第一层输出的点云特征与第二点云特征集进行连接，得到新的点云特征；步骤s9，将新的点云特征通过三个全连接层和一个dropout层得到待测点云数据的语义标签，将该语义标签作为多尺度学习空间上下文特征网络的最终输出。

3、在本发明提供的多尺度特征跳跃融合的三维点云语义分割方法，还可以具有这样的技术特征，其中，学习空间上下文特征模块主要是由局部极坐标表示块、双距离注意力池化块和全局上下文特征块三个子模块组成，局部极坐标表示块用于让每一个三维点云对z轴构建出旋转不变的局部空间表示，双距离注意力池化块利用点之间的几何距离和特征距离来学习到更具有区别性的局部信息特征，全局上下文特征块根据点的空间位置与邻域点所占全局点云的体积比来学习每一个三维点云的全局上下文信息。

4、在本发明提供的多尺度特征跳跃融合的三维点云语义分割方法，还可以具有这样的技术特征，其中，信息特征跳跃融合模块采用注意力机制，将编码器输出的低层次特征即第一点云特征集和解码器输出的高层次特征即第二点云特征集连接到一起，使得网络在学习过程中更加关注全局上下文信息，从而提高平全局语义一致性。

5、在本发明提供的多尺度特征跳跃融合的三维点云语义分割方法，还可以具有这样的技术特征，其中，步骤s7包括以下子步骤：步骤s7-1，将具有低层次输入特征通过fl通过mlp变换成特征fa，其过程用公式表示为：

6、fa＝mlp(fl)；

7、步骤s7-2，将特征fa和具有低层次输入特征fh进行挤压处理得到特征fsa和特征fsb，其过程用公式表示为：

8、fsa＝squeeze(fa)

9、fsb＝squeeze(fh)；

10、步骤s7-3，将得到的特征fsb通过softmax操作后，计算出高层次特征的注意力分数，并且将分数乘以特征fsa，得出低层次注意力特征fsc：

11、fsc＝soft max(fsb)⊙fsa；

12、步骤s7-4，将高层次特征fsb与低层次注意力特征fsc拼接起来，得到一个新的特征fsd：

13、fsd＝cat(fsb,fsc)

14、式中，cat表示拼接操作；

15、步骤s7-5，在通过扩展操作和mlp后，得到信息特征跳跃融合模块的最终输出fd：

16、fd＝mlp(expand(fsd))。

17、在本发明提供的多尺度特征跳跃融合的三维点云语义分割方法，还可以具有这样的技术特征，其中，编码层生成的第一点云特征集为：(n/16，64)，(n/64，128)，(n/256，256)，(n/512，512)，解码层基于第一点云特征集生成的第二点云特征集为：(n/512，512)，(n/256，256)，(n/64，128)，(n/16，64)，(n/4，16)，多尺度连接模块将解码层中的特征经过上采样后与编码层第一层输出的点云特征连接起来得到五个新的点云特征，通过mlp进行评估相关特征获得5个16通道的新特征，将这5个16通道的新特征拼接成90通道的特征，作为该多尺度连接模块的输出。

18、在本发明提供的多尺度特征跳跃融合的三维点云语义分割方法，还可以具有这样的技术特征，其中，步骤s8包括以下子步骤：步骤s8-1，对第二点云特征集中的点云特征进行上采样分别变换为特征(n，512)、(n，256)、(n，128)、(n，64)、(n，16)，该过程表示如下：

19、

20、式中，代表解码层中第i层的特征，us(*)代表将特征*进行上采样，而代表经过上采样得到的特征，i＝1,2,3,4,5；

21、步骤s8-2，将步骤s8-1得到的五个特征与编码层第一层输出的点云特征分别进行拼接操作，得到五个新的特征，分别为(n，528)、(n，272)、(n，144)、(n，80)、(n，32)，此过程表示如下：

22、

23、式中，fe代表编码层中第一层的输出特征，cat代表拼接操作，而代表经过拼接操作后得到的特征，i＝1,2,3,4,5；

24、步骤s8-3，将得到的特征通过mlp进行评估相关特征，得到5个16通道的特征(n，16)：

25、

26、式中，代表mlp后得到的特征；

27、步骤s8-4，将得到的5个16通道的特征(n，16)拼接成一个(n，90)的特征表示，并作为多尺度连接模块的最终输出，此过程表示如下：

28、

29、发明作用与效果

30、根据本发明的一种多尺度特征跳跃融合的三维点云语义分割方法，将多尺度特征跳跃与深度学习网络融合，用于提高三维点云语义分割的精度。在该方法中，构建了多尺度学习空间上下文特征网络，该网络主要包括学习空间上下文特征模块、改进的特征跳跃融合模块及多尺度连接模块。其中，学习空间上下文特征模块能够增强局部和全局上下文特征的联系，从而提高分割的性能。所提出的特征跳跃融合模块由于采用了注意力机制，在消除编码层与解码层之间的语义鸿沟的同时，可以利用高层次特征提取出低层次的特征，从而降低网络的计算复杂度；此外，还由于该模块能够将低层次特征和高层次特征连接到一起，使得网络在学习过程中更加关注了全局上下文信息，从而提高了全局语义一致性。而多尺度连接模块充分地利用了编码层中的相关信息，使得多尺度学习空间上下文特征网络能够得到不同尺度的可用特征，从而捕获不同尺度特征之间的依赖关系，实现网络全局的一致性。