一种基于双边特征融合及向量自注意力的点云分割方法

本发明涉及点云语义分割，具体涉及一种基于双边特征融合及向量自注意力的点云分割方法，适用于室内点云的语义分割。

背景技术：

1、随着研究的深入，利用深度学习处理3d点云的方法取得了重大的成功，这些方法通常可分为三种类型：基于投影的方法、基于体素化的方法和基于点的方法。其中，基于点的方法，即使用多层感知器(mlp)直接处理点集，由于其效率和高性能而成为主流。

2、在基于点的方法中，pointnet是一个非常经典网络。它使用共享多层感知器(mlp)来提取特征，并通过对称函数一致地聚合全局特征，而不考虑内部顺序。但是，pointnet采用的是单点采样的模式，这种方法无法有效提取局部特征。pointnet++在pointnet的基础上提出了的采样和分组操作，这种多层次的特征提取方法有效的解决了前面的问题。但是pointnet++通过分组的方法对局部特征提取会造成局部区域的边缘歧义问题，在邻域构建过程中，邻域之间的异常值和重叠很难避免，在多种语义分类的交接区域，这种异常和重叠更为突出。而且以欧几里德距离为标准划分的聚合区域在语义空间的局部范围并不能很好适应语义特征，这使得pointnet++侧重于几何信息的提取，对局部特征信息聚合效果不足，对于语义提取的提取能力较弱，仅采用fps对全局的提取也不够充分。相比于pintnet++，最近提出的pointnext则是专注于培训技能和规模策略，以进一步提高pointnet++的性能；pointmlp通过引入残差mlp结构，在没有任何复杂的局部特征提取器设计的情况下达到了非常高的分类性能。但这些方法都是侧重于几何空间的特征提取，pointnet++边缘歧义和全局特征提取不足的的问题并没有得到很好的解决。也存在某些侧重于语义特征提取的方法，dgcnn提出了一个用于学习边缘特征的边缘卷积(edgeconv),通过构建局部邻域图和对每条邻边进行edgeconv操作,动态更新层级之间的图结构。adaptivegraph提出在每条边上分配学习权重，以更好地评估和聚合信息。这些方法同样采用类似的分组方法，也存在类似于pointnet++的边缘歧义问题，由于侧重于语义空间的特征提取，使得特征提取部分在高维语义空间中存在几何结构缺失的问题。随着自然语言处理和二维图像处理任务中取得巨大成功的自注意力机制也被用于处理三维点云，注意力机制对全局特征的提取能力强，但是存在计算量大的问题。

3、所以可以看出，由于当前大部分点云语义分割网络针对局部特征的提取都是通过将点云进行分组聚合来完成的。分组中邻居边缘的歧义问题难以解决。而且以欧几里德距离为标准划分的聚合区域在语义空间的局部范围并不能很好适应语义特征，同样在高维语义空间中几何结构缺失，导致在局部特征信息聚合效果不足。仅通过下采样构建多尺度特征提取的方法会损失很多的细节信息，无法充分的提取全局特征。如何解决这些问题，成为现有技术亟需解决的技术问题。

技术实现思路

1、基于背景技术存在的技术问题，本发明提出了一种基于双边特征融合及向量自注意力的点云分割方法，提升点云场景语义分割的鲁棒性与准确率，提升语义分割网络的特征学习能力，缓解局部区域特征的边缘歧义和全局特征代表性不足的问题。

2、本发明采用的技术方案是：

3、一种基于双边特征融合及向量自注意力的点云分割方法，该方法包括如下步骤：

4、s1：输入原始点云数据；

5、s2：使用双边特征融合模块和向量自注意力模块对输入的原始点云数据进行编码；

6、s3：对点云特征进行解码，用连续的fp层对点云特征进行上采样，得到点云的分割结果。

7、进一步地，步骤s1所述的输入原始点云数据，具体为：

8、以s3dis作为测试的室内数据集，s3dis是一个大型室内场景分割数据集，包含13个类别，共271个房间。每个点云数据具有9个特征，即颜色信息r、g、b、坐标信息x、y、z和3个法向量。271个房间分为6个区域，每个房间分为1米×1米的区块。设定输入点云位fin，其维度为[b,n,9]，其中b为批次，n为点数目，9为特征，输入特征总数为b*n*9。

9、进一步地，步骤s2所述的使用双边特征融合模块和向量自注意力模块对输入的原始点云数据进行编码，具体为：

10、将输入点云划分为几何空间包含点云的坐标信息，其维度[b,n,3]，语义空间包含点云的颜色信息和法向量，其维度为[b,n,6],对语义空间部分进行mlp操作，将其转化到语义空间然后分别送入编码器sa中，利用原始数据上的fps来生成采样点pi相应的特征信息表示fi，以这些采样点为中心，在三维欧几里得距离的度量下使ball query方法对点云进行分组，其中ball query的方法就是通过设定一个半径r，找到以fps采样点为中心，r为半径的球面范围的点，这些点被称为中心点pi的邻居点pj，并添加sa层和va层对点云特征进行提取；其中sa层表示点云的局部区域聚合层负责点云的双边特征信息融合和局部特征提取，va层为改进的自注意力层负责完成点云的全局特征提取；

11、在sa层，将中心点的绝对位置及其邻域的相对位置组合为几何空间局部特征g(pi,pj)＝[pi；pj-pi]；同样的在语义空间中利用s(fi,fj)＝[fi；fj-fi]表示语义空间中的局部特征；采用mlp将几何信息转换到语义空间，通过softmax函数将几何信息转化为一种特征掩码，对语义空间的边缘特征信息进行修正；同样的，针对几何空间，也是采用相同的方法来对几何边缘信息进行动态调整；同时将调整后的边缘信息与原本的边缘信息相加，建立了一种残差结构来保证信息优化的鲁棒性；这种修正信息的计算可以被公式化为：

12、fs＝softmax(mlp(g(pi,pj)))*se+se (1)

13、ps＝softmax(mlp(s(fi,fj)))*ge+ge (2)

14、其中ge(pi,pj)＝[pi；pj-pi],se(fi,fj)＝[fi；fj-fi],pi,pj,ps∈rn×3,fi,fj,fs∈rn×d.

15、随后将得到的补充信息与ps，fs与g(pi,pj)，s(fi,fj)结合起来，得到g’＝[pi；pj-pi；ps],其中s’＝[fi；fj-fi；fs]，g’∈rn×9，s’∈rn×3×d，然后再将它们concat就得到了增强的局部特征信息fc，将得到的局部特征信息fc送入两层lbr层进行特征提取得到fc’，最后将得到的特征fc’送入最大值池化层完成局部区域的特征聚合得到局部聚合特征fa；在得到局部聚合特征fa之后，将得到的局部区域聚合信息送入va层中进行全局特征提取；

16、传统的注意力机制中，在点云中计算注意力机制，按照以下步骤：首先将嵌入特征fa被馈送到核大小为1×1的三个可分离卷积层，从而产生三个新的特征映射fq、fk和fv；随后，新特征图fq将被转置并乘以新特征图fk，在softmax层之后生成大小为n×n的注意力矩阵：

17、

18、在传统注意力机制的计算方法中引入了向量注意力机制的方法，用减法和两层linear层再通过softmax函数来生成注意力矩阵，计算公式如下

19、attention(fq,fk,fv)＝softmax(γ(fq-fk))fv (4)

20、其中γ是一个映射函数，它产生用于特征聚合的注意力向量，将得到的注意力矩阵fa与输入特征fa进行点乘便得到了注意力特征fv，设计了一种偏移注意力机制，用以下公式表示：

21、fout＝relu(batchnorm(mlp(fa-fa)))+fa (5)

22、便得到了特征信息fout。

23、进一步地，步骤s3所述的对点云特征进行解码，具体为：

24、解码部分采用连续的fp层对点云特征进行上采样，达到分割点云的效果；采用基于距离的插值和跨越跳级链路的分层传播策略；在特征传播级别中，将点特征从nl×(d+c)点传播到nl-1个点，其中nl-1和nl(具有nl≤nl-1)是第l层sa层的输入和输出的点集大小；通过在nl-1点的坐标处内插nl个点的特征值f来实现特征传播；在插值的众多选择中，使用基于k个最近邻居的反距离加权平均值；然后，nl-1个点上的内插特征与来自集合抽象级别的跳过链接点特征连接；然后，连接的特征通过“pointnet单元”传递，应用共享的完全连接和relu层来更新每个点的特征向量；重复该过程，直到将特征传播到原始点集；

25、

26、

27、最后得到点云的分割结果。

28、本发明提供基于双边特征融合和注意力机制的点云分割方法，相较于现有技术至少包括如下有益效果：

29、1)本发明提出了一种高效的点云语义分割网络，使得点云的语义分割更为快速准确，分割性能优越。

30、2)本发明提出了一组基于几何语义双边特征信息的修正信息计算模块，调整边缘信息，缓解了局部区域聚合时的边缘歧义问题，加强了局部信息的聚合效果。

31、3)本发明提出了一种新的偏移向量自注意力模块，有效的提取了点云的全局特征，在减少网络计算量的基础上，取得了更好的全局特征提取效果。