一种基于三维池化空间注意力机制的点云语义分割模型

本发明属于计算机视觉，特别涉及一种基于三维池化空间注意力机制的点云语义分割网络模型。

背景技术：

1、点云语义分割是计算机视觉的一个基础问题，广泛应用于自动驾驶、智能机器人、人机交互等等领域的场景理解。点云语义分割技术是将三维空间中具有相似语义信息的点给予一致的标签，解释不同的语义类别。例如，在自动驾驶场景中我们需要区分三维空间中属于汽车的所有点，并把这些点标记为一个语义类别。

2、传统的点云语义分割是通过数学方法，如三维几何的空间分布和直方图统计等，得到相应的特征，然后构建相应的模型，如随机森林(random forest)和条件随机场(conditional random field)。传统方法在处理大数量的点云数据任务时，对点云数据处理速度缓慢。

3、近年来伴随着深度学习的不断发展，采用深度学习方法处理点云数据的分类和语义分割越来越受欢迎。如pointnet(deep learning on point sets for 3dclassification and segmentation)直接对点云数据进行处理的方式成为计算机视觉方向上的主流研究方法。在点云的语义分割中，设计深度网络模型实现对点云数据的建模，分割的准确率得到了明显的提升，相较于二维图像的语义分割方法分割性能得到了大大的提升。

4、目前基于深度学习的点云语义分割的主要方法：(1)将点云映射成多个视角二维图像然后使用二维图像深度学习方法进行分类和分割，实现了对三维点云的分类和分割。但采用多个视角的图像，存在数据冗余和角度选取等问题，且并没有真正利用三维数据的结构信息；(2)直接将点云数据输入至网络模型进行处理，可以获得三维点云在空间上的位置信息，利用位置信息完成分类和分割任务，但未考虑到空间上点与其他点的相关性，提取的特征不够全面，在实际的应用场景中分割效果差。

5、因此，有必要设计一套高效的易于实现的点云语义分割深度网络模型。

技术实现思路

1、本发明提供一种基于三维池化空间注意力机制的点云语义分割模型的构建方法，该基于三维池化空间注意力模型效率高，易于实现。

2、发明的技术解决方案如下：

3、一种基于三维池化空间注意力机制的点云语义分割模型，其特征在于，包括数据预处理、模型的建立、模型的训练和验证；

4、数据预处理主要是对点云数据集进行点的筛选，得到点云集合p，对应的真实标签gt，构成训练集、测试集，为模型训练与测试提供数据基础；

5、模型的建立是通过分析点云数据的属性，设计具体的子模块，构建端到端的点云语义分割深度网络模型；

6、模型的训练和验证是确定所建立的模型的参数，并且验证所设计模型的分割效果；

7、基于三维池化空间注意力机制的点云语义分割模型按照以下步骤展开：

8、步骤1：模型建立；

9、步骤2：模型训练；

10、步骤3：模型推理。

11、步骤1中，具体设计一种基于三维池化空间注意力机制的点云语义分割模型，通过三维池化空间注意力机制学习三维空间中点与相邻点之间的关联性及构建局部邻域特征进一步捕获丰富的三维空间上下文信息，进而增强网络模型的分割准确性；

12、首先，对点云数据进行点的选取，通过最远点采样方法选取出有m个点的集合p；

13、然后，通过sa1、sa2、sa3模块提取局部点云特征，并对点云进行降维；再通过fp1、fp2、fp3模块对点云进行升维，并融合sa1、sa2、sa3模块输出的局部点云特征，得到局部点云特征其中bn为批量处理大小，c为点云的特征通道维度，m为点云的数量；

14、最后，建立三维池化空间注意力模型psam，通过三维池化空间注意力机制提取点云的局部邻域特征，增强三维空间中点之间的关联性，得到三维空间上增强后的点云特征经mlp层输出点云语义分割类别预测；

15、步骤2中，首先对点云数据集进行预处理操作，对点云数据进行随机平移、随机旋转，对点云数据集采用最远点采样方法进行点的筛选，得到具有m个点的集合p；

16、然后对步骤1建立的三维池化空间注意力机制的点云语义分割模型进行训练，将点云集合p通过sa1、sa2、sa3、fp1、fp2、fp3模块、三维池化空间注意力psam子模块得到点云特征再经mlp层进行点云语义分割类别预测，将得到的预测值z与真实值gt进行交叉熵运算，度量预测值与真实值的误差；通过反向传播对步骤1定义的网络模型参数进行迭代优化训练，训练到模型收敛为止；

17、步骤3中，将测试集的点云数据输入到训练好的模型中，推测测试点云数据的语义类别预测值，计算测试预测值与真实值的平均交并比miou，评估预测准确度；

18、步骤1所述的三维池化空间注意力机制的点云语义分割模型建立具体过程如下：

19、首先，对点云数据进行点的筛选，通过最远点采样方法选取具有m个点的集合p；

20、然后，通过sa1、sa2、sa3模块提取局部点云特征，并对点云进行降维；再通过fp1、fp2、fp3模块对点云进行升维，并融合sa1、sa2、sa3模块输出的局部点云特征，得到局部点云特征其中bn为批量处理大小，c为点云的特征通道数，m为点云的数量；

21、最后，在得到局部点云特征g后，建立三维池化空间注意力模型psam；

22、其中，建立三维池化空间注意力模型psam，其特征在于包括以下操作：

23、①提取局部邻域特征：

24、对点云特征g使用三个mlp层将点云映射成张量的形式，得到特征信息a、b、c，其中具体过程如下：

25、a＝mlp(g)，b＝mlp(g)，c＝mlp(g)                (1)

26、其中mlp是一维的1×1卷积；

27、②计算点与其相邻点在三维空间中的关联性：

28、对特征信息a和b采用自适应最大池化操作进行指定维度大小的降维，得到局部点云特征：

29、a＝adaptivemaxpool(a),b＝adaptivemaxpool(b)            (2)

30、其中

31、然后，对局部特征a和b采用clustering操作来聚合一个点在三维空间上相邻点的相似度，即计算空间上一个点自身的特征信息和该点与三维空间中其他所有点之间的关联性；其中clustering操作具体过程如下：

32、

33、其中ah×bh表示计算一个点与三维空间中所有点之间的关联性，aw×bw表示计算自身在三维空间中的特征信息，concat表示沿通道维度进行拼接，·表示逐元素点乘运算，sq表示维度压缩；

34、最后，对clustering操作后的结果采用一个softmax层得到相似度权重

35、③计算增强的点云特征q：

36、对h和c使用collection操作增强点与所有点云之间的关联性；再通过残差结构，对原始点云与加权后的点云特征逐点求和，得到聚合上下文信息点云特征collection操作具体过程如下：

37、collection(h,c)＝hh×ch+sq(hw·cw)     (4)

38、其中×表示矩阵乘法运算；

39、步骤2所述的模型训练具体过程如下：

40、输入点云集合p，通过sa1、sa2、sa3、fp1、fp2、fp3模块进行局部特征提取，然后利用三维池化空间注意力子模块得到点云特征q，最后通过一个mlp层进行点云语义分割预测，得到预测结果z，计算测试预测值与真实值的平均交并比(miou)，评估预测准确度，平均交并比的运算公式如下所示：

41、

42、其中k是训练集和测试集的类别数，pij是类别为i的像素被预测为类别为j的数量，pii是正确分类的像素的数量。

43、本发明有益效果如下：

44、本发明提出的方法在针对点云语义分割的问题上相较于其他算法提高了精度。具体表现为：1)相对于以住一些网络模型本发明提出的模型比较容易实现；2)本发明的网络参数较少，轻量化了网络，有效地降低了模型训练的时间；3)本方法能够很方便的应用到实际场景任务中，具有通用性。