一种面向大规模复杂场景的点云语义分割方法

本发明涉及基于深度学习场景语义分割，尤其涉及一种面向大规模复杂场景的点云语义分割方法。

背景技术：

1、随着计算机视觉、人工智能等技术领域的发展，自动驾驶、机器人导航、增强现实、自动抓取和智慧城市建设等应用得到有力支撑。在这些应用中，人们会面对很多难以区分和理解的场景，为了实现对复杂场景的理解，需要对场景内目标进行准确分割。与二维数据相比，三维点云的点特征可不受尺度、角度、光线等的因素影响，且能获取到场景的特征信息，可以较好的描述场景中物体信息，为复杂场景目标的分割提供便利条件。

2、然而，三维数据本身具备着排布不规则、稀疏性等特征，对点云场景目标进行直接分割面临着巨大的挑战。早期提出的三维场景分割方法主要有基于投影和基于体素化的方法。基于投影方法是将3d点云投影到平面图像，比如，利用鸟瞰图(bev)投影，可以有效解决目标分布在同一水平面上的场景存在的遮挡问题。基于体素化的方法是将点云转换为三维体素网格，根据空间排布，调整单位体素的大小，将点云细分为均匀分布的体素，利用三维卷积在体素网格上提取特征，并得到点的分类结果。不论是基于投影还是基于体素化方法，都有将点云从稀疏形式转换为紧凑形式，这个紧凑化的过程都存在量化误差，导致信息丢失并遇到性能瓶颈，分割精度有限。目前，场景点云分割的主流方法是直接处理点云，并以采样分组等形式继续处理，如pointnet/pointnet++系列，划分好固定的点数或区域的组后，直接基于原始点云数据提取特征，之后进行特征池化操作，该类方法虽然降低了模型参数量，但是操作简单，网络表达能力略有欠缺，分割精度不够。kpconv网络通过设计一种新的核点卷积操作，能够灵活的改变核点位置且加强了网络的特征提取和表达能力，但一系列的计算操作大大增加了模型的参数量以及计算资源。采用下采样分组的方式能够有效减少模型训练的时间和复杂度，但是，目前下采样分组中结构简单的聚合方式会导致浅层信息的丢失，且深浅层差异化对比不明显，使得网络在上采样特征解码后，分割的精度达不到理想水准和要求。如何在减少计算资源和模型参数量的同时，提高网络的分割精度，仍是亟需解决的难题。

技术实现思路

1、本发明针对上述已有方法存在的不足，发明了一种面向大规模复杂场景的点云语义分割方法，旨在通过组合浅层信息以及利用其与深层特征形成差异对比，来增强层级间的协作交流，补回在下采样和特征提取的过程中丢失的表面轮廓信息以及细腻的细节信息，结合层间辅助网络和特征重聚合模块，提升模型的分割性能，同时减少计算资源和模型参数量的需求。

2、根据上述思路，实现本发明采取的技术方案为：

3、获取点云语义分割数据集，将其划分为训练集t1，测试集t2和验证集v；使用训练集t1，对点云分割网络完成e轮有监督参数训练，每轮使用验证集v进行部分分割性能的验证，保存取得最佳验证结果的轮次所对应的网络参数；使用测试集t2，对训练后的点云分割网络进行性能测试，得到每个场景中点的预测结果；点云数据的形式为np*cp，其中，np表示点云中点的数量，cp表示每个点的原始特征向量；所述的原始特征向量包括xyz坐标、rgb颜色；点云数据输入点云场景语义分割模型之前，对输入数据执行预处理操作，得到增强后的输入数据；其中，所述点云场景语义分割模型的构建过程包括：

4、构建3d点云主干特征提取网络，将点云从输入空间映射到特征空间，并作分层特征提取，进一步学习每层聚合信息之间的关联；

5、构建点采样和分组重聚合模块，用于对大点云分组，分别聚合组内局部信息及融入几何编码，以剪除冗余信息，促进局部特征融合；

6、构建层间辅助网络，将不同层级学习到的特征，通过跨级近邻点关注模块，汇集到一块，进行点关注编码和交互学习；

7、构建上采样插值解码网络，将点云数目还原至原始点数并使用点交叉关注解码，为每个点生成学习到的精细化全局语义；

8、构建逐点分类模块，将点云中每个点的通道数映射到类别所对应的数量，预测分类结果；

9、使用多分类交叉熵作为点云分割网络的损失函数，监督网络学习。

10、本发明具有如下优点：

11、1.本发明在复杂场景下，构建了利于层间特征交互的辅助网络，提升了场景分割的精度，且加快了网络的收敛速度。

12、2.本发明直接处理3d点云数据，避免了数据格式转换的量化误差和时间开销，能显著提升处理速度，且设计的网络模型所用参数量较少。

技术特征：

1.一种面向大规模复杂场景的点云语义分割方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的一种面向大规模复杂场景的点云语义分割方法，其特征在于，点采样和分组重聚合模块，使用远点采样和knn法，将大块点数据进行关键点采样，获取每一层li(i＝1,2,3,4)的关键点pci(i＝1,2,3,4)，根据几何特征相似度在关键点pci周围聚合邻点，划分出g组近邻点的集合，分别对每一组近邻点进行特征汇聚与融合；聚合过程中，通过添加几何编码映射，保留整体几何感知；具体地，在每个分组gi中，使用双局部聚合sj(j＝1,2)的方法得到充分的局部聚合特征，通过朴素特征聚合法s1得到局部边缘纹理突出的特征fa，同时使用关注几何信息和权重分配的核点聚合法s2获取refeat，使得邻居点的关键信息得以充分保留并聚合到关键点上；在层级间点数发生变换的过渡阶段，结合两种聚合方法，关注变动过程中特征聚合的充分性问题，加强了信息的流通，具体包括以下步骤：

3.根据权利要求1所述的一种面向大规模复杂场景的点云语义分割方法，其特征在于，所述的层间辅助网络，包括浅层信息组合、跨级近邻点关注模块、残差连接部分；

4.根据权利要求1所述的一种面向大规模复杂场景的点云语义分割方法，其特征在于，上采样插值解码网络包括上采样模块和点交叉关注解码模块；所述的上采样模块使用插值法对关键点的上采样，级联上采样层ui(i＝1,2,3,4)对应于下采样层数，逐层上采样并利用近邻关键点的特征进行插值，得到fup_i(i＝1,2,3,4)，使用跳跃连接汇聚来自下采样对应层的信息，加强特征融合与解码；其中，逐层上采样和采样信息汇聚表示为，

技术总结
本发明公开了一种面向大规模复杂场景的点云语义分割方法，主要解决现有技术分割精度较低、网络收敛速度慢和模型参数量大的问题，该方法将点云场景的原始数据输入到训练好的点云场景语义分割模型中，为点云中每个点预测类别，得到点云场景的整体分割结果；构建的点云场景语义分割模型由主干特征提取网络、点采样和分组重聚合模块、层间辅助网络、上采样插值解码网络和逐点分类模块组成。本方法在占用较少训练阶段计算资源的情况下，提高了点云场景语义分割的精度以及加快了网络收敛速度，且整个模型的参数量较少。

技术研发人员：朱江,陈文宣,许海霞,李赛斯,余洪山,杨云芳
受保护的技术使用者：湘潭大学
技术研发日：
技术公布日：2024/2/1