基于深度残差与注意力丢弃的体素化网络的点云语义分割网络模型

本发明涉及计算机三维视觉处理领域，尤其是涉及基于深度残差与注意力丢弃的体素化网络的点云语义分割网络模型sparsenet。

背景技术：

1、随着自动驾驶技术的不断发展，如何对三维点云数据进行高效的语义分割成为了一个挑战。这些数据通过传感器设备直接获取，具有不规则性、无序性和稀疏性等特点，因此不能直接使用规则化的卷积神经网络对其进行操作。为了解决这一问题，研究人员提出了基于深度学习的许多方法，这些方法大致可以分为三类：基于视图的方法、基于点的方法和基于体素的方法。基于视图的方法将三维点云数据从多个视角转换为多个规则化的二维图像，然后通过cnn对这些图像进行处理。然而，这种方法对点云表面被遮挡以及密度变化不均匀等问题不具有鲁棒性，从而影响点云语义分割的性能。基于点的方法直接对原始点进行处理，从原始点中学习点云的特征信息，不需要将点云转换为中间表示。然而，由于点云的不规则性与无序性，这种方法会导致网络无法准确地学习点云的特征信息。其中基于体素的方法将三维点云数据转换为规则化的体素表示，然后使用卷积神经网络对三维点云的体素数据进行学习。然而体素化过程会丢失部分点云信息，同时由于点云的稀疏性，该过程会产生大量的空体素数据，从而导致高额的计算量和内存消耗。

2、为了解决基于体素的方法体素化过程产生空体素的问题，许多方法利用稀疏卷积对体素数据进行处理。稀疏卷积通过建立非空元素的哈希表，仅对非空元素进行计算，从而提高计算效率和减少内存消耗。尽管这些方法采用稀疏卷积提高了基于体素的方法的计算效率，但仍然存在部分点云信息丢失的这一问题影响后续点云分割的精度。

技术实现思路

1、本发明的目的是为了解决现有技术存在的缺陷，提供一种基于深度残差与注意力丢弃的体素化网络的点云语义分割网络模型。

2、为了实现上述目的，本发明采用的技术方案如下：

3、基于深度残差与注意力丢弃的体素化网络的点云语义分割网络模型，其特征在于，包括：

4、deep inverse residual模块，挖掘体素深层次信息，以弥补体素化时点云信息丢失的损失；

5、drop attention模块，扩大每个体素对全局信息的感受野范围。

6、进一步，所述deep inverse residual模块由一系列朴素的residual构建块串联组成，相应的数学表达式为：output＝input+mlp×2(input)。

7、进一步，每个所述residual构建块都包含了一系列卷积层和激活函数，以有选择性地学习和传递特征信息，通过将多个residual构建块串联在一起，deep inverseresidual模块能够逐渐放大通道数，捕获更丰富的特征信息。

8、进一步，使每个体素都彼此相互关注，从而扩大感受野范围，公式如下:

9、q,k,v＝mlp(input)

10、

11、

12、其中，表示矩阵乘法，input为输入数据。

13、进一步，采取随机丢弃策略，在全局范围随机性地丢弃部分特征信息，随后让每个体素关注部分的全局特征信息，提高模型的鲁棒性；相关公式如下：

14、scoredrop＝randdrop(score)

15、其中，randdrop为随机丢弃部分特征信息的方法。

16、本发明的有益效果为：本发明利用deep inverse residual挖掘体素的深层次信息，以弥补体素化过程中点云信息丢失所造成的损失；通过dropattention模块来使局部体素区域能够获取全局信息。此外，采用随机丢弃部分全局信息的策略，防止冗余的部分全局信息对局部体素区域造成干扰，以提高模型的鲁棒性；本发明所提方法在室内场景数据集s3dis area5上的miou能超越了许多点云语义分割的方法；

17、本发明方法的语义分割性能miou为65.6％，与其他方法相比，实现了最好的语义分割性能。其与同样采用稀疏卷积的方法minkowski相比，性能提升2.4％；与最近的方法geosegnet相比，性能提升0.7％；从miou量化结果可以看出，本发明方法实现了最好的点云分割性能。对于采用体素化分割的方法pvt，本发明方法性能上升0.1％。同时，对于其他网络(pointnet、pointnet++、pointconv以及p2p)均有不同的提升。

技术特征：

1.基于深度残差与注意力丢弃的体素化网络的点云语义分割网络模型，其特征在于，包括：

2.根据权利要求1所述的基于深度残差与注意力丢弃的体素化网络的点云语义分割网络模型，其特征在于，所述deep inverse residual模块由一系列朴素的residual构建块串联组成，相应的数学表达式为：output＝input+mlp×2(input)。

3.根据权利要求2所述的基于深度残差与注意力丢弃的体素化网络的点云语义分割网络模型，其特征在于，每个所述residual构建块都包含了一系列卷积层和激活函数，以有选择性地学习和传递特征信息，通过将多个residual构建块串联在一起，deep inverseresidual模块能够逐渐放大通道数，捕获更丰富的特征信息。

4.根据权利要求3所述的基于深度残差与注意力丢弃的体素化网络的点云语义分割网络模型，其特征在于，使每个体素都彼此相互关注，从而扩大感受野范围，公式如下:

5.根据权利要求2所述的基于深度残差与注意力丢弃的体素化网络的点云语义分割网络模型，其特征在于，采取随机丢弃策略，在全局范围随机性地丢弃部分特征信息，随后让每个体素关注部分的全局特征信息，提高模型的鲁棒性；相关公式如下：

技术总结
本发明涉及基于深度残差与注意力丢弃的体素化网络的点云语义分割网络模型，其包括：Deep Inverse Residual模块，挖掘体素深层次信息，以弥补体素化时点云信息丢失的损失；Drop Attention模块，扩大每个体素对全局信息的感受野范围。本发明方法的语义分割性能mIoU为65.6%，与其他方法相比，实现了最好的语义分割性能。其与同样采用稀疏卷积的方法Minkowski相比，性能提升2.4%；与最近的方法GeoSegNet相比，性能提升0.7%；从mIoU量化结果可以看出，本发明方法实现了最好的点云分割性能。对于采用体素化分割的方法PVT，本发明方法性能上升0.1%。同时，对于其他网络（PointNet、PointNet++、PointConv以及P2P）均有不同的提升。

技术研发人员：王蕾,殷秀强,温智成
受保护的技术使用者：东华理工大学
技术研发日：
技术公布日：2024/2/8