基于深度学习的三维点云处理方法、装置、设备和介质

本申请涉及计算机应用，具体涉及一种基于深度学习的三维点云处理方法、装置、设备和介质。

背景技术：

1、点云数据通常由物体表面采样得到的离散点集构成，一般由各离散点的三维坐标表示，且因为点云数据中包含着信息丰富，所以点云数据在自动驾驶、虚拟现实等领域均能够获得广泛应用。但为了适应快速发展的需要，引入了深度学习去解决点云数据处理领域所面临的诸多问题。

2、深度学习可以直接对不规则和非结构化的点云数据进行处理，此类方法直接针对不规则和非结构化的点云数据设计特殊的卷积神经网络以学习点云数据的特征，其具备内存损耗较低的优势引发了研究人员的关注，但也存在不足之处，例如，对于pointnet网络以及dgcnn(动态图边卷积网络)等类型的卷积神经网络都存在着不足之处。具体而言，采用pointnet网络没有划分点云区域以及针对性地提取区域特征，所以对点云局部细节的性能影响较大；采用pointnet++网络虽在一定程度上弥补了pointnet网络在局部细节方面的不足，但也仅是将局部特征进行简单聚合，因此点云的区域信息还是没有被充分利用；采用dgcnn(动态图边卷积网络)尽管能采集低级语义信息，但是却无法较好地描述大部分高级语义信息和隐式高级语义特征。

3、因此这类深度学习方法限制了深度学习网络提取更多特征信息的能力。

技术实现思路

1、本申请的一个目的在于增强对点云特征信息提取的能力，解决点云特征表达能力不足的技术问题。

2、根据本申请实施例的一方面，本申请公开了一种基于深度学习的三维点云处理方法，包括：

3、对给定物体进行点云采样获取三维点云；

4、将所述三维点云依次通过特征嵌入层和串联的边卷积双重注意力层，分别从各层提取获得对应于不同特征维度的点云特征矩阵，从各层提取的点云特征矩阵特征维度逐层增大；

5、将所述对应于不同特征维度的点云特征矩阵进行矩阵拼接，获得融合特征矩阵；

6、将所述融合特征矩阵分别通过并联的全局最大池化层和全局平均池化层，再次进行矩阵拼接获得全局特征矩阵。

7、根据本申请实施例的一方面，所述将所述三维点云依次通过特征嵌入层和串联的边卷积双重注意力层，分别从各层提取获得对应于不同特征维度的点云特征矩阵，包括：

8、通过所述特征嵌入层放大所述三维点云特征维度，放大特征维度后提取获得对应于特征嵌入层的点云特征矩阵；

9、将所述对应于特征嵌入层的点云特征矩阵依次通过串联的边卷积双重注意力层持续放大三维点云特征维度，分别获得逐层提取出的不同特征维度的点云特征矩阵。

10、根据本申请实施例的一方面，所述将所述对应于特征嵌入层的点云特征矩阵依次通过串联的边卷积双重注意力层持续放大三维点云特征维度，分别获得逐层提取出的不同特征维度的点云特征矩阵，包括：

11、将所述对应于特征嵌入层的点云特征矩阵通过图边缘构造层获得边缘特征矩阵；

12、对所述边缘特征矩阵引入混合注意力机制获取特征维度翻倍的边缘特征矩阵；

13、将所述特征维度翻倍的边缘特征矩阵进行特征聚合获得进入下一层网络的边缘特征矩阵；

14、将所述进入下一层网络的边缘特征矩阵继续通过所述边卷积双重注意力层，提取获得不同特征维度的点云特征矩阵。

15、根据本申请实施例的一方面，所述对所述边缘特征矩阵引入混合注意力机制获取特征维度翻倍的边缘特征矩阵，包括：

16、将所述边缘特征矩阵分别通过通道注意力机制和局部区域注意力机制进行矩阵拼接，获得特征维度翻倍的边缘特征矩阵。

17、根据本申请实施例的一方面，所述将所述特征维度翻倍的边缘特征矩阵进行特征聚合获得进入下一层网络的边缘特征矩阵，包括：

18、将所述特征维度翻倍的边缘特征矩阵通过多层感知器神经网络升高维度；

19、对维度升高的所述边缘特征矩阵进行全局最大池化和平均池化相结合的池化操作获得进入下一层网络的边缘特征矩阵。

20、根据本申请实施例的一方面，所述将所述融合特征矩阵分别通过并联的全局最大池化层和全局平均池化层，再次进行矩阵拼接获得全局特征矩阵之后，包括：

21、将所述全局特征矩阵通过全连接网络对所述给定物体的三维点云进行分类获得分类结果。

22、根据本申请实施例的一方面，所述将所述融合特征矩阵分别通过并联的全局最大池化层和全局平均池化层，再次进行矩阵拼接获得全局特征矩阵之后，还包括：

23、对预先指定进行训练的数据集中的零件标签做唯一标识，获得唯一表示矩阵；

24、将所述全局特征矩阵与所述唯一表示矩阵进行矩阵拼接，且与所述不同特征维度的点云特征矩阵再次进行矩阵拼接，获得特征拼接矩阵；

25、将所述特征拼接矩阵通过全连接网络对所述给定物体的三维点云进行分割获得分割结果。

26、根据本申请实施例的一方面，本申请了一种三维点云处理装置，包括：

27、三维点云获取模块：用于对给定物体进行点云采样获取三维点云；

28、点云特征矩阵获取模块：用于将所述三维点云依次通过特征嵌入层和串联的边卷积双重注意力层，分别从各层提取获得对应于不同特征维度的点云特征矩阵，从各层提取的点云特征矩阵特征维度逐层增大；

29、矩阵拼接模块：用于将所述对应于不同特征维度的点云特征矩阵进行矩阵拼接，获得融合特征矩阵；

30、全局特征矩阵获取模块：用于将所述融合特征矩阵分别通过并联的全局最大池化层和全局平均池化层，再次进行矩阵拼接获得全局特征矩阵。

31、根据本申请实施例的一方面，本申请了一种三维点云处理设备，包括：

32、存储器，存储有计算机可读指令；

33、处理器，读取存储器存储的计算机可读指令，以执行如上所述的方法。

34、根据本申请实施例的一方面，本申请了一种计算机程序介质，其上存储有计算机可读指令，当所述计算机可读指令被计算机的处理器执行时，使计算机执行如上所述的方法。

35、本申请实施例中，对给定物体进行点云采样获取给定物体的三维点云，将此给定物体的三维点云依次通过特征嵌入层和串联的边卷积双重注意力层，分别从各层提取出对应于各层的点云特征矩阵，点云特征矩阵的特征维度逐层增大，将对应于各个特征维度的点云特征矩阵进行矩阵拼接，拼接获得融合特征矩阵，将融合特征矩阵分别通过并联的全局最大池化层和全局平均池化层后，第二次进行矩阵拼接获得全局特征矩阵，在边卷积双重注意力层中引入了特征通道注意力机制和局部区域注意力机制，由此以更广泛的视角提炼点云特征信息，增强了对点云特征信息提取的能力。

36、本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。

37、应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本申请。

技术特征：

1.一种基于深度学习的三维点云处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述将所述三维点云依次通过特征嵌入层和串联的边卷积双重注意力层，分别从各层提取获得对应于不同特征维度的点云特征矩阵，包括：

3.根据权利要求2所述的方法，所述将所述对应于特征嵌入层的点云特征矩阵依次通过串联的边卷积双重注意力层持续放大三维点云特征维度，分别获得逐层提取出的不同特征维度的点云特征矩阵，包括：

4.根据权利要求3所述的方法，其特征在于，所述对所述边缘特征矩阵引入混合注意力机制获取特征维度翻倍的边缘特征矩阵，包括：

5.根据权利要求3所述的方法，其特征在于，所述将所述特征维度翻倍的边缘特征矩阵进行特征聚合获得进入下一层网络的边缘特征矩阵，包括：

6.根据权利要求1所述的方法，其特征在于，所述将所述融合特征矩阵分别通过并联的全局最大池化层和全局平均池化层，再次进行矩阵拼接获得全局特征矩阵之后，包括：

7.根据权利要求1所述的方法，其特征在于，所述将所述融合特征矩阵分别通过并联的全局最大池化层和全局平均池化层，再次进行矩阵拼接获得全局特征矩阵之后，还包括：

8.一种三维点云处理装置，其特征在于，所述装置包括：

9.一种三维点云处理设备，其特征在于，包括：

10.一种计算机程序介质，其上存储有计算机可读指令，其特征在于，当所述计算机可读指令被计算机的处理器执行时，使计算机执行权利要求1－7中的任意一个所述的方法。

技术总结
本申请提供了基于深度学习的三维点云处理方法、装置、设备和介质，其中该方法包括：对给定物体进行点云采样获取三维点云；将所述三维点云依次通过特征嵌入层和串联的边卷积双重注意力层，分别从各层提取获得对应于不同特征维度的点云特征矩阵，从各层提取的点云特征矩阵特征维度逐层增大；将所述对应于不同特征维度的点云特征矩阵进行矩阵拼接，获得融合特征矩阵；将所述融合特征矩阵分别通过并联的全局最大池化层和全局平均池化层，再次进行矩阵拼接获得全局特征矩阵。本申请提出的方法能够充分探索点云数据的上下文表示，获取更多特征信息以丰富上下文，从而增强对点云特征信息提取的能力。

技术研发人员：陈奔,谢晓尧,刘嵩
受保护的技术使用者：贵州师范大学
技术研发日：
技术公布日：2024/1/13