基于点云的物体分类方法及相关设备与流程

1.本发明涉及点云领域，尤其涉及一种基于点云的物体分类方法及相关设备。


背景技术：

2.物体分类是视觉计算和模式识别中的经典问题。随着深度神经网络技术的发展，物体分类的性能突飞猛进，在机器人、自动驾驶、增强现实中显示出越来越强的应用潜力。常见的物体表示方法包括了图像和点云。由于图像结构具有天然的有序性、均匀性和规则性，因此深度神经网络技术首先在以图像为输入的物体分类上取得了成功。与图像输入相比，尽管三维点云具有更为丰富的空间信息且不易受光照变化影响的优势，但其天然的无序性、非均匀性和不规则性，使得设计一个直接以三维点云为输入的神经网络特征提取与分类方法充满了挑战。
3.目前常见的分类方法有：基于全局特征的方法、基于局部特征的方法和基于邻域特征的方法。尽管基于全局特征的方法因点的特征不受周围点的分布影响，对于因目标捕获距离远近等原因造成的点云疏密变化具有非常强的稳定性，但是存在分类精度较差的不足；而基于局部特征的方法和基于邻域特征的方法由于考虑了点云的局部特征和邻域特性，因此其性能会受到点云局部缺失和分布变化的影响。故现有技术中仍存在分类精度和稳定性难以兼顾的技术问题。


技术实现要素：

4.鉴于上述问题，本发明提供一种基于点云的物体分类方法及相关设备，主要目的在于解决基于点云进行物体分类时，分类精度和稳定性难以兼顾的问题。
5.为解决上述至少一种技术问题，第一方面，本发明提供了一种基于点云的物体分类方法，该方法包括：
6.确定目标物体的对齐点云坐标数据；
7.基于上述对齐点云坐标数据和全局注意力机制确定高层特征矩阵；
8.基于上述高层特征矩阵确定上述目标物体的全局特征以确定分类结果。
9.可选的，上述方法还包括：
10.基于目标物体确定点云坐标数据；
11.基于空间变换网络对上述点云坐标数据进行空间变换以确定上述对齐点云坐标数据。
12.可选的，上述基于上述对齐点云坐标数据和全局注意力机制确定高层特征矩阵，包括：
13.基于全局特征提取架构和上述全局注意力机制确定基于全局注意力机制的目标全局特征提取模型；
14.基于上述对齐点云坐标数据和上述基于全局注意力机制的目标全局特征提取模型确定高层特征矩阵。
15.可选的，上述基于全局注意力机制的目标全局特征提取模型包括：基于全局注意力机制的多层感知机网络、基于级联全局注意力机制的特征变换网络和基于级联全局注意力机制的多层感知机网络。
16.可选的，
17.上述级联全局注意力机制是由多个全局注意力机制级联而成的，
18.上述多层感知机网络用于对点云数据的特征进行提取，
19.上述特征变换网络用于对点云数据的特征进行对齐。
20.可选的，上述基于上述对齐点云坐标数据和全局注意力机制确定高层特征矩阵，包括：
21.对上述对齐点云坐标数据进行基于全局注意力机制的多层感知机网络处理以获取低层特征矩阵；
22.对上述低层特征矩阵通过进行基于级联全局注意力机制的特征变换网络处理以获取对齐低层特征矩阵；
23.对上述对齐低层特征矩阵进行基于级联全局注意力机制的多层感知机网络处理以获取高层特征矩阵。
24.可选的，上述基于上述高层特征矩阵确定上述目标物体的全局特征以确定分类结果，包括：
25.对上述高层特征矩阵进行最大池化处理以获取全局特征；
26.对上述全局特征进行全连接网络处理以对上述目标物体进行分类。
27.第二方面，本发明实施例还提供了一种基于点云的物体分类装置，包括：
28.第一确定单元，用于确定目标物体的对齐点云坐标数据；
29.第二确定单元，用于基于上述对齐点云坐标数据和全局注意力机制确定高层特征矩阵；
30.第三确定单元，用于基于上述高层特征矩阵确定上述目标物体的全局特征以确定分类结果。
31.为了实现上述目的，根据本发明的第三方面，提供了一种计算机可读存储介质，上述计算机可读存储介质包括存储的程序，其中，在上述程序被处理器执行时实现上述的基于点云的物体分类方法的步骤。
32.为了实现上述目的，根据本发明的第四方面，提供了一种电子设备，包括至少一个处理器、以及与上述处理器连接的至少一个存储器；其中，上述处理器用于调用上述存储器中的程序指令，执行上述的基于点云的物体分类方法的步骤。
33.借由上述技术方案，本发明提供基于点云的物体分类方法及相关设备。对于基于点云进行物体分类时，分类精度和稳定性难以兼顾的问题，本发明通过确定目标物体的对齐点云坐标数据；基于上述对齐点云坐标数据和全局注意力机制确定高层特征矩阵；基于上述高层特征矩阵确定上述目标物体的全局特征以确定分类结果。在上述方案中，由于重新设计点云目标全局特征提取模型的三个关键网络，并在新的网络中，将不同的全局注意力机制与原有的网络有机地融合在一起，使得点云中的每个点在特征提取的各个关键阶段都能充分利用所有点的特征，从而提高了分类精度，同时，在特征提取的各个阶段均不涉及局部点云的划分或者点的邻域的计算，故确保了分类的稳定性，由此解决现有技术中分类
精度和稳定性难以兼顾的技术问题。
34.相应地，本发明实施例提供的基于点云的物体分类装置、设备和计算机可读存储介质，也同样具有上述技术效果。
35.上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
36.通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
37.图1示出了本发明实施例提供的一种基于点云的物体分类方法的流程示意图；
38.图2示出了本发明实施例提供的一种基于点云的物体分类方法的网络结构示意图；
39.图3示出了本发明实施例提供的一种基于全局注意力机制的多层感知机网络示意图；
40.图4示出了本发明实施例提供的一种级联全局注意力机制示意图；
41.图5示出了本发明实施例提供的一种基于级联全局注意力机制的特征变换网络示意图；
42.图6示出了本发明实施例提供的一种基于级联全局注意力机制的多层感知机网络示意图；
43.图7示出了本发明实施例提供的一种基于点云的物体分类装置的组成示意框图；
44.图8示出了本发明实施例提供的一种基于点云的物体分类电子设备的组成示意框图。
具体实施方式
45.下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
46.为了解决基于点云进行物体分类时，分类精度和稳定性难以兼顾的问题，本发明实施例提供了一种基于点云的物体分类方法，如图1所示，该方法包括：
47.s101、确定目标物体的对齐点云坐标数据；
48.示例性的，在逆向工程中通过测量仪器得到的产品外观表面的点数据集合也称之为点云。点云是在同一空间参考系下表达目标空间分布和目标表面特性的海量点集合，往往由测量直接得到。每个点对应一个测量点，未经过其他处理手段，故包含了最大的信息量。据激光测量原理得到的点云，包括三维坐标和激光反射强度。根据摄影测量原理得到的点云，包括三维坐标和颜色信息。结合激光测量和摄影测量原理得到点云，包括三维坐标、激光反射强度和颜色信息。在获取物体表面每个采样点的空间坐标后，得到的是一个点的
集合，称之为“点云”。本方法首先获取需要分类的目标物体的对齐点云坐标数据。
49.s102、基于上述对齐点云坐标数据和全局注意力机制确定高层特征矩阵；
50.示例性的，本方法将全局注意力机制技术引入到三维点云分类中，通过重新设计点云目标全局特征提取模型的三个关键网络，并在新的网络中，将不同的全局注意力机制模块与原有的网络架构有机地融合在一起，以确定高层特征矩阵。
51.s103、基于上述高层特征矩阵确定上述目标物体的全局特征以确定分类结果。
52.示例性的，通过本方法使得在点云中每个点的特征提取的各个关键阶段都能充分利用所有点的特征，且在特征提取的各个阶段均不涉及局部点云的划分或者点的邻域的计算，由此解决现有技术中分类精度和稳定性难以兼顾的技术问题。
53.示例性的，本方案中专有名词示意如下：点云为point cloud，下采样为down sampling，空间变换网络为spatial transformer network，三维坐标矩阵3dcoordinates matrix，对齐三维坐标矩阵为aligned 3d coordinates matrix，特征提取模型为feature extraction model，全局注意力机制为global attention mechanism，级联全局注意力机制为cascaded global attention mechanism，多层感知机网络为multi-layer perceptron network，特征变换网络为feature transformer network，低层特征矩阵为low-level feature matrix，高层特征矩阵为high-level feature matrix，对齐低层特征矩阵为aligned low-level feature matrix，最大池化为max-pooling，全连接网络为fully-connected network，全局特征为global feature，，分类向量为class vector，分类精度为classification accuracy，稳定性为stability。。
54.借由上述技术方案，本发明提供基于点云的物体分类方法。对于基于点云进行物体分类时，分类精度和稳定性难以兼顾的问题，本发明通过确定目标物体的对齐点云坐标数据；基于上述对齐点云坐标数据和全局注意力机制确定高层特征矩阵；基于上述高层特征矩阵确定上述目标物体的全局特征以确定分类结果。在上述方案中，由于重新设计点云目标全局特征提取模型的三个关键网络，并在新的网络中，将不同的全局注意力机制与原有的网络有机地融合在一起，使得点云中的每个点在特征提取的各个关键阶段都能充分利用所有点的特征，从而提高了分类精度，且在特征提取的各个阶段均不涉及局部点云的划分或者点的邻域的计算，故确保了分类的稳定性，由此解决现有技术中分类精度和稳定性难以兼顾的技术问题。
55.在一种实施例中，上述方法还包括：
56.基于目标物体确定点云坐标数据；
57.基于空间变换网络对上述点云坐标数据进行空间变换以确定上述对齐点云坐标数据。
58.示例性的，为方便描述，令p＝[p1,p2,k,pn]
t
表示下采样后的n
×
3维输入点云的三维坐标矩阵也即上述点云坐标数据，其中pi表示下采样后的输入点云三维坐标矩阵中第i个点的三维坐标向量，n表示下采样后的输入点云中点的个数，t表示矩阵的转置。令c表示c维的输出分类向量，其中c表示类别数目。在点云物体分类过程中，输入点云p首先通过空间变换网络得到对齐n
×
3维坐标矩阵也即上述对齐点云坐标数据。
[0059]
在一种实施例中，上述基于上述对齐点云坐标数据和全局注意力机制确定高层特征矩阵，包括：
[0060]
基于全局特征提取架构和上述全局注意力机制确定基于全局注意力机制的目标全局特征提取模型；
[0061]
基于上述对齐点云坐标数据和上述基于全局注意力机制的目标全局特征提取模型确定高层特征矩阵。
[0062]
示例性的，本方法重新设计了点云目标全局特征提取模型，在新的模型中，不同的全局注意力机制与原有的全局特征提取架构有机融合在一起，使得点云中的每个点在特征提取的各个关键阶段都能在全局注意力机制的辅助下充分利用所有点的特征，大大提升了点云物体的分类精度。同时，由于特征提取的各个阶段均不涉及局部点云的划分或者点的邻域的计算，因此不会受到点云局部缺失和分布变化的影响，在点云数量锐减的极端情况下能保持分类精度超强的稳定性。
[0063]
在一种实施例中，上述基于全局注意力机制的目标全局特征提取模型包括：基于全局注意力机制的多层感知机网络、基于级联全局注意力机制的特征变换网络和基于级联全局注意力机制的多层感知机网络。
[0064]
示例性的，本方法重新设计了点云目标全局特征提取模型的三个关键网络，即用于提取低层特征的基于全局注意力机制的多层感知机网络、用于对齐低层特征的基于级联全局注意力机制的特征变换网络和用于提取高层特征的基于级联全局注意力机制的多层感知机网络。在新的网络中，不同的全局注意力机制与原有的全局特征提取架构有机融合在一起，使得点云中的每个点在特征提取的各个关键阶段都能充分利用所有点的特征，大大提升了点云物体的分类精度。
[0065]
在一种实施例中，
[0066]
上述级联全局注意力机制是由多个全局注意力机制级联而成的，
[0067]
上述多层感知机网络用于对点云数据的特征进行提取，
[0068]
上述特征变换网络用于对点云数据的特征进行对齐。
[0069]
示例性的，后续两个关键网络，基于级联全局注意力机制的特征变换网络和基于级联全局注意力机制的多层感知机网络都用到了级联全局注意力机制，该机制的主要功能是获得不同注意力集中程度下的全局特征。如图4所示，级联全局注意力机制设计如下。该机制依次由m个结构相同的全局注意力机制级联而成。在提取不同注意力集中程度下的全局特征的过程中，n
×
d维的输入特征矩阵首先通过全局注意力机制1，得到第一个n
×
d维的特征矩阵，该特征矩阵再通过全局注意力机制2，得到第二个n
×
d维的特征矩阵，以此类推，直到通过全局注意力机制m为止，其中，d表示点云中点的输入特征向量的维数。最后将得到的m个n
×
d维矩阵依次拼接起来，形成最终的n
×
md维特征。如图4所示，随着特征矩阵不断通过全局注意力机制，特征得到聚焦的程度不断加深，这些聚焦程度不同的特征级联在一起，所得到的最终的特征能够更准确地表征物体点云中各种不同尺度的特征。因此，与单一全局注意力机制相比，级联全局注意力机制所得到的特征具有更强的分辨力，有利于进一步提升整体分类精度。
[0070]
在一种实施例中，上述基于上述对齐点云坐标数据和全局注意力机制确定高层特征矩阵，包括：
[0071]
对上述对齐点云坐标数据进行基于全局注意力机制的多层感知机网络处理以获取低层特征矩阵；
[0072]
对上述低层特征矩阵进行基于级联全局注意力机制的特征变换网络处理以获取对齐低层特征矩阵；
[0073]
对上述对齐低层特征矩阵进行基于级联全局注意力机制的多层感知机网络处理以获取高层特征矩阵。
[0074]
示例性的，基于全局注意力机制的多层感知机网络的功能是从对齐点云坐标中提取低层特征。如图3所示，该网络由一个多层感知机和一个全局注意力机制构成。在提取低层特征的过程中，对齐n
×
3维点云坐标矩阵首先通过多层感知机，得到n
×dl
维特征矩阵，其中，d
l
为点云中点的低层特征的维数。该特征矩阵与其通过全局注意力机制模块得到的n
×dl
维特征矩阵相加，得到n
×dl
维低层特征矩阵。如图3所示，与基于全局特征的点云物体分类方法中用于提取低层特征的多层感知机网络相比，本方法新增了全局注意力机制模块。在低层特征提取的过程中，在原有的多层感知机输出的特征上叠加了由全局注意力模块输出的特征。得益于全局注意力机制在全局范围内聚焦重要特征，提升稳定性的特点，该网络设计有效地增强了低层特征的辨识力，有利于整体分类精度和稳定性的提升。
[0075]
示例性的，基于级联全局注意力机制的特征变换网络的功能是将提取到的低层特征进行对齐。如图5所示，该网络由三个多层感知机，一个级联全局注意力机制和一个最大池化层构成。在对齐低层特征的过程中，输入的n
×dl
维低层特征矩阵首先通过多层感知机1，得到n
×
d1维特征矩阵，其中，d1为多层感知机1输出的点的特征的维数。接着通过级联全局注意力机制模块，得到n
×
m1d1维特征矩阵，其中，m1表示用于特征变换网络的全局注意力机制模块的级联个数。然后通过多层感知机2，得到n
×
d2维特征矩阵，其中，d2为多层感知机2输出的点的特征的维数。再通过最大池化层，得到1
×
d2维向量。最后再通过多层感知机3，得到d
l
×dl
维特征变换矩阵。将输入的n
×dl
维低层特征矩阵与该矩阵相乘，得到对齐n
×dl
维低层特征矩阵。如图5所示，与基于全局特征的点云物体分类方法中用于对齐低层特征的特征变换网络相比，该网络在特征变换矩阵求取部分新增了级联全局注意力机制。得益于级联全局注意力机制在全局范围内多层次聚焦重要特征的特点，该设计能更加全面准确地对各个尺度下的物体点云特征进行对齐，有利于整体分类精度的提升。
[0076]
示例性的，基于级联全局注意力机制的多层感知机网络的功能是从对齐低层特征中提取高层特征。如图6所示，基于级联全局注意力机制的多层感知机网络设计如下，该网络由两个多层感知机和一个级联全局注意力机制构成。在提取高层特征的过程中，对齐低层特征矩阵首先通过多层感知机1，得到n
×
d3维特征矩阵，其中，d3为多层感知机1输出的点的特征的维数。然后通过级联全局注意力机制，得到n
×
m2d3维特征矩阵，其中，m2表示用于多层感知机网络的全局注意力机制模块的级联个数。最后通过多层感知机2，得到n
×dh
维高层特征矩阵，其中，dh为点云中点的高层特征的维数。如图6所示，与基于全局特征的点云物体分类方法中用于提取高层特征的多层感知机网络相比，该网络新增了级联全局注意力机制。得益于级联全局注意力机制在全局范围内多尺度聚焦重要特征、多层次提升稳定性的特点，该网络设计全面增强了高层特征的辨识力，有利于整体分类精度和稳定性的提升。
[0077]
在一种实施例中，上述基于上述高层特征矩阵确定上述目标物体的全局特征以确定分类结果，包括：
[0078]
对上述高层特征矩阵进行最大池化处理以获取全局特征；
[0079]
对上述全局特征进行全连接网络处理以对上述目标物体进行分类。
[0080]
示例性的，得到n
×dh
维的高层特征矩阵后，再通过最大池化层得到1
×dh
维的全局特征，最后通过全连接网络得到c维的输出分类向量c以对上述目标物体进行分类。
[0081]
示例性的，如图2所示，整体网络框架设计如下。该框架依次由空间变换网络、基于全局注意力机制的多层感知机网络、基于级联全局注意力机制的特征变换网络、基于级联全局注意力机制的多层感知机网络、最大池化层和全连接网络六个模块构成。在点云物体分类过程中，输入点云p首先通过空间变换网络得到对齐后的点云即对齐n
×
3维坐标矩阵，接着通过基于全局注意力机制的多层感知机网络，得到n
×dl
维的低层特征矩阵，然后通过基于级联全局注意力机制的特征变换网络，得到n
×dl
维的对齐低层特征矩阵，再通过基于级联全局注意力机制的多层感知机网络，得到n
×dh
维的高层特征矩阵，再通过最大池化层得到1
×dh
维的全局特征，最后通过全连接网络得到c维输出分类向量c。
[0082]
由于本方法重新设计了基于全局特征的点云物体分类方法的三个关键网络，即用于提取低层特征的多层感知机网络、用于对齐低层特征的特征变换网络和用于提取高层特征的多层感知机网络。在新的网络中，不同全局注意力机制与原有的网络架构有机地融合在一起，使得点云中的每个点在特征提取的各个关键阶段都能充分利用所有点的特征，大大提升了点云物体的分类精度。且在特征提取的各个阶段均不涉及局部点云的划分或者点的邻域的计算，因此与现有的基于局部特征的方法和基于邻域特征的方法不同，本方法不会受到点云局部缺失和分布变化的影响，在点云数量锐减的极端情况下仍能保持分类精度超强的稳定性。本方法中用到的三个全局注意力机制模块中，每个点的特征计算与点云中的所有点都相关，其计算开销与输入点云中点的个数的平方成正比。得益于点云预处理中的下采样能有效控制输入点云中点的个数，因此与基于全局特征的点云物体分类方法相比，这三个全局注意力机制模块新增的计算开销较小。故本方法很好地保持了基于全局特征的点云物体分类方法参数适中，计算效率高的优点。同时，这三个全局注意力机制模块所具有的提升特征分辨力的特点又带来了总体分类精度上的大幅提升。
[0083]
示例性的，作为本方法的实现，具体的实现步骤可以是：
[0084]
(1)对下采样后的输入点云坐标矩阵p进行空间变换，得到对齐的n
×
3维点云坐标矩阵；
[0085]
(2)通过基于全局注意力机制多层感知机网络获得n
×dl
维低层特征矩阵；
[0086]
(2.1)将步骤(1)中所获的的对齐的n
×
3维点云坐标矩阵输入到基于全局注意力机制多层感知机网络的多层感知机中，得到物体点云的n
×dl
维特征矩阵；
[0087]
(2.2)将上述n
×dl
维特征矩阵输入基于全局注意力机制多层感知机网络的全局注意力机制，得到的n
×dl
维特征矩阵；
[0088]
(2.3)将步骤(2.1)所得n
×dl
维特征矩阵与步骤(2.2)所得n
×dl
维特征矩阵相加，得到n
×dl
维低层特征矩阵。
[0089]
(3)通过基于级联全局注意力机制的特征变换网络得到对齐的n
×dl
维低层特征；
[0090]
(3.1)将步骤(2)中所获得的n
×dl
维低层特征矩阵输入特征变换网络的第一个多层感知机，得到n
×
d1维特征矩阵；
[0091]
(3.2)将上述n
×
d1维特征矩阵输入特征变换网络的级联全局注意力机制，得到n
×
m1d1维特征矩阵；
[0092]
(3.2.1)将步骤(3.1)中所获得的n
×
d1维特征矩阵输入到级联全局注意力机制的
第一个全局注意力机制模块，得到第一个模块输出的n
×
d1维特征矩阵；
[0093]
(3.2.2)将上述第一个模块输出的n
×
d1维特征矩阵输入第二个全局注意力机制模块，得到第二个模块输出的n
×
d1维特征矩阵，以此类推，直到得到第m1个全局注意力机制模块输出的n
×
d1维特征矩阵；
[0094]
(3.2.3)将步骤(3.2.1)和(3.2.2)所得到m1个全局注意力机制模块输出的n
×
d1维特征矩阵首尾相连，就得到了基于级联全局注意力机制的特征变换网络中级联全局注意力机制模块输出的n
×
m1d1维特征矩阵。
[0095]
(3.3)将上述n
×
m1d1维特征矩阵输入特征变换网络的第二个多层感知机，得到n
×
d2维特征矩阵；
[0096]
(3.4)将上述n
×
d2维特征矩阵输入特征变换网络的最大池化层，得到1
×
d2维向量；
[0097]
(3.5)将上述1
×
d2维向量输入特征变换网络的第三个多层感知机，得到d
l
×dl
维特征变换矩阵；
[0098]
(3.6)将步骤(2)中所获得的n
×dl
维低层特征矩阵与上述d
l
×dl
维特征变换矩阵相乘，得到对齐n
×dl
维低层特征矩阵。
[0099]
(4)通过基于级联全局注意力机制的多层感知机网络获得n
×dh
维高层特征；
[0100]
(4.1)将步骤(3)中所获得的对齐n
×dl
维低层特征矩阵输入基于级联全局注意力机制的多层感知机网络的第一个多层感知机，得到n
×
d3维特征矩阵；
[0101]
(4.2)将上述n
×
d3维特征矩阵输入基于级联全局注意力机制的多层感知机网络的级联全局注意力机制，得到n
×
m2d3维特征矩阵；
[0102]
(4.3)将上述n
×
m2d3维特征矩阵输入基于级联全局注意力机制的多层感知机网络的第二个多层感知机，得到n
×dh
维高层特征矩阵；
[0103]
(5)将上述n
×dh
维高层特征矩阵采用最大池化获得1
×dh
维全局特征进行物体分类，得到c维输出分类向量c。
[0104]
进一步的，作为对上述图1所示方法的实现，本发明实施例还提供了一种基于点云的物体分类装置。该装置实施例与前述方法实施例对应，为便于阅读，本装置实施例不再对前述方法实施例中的细节内容进行逐一赘述，但应当明确，本实施例中的装置能够对应实现前述方法实施例中的全部内容。如图7所示，该装置包括：第一确定单元21、第二确定单元22和第三确定单元23，其中
[0105]
第一确定单元21，用于确定目标物体的对齐点云坐标数据；
[0106]
第二确定单元22，用于基于上述对齐点云坐标数据和全局注意力机制确定高层特征矩阵；
[0107]
第三确定单元23，用于基于上述高层特征矩阵确定上述目标物体的全局特征以确定分类结果。
[0108]
示例性的，上述单元还用于：
[0109]
基于目标物体确定点云坐标数据；
[0110]
基于空间变换网络对上述点云坐标数据进行空间变换以确定上述对齐点云坐标数据。
[0111]
示例性的，上述基于上述对齐点云坐标数据和全局注意力机制确定高层特征矩
阵，包括：
[0112]
基于全局特征提取架构和上述全局注意力机制确定基于全局注意力机制的目标全局特征提取模型；
[0113]
基于上述对齐点云坐标数据和上述基于全局注意力机制的目标全局特征提取模型确定高层特征矩阵。
[0114]
示例性的，上述基于全局注意力机制的目标全局特征提取模型包括：基于全局注意力机制的多层感知机网络、基于级联全局注意力机制的特征变换网络和基于级联全局注意力机制的多层感知机网络。
[0115]
示例性的，
[0116]
上述级联全局注意力机制是由多个全局注意力机制级联而成的，
[0117]
上述多层感知机网络用于对点云数据的特征进行提取，
[0118]
上述特征变换网络用于对点云数据的特征进行对齐。
[0119]
示例性的，上述基于上述对齐点云坐标数据和全局注意力机制确定高层特征矩阵，包括：
[0120]
对上述对齐点云坐标数据进行基于全局注意力机制的多层感知机网络处理以获取低层特征矩阵；
[0121]
对上述低层特征矩阵进行基于级联全局注意力机制的特征变换网络处理以获取对齐低层特征矩阵；
[0122]
对上述对齐低层特征矩阵进行基于级联全局注意力机制的多层感知机网络处理以获取高层特征矩阵。
[0123]
示例性的，上述基于上述高层特征矩阵确定上述目标物体的全局特征以确定分类结果，包括：
[0124]
对上述高层特征矩阵进行最大池化处理以获取全局特征；
[0125]
对上述全局特征进行全连接网络处理以对上述目标物体进行分类。
[0126]
借由上述技术方案，本发明提供的基于点云的物体分类装置，对于基于点云进行物体分类时，分类精度和稳定性难以兼顾的问题，本发明通过确定目标物体的对齐点云坐标数据；基于上述对齐点云坐标数据和全局注意力机制确定高层特征矩阵；基于上述高层特征矩阵确定上述目标物体的全局特征以确定分类结果。在上述方案中，由于重新设计基于全局特征的点云分类方法的三个关键网络，并在新的网络中，将不同的全局注意力机制与原有的网络有机地融合在一起，使得点云中的每个点在特征提取的各个关键阶段都能充分利用所有点的特征，从而提高了分类精度，且在特征提取的各个阶段不涉及局部点云的划分或者点的邻域的计算，故确保了分类的稳定性，由此解决现有技术中分类精度和稳定性难以兼顾的技术问题。
[0127]
处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来实现一种基于点云的物体分类方法，能够解决基于点云进行物体分类时，分类精度和稳定性难以兼顾的问题。
[0128]
本发明实施例提供了一种计算机可读存储介质，上述计算机可读存储介质包括存储的程序，该程序被处理器执行时实现上述基于点云的物体分类方法。
[0129]
本发明实施例提供了一种处理器，上述处理器用于运行程序，其中，上述程序运行
时执行上述基于点云的物体分类方法。
[0130]
本发明实施例提供了一种电子设备，上述电子设备包括至少一个处理器、以及与上述处理器连接的至少一个存储器；其中，上述处理器用于调用上述存储器中的程序指令，执行如上述的基于点云的物体分类方法
[0131]
本发明实施例提供了一种电子设备30，如图8所示，电子设备包括至少一个处理器301、以及与处理器连接的至少一个存储器302、总线303；其中，处理器301、存储器302通过总线303完成相互间的通信；处理器301用于调用存储器中的程序指令，以执行上述的基于点云的物体分类方法。
[0132]
本文中的智能电子设备可以是pc、pad、手机等。
[0133]
本技术还提供了一种计算机程序产品，当在流程管理电子设备上执行时，适于执行初始化有如下方法步骤的程序：
[0134]
确定目标物体的对齐点云坐标数据；
[0135]
基于上述对齐点云坐标数据和全局注意力机制确定高层特征矩阵；
[0136]
基于上述高层特征矩阵确定上述目标物体的全局特征以确定分类结果。
[0137]
进一步的，上述方法还包括：
[0138]
基于目标物体确定点云坐标数据；
[0139]
基于空间变换网络对上述点云坐标数据进行空间变换以确定上述对齐点云坐标数据。
[0140]
进一步的，上述基于上述对齐点云坐标数据和全局注意力机制确定高层特征矩阵，包括：
[0141]
基于全局特征提取架构和上述全局注意力机制确定基于全局注意力机制的目标全局特征提取模型；
[0142]
基于上述对齐点云坐标数据和上述基于全局注意力机制的目标全局特征提取模型确定高层特征矩阵。
[0143]
进一步的，上述基于全局注意力机制的目标全局特征提取模型包括：基于全局注意力机制的多层感知机网络、基于级联全局注意力机制的特征变换网络和基于级联全局注意力机制的多层感知机网络。
[0144]
进一步的，
[0145]
上述级联全局注意力机制是由多个全局注意力机制级联而成的，
[0146]
上述多层感知机网络用于对点云数据的特征进行提取，
[0147]
上述特征变换网络用于对点云数据的特征进行对齐。
[0148]
进一步的，上述基于上述对齐点云坐标数据和全局注意力机制确定高层特征矩阵，包括：
[0149]
对上述对齐点云坐标数据进行基于全局注意力机制的多层感知机网络处理以获取低层特征矩阵；
[0150]
对上述低层特征矩阵进行基于级联全局注意力机制的特征变换网络处理以获取对齐低层特征矩阵；
[0151]
对上述对齐低层特征矩阵进行基于级联全局注意力机制的多层感知机网络处理以获取高层特征矩阵。
[0152]
进一步的，上述基于上述高层特征矩阵确定上述目标物体的全局特征以确定分类结果，包括：
[0153]
对上述高层特征矩阵进行最大池化处理以获取全局特征；
[0154]
对上述全局特征进行全连接网络处理以对上述目标物体进行分类。
[0155]
需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。
[0156]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0157]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0158]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0159]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0160]
本技术实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机软件指令，当计算机软件指令在处理设备上运行时，使得处理设备执行如图1对应实施例中的存储器的控制的流程。
[0161]
计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本技术实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘(solid state disk，ssd))等。
[0162]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，
装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0163]
在本技术所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0164]
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0165]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0166]
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0167]
以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围。