点云分类方法及装置

文档序号:33514976发布日期:2023-03-22 05:47阅读:57来源:国知局
点云分类方法及装置

1.本发明涉及人工智能技术领域,尤其涉及一种点云分类方法及装置。


背景技术:

2.现有的数据采集硬件以及计算算力的飞速发展,获取的点云图像的复杂度越来越高。蕴含丰富空间信息的三维点云数据被运用到计算机视觉的各个场景中,例如自动驾驶、虚拟现实、三维建模和机器人操作。
3.现有方法中,由于处理点云的模型的复杂度越来越高,使得点云分类的效率越来越低。


技术实现要素:

4.本发明提供一种点云分类方法及装置,用以解决现有技术针对处理点云的模型的复杂度越来越高,使得点云分类的效率越来越低的技术问题。
5.本发明提供一种点云分类方法,包括:
6.对原始点云数据进行特征提取,得到所述原始点云数据的局部特征;
7.将所述局部特征输入第一处理分支进行高频特征提取,得到所述局部特征的高频特征,将所述局部特征输入第二处理分支进行低频特征提取,得到所述局部特征的低频特征;
8.将所述高频特征与所述低频特征进行拼接,并将拼接后得到的特征进行升维处理,得到所述原始点云数据的目标特征;
9.将所述目标特征输入分类器,得到所述原始点云数据的分类结果,所述分类器是基于点云数据样本及其对应的类别标签训练得到的。
10.根据本发明提供的一种点云分类方法,将所述局部特征输入第二处理分支进行低频特征提取,得到所述局部特征的低频特征,包括:
11.将所述局部特征进行平均池化处理,得到平均池化处理后的特征向量;
12.对所述特征向量进行层次二分聚类,得到所述特征向量的多个特征簇;
13.基于向量注意力算法,分别确定各特征簇中的特征关系,并将得到的多个特征关系进行合并,得到所述局部特征的低频特征。
14.根据本发明提供的一种点云分类方法,所述将所述局部特征输入第一处理分支进行高频特征提取,得到所述局部特征的高频特征,包括:
15.将所述局部特征进行最大池化处理,得到最大池化处理后的局部特征;
16.将最大池化处理后的局部特征进行残差处理,得到所述局部特征的高频特征。
17.根据本发明提供的一种点云分类方法,所述对原始点云数据进行特征提取,得到所述原始点云数据的局部特征,包括:
18.对原始点云数据进行下采样,获取所述原始点云数据的采样中心点,基于k近邻算法,确定所述采样中心点对应的近邻点;
19.基于所述近邻点的坐标与所述采样中心点的坐标,得到所述近邻点与所述采样中心点的相对位置坐标;
20.将所述相对位置坐标与所述采样中心点按坐标维度进行拼接,得到拼接后的六维坐标;
21.基于多层感知器,将所述六维坐标映射到高维空间,得到所述原始点云数据的局部特征。
22.根据本发明提供的一种点云分类方法,所述对原始点云数据进行下采样,获取所述原始点云数据的采样中心点,包括:
23.将原始点云数据归一化到单位球体内,并对归一化后的原始点云数据进行均匀采样,得到预设个数的点云样本;
24.基于最远点采样法,对所述点云样本进行下采样,得到所述点云样本的采样中心点。
25.根据本发明提供的一种点云分类方法,所述将所述高频特征与所述低频特征进行拼接,并将拼接后得到的特征进行升维处理,得到所述原始点云数据的目标特征,包括:
26.将所述高频特征与所述低频特征进行拼接,得到采样中心点的特征;
27.对所述采样中心点的特征进行预设次数的升维处理,并将升维处理后得到的特征作为所述原始点云数据的目标特征。
28.本发明还提供一种点云分类装置,包括:
29.特征提取模块,用于对原始点云数据进行特征提取,得到所述原始点云数据的局部特征;
30.处理模块,用于将所述局部特征输入第一处理分支进行高频特征提取,得到所述局部特征的高频特征,将所述局部特征输入第二处理分支进行低频特征提取,得到所述局部特征的低频特征;
31.拼接模块,用于将所述高频特征与所述低频特征进行拼接,并将拼接后得到的特征进行升维处理,得到所述原始点云数据的目标特征;
32.分类模块,用于将所述目标特征输入分类器,得到所述原始点云数据的分类结果,所述分类器是基于点云数据样本及其对应的类别标签训练得到的。
33.本发明还提供一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述任一种所述点云分类方法。
34.本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上述任一种点云分类方法。
35.本发明还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述点云分类方法。
36.本发明提供的点云分类方法及装置,通过在获取原始点云数据的局部特征之后,将获取的局部特征采用两个并行分支进行高频特征与低频特征的提取,并将获取的高频特征与低频特征拼接后的目标特征用于点云分类,降低了计算的复杂度。与此同时,在提取低频特征时,基于向量注意力处理,可以建立点云坐标之间的长距离依赖关系,进一步降低后续分类的复杂度,提升了点云分类的识别率。
附图说明
37.为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图简要地说明,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
38.图1是本发明提供的点云分类方法的流程示意图;
39.图2是应用本发明提供的点云分类方法的流程示意图;
40.图3是本发明提供的局部特征处理流程示意图;
41.图4是本发明提供的点云分类装置的结构示意图;
42.图5是本发明提供的电子设备的结构示意图。
具体实施方式
43.为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
44.随着数据采集硬件以及计算算力的飞速发展,蕴含丰富空间信息的3d数据被运用到计算机视觉的各个场景中,例如自动驾驶、虚拟现实、三维建模和机器人操作。3d数据的表现形式包括深度图、点云、网格和体素。其中,点云数据是从物体表面采样得到的一组点,可以保留三维空间中环境与物体最原始的信息,如位置坐标、色彩和反射面强度等。相比于密集规则的2d图像数据,3d点云数据更为稀疏,且具有存储无序性和分布不均匀性的特点,使得经典的卷积神经网络无法直接处理点云。同时,真实场景的三维点云存在许多噪声(背景和遮挡),给点云分类任务带来许多挑战。
45.相关方法中基于深度学习的点云分类方法根据点云数据处理方式的不同,分为多视几何法、三维体素法和基于点的方法。其中多视几何法和三维体素法首先需要将点云投影或栅格化为一个规则有序的网格,如二维图像和三维体素,然后使用二维或三维卷积神经网络进行学习,这种数据转换会造成一定程度的信息丢失。但随着获取的点云图像的复杂度越来越高,使得相关方法进行点云分类的效率越来越低。
46.针对相关方法中的缺陷,本发明提出一种点云分类方法,图1为本发明提供的点云分类方法的流程示意图。参照图1,本发明提供的点云分类方法可以包括:
47.步骤110,基于多层感知器,对原始点云数据的进行特征提取,得到所述原始点云数据的局部特征;
48.步骤120,将所述局部特征输入第一处理分支进行高频特征提取,得到所述局部特征的高频特征,将所述局部特征输入第二处理分支进行低频特征提取,得到所述局部特征的低频特征;
49.步骤130,将所述高频特征与所述低频特征进行拼接,并将拼接后得到的特征进行升维处理,得到所述原始点云数据的目标特征;
50.步骤140,将所述目标特征输入分类器,得到所述原始点云数据的分类结果,所述分类器是基于点云数据样本及其对应的类别标签训练得到的。
51.本发明提供的点云分类方法的执行主体可以是电子设备、电子设备中的部件、集成电路、或芯片。该电子设备可以是移动电子设备,也可以为非移动电子设备。示例性的,移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、超级移动个人计算机(ultra-mobile personal computer,umpc)、上网本或者个人数字助理(personal digital assistant,pda)等,非移动电子设备可以为服务器、网络附属存储器(network attached storage,nas)或个人计算机(personal computer,pc)等,本发明不作具体限定。
52.下面以计算机执行本发明提供的点云分类方法为例,详细说明本发明的技术方案。
53.在步骤110中,获取原始点云数据,对获取的原始点云数据进行特征提取。原始点云数据是包含目标的点云数据,用于后续的分类过程。对获取的原始点云数据进行特征提取,得到原始点云数据的局部特征。
54.mlp(multilayer perceptron,多层感知器),基于多层感知器,对获取的原始点云数据进行特征提取,得到原始点云的局部特征。
55.mlp=relu(batchnorm(conv2d(x)));
56.其中,x为输入的原始点云数据,relu为激活层,batchnorm为归一化处理,conv2d为卷积处理。
57.可选的,在获取原始点云数据,对原始点云数据进行特征提取之前,可以对获取的原始点云数据进行预处理。预处理包括随机尺度变换、位移、混合样本数据增强等操作。
58.在步骤120中,在获取局部特征之后,将获取的局部特征输入第一处理分支。基于第一处理分支,将得到的局部特征采用第一处理分支与第二处理分支进行并行处理。对局部特征进行高频特征提取,得到第一处理分支输出的局部特征的高频特征。将获取的局部特征输入第二处理分支。基于第二处理分支,对局部特征进行低频特征提取,得到第二处理分支输出的局部特征的低频特征。
59.具体的,第一处理分支可以是由最大池化层maxpool和残差mlp(resmlp)函数串联组成。在获取局部特征后,对获取的局部特征fg先输入最大池化层maxpool进行处理,然后再将最大池化层maxpool进行处理后得到的特征输入残差mlp(resmlp)函数进行处理,最终得到局部特征的高频特征。
60.f
mp
=maxpool(fg);
61.fh=resmlp(f
mp
);
62.其中,fg为局部特征,f
mp
为最大池化层maxpool进行处理后得到的特征,fh为局部特征的高频特征。
63.在获取局部特征之后,将获取的局部特征输入第二处理分支。基于第二处理分支,对局部特征进行处理,得到第二处理分支输出的局部特征的高频特征。
64.具体的,第二处理分支可以是由平均池化层和局部注意力模块串联组成。先将局部特征fg输入平均池化层avgpool,得到平均池化层处理后的特征f
ap

65.f
ap
=avgpool(fg);
66.将平均池化层处理后的特征f
ap
基于局部注意力模块,可以将平均池化层处理后的特征f
ap
中的具有相似特征的点聚集,从而得到局部特征的低频特征。
67.在基于平均池化层处理后的特征进行局部注意力模块的处理,可以建立点云坐标
之间的长距离依赖关系,降低后续分类的复杂度。
68.可以理解的是,将得到的的局部特征采用两个并行分支进行特征提取,一个分支可以由最大池化层maxpool和残差mlp(resmlp)串联组成,用于提取高频特征;另一分支可以由平均池化层avgpool和局部注意力模块串联组成,旨在提取低频特征,实现了局部特征的高频特征与低频特征的分别提取。
69.在步骤130中,在获取局部特征的高频特征以及局部特征的低频特征之后,将得到的高频特征以及低频特征进行拼接,得到原始点云数据的目标特征。
70.将得到的高频特征以及低频特征进行拼接,并将拼接后得到的特征进行升维处理,得到原始点云数据的目标特征,用于后续点云分类的过程。
71.在将得到的高频特征与低频特征进行拼接后,得到采样中心点的特征。将采样中心点的特征进行升维处理,升维处理的过程可以是:获取拼接后的特征的近邻特征,将拼接的特征与获取的近邻特征作差,得到相对特征;将得到的相对特征与拼接后的特征进行拼接,并将得到的特征使用多层感知器进行升维;然后将得到的升维的特征提取其对应的高频特征与低频特征,并将提取得到的高频特征与低频特征进行拼接,将得到的特征作为原始点云数据的目标特征。
72.在步骤140中,在得到目标特征后,将得到的目标特征输入分类器。分类器是基于点云数据样本及其对应的类别标签训练得到的。
73.将得到的目标输入分类器进行分类,得到分类器输出的分类结果。其中,分类器是预先训练好的有监督的分类器。
74.本发明实施例提供的点云分类方法,通过在获取原始点云数据的局部特征之后,将获取的局部特征采用两个并行分支进行高频特征与低频特征的提取,并将获取的高频特征与低频特征拼接后的目标特征用于点云分类,降低了计算的复杂度。与此同时,在提取低频特征时,基于向量注意力处理,可以建立点云坐标之间的长距离依赖关系,进一步降低后续分类的复杂度,提升了点云分类的识别率。
75.在一个实施例中,将所述局部特征输入第二处理分支进行低频特征提取,得到所述局部特征的低频特征,包括:将所述局部特征进行平均池化处理,得到平均池化处理后的特征向量;对所述特征向量进行层次二分聚类,得到所述特征向量的多个特征簇;基于向量注意力算法,分别确定各特征簇中的特征关系,并将得到的多个特征关系进行合并,得到所述局部特征的低频特征。
76.第二处理分支可以是由平均池化层和局部注意力模块串联组成。将局部特征进行平均池化处理,可以是将局部特征fg输入平均池化层avgpool,得到平均池化处理后的特征向量f
ap

77.f
ap
=avgpool(fg);
78.在得到特征向量f
ap
后,可以将f
ap
输入包含向量注意力算法的局部注意力模块,获取局部特征的低频特征f
l

79.f
l
=localattention(f
ap
);
80.localattention表示局部注意力模块,即对于特征向量(s
×
d为维度),通过线性映射得到queries,keys,values,简记为q,k,v。然后对根据其内
容(特征)在高维特征空间进行层次二分聚类,以保证聚类后每个类大小相同。采用transformer中标准的多头配置(设置4个头),每个头独立执行q,k,v的生成和聚类操作。
81.层次二分聚类具体过程用公式表示为:
[0082][0083][0084][0085][0086]
其中c1,c2表示原始聚类中心,表示层次二分聚类后得到的特征簇。dist表示欧式距离。经过n次(n=log2l)二分聚类迭代,最终得到l个大小相等的特征簇(可以设置为16)。k和v也根据相同的索引划分为相应的子集和在每个特征簇内,使用向量注意力算法(vector attention,va)计算特征簇内特征关系:
[0087]
yi=va(qi,ki,vi);
[0088][0089]
最后将每个簇的特征按原始顺序合并为从而得到局部特征的低频特征f
l

[0090]fl
=linear(y)+f
ap

[0091]
本发明实施例提供的点云分类方法,通过在特征空间中将具有相似特征的点聚集到同一类,并在每个类内计算注意力,建立长距离依赖关系,显著地降低后续进行点云分类计算复杂度。与此同时,基于层次二分聚类划分局部,减少了向量注意力的计算量。
[0092]
在一个实施例中,将所述局部特征输入第一处理分支进行高频特征提取,得到所述局部特征的高频特征,包括:将所述局部特征进行最大池化处理,得到最大池化处理后的局部特征;将最大池化处理后的局部特征进行残差处理,得到所述局部特征的高频特征。
[0093]
第一处理分支可以由最大池化层maxpool和残差mlp(resmlp)函数串联组成。在获取局部特征后,对获取的局部特征fg先输入最大池化层maxpool进行处理,得到最大池化处理后的局部特征f
mp
,然后再将最大池化层maxpool进行处理后得到的特征f
mp
输入残差mlp(resmlp)函数进行处理,最终得到局部特征的高频特征。
[0094]fmp
=maxpool(fg);
[0095]fh
=resmlp(f
mp
);
[0096]
其中,fg为局部特征,f
mp
为最大池化层maxpool进行处理后得到的特征,fh为局部特征的高频特征。
[0097]
resmlp(f
mp
)=leakyrelu(batchnorm(conv1d(f
mp
)))+f
mp
[0098]
其中,leakyrelu为激活层,batchnorm为归一化处理,conv1d为卷积处理。
[0099]
本发明实施例提供的点云分类方法,通过将局部特征输入第一处理分支,得到第一处理分支输出的所述局部特征的高频特征,实现了局部特征中高频特征的提取。
[0100]
在一个实施例中,对原始点云数据进行特征提取,得到所述原始点云数据的局部特征,包括:对原始点云数据进行下采样,获取所述原始点云数据的采样中心点;基于k近邻算法,确定所述采样中心点对应的近邻点;基于所述近邻点的坐标与所述采样中心点的坐标,得到所述近邻点与所述采样中心点的相对位置坐标;将所述相对位置坐标与所述采样中心点按坐标维度进行拼接,得到拼接后的六维坐标;基于多层感知器,将所述六维坐标映射到高维空间,得到所述原始点云数据的局部特征。
[0101]
对原始点云数据进行下采样,获取所述原始点云数据的采样中心点pi,然后对每个采样的中心点pi使用k近邻算法(knn)寻找其近邻点pj;
[0102]
pi=fps(p);
[0103]
pj=knn(pi),k=16;
[0104]
将近邻点pj与中心点pi作差得到相对位置坐标p
j-pi,再与中心点pi按坐标维度拼接起来,使用多层感知器(mlp)将采样中心点与邻域点的空间关系映射到高维空间维度为64,记为d),从而提取深层次的局部特征:
[0105]fg
=mlp(||pi,p
j-pi||);
[0106]
mlp=relu(batchnorm(conv2d(x)));
[0107]
其中,x为输入的原始点云数据,relu为激活层,batchnorm为归一化处理,conv2d为卷积处理。
[0108]
本发明实施例提供的点云分类方法,通过对原始点云数据进行特征提取,得到所述原始点云数据的局部特征,对原始点云数据下采样后进行筛选处理,减少了点云数据的数据量,方便后续处理过程。
[0109]
在一个实施例中,对原始点云数据进行下采样,获取所述原始点云数据的采样中心点,包括:将原始点云数据归一化到单位球体内,并对归一化后的原始点云数据进行均匀采样,得到预设个数的点云样本;基于最远点采样法,对所述点云样本进行下采样,得到所述点云样本的采样中心点。
[0110]
在获取原始点云数据后,首先将点云的三维坐标数据归一化到单位球体内;再对归一化后的原始点云数据进行均匀采样,例如,可以均匀采样1024个点,得到即为预设个数的点云样本。
[0111]
基于最远点采样法(fps)以2倍率对点云样本p进行下采样,得到点云样本的采样中心点。
[0112]
本发明实施例提供的点云分类方法,通过将原始点云数据归一化到单位球体内,并对归一化后的原始点云数据进行均匀采样,得到预设个数的点云样本,基于最远点采样法,对点云样本进行下采样,得到点云样本的采样中心点,为后续基于采样中心点进行原始点云数据的局部特征的提取提供了基础。
[0113]
在一个实施例中,将所述高频特征与所述低频特征进行拼接,并将拼接后得到的特征进行升维处理,得到所述原始点云数据的目标特征,包括:将所述高频特征与所述低频特征进行拼接,得到采样中心点的特征;对所述采样中心点的特征进行预设次数的升维处理,并将升维处理后得到的特征作为所述原始点云数据的目标特征。
[0114]
在得到局部特征的高频特征与局部特征的低频特征之后,将得到的高频特征与低频特征进行拼接,得到采样中心点的特征。其中,采样中心点的特征为原始点云数据的核心特征。
[0115]
在得到采样中心点的特征之后,为了便于后续进行点云分类的过程,将采样中心点的特征进行预设次数的升维处理,将升维处理后得到的特征作为原始点云数据的目标特征,目标特征为用于后续点云分类的特征。
[0116]
其中,对采样中心点的特征进行升维处理,可以包括:获取的采样中心点的特征的近邻特征,将采样中心点的特征与获取的近邻特征作差,得到相对特征;将得到的相对特征与采样中心点的特征进行拼接,并将拼接后的特征使用多层感知器进行升维;然后将得到的升维的特征提取其对应的高频特征与低频特征,并将提取得到的高频特征与低频特征进行拼接;最后将得到的拼接后的特征作为升维处理后得到的特征。
[0117]
本发明实施例提供的点云分类方法,通过在得到局部特征的高频特征与局部特征的低频特征之后,将得到的高频特征与低频特征进行拼接,得到采样中心点的特征。并将中心点的特征进行升维处理,得到原始点云数据的目标特征,为后续进行点云分类提供了基础。
[0118]
下面以一应用本发明提供的点云分类方法的流程示意图图2为例,说明本发明提供的技术方案:
[0119]
在步骤210中,在获取原始点云数据后,首先将点云的三维坐标数据归一化到单位球体内;再对其均匀采样1024个点,得到
[0120]
在步骤220中,由输入点的坐标p,利用最远点采样法(fps)以2倍率进行下采样,然后对每个采样的中心点pi使用k近邻算法(knn)寻找其近邻点pj;
[0121]
pi=fps(p);
[0122]
pj=knn(pi),k=16;
[0123]
在步骤230中,将近邻点pj与中心点pi作差得到相对位置坐标p
j-pi,再与中心点pi按坐标维度拼接起来,使用多层感知器(mlp)将采样中心点与邻域点的空间关系映射到高维空间维度为64,记为d),从而提取深层次的局部特征fg:
[0124]fg
=mlp(||pi,p
j-pi||);
[0125]
mlp=relu(batchnorm(conv2d(x)));
[0126]
其中,x为输入的原始点云数据,relu为激活层,batchnorm为归一化处理,conv2d为卷积处理。
[0127]
在步骤240中,提取局部特征的高频特征与局部特征的低频特征,提取流程如图3本发明提供的局部特征处理流程示意图所示,将得到的局部特征fg采用两个并行分支进行特征聚合,第一处理分支由最大池化层maxpool和残差函数mlp(resmlp)串联组成,用于获取局部特征的高频特征fh,第二处理分支由平均池化层avgpool和局部注意力模块串联组成,旨在提取局部特征的低频特征f
l

[0128]
第一处理分支是由最大池化层maxpool和残差mlp(resmlp)函数串联组成。在获取局部特征后,对获取的局部特征fg先输入最大池化层maxpool进行处理,得到最大池化处理后的局部特征f
mp
,然后再将最大池化层maxpool进行处理后得到的特征f
mp
输入残差mlp(resmlp)函数进行处理,最终得到局部特征的高频特征fh。
[0129]fmp
=maxpool(fg);
[0130]fh
=resmlp(f
mp
);
[0131]
其中,fg为局部特征,f
mp
为最大池化层maxpool进行处理后得到的特征,fh为局部特征的高频特征。
[0132]
第二处理分支是先将局部特征fg输入平均池化层avgpool,得到平均池化层处理后的特征向量f
ap
。再将f
ap
输入包含向量注意力算法的局部注意力模块,得到局部特征的低频特征f
l

[0133]fap
=avgpool(fg);
[0134]fl
=localattention(f
ap
);
[0135]
其中:
[0136]
resmlp(f
mp
)=leakyrelu(batchnorm(conv1d(f
mp
)))+f
mp
[0137]
localattention表示局部注意力模块,即对于特征向量(s为步骤220下采样中心点的数目),通过线性映射得到queries,keys,values,简记为q,k,v。然后对根据其内容(特征)在高维特征空间进行层次二分聚类,以保证聚类后每个类大小相同。采用transformer中标准的多头配置(设置4个头),每个头独立执行q,k,v的生成和聚类操作。层次二分聚类具体过程用公式表示为:
[0138][0139][0140][0141][0142]
其中c1,c2表示原始聚类中心,表示二分聚类后得到的特征簇。dist表示欧式距离。经过n次(n=log2l)二分聚类迭代,最终得到l个大小相等的特征簇(设置为16)。k和v也根据相同的索引划分为相应的子集和在每个特征簇内,使用向量注意力(vector attention,va)计算特征簇内特征关系:
[0143]
yi=va(qi,ki,vi);
[0144][0145]
最后将每个特征簇的特征按原始顺序合并为
[0146]fl
=linear(y)+f
ap
[0147]
步骤250,将两个处理分支聚合后的特征fh和f
l
按特征维度拼接起来,然后经过卷积核为1的卷积层、batchnorm层、leakyrelu激活函数,作为每个采样中心点的特征fi:
[0148]fi
=leakyrelu(batchnorm(conv1d(||fh,f
l
||)));
[0149]
步骤260,重复步骤220,根据在三维坐标空间中下采样中心点和近邻点的索引,由fi可得到下采样中心点特征和近邻点特征将中心点特征和近邻点特征作差得到相对特征再与中心点特征按特征维度拼接起来,使用多层感知器(mlp)进行升维操作(维度增倍):
[0150][0151]
mlp=relu(batchnorm(conv2d(
·
)));
[0152]
然后重复步骤240与步骤250;
[0153]
步骤270,重复三次步骤260,最后得到32
×
1024的特征向量,通过全局最大池化层得到1
×
1024的特征向量作为点云的最终特征表示,最后传入分类器,得到分类结果。
[0154]
图4为本发明提供的点云分类装置的结构示意图,如图4所示,该装置包括:
[0155]
特征提取模块410,用于对原始点云数据进行特征提取,得到所述原始点云数据的局部特征;
[0156]
处理模块420,用于将所述局部特征输入第一处理分支进行高频特征提取,得到所述局部特征的高频特征,将所述局部特征输入第二处理分支进行低频特征提取,得到所述局部特征的低频特征;
[0157]
拼接模块430,用于将所述高频特征与所述低频特征进行拼接,并将拼接后得到的特征进行升维处理,得到所述原始点云数据的目标特征;
[0158]
分类模块440,用于将所述目标特征输入分类器,得到所述原始点云数据的分类结果,所述分类器是基于点云数据样本及其对应的类别标签训练得到的。
[0159]
本发明实施例提供的点云分类装置,通过在获取原始点云数据的局部特征之后,将获取的局部特征采用两个并行分支进行高频特征与低频特征的提取,并将获取的高频特征与低频特征拼接后的目标特征用于点云分类,降低了计算的复杂度。与此同时,在提取低频特征时,基于向量注意力处理,可以建立点云坐标之间的长距离依赖关系,进一步降低后续分类的复杂度,提升了点云分类的识别率。
[0160]
在一个实施例中,处理模块420具体用于:
[0161]
将所述局部特征输入第二处理分支进行低频特征提取,得到所述局部特征的低频特征,包括:
[0162]
将所述局部特征进行平均池化处理,得到平均池化处理后的特征向量;
[0163]
对所述特征向量进行层次二分聚类,得到所述特征向量的多个特征簇;
[0164]
基于向量注意力算法,分别确定各特征簇中的特征关系,并将得到的多个特征关系进行合并,得到所述局部特征的低频特征。
[0165]
在一个实施例中,特征提取模块410具体用于:
[0166]
对原始点云数据进行特征提取,得到所述原始点云数据的局部特征,包括:
[0167]
对原始点云数据进行下采样,获取所述原始点云数据的采样中心点,基于k近邻算法,确定所述采样中心点对应的近邻点;
[0168]
基于所述近邻点的坐标与所述采样中心点的坐标,得到所述近邻点与所述采样中心点的相对位置坐标;
[0169]
将所述相对位置坐标与所述采样中心点按坐标维度进行拼接,得到拼接后的六维坐标;
[0170]
基于多层感知器,将所述六维坐标映射到高维空间,得到所述原始点云数据的局部特征。
[0171]
在一个实施例中,特征提取模块410具体用于:
[0172]
对原始点云数据进行下采样,获取所述原始点云数据的采样中心点,包括:
[0173]
将原始点云数据归一化到单位球体内,并对归一化后的原始点云数据进行均匀采样,得到预设个数的点云样本;
[0174]
基于最远点采样法,对所述点云样本进行下采样,得到所述点云样本的采样中心点。
[0175]
在一个实施例中,拼接模块430具体用于:
[0176]
将所述高频特征与所述低频特征进行拼接,并将拼接后得到的特征进行升维处理,得到所述原始点云数据的目标特征,包括:
[0177]
将所述高频特征与所述低频特征进行拼接,得到采样中心点的特征;
[0178]
对所述采样中心点的特征进行预设次数的升维处理,并将升维处理后得到的特征作为所述原始点云数据的目标特征。
[0179]
图5示例了一种电子设备的实体结构示意图,如图5所示,该电子设备可以包括:处理器(processor)510、通信接口(communications interface)520、存储器(memory)530和通信总线540,其中,处理器510,通信接口520,存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令,以执行点云分类方法,该方法包括:
[0180]
对原始点云数据进行特征提取,得到所述原始点云数据的局部特征;
[0181]
将所述局部特征输入第一处理分支进行高频特征提取,得到所述局部特征的高频特征,将所述局部特征输入第二处理分支进行低频特征提取,得到所述局部特征的低频特征;
[0182]
将所述高频特征与所述低频特征进行拼接,并将拼接后得到的特征进行升维处理,得到所述原始点云数据的目标特征;
[0183]
将所述目标特征输入分类器,得到所述原始点云数据的分类结果,所述分类器是基于点云数据样本及其对应的类别标签训练得到的。
[0184]
此外,上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(rom,read-only memory)、随机存取存储器(ram,random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0185]
另一方面,本发明还提供一种计算机程序产品,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,计算机能够执行上述各方法所提供的点云分类方法,该方法包括:
[0186]
对原始点云数据进行特征提取,得到所述原始点云数据的局部特征;
[0187]
将所述局部特征输入第一处理分支进行高频特征提取,得到所述局部特征的高频特征,将所述局部特征输入第二处理分支进行低频特征提取,得到所述局部特征的低频特征;
[0188]
将所述高频特征与所述低频特征进行拼接,并将拼接后得到的特征进行升维处理,得到所述原始点云数据的目标特征;
[0189]
将所述目标特征输入分类器,得到所述原始点云数据的分类结果,所述分类器是基于点云数据样本及其对应的类别标签训练得到的。
[0190]
又一方面,本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各提供的点云分类方法,该方法包括:
[0191]
对原始点云数据进行特征提取,得到所述原始点云数据的局部特征;
[0192]
将所述局部特征输入第一处理分支进行高频特征提取,得到所述局部特征的高频特征,将所述局部特征输入第二处理分支进行低频特征提取,得到所述局部特征的低频特征;
[0193]
将所述高频特征与所述低频特征进行拼接,并将拼接后得到的特征进行升维处理,得到所述原始点云数据的目标特征;
[0194]
将所述目标特征输入分类器,得到所述原始点云数据的分类结果,所述分类器是基于点云数据样本及其对应的类别标签训练得到的。
[0195]
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
[0196]
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如rom/ram、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0197]
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1