基于注意力机制的点云语义分割方法、装置、设备及介质

1.本发明属于优化调度技术领域，特别涉及一种基于注意力机制的点云语义分割方法、装置、设备及介质。


背景技术：

2.场景语义分割在无人驾驶等领域有着很重要的应用价值，如路径规划，自主导航等等。而现存的3d点云分割方法对小规模的3d点云有好的分割效果，但是对较大规模点云(例如百万级别)的分割效果还有很大的进步空间。对于大场景点云进行更为高效的分割对无人驾驶领域的发展有着重要的意义。
3.由于大规模点云数据量大，处理起来相对小规模点云较为复杂，对硬件要求比较高。用于小规模点云降采样处理的最远处取样对于大规模点云而言不太适合，对点云的分割速率较慢。


技术实现要素：

4.本说明书实施例的目的是提供一种基于注意力机制的点云语义分割方法、装置、设备及介质。
5.为解决上述技术问题，本技术实施例通过以下方式实现的：
6.第一方面，本技术提供一种基于注意力机制的点云语义分割方法，该方法包括：
7.获取点云数据，并通过第一mlp层提取点云数据中每个点的特征；
8.采用预设数量的编码层对点云数据进行降采样，得到每层编码层对应的中间特征映射；编码层包括第一knn局部特征提取模块、第一残差注意力模块和随机降采样模块；
9.采用预设数量的解码层对中间特征映射进行上采样，得到每层解码层对应的上采样特征映射；解码层包括第二knn局部特征提取模块、第二残差注意力模块和上采样模块；
10.将上采样特征映射和相应编码层生成的中间特征映射连接起来进行汇总，得到汇总后特征映射；
11.采用第二mlp层将汇总后特征映射到最终的结果中。
12.在其中一个实施例中，每层编码层对点云数据进行降采样，得到每层编码层对应的中间特征映射，包括：
13.通过第一knn局部特征提取模块，得到第一增强特征向量；
14.将第一增强特征向量传递给第一残差注意力模块，得到第一残差特征向量；
15.通过随机降采样模块对第一残差特征向量进行随机降采样，得到中间特征映射。
16.在其中一个实施例中，通过第一knn局部特征提取模块，得到第一增强特征向量，包括：
17.通过第一knn局部特征提取模块采集第一查询点的k个邻近点；
18.对k个邻近点进行位置编码；
19.将k个位置编码及对应的k个邻近点特征串联，得到对应的第一增强特征向量。
20.在其中一个实施例中，将第一增强特征向量传递给第一残差注意力模块，得到第一残差特征向量，包括：
21.将第一增强特征向量传递给第一残差注意力模块，进行聚集相邻点的特征，得到聚合特征向量；
22.将第一增强特征向量与聚合特征向量相减，得到第一残差特征向量。
23.在其中一个实施例中，每层解码层对中间特征映射进行上采样，得到每层解码层对应的上采样特征映射，包括：
24.通过第二knn局部特征提取模块，得到第二增强特征向量；
25.将第二特征增强向量传递给第二残差注意力模块，得到第二残差特征向量；
26.通过邻近插值对第二残差特征向量进行上采样，得到上采样特征映射。
27.在其中一个实施例中，将上采样特征映射和相应编码层生成的中间特征映射连接起来进行汇总，得到汇总后特征映射，包括：
28.通过跳跃连接将上采样特征映射和相应编码层生成的中间特征映射连接起来进行汇总，得到汇总后特征映射。
29.第二方面，本技术提供一种基于注意力机制的点云语义分割装置，该装置包括：
30.获取模块，用于获取点云数据，并通过第一mlp层提取点云数据中每个点的特征；
31.降采样模块，用于采用预设数量的编码层对点云数据进行降采样，得到每层编码层对应的中间特征映射；编码层包括第一knn局部特征提取模块、第一残差注意力模块和随机降采样模块；
32.上采样模块，用于采用预设数量的解码层对中间特征映射进行上采样，得到每层解码层对应的上采样特征映射；解码层包括第二knn局部特征提取模块、第二残差注意力模块和上采样模块；
33.汇总模块，用于将上采样特征映射和相应编码层生成的中间特征映射连接起来进行汇总，得到汇总后特征映射；
34.映射模块，用于采用第二mlp层将汇总后特征映射到最终的结果中。
35.第三方面，本技术提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现如第一方面的基于注意力机制的点云语义分割方法。
36.第四方面，本技术提供一种可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面的基于注意力机制的点云语义分割方法。
37.由以上本说明书实施例提供的技术方案可见，该方案：通过设计随机降采样模块、knn局部特征提取模块、残差注意力模块结合的方式，通过knn算法和残差注意力机制聚合最近的k个点的相应特征来避免由于随机采样有可能造成的大量重要点信息的流失，保证了采样的有效性，同时也提高了采样的速率。
38.采用本技术提供的基于注意力机制的点云语义分割方法，可以提高车辆轨迹预测的精确度和模型灵活性，增强了算法的鲁棒性。
附图说明
39.为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或
现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
40.图1为本技术提供的基于注意力机制的点云语义分割方法的流程示意图；
41.图2为本技术提供的基于注意力机制的点云语义分割方法的又一流程示意图；
42.图3为本技术提供的残差注意力模块的原理示意图；
43.图4为本技术提供的基于注意力机制的点云语义分割装置的结构示意图；
44.图5为本技术提供的电子设备的结构示意图。
具体实施方式
45.为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。
46.以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本技术实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本技术。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本技术的描述。
47.在不背离本技术的范围或精神的情况下，可对本技术说明书的具体实施方式做多种改进和变化，这对本领域技术人员而言是显而易见的。由本技术的说明书得到的其他实施方式对技术人员而言是显而易见得的。本技术说明书和实施例仅是示例性的。
48.关于本文中所使用的“包含”、“包括”、“具有”、“含有”等等，均为开放性的用语，即意指包含但不限于。
49.本技术中的“份”如无特别说明，均按质量份计。
50.下面结合附图和实施例对本发明进一步详细说明。
51.参照图1，其示出了适用于本技术实施例提供的基于注意力机制的点云语义分割方法的流程示意图。
52.如图1所示，基于注意力机制的点云语义分割方法，可以包括：
53.s110、获取点云数据，并通过第一mlp层提取点云数据中每个点的特征。
54.具体的，点云数据可以包括大规模的点云数据和小规模的点云数据。
55.示例性的，点云数据的大小为n
×
din，其中n是点云数据中点的数量，而din是每个点的特征维数。
56.s120、采用预设数量的编码层对点云数据进行降采样，得到每层编码层对应的中间特征映射；编码层包括第一knn(k-nearestneighbor，k最近邻)局部特征提取模块、第一残差注意力模块和随机降采样模块。
57.具体的，每个编码层由随机采样操作和注意力模块组成，由于随机采样可能会导致许多有用的点的特征被丢弃，所以本技术采用随机降采样模块结合第一knn局部特征提取模块和第一残差注意力模块解决该问题，完成对点云有效的降采样。
58.预设数量可以根据实际需求进行设置，例如，预设数量为4，即采用4个编码层来逐步减小点云的数量相应的增加每个点的特征维数。下述实施例采用四层编码层为例进行说明。
59.每一层编码层的降采样速率为四倍率，例如，如图2所示，输入的点云数据中点个数为n，特征维数为32，那么接下来每一层输出点集的数量分别为(n/4，n/16，n/64，n/256)，与此同时，每一层逐点特征维数逐渐增大(64，128，256，512)。
60.继续参照图2，在一个实施例中，每层编码层对点云数据进行降采样，得到每层编码层对应的中间特征映射，包括：
61.通过第一knn局部特征提取模块，得到第一增强特征向量；
62.将第一增强特征向量传递给第一残差注意力模块，得到第一残差特征向量；
63.通过随机降采样模块对第一残差特征向量进行随机降采样，得到中间特征映射。
64.其中，过第一knn局部特征提取模块，得到第一增强特征向量，包括：
65.通过第一knn局部特征提取模块采集第一查询点的k个邻近点；
66.对k个邻近点进行位置编码；
67.将k个位置编码及对应的k个邻近点特征串联，得到对应的第一增强特征向量。
68.其中，将第一增强特征向量传递给第一残差注意力模块，得到第一残差特征向量，包括：
69.将第一增强特征向量传递给第一残差注意力模块，进行聚集相邻点的特征，得到聚合特征向量；
70.将第一增强特征向量与聚合特征向量相减，得到第一残差特征向量。
71.具体的，通过第一knn局部特征提取模块采集第一查询点pi的k个邻近点，对第一查询点pi的k个邻近点进行位置编码，将位置编码和对应的邻近点特征串联，得到对应的第一增强特征向量xi。将一系列第一增强特征向量xi传递给第一残差注意力模块，进行聚集相邻点的特征，得到聚合特征向量，最后将输入的第一增强特征向量和得到的聚合特征向量相减得到第一残差特征向量，相比直接得到的聚集特征向量，第一残差特征向量由于其相对性在分割时会表现的更加稳健。此时的每一个点的第一残差特征向量都聚合了周围k个邻近点的重要特征，此时再继续对点云进行随机降采样，既提高了计算速率，又可以保留更多的局部信息避免了随机采样造成的重要点的丢失。
72.具体的，如图3所示，qi＝wq·
xi73.ki＝wk·
xi[0074]vi
＝wv·
xi[0075]
其中，qi、ki、vi分别为对应第一增强特征向量xi的经过线性变化而成的，分别为第一增强特征向量xi的查询向量，键向量和值向量；wq、wk、wv均为共享的可学习的线性变换。
[0076]am
＝qi·kit
[0077]af
＝am·vi
[0078]
x
iout
＝x
i-af[0079]
其中，am为attention map(注意力层)，af为attention feature(注意力特征，即聚合特征向量元素)，x
iout
为第一残差特征向量元素。
[0080]
经过上述编码层后，采用了u-net网络，即编码器与解码器对称耦合。
[0081]
s130、采用预设数量的解码层对中间特征映射进行上采样，得到每层解码层对应的上采样特征映射；解码层包括第二knn局部特征提取模块、第二残差注意力模块和上采样模块。
[0082]
具体的，解码层的数量与编码层的数量一致。本技术实施例中采用4层。
[0083]
继续参照图2，在一个实施例中，每层解码层对中间特征映射进行上采样，得到每层解码层对应的上采样特征映射，包括：
[0084]
通过第二knn局部特征提取模块，得到第二增强特征向量；
[0085]
将第二特征增强向量传递给第二残差注意力模块，得到第二残差特征向量；
[0086]
通过邻近插值对第二残差特征向量进行上采样，得到上采样特征映射。
[0087]
具体的，对每个输入点特征进行线性层处理，然后进行批归一化和relu处理，然后通过邻近插值将特征映射到更高分辨率的点集上，得到上采样特征映射。
[0088]
s140、将上采样特征映射和相应编码层生成的中间特征映射连接起来进行汇总，得到汇总后特征映射，包括：
[0089]
通过跳跃连接将上采样特征映射和相应编码层生成的中间特征映射连接起来进行汇总，得到汇总后特征映射。
[0090]
s150、采用第二mlp层将汇总后特征映射到最终的结果中，完成了点云语义分割。
[0091]
本技术实施例提供的基于注意力机制的点云语义分割方法，通过设计随机降采样模块、knn局部特征提取模块、残差注意力模块结合的方式，通过knn算法和残差注意力机制聚合最近的k个点的相应特征来避免由于随机采样有可能造成的大量重要点信息的流失，保证了采样的有效性，同时也提高了采样的速率。
[0092]
采用本技术提供的基于注意力机制的点云语义分割方法，可以提高车辆轨迹预测的精确度和模型灵活性，增强了算法的鲁棒性。
[0093]
参照图4，其示出了根据本技术一个实施例描述的基于注意力机制的点云语义分割装置的结构示意图。
[0094]
如图4所示，基于注意力机制的点云语义分割装置400，可以包括：
[0095]
获取模块410，用于获取点云数据，并通过第一mlp层提取点云数据中每个点的特征；
[0096]
降采样模块420，用于采用预设数量的编码层对点云数据进行降采样，得到每层编码层对应的中间特征映射；编码层包括第一knn局部特征提取模块、第一残差注意力模块和随机降采样模块；
[0097]
上采样模块430，用于采用预设数量的解码层对中间特征映射进行上采样，得到每层解码层对应的上采样特征映射；解码层包括第二knn局部特征提取模块、第二残差注意力模块和上采样模块；
[0098]
汇总模块440，用于将上采样特征映射和相应编码层生成的中间特征映射连接起来进行汇总，得到汇总后特征映射；
[0099]
映射模块450，用于采用第二mlp层将汇总后特征映射到最终的结果中。
[0100]
可选的，降采样模块420还用于：
[0101]
通过第一knn局部特征提取模块，得到第一增强特征向量；
[0102]
将第一增强特征向量传递给第一残差注意力模块，得到第一残差特征向量；
[0103]
通过随机降采样模块对第一残差特征向量进行随机降采样，得到中间特征映射。
[0104]
可选的，降采样模块420还用于：
[0105]
通过第一knn局部特征提取模块采集第一查询点的k个邻近点；
[0106]
对k个邻近点进行位置编码；
[0107]
将k个位置编码及对应的k个邻近点特征串联，得到对应的第一增强特征向量。
[0108]
可选的，降采样模块420还用于：
[0109]
将第一增强特征向量传递给第一残差注意力模块，进行聚集相邻点的特征，得到聚合特征向量；
[0110]
将第一增强特征向量与聚合特征向量相减，得到第一残差特征向量。
[0111]
可选的，上采样模块430还用于：
[0112]
通过第二knn局部特征提取模块，得到第二增强特征向量；
[0113]
将第二特征增强向量传递给第二残差注意力模块，得到第二残差特征向量；
[0114]
通过邻近插值对第二残差特征向量进行上采样，得到上采样特征映射。
[0115]
可选的，汇总模块440还用于：
[0116]
通过跳跃连接将上采样特征映射和相应编码层生成的中间特征映射连接起来进行汇总，得到汇总后特征映射。
[0117]
本实施例提供的一种基于注意力机制的点云语义分割装置，可以执行上述方法的实施例，其实现原理和技术效果类似，在此不再赘述。
[0118]
图5为本发明实施例提供的一种电子设备的结构示意图。如图5所示，示出了适于用来实现本技术实施例的电子设备300的结构示意图。
[0119]
如图5所示，电子设备300包括中央处理单元(cpu)301，其可以根据存储在只读存储器(rom)302中的程序或者从存储部分308加载到随机访问存储器(ram)303中的程序而执行各种适当的动作和处理。在ram 303中，还存储有设备300操作所需的各种程序和数据。cpu 301、rom 302以及ram 303通过总线304彼此相连。输入/输出(i/o)接口305也连接至总线304。
[0120]
以下部件连接至i/o接口305：包括键盘、鼠标等的输入部分306；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分307；包括硬盘等的存储部分308；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分309。通信部分309经由诸如因特网的网络执行通信处理。驱动器310也根据需要连接至i/o接口306。可拆卸介质311，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器310上，以便于从其上读出的计算机程序根据需要被安装入存储部分308。
[0121]
特别地，根据本公开的实施例，上文参考图1描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行上述基于注意力机制的点云语义分割方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分309从网络上被下载和安装，和/或从可拆卸介质311被安装。
[0122]
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，前述模块、程序段、或代码的一部分包含一个或多个
用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0123]
描述于本技术实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中。这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。
[0124]
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、笔记本电脑、行动电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
[0125]
作为另一方面，本技术还提供了一种存储介质，该存储介质可以是上述实施例中前述装置中所包含的存储介质；也可以是单独存在，未装配入设备中的存储介质。存储介质存储有一个或者一个以上程序，前述程序被一个或者一个以上的处理器用来执行描述于本技术的基于注意力机制的点云语义分割方法。
[0126]
存储介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
[0127]
需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
[0128]
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。