基于残差自然注意力的点云特征提取方法、系统及架构

1.本发明属于点云特征提取技术领域，涉及一种基于残差自然注意力的点云特征提取方法、系统及架构。


背景技术：

2.三维数据通常使用三维传感器扫描现实世界物体的可见表面获得，其可以获取到更丰富的几何信息、深度信息以及尺度信息。常见的三维数据格式包括隐式曲面、体素栅格、网格以及点云。
3.点云是具有指定x、y、z坐标的一组值，因其不需要以超大量数据节点来表示三维模型结构，容易快速获取，占用存储空间小等优势，被广泛应用于自动驾驶、机器人、无人机、影视业等各类领域。与如音频信号、图像信号这类具有栅格化特性结构的数据不同，点云是非欧几里得数据结构数据。无论是对点云内部数据点之间局部几何关系的处理与提取，还是表示点云本身形状的全局几何特征的分析与使用，都是点云识别、关键点检测、分类分割、目标检测和三维重建等后续应用任务的基础。因此针对点云这类非欧几里得结构数据，从复杂的几何结构中合理有效地提取出可以用于其他任务的拓扑结构特征，在计算机视觉中具有很强的研究价值。
4.在已有的点云特征提取相关研究中，邻居作为点云局部特征的几何结构重要组成部分，一直以来都是重要的特征提取数据来源之一。到目前为止，几乎所有涉及到邻居搜索算法的深度学习点云特征提取方法，对邻居的定义都是在k近邻居和球查询邻居中二者选其一。
5.虽然不同的邻居搜索算法会导致邻域定义范围不同，但是这些携带不同特征的邻域对点云特征提取的结果会有何影响，却是一个没有被专门探讨过的问题。另外，不同数据点所携带的特征在整个点云中所产生的影响有所不同，不同邻域中的特征对整个点云特征的影响也有着不同。该如何定义、选取、重点关注并利用点云中各个数据点及其邻居，进一步根据这些邻居提取出局部几何结构的特征，最后高效地融合到点云整体特征中，是一个具有挑战的热点问题。且现实生活中采集到的点云数据通常具有噪声，在这些含噪声的数据上直接使用已有方法，则会在利用特征进行点云识别、分割、重建等任务时产生较大误差。


技术实现要素：

6.本发明的目的在于提供一种基于残差自然注意力的点云特征提取方法、系统及架构，保证特征提取能力的前提下，减少了训练过程中学习退化和梯度消失现象。
7.为了达到上述目的，本发明的基础方案为：一种基于残差自然注意力的点云特征提取方法，包括如下步骤：
8.输入原始三维点云；
9.利用串联堆叠的多个带偏移的残差自然注意力层，和多层感知机组成的变换层，
构建特征提取网络模型；
10.将原始三维点云输入特征提取网络模型的第一层带偏移的残差自然注意力层，特征提取网络模型第i层带偏移的残差自然注意力层的输入为第i层带偏移的残差自然注意力层之前的各层的输出特征；
11.多个带偏移的残差自然注意力层的输出特征经过拼接后输入变换层，变换层对输入特征进行拟合变换，最后得到存在于高维度量空间中的点云特征；
12.对特征提取网络模型进行训练，学习网络的权重参数，得到优化的特征提取网络模型。
13.本基础方案的工作原理和有益效果在于：多个带偏移的残差自然注意力层进行串联堆叠，让特征提取网络模型中后一层与前一层之间直接相连，将前面全部层中已经提取出的特征图进行重复利用，在不浪费已有计算结果特征的情况下，还可以将特征提取网络模型中各个层的整体特征维度大小设计地相对小，减少冗余数据。
14.带偏移的残差自然注意力层对特征进行偏移量计算，以获取数据点之间的关系特征，可以获取更多的邻域特征，并保持原有特征的鲁棒性。残差网络结构在合理增加网络深度的同时，还可以一定程度上避免学习过程出现的网络退化现象。多个带偏移的残差自然注意力层采用类似稠密网络的架构堆叠，可以将每一层的特征都进行保留并后继续处理，该网络结构在降低模型计算量、避免了特征浪费与冗余情况，还有效避免了过拟合现象。同时在保证特征提取能力的前提下，减少了训练过程中学习退化和梯度消失现象。
15.进一步，所述原始三维点云为n
in
×din
的点云特征向量，其中n
in
是点云数据中全部数据点的数量，d
in
是输入点云所在度量空间的维度；在三维的度量空间中，每一个点云数据中的数据点xi都符合都符合表示三维空间。
16.设置原始三维点云向量，便于后续点云特征提取。
17.进一步，带偏移的残差自然注意力层由核心是自注意力网络的自然注意力层、特征偏移结构、残差结构组成。
18.结构简单，利于使用。
19.进一步，得到自然注意力层的输出特征的方法如下：
20.原始三维点云为n
in
×din
的点云特征向量，其中n
in
是点云数据中全部数据点的数量，d
in
是输入点云所在度量空间的维度；将原始三维点云输入特征提取网络模型；
21.对输入向量进行最远点采样，得到n
out
×din
的点云特征向量，n
out
为采样个数；
22.利用球查询方法，并结合自然邻居搜索方法，对输入向量搜索最近邻居，得到n
out
×
(λ+k)
×din
的点云特征向量，λ、k分别是通过自然邻居和球查询搜索得到的邻居个数；
23.n
out
×din
点云特征向量重复λ+k次后堆叠，得到n
out
×
(λ+k)
×din
的新向量，新向量与经过最远点采样及邻居搜索得到的n
out
×
(λ+k)
×din
点云特征向量按固定维度相减后再串联拼接，得到n
out
×
(λ+k)
×
2d
in
的点云特征向量；
24.随后送入自注意力网络，自注意力网络将数据点自身特征fi和邻居特征的偏移量作为数据点本身新的局部特征进行参数学习，把数据点所有邻居的特征汇聚到数据点自身，并根据不同权重对不同的数据点施加有区分度的注意力，进行局部特征提取与聚合：
[0025][0026]
其中，fi代表着数据点xi所携带的特征；x
i,j
代表着xi的第j个邻居，满足的第j个邻居，满足的第j个邻居，满足φ(
·
)和ψ(
·
)分别是带有不同权重的多层感知机线性投影模块；ρ()代表soft-max正则化操作；θ(
·
)是一个具有可训练参数的小型位置编码网络；
[0027]
最后通过平均池化和最大池化操作，保留φ(f)的主要特征并减少参数和计算量，得到n
out
×dout
的点云特征向量，d
out
是输出特征向量的维度。
[0028]
进一步，对输入向量进行自然邻居搜索，具体方法如下：
[0029]
对于xi∈x的数据集合，自然邻居的形式化描述如下：
[0030]
其中，nn(xi)是指点xi的自然邻居集合；knn
λ
(xi)是指点xi的λ近邻居集合合，knn
λ
(xj)是指点xj的λ近邻居集合；λ是自然邻居的特征值，当自然邻居搜索过程达到稳定状态后，自然邻居的特征值就是搜索轮次r，定义如下：
[0031][0032]
其中，搜索轮次r的取值范围是[1,λ]；λ的取值范围满足2≤λ≤n，n为常数；
[0033]
定义两个辅助函数，如下：
[0034]
knnk(xi)＝findknn(xi,r,x)，其功能为找到数据点xi在x集合中的k近邻居里，到xi欧氏距离第r近的邻居节点的索引；
[0035]
set.count(item)，其功能为统计集合set中元素item出现的次数；
[0036]
基于两个辅助函数，进行全部的自然邻居搜索，通过邻域的圈定与选择，将邻居的特征聚合到中心数据点，得到一个中心数据点的局部特征；
[0037]
采用并行化计算自然邻居的方法来加速整个自然邻居搜索速度。
[0038]
将自然邻居搜索算法应用于点云特征提取，使用自然邻居和球查询搜索每个数据点的邻居，并使用这两类邻域范围内的数据点进行局部邻域的特征提取与聚合。使用自然邻居进行邻居图构建时，复杂几何结构的部分不会产生不同部件的数据点连接，很好地保留了每个不同拓扑结构的局部特征。
[0039]
通过对数据点所拥有自然邻居数量的判断，可以快速发现离群点，而这类离群点在含噪声点云的先验中也大概率属于噪声点。在后续的处理中，对噪声数据点，可以进行忽略或赋予一个较低注意力权重，达到对噪声过滤或降低对噪声点信任程度的效果。
[0040]
进一步，自注意力网络的输入是点云特征向量的粗局部特征其中，n是经过最远点采样留下的有效数据点个数；c是注意力通道数，c＝λ+k，代表着注意力通道宽度为自然邻居特征值与球查询最近邻居个数限制的和；d
in
是输入自注意力网络的特征维度数；自注意力网络输入的点云特征向量经过多层感知机线性投影得到q(query)、k
(key)和v(value)，规则为：
[0041][0042]
其中，都是存在于多层感知机中的可学习参数；
[0043]
同时自注意力网络使用多头注意力机制，通过多个自注意力网络学习权重，最后再通过一个平均池化操作，将每一头的注意力进行平均化处理；
[0044]
最终输出的是一个经点云下采样后的感受野中，每一个数据点的邻域局部特征唯一注意力特征矩阵ha，将该过程形式化表示，如下式：
[0045][0046]
其中，注意力头数即自注意力网络的个数为h，a为attention的简写,和h为一体；代表对高维矩阵k的第2与第3维进行转置；多层感知机包括可学习参数矩阵不同注意力头的多层感知机中，可学习参数矩阵相互独立、互不共享。
[0047]
使用注意力机制，结合自然邻居搜索算法，邻域内数据点自身所携带的特征会根据注意力机制被赋给一个不同的权重，重点关注几何特征明显的部分，保证提取到点云局部特征的有效性。
[0048]
进一步，带偏移的残差自然注意力层的特征偏移结构为：
[0049]
将n
out
×dout
的点云特征向量与原始点云特征做矩阵减法操作，得到自然注意力层的输出特征与原始点云特征的特征偏移：
[0050][0051]
其中，fi和fj分别是经过自然注意力层的局部自然注意力特征和fi所对应原点云内数据点的特征；为表示中间过程的一个函数符号，代表拟合函数；θ＝(θ1,θ2,
…
,θm)，每一个θm与向量(f
j-fi)拥有相同的维度，θm为m个由线性变换层、批规范化层和relu激活函数层共同组成的多层感知机。
[0052]
特征偏移可以获取更多的邻域特征，并保持原有特征的鲁棒性。
[0053]
进一步，带偏移的残差自然注意力层的残差结构为：
[0054]
经过了自然注意力层及特征偏移后的点云特征为而原始输入的点云特征将作为直接参与残差计算的特征f，最终经过了该残差网络层结构的函数即为其中f是带偏移的残差自然注意力层输入的点云特征；
[0055]
得到残差自然注意力层提取新特征的形式化表达：
[0056][0057]
其中，fi是带偏移的残差自然注意力层代表点云特征向量的输入；和分别是携带了不同可学习权重的拟合目标函数，对应了自然注意力层和带偏移的残差自然注意力层中的不同拟合目标函数h
φ
与h
θ
；θ和φ分别为θ＝(θ1,θ2,
…
,θd)和φ＝(φ1,φ2,
…
,φd)，编码了d个不同线性变换层、批规范化操作及relu激活函数层共同组成的多层感知机的权重，每一个θd和φd都拥有和fi相同的维度；最终得到代表输出特征的向量其维度与fi相同。
[0058]
利用可学习的权重，训练特征提取网络模型，优化模型性能。
[0059]
进一步，构成变换层的多层感知机由全连接层、批量正则化层和激活函数层组成。
[0060]
构成简单，利于使用。
[0061]
进一步，多个带偏移的残差自然注意力层进行串联堆叠的计算如下：
[0062]
x
l
＝h
l
([x1,x2,
…
,x
l-1
])
[0063]
其中xi代表第i层所携带的特征图；[x1,x2,
…
,x
l-1
]是从第0层到第l-1层所携带特征图拼接而成的向量；h
l
是第l层可学习的待拟合函数，具有与拼接特征向量相同的维度。
[0064]
多个带偏移的残差自然注意力层进行串联堆叠，充分考虑点云中每个数据点及其邻域内邻居数据点之间的局部几何结构与特征，以便尽可能提取点云数据的局部邻域特征。
[0065]
本发明还提供一种基于残差自然注意力的点云特征提取系统，包括处理单元，所述处理单元执行本发明所述方法，进行点云特征提取。
[0066]
该系统根据点云中数据点潜在的关系，提取数据点的局部特征，保证提取到点云局部特征的有效性。
[0067]
本发明还提供一种基于残差自然注意力的点云提取网络架构，包括至少四层带偏移的残差自然注意力层，以及多层感知机构成的变换层；
[0068]
所述带偏移的残差自然注意力层进行串联堆叠后输出与变换层连接，带偏移的残差自然注意力层的核心为自然注意力层，自然注意力层包括最远点采样模块、球查询模块、自然邻居搜索模块、减法模块、重复操作模块、拼接操作模块、高纬注意力模块、平均池化模块和最大池化操作模块，带偏移的残差自然注意力层用于提取原始点云特征的特征偏移，并输入变换层，变换层对原始点云特征的特征偏移进行拟合变换，得到存在于高维度量空间中的点云特征。
[0069]
点云提取网络架构对特征进行偏移量计算，以获取数据点之间的关系特征。使用残差网络与稠密网络，将自然注意力层的网络深度堆叠到4层以上，在保证特征提取能力的前提下，减少了训练过程中学习退化和梯度消失现象。
附图说明
[0070]
图1是本发明基于残差自然注意力的点云特征提取方法的结构示意图；
[0071]
图2是本发明基于残差自然注意力的点云特征提取方法的自然注意力层的结构示意图；
[0072]
图3是本发明基于残差自然注意力的点云特征提取方法的自然注意力层的结构示
意图；
[0073]
图4是本发明基于残差自然注意力的点云特征提取方法的带偏移的残差自然注意力层的结构示意图。
具体实施方式
[0074]
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
[0075]
在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
[0076]
在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
[0077]
为了更好地提取点云数据的特征、探究邻域特征对点云整体特征的影响、提升网络模型对噪声的鲁棒性，本发明公开了一种基于残差自然注意力的点云特征提取方法。本方案基于自然语言处理领域中被广泛使用的注意力机制，结合自然邻居搜索算法，提出一种点云特征提取网络架构，更好地提取到点云数据的全局几何特征与局部的相对特征，将特征直接应用到点云分类与点云语义分割任务中，良好的特征提取方式还解决了含噪声点云在点云分类任务上出现的分类结果不准确问题。如图1所示，本方案方法包括如下步骤：
[0078]
输入原始三维点云，原始三维点云为n
in
×din
的点云特征向量，其中n
in
是点云数据中全部数据点的数量，d
in
是输入点云所在度量空间的维度；在三维的度量空间中，每一个点云数据中的数据点xi都符合都符合因此针对三维的点云数据作为原始输入的问题，d
in
＝3。
[0079]
利用串联堆叠的多个带偏移的残差自然注意力层(rnal，residual natural attention layer with offset)，和多层感知机构成的变换层(lbr，linear+batch normlization+relu)，构建特征提取网络模型。构成变换层的多层感知机(mlp(
·
))由全连接层(fully-connected layer，fc)、批量正则化层(batch normalization layer，bn)和激活函数层(activation function)组成，激活函数可采用relu激活函数。
[0080]
多个带偏移的残差自然注意力层进行串联堆叠，类似稠密网络架构，每一层的rnal都以该层前所有rnal的输出进行拼接并作为输入。如图4所示，每一个rnal的内部都包含一个经过了特征偏移与残差网络的小型网络，该小型网络中的核心是自然注意力层(natural attention layer，nal)，如图2所示。带偏移的残差自然注意力层由核心是自注意力网络的自然注意力层、特征偏移结构、残差结构组成。每一次点云数据经过rnal后，得到的一个存在于某个高维度量空间中的点云特征，lbr最终都会通过一个拼接操作串联起来。保证无论是哪一层rnal的输出特征，最终都会被添加到一个更高维度空间的整体特征
中，并且再经过一次多层感知机构成的变换层，借助更多可学习的权重参数进行最终目标特征提取的拟合。
[0081]
将原始三维点云输入特征提取网络模型的第一层带偏移的残差自然注意力层，特征提取网络模型第i层带偏移的残差自然注意力层的输入为第ii层带偏移的残差自然注意力层之前的各层的输出特征；
[0082]
多个带偏移的残差自然注意力层的输出特征经过拼接后输入变换层，变换层对输入特征进行拟合变换，最后得到存在于高维度量空间中的点云特征；
[0083]
对特征提取网络模型进行训练，学习网络的权重参数，得到优化的特征提取网络模型。
[0084]
本发明的一种优选方案中，每一层的特征变换操作(bn-relu-conv)都是将之前每一层的特征全部考虑到，并且一起传播到下一层进行计算。这样做的目的，是为了进一步改善层与层之间的信息流传播，避免训练过程中的梯度消失现象。采用一种从任何层到所有后续层的直接连接模式，多个带偏移的残差自然注意力层进行串联堆叠的计算如下：
[0085]
x
l
＝h
l
([x1,x2,
…
,x
l-1
])
[0086]
其中xi代表第i层所携带的特征图；[x1,x2,
…
,x
l-1
]是从第0层到第l-1层所携带特征图拼接而成的向量；h
l
是第l层可学习的待拟合函数，具有与拼接特征向量相同的维度。
[0087]
多个带偏移的残差自然注意力层进行串联堆叠，充分考虑点云中每个数据点及其邻域内邻居数据点之间的局部几何结构与特征，以便尽可能提取点云数据的局部邻域特征。
[0088]
本发明的一种优选方案中，得到自然注意力层的输出特征的方法如下：
[0089]
原始三维点云为n
in
×din
的点云特征向量，将原始三维点云输入特征提取网络模型；
[0090]
对输入向量进行最远点采样(fps，farthest point sampling，可采用pointne++的方法)，得到n
out
×din
的点云特征向量，n
out
为采样个数；
[0091]
利用球查询方法(bnn，ball nearest neighbor)，并结合自然邻居搜索方法，对输入向量搜索最近邻居，得到n
out
×
(λ+k)
×din
的点云特征向量，λ、k分别是通过自然邻居和球查询搜索得到的邻居个数；
[0092]nout
×din
点云特征向量重复λ+k次后堆叠(r，repeat，是重复操作，将向量重复固定次数并堆叠起来，形成一个比原始向量高一个维度的新向量)，得到n
out
×
(λ+k)
×din
的新向量，新向量与经过最远点采样及邻居搜索得到的n
out
×
(λ+k)
×din
点云特征向量按固定维度相减(图中的+、-符号分别代表矩阵的加法(matrix add)和减法)后再串联拼接(即c，concatenate，拼接操作，将两个向量按固定维度进行串联，形成一个和原始向量维度相同的新向量)，得到n
out
×
(λ+k)
×
2d
in
的点云特征向量；
[0093]
随后送入自注意力网络，自注意力网络将数据点自身特征fi和邻居特征的偏移量作为数据点本身新的局部特征进行参数学习，把数据点所有邻居的特征汇聚到数据点自身，并根据不同权重对不同的数据点施加有区分度的注意力，进行局部特征提取与聚合：
[0094][0095]
其中，fi代表着数据点xi所携带的特征；x
i,j
代表着xi的第j个邻居，满足的第j个邻居，满足的第j个邻居，满足φ(
·
)和ψ(
·
)分别是带有不同权重的多层感知机线性投影模块；ρ()代表soft-max正则化操作；θ(
·
)是一个具有可训练参数的小型位置编码网络；
[0096]
最后通过平均池化操作(avg，average-pooling)和最大池化操作(max，max-pooling)，保留φ(f)的主要特征并减少参数和计算量，得到n
out
×dout
的点云特征向量，d
out
是输出特征向量的维度。
[0097]
对输入向量进行自然邻居搜索，具体方法如下：
[0098]
对于xi∈x的数据集合，自然邻居的形式化描述如下：
[0099]
其中，nn(xi)是指点xi的自然邻居集合；knn
λ
(xi)是指点xi的λ近邻居集合，knn
λ
(xj)是指点xj的λ近邻居集合；λ是自然邻居的特征值，当自然邻居搜索过程达到稳定状态后，自然邻居的特征值就是搜索轮次r，定义如下：
[0100][0101]
其中，搜索轮次r的取值范围是[1,λ]；λ的取值范围满足2≤λ≤n，n为常数；
[0102]
定义两个辅助函数，如下：
[0103]
knnk(xi)＝findknn(xi,r,x)，其功能为找到数据点xi在x集合中的k近邻居里，到xi欧氏距离第r近的邻居节点的索引；
[0104]
set.count(item)，其功能为统计集合set中元素item出现的次数；
[0105]
基于两个辅助函数，进行全部的自然邻居搜索。使用自然邻居进行邻居图构建时，复杂几何结构的部分不会产生不同部件的数据点连接，很好地保留了每个不同拓部结构的局部特征。每个数据点的自然邻居被连接的同时，一种天然的局部邻域就已经产生。通过邻域的圈定与选择，将邻居的特征聚合到中心数据点，得到一个中心数据点的局部特征。
[0106]
因为自然邻居搜索空间略大，所以自然邻居的基本搜索流程需要一定时间。在实际应用中发现自然邻居搜索过程耗时较长，采用并行化计算自然邻居的方法来加速整个自然邻居搜索速度。由λ≤30的定理可知，计算k近邻居的findknn(xi,r,x)函数可以直接计算数据点集合x中全部元素的30-近邻居，并将其作为已知数据保存下来，作为一个查询数据源使用。该并行处理流程会随着x内元素个数数量级的增加而加快，其加速限制仅为计算机并行处理时的最大进程数。
[0107]
在自然邻居的并行化计算过程中，同步数据需要添加到临界区(critical section)中进行加锁处理，避免并行处理引发的数据不一致问题；在整个搜索过程开始前就得到x内全部数据点的30-近邻居并构造成一个邻居索引图gk，gk中的元素i
r,c
代表了数据点xr的30近邻居中欧氏距离第c小的数据点在x中的索引号。更具体地，使用openacc对整个
自然邻居搜索过程进行并行优化。
[0108]
为了让自然邻居的索引可以使用张量表示，并嵌入到如pytorch或tensorflow等深度学习框架中，就需要找到一个将不规则数据结构所表示的自然邻居索引关系进行张量化的方式。本文采用一个时间复杂度为o(λn2)的填充算法，将索引填充为规则的索引张量，o(λn2)中的λ是自然邻居特征值，n是点云数据中数据点的个数。得到一个填充后尺寸为n
×
λ的自然邻居索引张量，而被填充的索引号使用的则是数据点自身的索引号，换言之也就是采用了多个自成环(self-loop)的边来进行填充。
[0109]
计算点云本身新的局部特征时，本文将数据点自身特征和邻居特征的偏移量作为了数据点本身新的局部特征来提供给sal(self-attention layer，自注意力网络)进行参数学习，把数据点所有邻居的特征汇聚到数据点自身，并根据不同权重对不同的数据点施加有区分度的注意力。三维sal的输入是由自然邻居图、球查询和最近邻居共同构成的粗局部特征如图3所示，图中s(softmax)是归一化指数函数，x为矩阵的乘法运算。自注意力网络的输入是点云特征向量的粗局部特征其中，n是经过最远点采样留下的有效数据点个数；c是注意力通道数，c＝λ+k，代表着注意力通道宽度为自然邻居特征值与球查询最近邻居个数限制的和；d
in
是输入自注意力网络的特征维度数；自注意力网络输入的点云特征向量经过多层感知机线性投影得到q(query)、k(key)和v(value)，规则为：
[0110][0111]
其中，都是存在于多层感知机中的可学习参数；
[0112]
同时自注意力网络使用多头注意力机制(multi-headattention)，通过多个自注意力网络学习权重，最后再通过一个平均池化操作，将每一头的注意力进行平均化处理；
[0113]
最终输出的是一个经点云下采样后的感受野中，每一个数据点的邻域局部特征唯一注意力特征矩阵ha，将该过程形式化表示，如下式：
[0114][0115]
其中，注意力头数即自注意力网络的个数为h，ha为一个符号，表示注意力特征矩阵，a为attention的简写,和h为一体；代表对高维矩阵k的第2与第3维进行转置；多层感知机包括可学习参数矩阵感知机包括可学习参数矩阵不同注意力头的多层感知机中，可学习参数矩阵相互独立、互不共享。
[0116]
本技术方案将自然邻居搜索算法应用于点云特征提取：使用自然邻居和球查询搜索每个数据点的邻居，并使用这两类邻域范围内的数据点进行局部邻域的特征提取与聚合。使用自然邻居进行邻居图构建时，复杂几何结构的部分不会产生不同部件的数据点连
接，很好地保留了每个不同拓扑结构的局部特征。相比使用k近邻居，自然邻居中噪声数据点仅仅与噪声数据点建立了邻居关系，而有效数据点的特征不会被汇聚到噪声上，避免了k近邻居所面临的问题。
[0117]
通过对数据点所拥有自然邻居数量的判断，可以快速发现离群点，而这类离群点在含噪声点云的先验中也大概率属于噪声点。在后续的处理中，对噪声数据点，可以进行忽略或赋予一个较低注意力权重，达到对噪声过滤或降低对噪声点信任程度的效果。
[0118]
通过平均池化(avg，average-pooling)和最大池化操作(max，max-pooling)，保留注意力特征矩阵ha的主要特征并减少参数和计算量，得到n
out
×dout
的点云特征向量。平均池化和最大池化操作在点云数据的特征提取中，也是满足平移不变性、旋转不变性以及尺度不变性的必要操作。
[0119]
本发明的一种优选方案中，基于nal，并结合残差与特征偏移，就得到了本文提出的带偏移的残差自然注意力层。经过nal的点云特征再进一步与原始点云特征做矩阵减法操作，得到一个从注意力特征到原始点云特征的特征偏移(feature offset)；与原始点云做短路(shortcut)操作，在增加整体网络模型深度的同时，避免网络退化。lbr(linear、batchnormlization以及relu)作为一个多层感知机，代表着三种操作的依次顺序连接；为了进一步提升多层堆叠rnal特征提取的能力并避免训练过程中出现梯度消失或过拟合现象，在堆叠深层rnal时还结合了稠密网络的思想，将之前每一层的特征全部考虑到，并且一起传播到下一层进行计算，降低了模型计算量、避免了特征浪费与冗余。
[0120]
带偏移的残差自然注意力层的特征偏移结构为：
[0121]
将n
out
×dout
的点云特征向量与原始点云特征做矩阵减法操作，得到自然注意力层的输出特征与原始点云特征的特征偏移：
[0122][0123]
其中，fi和fj分别是经过自然注意力层的局部自然注意力特征和fi所对应原点云内数据点的特征；为表示中间过程的一个函数符号，代表拟合函数；θ＝(θ1,θ2,
…
,θm)，每一个θm与向量(f
j-fi)拥有相同的维度，θm为m个由线性变换层、批规范化层和relu激活函数层共同组成的多层感知机。特征偏移可以获取更多的邻域特征，并保持原有特征的鲁棒性。
[0124]
本发明的一种优选方案中，带偏移的残差自然注意力层的残差结构为：
[0125]
经过了自然注意力层及特征偏移后的点云特征为而原始输入的点云特征将作为直接参与残差计算的特征f，最终经过了该残差网络层结构的函数即为其中f是带偏移的残差自然注意力层输入的点云特征；
[0126]
得到残差自然注意力层提取新特征的形式化表达：
[0127][0128]
其中，fi是带偏移的残差自然注意力层代表点云特征向量的输入；和分别是携带了不同可学习权重的拟合目标函数，对应了自然注意力层和带偏移的残差自然注意力层中的不同拟合目标函数h
φ
与h
θ
；θ和φ分别为θ＝(θ1,θ2,
…
,θd)和φ＝(φ1,φ2,
…
,
φd)，编码了d个不同线性变换层、批规范化操作及relu激活函数层共同组成的多层感知机的权重，每一个θd和φd都拥有和fi相同的维度；最终得到代表输出特征的向量其维度与fi相同。
[0129]
本发明还提供一种基于残差自然注意力的点云特征提取系统，包括处理单元，处理单元执行本发明所述方法，进行点云特征提取。该系统根据点云中数据点潜在的关系，提取数据点的局部特征，保证提取到点云局部特征的有效性。
[0130]
本发明还提供一种基于残差自然注意力的点云提取网络架构，包括至少四层带偏移的残差自然注意力层，以及多层感知机构成的变换层。
[0131]
带偏移的残差自然注意力层进行串联堆叠后输出与变换层连接，带偏移的残差自然注意力层的核心为自然注意力层，自然注意力层包括最远点采样模块、球查询模块、自然邻居搜索模块、减法模块、重复操作模块、拼接操作模块、高纬注意力模块、平均池化模块和最大池化操作模块，带偏移的残差自然注意力层用于提取原始点云特征的特征偏移，并输入变换层，变换层对原始点云特征的特征偏移进行拟合变换，得到存在于高维度量空间中的点云特征。
[0132]
本发明在点云特征提取过程中使用注意力机制，结合自然邻居搜索算法，提出了自然注意力层。邻域内数据点自身所携带的特征会根据注意力机制被赋给一个不同的权重，重点关注几何特征明显的部分，保证提取到点云局部特征的有效性。在特征提取与模型设计上采用了特征偏移、残差网络与稠密网络的思想。
[0133]
特征偏移可以获取更多的邻域特征，并保持原有特征的鲁棒性；残差网络结构在合理增加网络深度的同时，还可以一定程度上避免学习过程出现的网络退化现象；稠密网络则可以将每一层的特征都进行保留并后继续处理，该网络结构在降低模型计算量、避免了特征浪费与冗余情况的同时，还有效避免了过拟合现象。并对特征进行偏移量计算，以获取数据点之间的关系特征；使用残差网络与稠密网络，将自然注意力层的网络深度堆叠到4层以上，在保证特征提取能力的前提下，减少了训练过程中学习退化和梯度消失现象。
[0134]
针对点云特征提取网络在堆叠过多造成网络较深时出现的学习退化或梯度消失问题，本发明网络整体架构上结合了特征偏移、残差网络与稠密网络等思想，解决深层网络训练过程中可能会出现的各类问题，为深层的点云的特征提取网络模型打下基础。
[0135]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
[0136]
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。