一种基于注意力和采样学习的点云目标检测方法

1.本发明涉及一种智能汽车领域与计算机视觉领域，尤其是涉及一种基于注意力和采样学习的点云目标检测方法。


背景技术：

2.随着社会的发展与居民的生活水平的提高，我国的汽车保有量逐步上升。相应的，公路交通安全成为一个重要问题。智能汽车的发展有望进一步提高汽车的安全性，减少交通事故带来的生命和财产损失。
3.智能汽车需要通过环境传感器和相应目标检测方法对周围环境中的车辆、行人、非机动车和静态障碍物等目标进行准确检测。目前常用的环境感知传感器有摄像机、激光雷达、毫米波雷达等。摄像机采集的图像数据，由于缺乏深度信息，难以对目标进行精准空间定位，且容易受到环境中的光线影响；毫米波雷达，虽然可以采集到三维位置信息，但是采集的三维信息过于稀疏，容易造成漏检；激光雷达，可以对周围环境的表面进行密集三维位置采样，进而获得准确的三维点云数据。点云目标检测，依托激光雷达，能够精准地检测到目标的尺寸和空间位置。当前，点云目标检测技术路线可以为分为三种：基于体素的技术路线(首先将点云离散为规则的体素，再经过神经网络检测目标)、基于投影图的技术路线(首先将点云投影到一个或者多个平面视图上，再经过神经网络检测目标)以及点云直接检测的技术路线(不改变点云的表示形式，直接经过神经网络检测目标)。在处理点云过程中，应尽可能避免点云处理过程(体素化、投影)中的信息损失。
4.采用点云直接检测的技术路线，相较于另外两种技术路线，由于不存在点云体素化或者投影的过程，在点云预处理中的信息损失更少。但是，即使是点云直接检测技术路线的方法，在逐层提取点云特征的过程中的采样阶段存在损失点云信息的问题，亟待改善。另外，在交通场景中，目标容易受到其他目标或者障碍物遮挡，成为限制智能驾驶技术的一个瓶颈。


技术实现要素：

5.本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于注意力和采样学习的点云目标检测方法，准确率高，可靠性强。
6.提高了对受到遮挡的车辆的检测性能和智能汽车的环境感知系统的可靠性。
7.本发明的目的可以通过以下技术方案来实现：
8.一种基于注意力和采样学习的点云目标检测方法，包括以下步骤：
9.1)采集待检测目标的点云数据；
10.2)根据点云数据，通过点云提取网络提取点云特征；
11.3)根据点云特征，通过k最近值下采样法筛选出目标索引点特征；
12.4)根据目标索引点特征，通过自适应点云特征聚合网络，将点云特征聚合为候选目标特征；
13.5)根据候选目标特征，通过多层感知机生成待检测目标的类别、位置和尺寸信息。
14.进一步地，所述的点云提取网络包括若干个点云注意力网络和若干层特征传播网络，所述的若干个点云注意力网络依次连接，所述的若干层特征传播网络与若干个点云注意力网络跳跃连接；
15.所述的点云注意力网络包括第一自注意力模型、采样学习网络、两个点网络以及第一前馈网络；
16.本发明提出的点云目标检测方法，通过点云提取网络提取点云特征，并将点云特征聚合为候选目标特征，进而增强点云目标检测方法对受遮挡目标检测能力，在点云特征的提取过程中，通过采样学习减少采样中点云的信息损失。
17.进一步地，每个点云注意力网络提取点云特征的过程包括以下步骤：
18.201)将输入特征输入采样学习网络，生成子点云；
19.202)将输入特征和生成的子点云一同输入其中一个点网络，获得邻域特征向量f1，所述的f1对应的坐标经过多层感知机，生成点云位置编码；
20.203)将f1与步骤202)生成的点云位置编码相加后，通过一个线性投影层投影为点云查询序列q；
21.204)通过最远点采样算法提取f1的子集f
′1，将f
′1和f1输入另一个点网络，生成邻域特征向量集合，将邻域特征向量集合与步骤202)生成的点云位置编码相加后，再通过一个线性投影层投影生成点云特征序列，包括点云键特征序列k和点云值特征序列v；
22.205)将q、k和v输入第一自注意力模型，生成新的点云特征；
23.其中，对于第一个点云注意力网络的采样学习网络，输入特征为点云数据，对于其余点云注意力网络的采样学习网络，输入特征为上一个点云注意力网络输出的点云特征；
24.所述的点云提取网络以结合点网络、第一自注意力模型和采样学习网络的点云注意力网络为核心结构，首先通过采样学习网络采样出点云中的子点云，然后通过点网络提取输入特征和子点云的邻域点云特征，即局部特征，最后通过第一自注意力模型，在所有的点云局部特征中实现特征交换，以提取点云的全局特征，多层点云注意力网络叠加，逐层提取出包含局部特征信息和全局特征信息的点云特征，随后经过若干层特征传播层，即线性插值，将提取的点云特征传播到更多的点上；
25.所述的点云提取网络即可以提取点云局部特征，又可以提取点云全局特征，减少采样中点云的信息损失。
26.进一步地，所述的步骤201)包括：
27.211)通过多层感知机将输入特征映射到高维空间，生成高维点云特征向量矩阵；
28.212)通过最大池化操作，保留高维点云特征向量矩阵中每个特征通道上最大的数值，获得全局特征；
29.213)将全局特征拼接到每一个高维点云特征向量上，获得拼接点云特征；
30.214)将拼接点云特征输入多层感知机，得到采样矩阵；
31.215)将采样矩阵与输入特征做矩阵乘法，得到子点云。
32.进一步地，所述的步骤204)中点网络生成邻域特征向量集合的过程包括：
33.221)以f
′1的元素为球心，搜索半径为r的球形邻域内的f1的元素，将邻域内各f1的元素作为该球心的邻域特征集；
34.222)将f
′1的各个元素的领域特征集输入多层感知机，获得高维点云特征向量；
35.223)对f
′1的每个元素的领域特征集的高维点云特征向量进行最大池化操作，所述的f
′1的每个元素邻域生成一个邻域特征向量，各邻域特征向量组成邻域特征向量集合。
36.进一步地，所述的步骤205)包括：
37.231)将q、k和v沿特征维度分为n组，分别与对应的点云位置编码组合相加，对应获得带有点云位置信息的点云特征序列q
′i、k
′i和v
′i，i＝1,2,
…
,n：
38.232)计算注意力分数矩阵ai，计算公式为：
[0039][0040]
其中，d为特征通道数；
[0041]
233)计算中间向量序列组fi，计算公式为：
[0042]fi
＝a
iv′i[0043]
将fi沿特征通道维度拼接，得到中间特征向量序列f2；
[0044]
234)将f2与步骤202)生成的邻域特征向量f1相加，并经过层归一化，生成特征f3；
[0045]
235)将f3输入第一前馈网络，再将第一前馈网络生成的特征与f3相加，并进行层归一化，生成新的点云特征。
[0046]
进一步地，所述的自适应点云特征聚合网络包括若干层解码层，每层解码层包括第二自注意力模型、互注意力模型和第二前馈网络；
[0047]
通过若干层解码层逐层将点云特征聚合到目标特征中；
[0048]
进一步地，所述的步骤4)包括：
[0049]
401)第一层解码层以步骤3)生成的目标索引特征为输入，其余解码层以前一解码层输出的第一目标特征为输入，生成新的第一目标特征和第二目标特征，并将新的第一目标特征输入多层感知机，生成目标位置信息，根据目标位置信息生成目标位置编码，新的第二目标特征由上一层解码层生成的目标位置编码和第一目标特征相加得到；
[0050]
输入的第一目标特征首先经过第二自注意力模型，实现第一目标特征之间的信息交换，然后通过互注意力模型提取第一目标特征与点云特征之间的联系，实现自适应特征聚合。
[0051]
402)将第二目标特征向量输入三个线性投影层，生成目标查询特征序列点云键特征序列点云值特征序列
[0052]
403)以分别代替步骤231)中的q、k、v，并执行步骤231)～233)，生成中间特征向量序列
[0053]
404)将中间特征向量序列与解码层输入的目标特征相加后，经过层归一化，生成特征
[0054]
405)将特征与目标位置编码相加后，经过线性投影，得到目标查询特征序列
[0055]
406)将步骤2)所提取的点云特征与点云位置编码相加后，经过两个线性投影层，分别得到点云键特征序列和点云值特征序列
[0056]
407)以分别代替步骤231)中的q、k、v，并执行步骤231)～233)，生成中间特征向量序列
[0057]
408)将中间特征向量序列与特征相加后，经过层归一化，生成特征
[0058]
409)将输入第二前馈网络，再将第二前馈网络生成的特征与相加，并进行层归一化，得到当前解码层输出的第一目标特征向量；
[0059]
410)判断当前解码层是否为最后一层解码层，若是则将当前解码层输出的第一目标特征向量作为候选目标特征，步骤结束，否则执行步骤401)。
[0060]
进一步地，所述的若干层特征传播网络之间通过基于距离插值的特征传播策略和跳跃连接的方式实现点云特征传播；
[0061]
设位于点云提取网络末端的特征传播网络为第1层特征传播网络，第l-1层特征传播网络为待传播层，所述的点云特征传播的具体过程包括以下步骤：
[0062]
241)从第l层特征传播网络中找到第l-1层中点的k个最近邻点；
[0063]
242)计算最近邻点到待传播点距离d(x,xi′
)，x和xi′
分别为待传播点和最近邻点的坐标；
[0064]
243)将第l层特征传播网络输出的点云特征传播到第l-1层特征传播网络，传播公式为：
[0065][0066]
ωi＝1/d(x,xi′
)
p
[0067]
其中，f为第l-1层特征传播网络传播的点云特征，fi为最近临点特征，p为距离指数；
[0068]
244)将第l-1层特征传播网络经过传播得到的点云特征，跟与第l-1层特征传播网络跳跃连接的点云注意力网络提取到的点云特征拼接，并经过一个1*1卷积，获得第l-1层特征传播网络输出的点云特征。
[0069]
进一步地，所述的步骤3)包括：
[0070]
通过多层感知机为步骤2)提取的每个点云特征生成一个表征点云特征与待检测目标的中心接近程度的置信度分数，并依次选出置信度分数最高的特征作为目标索引点特征。
[0071]
与现有技术相比，本发明具有以如下有益效果：
[0072]
(1)本发明点云提取网络以结合点网络、第一自注意力模型和采样学习网络的点云注意力网络为核心结构，首先通过采样学习网络采样出点云中的子点云，然后通过点网络提取输入特征和子点云的邻域点云特征，即局部特征，最后通过第一自注意力模型，在所有的点云局部特征中实现特征交换，以提取点云的全局特征，多层点云注意力网络叠加，逐层提取出包含局部特征信息和全局特征信息的点云特征，随后经过若干层特征传播层，即线性插值，将提取的点云特征传播到更多的点上，点云提取网络即可以提取点云局部特征，又可以提取点云全局特征，减少采样中点云的信息损失，检测的准确率高；
[0073]
(2)本发明根据点云特征，通过k最近值下采样法筛选出目标索引点特征，根据目标索引点特征，通过自适应点云特征聚合网络，将点云特征聚合为候选目标特征，根据候选
目标特征，通过多层感知机生成待检测目标的类别、位置和尺寸信息，自适应点云特征聚合网络包括若干层解码层，每层解码层包括第二自注意力模型、互注意力模型和第二前馈网络，输入的第一目标特征首先经过第二自注意力模型，实现第一目标特征之间的信息交换，然后通过互注意力模型提取第一目标特征与点云特征之间的联系，实现自适应特征聚合，通过若干层解码层逐层将点云特征聚合到目标特征中，进而增强网络对受遮挡目标检测能力，检测的准确率高，可靠性强。
附图说明
[0074]
图1为本发明的检测流程框架图；
[0075]
图2为点云提取网络的结构示意图；
[0076]
图3为解码层的结构示意图。
具体实施方式
[0077]
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
[0078]
一种基于注意力和采样学习的点云目标检测方法，如图1，包括以下步骤：
[0079]
1)采集待检测目标的点云数据；
[0080]
2)根据点云数据，通过点云提取网络提取点云特征；
[0081]
3)根据点云特征，通过k最近值下采样法筛选出目标索引点特征；
[0082]
4)根据目标索引点特征，通过自适应点云特征聚合网络，将点云特征聚合为候选目标特征；
[0083]
5)根据候选目标特征，通过多层感知机生成待检测目标的类别、位置和尺寸信息。
[0084]
本实施例提出的点云目标检测方法基于点云目标检测装置，点云目标检测装置包括设于车辆上的控制器以及激光雷达，通过激光雷达采集车辆周围的点云数据，控制器通过数据线接收激光雷达采集的点云数据，实现智能汽车对周围环境中车辆、行人、静态障碍物等目标的准确检测的任务。
[0085]
如图3，点云提取网络包括四个点云注意力网络和两层特征传播网络，若干个点云注意力网络依次连接，若干层特征传播网络与若干个点云注意力网络跳跃连接；
[0086]
点云注意力网络包括第一自注意力模型、采样学习网络、两个点网络(pointnet)以及第一前馈网络；
[0087]
本实施例提出的点云目标检测方法，通过点云提取网络提取点云特征，并将点云特征聚合为候选目标特征，进而增强点云目标检测方法对受遮挡目标检测能力，在点云特征的提取过程中，通过采样学习减少采样中点云的信息损失。
[0088]
每个点云注意力网络提取点云特征的过程包括以下步骤：
[0089]
201)将输入特征输入采样学习网络，生成子点云；
[0090]
202)将输入特征和生成的子点云一同输入其中一个点网络，获得邻域特征向量f1，所述的f1对应的坐标经过多层感知机，生成点云位置编码；
[0091]
203)将f1与步骤202)生成的点云位置编码相加后，通过一个线性投影层投影为点
云查询序列q；
[0092]
204)通过最远点采样算法提取f1的子集f
′1，将f
′1和f1输入另一个点网络，生成邻域特征向量集合，将邻域特征向量集合与步骤202)生成的点云位置编码相加后，再通过一个线性投影层投影生成点云特征序列，包括点云键特征序列k和点云值特征序列v；
[0093]
205)将q、k和v输入第一自注意力模型，生成新的点云特征；
[0094]
其中，对于第一个点云注意力网络的采样学习网络，输入特征为点云数据，对于其余点云注意力网络的采样学习网络，输入特征为上一个点云注意力网络输出的点云特征；
[0095]
点云提取网络以结合点网络、第一自注意力模型和采样学习网络的点云注意力网络为核心结构，首先通过采样学习网络采样出点云中的子点云，然后通过点网络提取输入特征和子点云的邻域点云特征，即局部特征，最后通过第一自注意力模型，在所有的点云局部特征中实现特征交换，以提取点云的全局特征，多层点云注意力网络叠加，逐层提取出包含局部特征信息和全局特征信息的点云特征，随后经过若干层特征传播层，即线性插值，将提取的点云特征传播到更多的点上；
[0096]
点云提取网络即可以提取点云局部特征，又可以提取点云全局特征，减少采样中点云的信息损失。
[0097]
步骤201)包括：
[0098]
211)通过多层感知机将n*3或n*(3+c)维的输入特征映射到高维空间，生成n*c1的高维点云特征向量矩阵；
[0099]
212)通过最大池化操作，保留n*c1的高维点云特征向量矩阵中每个特征通道上最大的数值，获得1*c1维的全局特征；
[0100]
213)将全局特征拼接到每一个高维点云特征向量上，获得n*(2*c1)维的拼接点云特征；
[0101]
214)将拼接点云特征输入多层感知机，得到n*n1的采样矩阵；
[0102]
215)将采样矩阵与输入特征做矩阵乘法，得到子点云。
[0103]
步骤204)中点网络生成邻域特征向量集合的过程包括：
[0104]
221)以f
′1的元素为球心，搜索半径为r的球形邻域内的f1的元素，将邻域内各f1的元素作为该球心的邻域特征集；
[0105]
222)将f
′1的各个元素的领域特征集输入多层感知机，获得高维点云特征向量；
[0106]
223)对f
′1的每个元素的领域特征集的高维点云特征向量进行最大池化操作，所述的f
′1的每个元素邻域生成一个邻域特征向量，各邻域特征向量组成邻域特征向量集合。
[0107]
步骤205)包括：
[0108]
231)将q、k和v沿特征维度分为n组，分别与对应的点云位置编码组合相加，对应获得带有点云位置信息的点云特征序列q
′i、k
′i和v
′i，i＝1,2,
…
,n：
[0109]
232)计算注意力分数矩阵ai，计算公式为：
[0110][0111]
其中，d为特征通道数；
[0112]
233)计算中间向量序列组fi，计算公式为：
[0113]fi
＝a
iv′i[0114]
将fi沿特征通道维度拼接，得到中间特征向量序列f2；
[0115]
234)将f2与步骤202)生成的邻域特征向量f1相加，并经过层归一化，生成特征f3；
[0116]
235)将f3输入第一前馈网络，再将第一前馈网络生成的特征与f3相加，并进行层归一化，生成新的点云特征。
[0117]
自适应点云特征聚合网络包括若干层解码层，如图3，每层解码层包括第二自注意力模型、互注意力模型和第二前馈网络；
[0118]
通过若干层解码层逐层将点云特征聚合到目标特征中；
[0119]
步骤3)包括：
[0120]
通过训练好的多层感知机为步骤2)提取的每个点云特征生成一个表征点云特征与待检测目标的中心接近程度的置信度分数，并依次选出置信度分数最高的特征作为目标索引点特征；
[0121]
步骤3)中训练好的多层感知机的训练过程包括：
[0122]
设置位于目标真值边界框内部且为距离该目标中心最近的k个点之一的点标签为真，否则为假，并使用focal loss损失函数加以监督。
[0123]
步骤4)包括：
[0124]
401)第一层解码层以步骤3)生成的目标索引特征为输入，其余解码层以前一解码层输出的第一目标特征为输入，生成新的第一目标特征和第二目标特征，并将新的第一目标特征输入多层感知机，生成目标位置信息，根据目标位置信息生成目标位置编码，新的第二目标特征由上一层解码层生成的目标位置编码和第一目标特征相加得到；
[0125]
输入的第一目标特征首先经过第二自注意力模型，实现第一目标特征之间的信息交换，然后通过互注意力模型提取第一目标特征与点云特征之间的联系，实现自适应特征聚合。
[0126]
402)将第二目标特征向量输入三个线性投影层，生成目标查询特征序列点云键特征序列点云值特征序列
[0127]
403)以分别代替步骤231)中的q、k、v，并执行步骤231)～233)，生成中间特征向量序列
[0128]
404)将中间特征向量序列与解码层输入的目标特征相加后，经过层归一化，生成特征
[0129]
405)将特征与目标位置编码相加后，经过线性投影，得到目标查询特征序列
[0130]
406)将步骤2)所提取的点云特征与点云位置编码相加后，经过两个线性投影层，分别得到点云键特征序列和点云值特征序列
[0131]
407)以分别代替步骤231)中的q、k、v，并执行步骤231)～233)，生成中间特征向量序列
[0132]
408)将中间特征向量序列与特征相加后，经过层归一化，生成特征
[0133]
409)将输入第二前馈网络，再将第二前馈网络生成的特征与相加，并进行层归一化，得到当前解码层输出的第一目标特征向量；
[0134]
410)判断当前解码层是否为最后一层解码层，若是则将当前解码层输出的第一目标特征向量作为候选目标特征，步骤结束，否则执行步骤401)。
[0135]
若干层特征传播网络之间通过基于距离插值的特征传播策略和跳跃连接的方式实现点云特征传播；
[0136]
设位于点云提取网络末端的特征传播网络为第1层特征传播网络，第l-1层特征传播网络为待传播层，点云特征传播的具体过程包括以下步骤：
[0137]
241)从第l层特征传播网络中找到第l-1层中点的k个最近邻点；
[0138]
242)计算最近邻点到待传播点距离d(x,xi′
)，x和xi′
分别为待传播点和最近邻点的坐标；
[0139]
243)将第l层特征传播网络输出的点云特征传播到第l-1层特征传播网络，传播公式为：
[0140][0141]
ωi＝1/d(x,xi′
)
p
[0142]
其中，f为第l-1层特征传播网络传播的点云特征，fi为最近临点特征，p为距离指数；
[0143]
244)将第l-1层特征传播网络经过传播得到的点云特征，跟与第l-1层特征传播网络跳跃连接的点云注意力网络提取到的点云特征拼接，并经过一个1*1卷积，获得第l-1层特征传播网络输出的点云特征。
[0144]
本实施例提出了一种基于注意力和采样学习的点云目标检测方法，以增强点云目标检测算法对受遮挡目标的检测能力和减少点云特征提取过程中采样阶段点云信息损失为切入点，通过点云特征提取和聚合点云全局特征，进而增强网络对受遮挡目标检测能力，在点云采样阶段使用采样学习的方法减少采样中点云的信息损失，本实施例提出的点云目标检测方法对受到遮挡的车辆目标的检测平均准确率可以达到79.9％，相较于未进行改进的点云目标检测网络性能提升8.7％。
[0145]
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。