基于注意力机制和图像特征融合的3D点云目标检测方法

基于注意力机制和图像特征融合的3d点云目标检测方法
技术领域
1.本技术涉及计算机视觉技术领域，尤其涉及一种基于注意力机制和图像特征融合的3d点云目标检测方法。


背景技术：

2.目标检测作为计算机视觉中的重要任务之一，是人工智能体系中一个具有重要研究价值的技术分支，它的主要任务是从图像中精确且高效地识别、定位出大量预定义类别的物体实例，并给出每个目标的边界框。近年来,随着深度学习的发展,3d图像的目标检测研究取得了巨大的突破。与2d目标检测相比,3d目标检测结合了深度信息,能够提供目标的位置、方向和大小等空间场景信息,在自动驾驶和机器人领域发展迅速。
3.3d视觉中的点云数据提供了精确的结构和深度信息，但是却具有稀疏性，无序性和对噪声敏感等缺点，所以二维检测中研究成熟的cnn不能直接用于处理点云。此外，点云的表示形式直接影响模型的性能，对于目标检测带来了巨大的挑战。根据输入数据的类型，3d目标检测框架可分为三大类：
4.(1)基于单目相机的3d目标检测方法：单目摄像机采集的rgb图像含有丰富的纹理信息和高分辨率，但是缺少深度信息，所以2d目标检测无法提供感知环境所需要的全部信息。由于没有深度信息可用，大多数方法首先检测2d候选对象，然后使用神经网络、几何约束或3d模型匹配预测包含对象的3d边界框。3dop在网络结构上扩展fastr-cnn,在最后一层卷积层增加一个上下文分支和方向回归损失以联合学习目标的位置和方向。该工作考虑了深度图像，以在类似的框架中生成建议。mono3d模型只使用单目图像，略微改善了使用深度图像获得的性能，利用上下文、语义、手工设计的形状特征和位置先验，将每个候选框投射到图像中,对其进行评分。由于图像特征缺乏深度信息，降低了检测和定位的准确性，特别是对遥远和遮挡的物体，以及对光线和天气条件的敏感性，限制了这些方法在白天的使用。
5.(2)基于点云的3d目标检测方法：激光雷达采集的点云数据是自动驾驶汽车获取周围场景信息的重要来源，可以在夜间等场景产生精确的深度估计，能提高自动驾驶汽车的安全性。但是，点云的稀疏性、无序性和局部敏感性，计算量大等问题造成了它在实际应用方面上的困难。pointnet可以直接处理点云数据,该结构提出空间变换网络解决旋转问题及应用最大池化解决无序性问题。分割的3dpcls用作输入，以执行对象分类和零件分割。该网络使用全连接层执行逐点转换，并通过最大池层聚合全局特征，确保点顺序的独立性。voxelnet提出把点云在空间中划分成体素，然后对每个体素多次使用pointnet的结构(mlp，maxpooling，concat)，之后使用3dcnn的卷积操作获得稀疏体素之间的交互，最后加上rpn网络来做3d物体检测任务。在自动驾驶等应用中，3d场景中的点云数据中垂直方向(z轴)相对另外两个轴的信息量更低，基于此，pointpillars在xy平面上划分网格，然后把垂直方向的点云压到网格上，使用2dcnn方法进行物体检测。
6.(3)基于融合信息的3d目标检测方法：不同类型的传感器各有优劣,单一传感器无法实现精确高效的检测。例如图像特征的优点是含有丰富的纹理信息和高分辨率，但缺点
就是缺少深度信息，而点云数据提供了精确的结构和深度信息，但却具有稀疏性，无序性和局部敏感性等缺点。为此，将具有互补特性的多种传感器融合以增强感知能力，成为新兴的研究主题。目前，三维目标检测领域常用的融合数据有图像和点云。mvx-net网络为了融合rgb图像和点云数据信息，首先利用二维检测网络提取特征，在imagenet上进行预训练，然后对2d目标检测任务进行微调,编码语义信息，作为先验知识，助推断目标的存在。针对点云，通过voxelnet提取特征,融合图像特征和点云特征,得到最终的检测结果。
7.上述现有的3d目标检测方法对于未知场景的适应性较差，由于点云是不规则、无序的，而图像是规则、有序的，导致图像和点云处理方式有巨大差异，特征融合困难。此外，点云的稀疏性与无序性也导致现有方法无法很好地预测远距离、小物体，且计算量大，实时检测困难。


技术实现要素：

8.本技术提供了一种基于注意力机制和图像特征融合的3d点云目标检测方法，其技术目的是提高3d目标检测算法的准确度，使得3d检测能够感知色彩、语义和纹理信息等。
9.本技术的上述技术目的是通过以下技术方案得以实现的：
10.一种基于注意力机制和图像特征融合的3d点云目标检测方法，包括：
11.s1：对3d目标检测数据集中的rgb图像和点云数据进行数据增强；
12.s2：将增强后的rgb图像输入到图像特征提取网络，所述图像特征提取网络结合注意力机制对增强后的rgb图像进行特征提取，得到表示图像信息的第一特征；
13.s3：将增强后的点云数据输入到点云特征编码器进行特征提取，得到点云特征，将点云特征处理成伪图像；
14.s4：将所述第一特征和所述伪图像在通道维度进行拼接后输入到特征金字塔进行特征提取，得到融合特征；
15.s5：对所述融合特征进行2d检测框和3d检测框的预测，得到预测结果，对预测结果进行数据转换与指标分析，得到最终的3d目标检测结果。
16.进一步地，所述图像特征提取网络主干为残差结构，包括依次设置的堆叠下采样层、注意力机制模块和sppf模块；所述注意力机制模块基于cbam注意力机制和坐标注意力机制。
17.进一步地，所述点云特征编码器通过基于pointpillars的点云特征进行特征提取。
18.进一步地，所述rgb图像的数据增强包括hsv色调变换、仿射变换和马赛克操作。
19.本技术的有益效果在于：本技术所述的3d点云目标检测方法能够同时利用图像信息和点云信息，从而使3d目标检测达到更好的效果；同时通过注意力机制rgb图像进行特征提取，得到表示图像信息的特征图，使得检测速度较快，实时性好。
附图说明
20.图1为本技术所述方法的流程图；
21.图2为本技术所述方法的整体网络架构图；
22.图3为本技术方法使用的cbam注意力机制结构示意图；
23.图4为本技术方法使用的坐标注意力机制结构示意图；
24.图5为本技术方法使用的特征金字塔的结构示意图；
25.图6为本技术方法与现有方法得到的ap
bev
与ap
3d
对比结果示意图；
26.图7为本技术方法与只使用点云特征方法在cyclists类别得到的ap
bev
与ap
3d
对比结果示意图。
具体实施方式
27.下面将结合附图对本技术技术方案进行详细说明。
28.如图1和图2所示，本技术所述的3d点云目标检测方法具体包括以下步骤：
29.步骤1，将3d目标检测数据集中的rgb图像经过hsv色调变换、仿射变换和马赛克操作等数据增强方式后调整为1024
×
1024大小，作为图像特征提取网络的输入。
30.具体地，选用kitti数据集的3d目标检测数据集，kitti数据集总共包含7481张训练图像和7518张测试图像，以及相应的点云和标定参数；它包括80256个2d和3d标记的三种类型的对象，即汽车、行人和自行车。根据物体的遮挡和截断程度，每个3d地面实况分为三个难度类别：简单、中等和困难。我们在此将7481张训练图像分为由3712张训练集和3769张验证集组成数据集，输入图像的大小均为375
×
1242。
31.步骤2，将3d目标检测数据集中的激光雷达点云数据经过随机采样、旋转、平移，沿x轴翻转和随机缩放等数据增强操作后送入点云特征编码器。
32.在此处，我们确保点云数据的训练集和验证集划分与图像数据保持一一对应，其中，每个点云数据的维度是(x,y,z,r)，(x,y,z)表示该点的坐标，r表示该点的反射强度(与物体材质和激光入射角度等有关)，kitti数据集截取的点云范围是[0,-39.68,-3,69.12,39.68,1]。点云特征编码器以[0.16,0.16,4]大小，将至多32个点一组划分为pillar。在进行数据增强时，将每个pillar中的点增加至6个维度的数据，表示为：(xc,yc,zc,x
p
,y
p
,z
p
)，下标c表示每个点云到该点所对应pillar中所有点平均值的偏移量，下标p表示该点距离所在pillar中心点的x轴、y轴、z轴的偏移量。此时点云被表示为大小是[d,p,n]的张量，d表示每个点云的10个特征，p表示所有非空的pillar，n表示每个pillar中最多会有多少个点。之后通过1
×
1卷积层、一维批量归一化层和relu激活函数提取点的特征，之后为了简化计算，使用最大池化操作提取每个pillar中最能代表该pillar的点。
[0033]
步骤3，图像特征提取网络结合注意力机制，将输入的图像数据提取为表示图像信息的特征图(即第一特征)。
[0034]
图像特征提取网络的框架包括依次设置的堆叠下采样层+注意力机制模块+sppf模块。注意力机制基于cbam注意力机制(如图3所示)和坐标注意力机制(如图4所示)，图像特征提取网络的主干为残差结构，在提取特征后经过空间金字塔池化得到表示图像信息的特征图。其输入为3通道大小1024
×
1024的图像数据，输出为通道数256，大小为192
×
192的特征图。
[0035]
步骤4，点云特征编码器提取输入的点云特征后，将特征按照其索引重新放置回其原来的坐标分布形成伪图像表示。
[0036]
点云特征编码器基于pointpillars的点云特征提取部分。
[0037]
步骤5，将步骤3中得到的图像信息特征图(第一特征)与步骤4中得到的伪图像在
通道维度进行拼接后输入至深度神经网络得到最终的融合特征。
[0038]
将图像信息特征图经过转置卷积调整为496
×
432大小，在经过1
×
1卷积后将通道数调整为与伪图像表示的点云信息相同；之后将二者在通道维度上拼接，然后输入到特征金字塔进行特征提取，得到融合特征。融合特征提取网络为3层的特征金字塔，其结构如图5所示。
[0039]
步骤6，对最终的融合特征进行2d检测框和3d检测框的预测，对预测结果进行数据转换与指标分析，并输出最终的3d目标检测结果。
[0040]
作为具体实施例地，每个标注框都包含了(x,y,z,ω,l,h,θ)这7个参数，其中，(x,y,z)表示预测一个标注框的中心坐标在点云中的位置，ω、l、h分别预测了一个标注框的长、宽、高数据，θ预测了标注框的旋转角度，定位任务的回归残差表示为：
[0041][0042][0043]
其中x
gt
表示标注框的x长度，xa表示先验框的长度信息，da表示先验框长度和宽度的对角线距离，且y
gt
、z
gt
、ω
gt
、l
gt
、h
gt
、θ
gt
均表示标注框的参数；ya、za、ha、ωa、la、θa均表示先验框的参数。
[0044]
因此得到的总回归损失表示为：
[0045]
l
loc
＝∑
b∈(x,y,x,z,ω,l,h,θ)
smoothl1(δb)
[0046]
对于每个先验框的物体类别分类，使用了focalloss来完成调节正负样本均衡，类别损失记为l
cls
，表示为:
[0047]
l
cls
＝-αa(1-pa)
γ
logpa；其中α＝0.25,γ＝2，pa表示先验框在car、pedestrians、cyclists三个类别的分类概率。
[0048]
由于在角度回归的时候，不可以完全区分两个方向完全相反的预测框，所以在实现的时候，要使用softmax函数预测先验框的方向：
[0049]
其中β
loc
＝2,β
cls
＝1,β
dir
＝0.2；
[0050]
l
dir
表示方向损失，n
ops
表示预测的正样本标注框数量。
[0051]
为说明本技术效果起见，提供以下实验对比：
[0052]
实验在iou(交并比，反映预测检测框与真实检测框的检测效果)阈值为0.7下评估，学习率选择0.003，其随训练衰减，动量法的权值为0.9，优化器选择adam算法，batch大小为4，训练执行80轮。
[0053]
ap(average precision)表示平均精度，是主流的目标检测模型的评价指标；ap
bev
表示bev视图下检测框的准确率；ap
3d
表示3d检测框的准确率，采用ap|r11标准来进行计算。ap值越大，说明目标检测的准确率越高。本技术方法与上文所提到的基于点云特征的方法得到的ap
3d
值对比如图6所示。本技术方法与使用点云特征的方法在cyclists类别的简单、中等和困难三种难度下分别提高了2.13、1.51和1.47，如图7所示。实验结果证明了本技术所述的引入注意力机制的图像特征提取网络能够有效提高3d目标检测的精度。
[0054]
显然，上述实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的
实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。