小样本条件下的自动驾驶多模态融合目标检测方法及系统

本发明属于深度学习，涉及一种自动驾驶多模态融合目标检测方法及系统，具体涉及一种基于transfusion的小样本条件下的自动驾驶多模态融合目标检测方法及系统。

背景技术：

1、近年来，随着深度学习技术的进步，作为计算机视觉领域的核心任务之一的目标检测技术得到了极大拓展，逐步取代传统目标检测技术而快速发展，成为研究的热点与焦点，从而在生产生活等各个领域进一步提高人们的生活质量，其中以目标检测技术作为关键一环的自动驾驶技术也逐渐成为人工智能技术的热门领域之一。

2、目前，在自动驾驶领域，通用的目标检测算法已经基本能够满足一般交通场景下的目标检测问题。但是，在实际的无人驾驶环境中存在着长尾效应，“长尾”是指无人驾驶车辆中出现的“边缘”情形，这种情形出现的可能性很小。这些极少发生的事件是很容易被忽略的，因此在数据集中经常被遗漏或数量不足以训练算法。尽管人类在面对罕见危险情况时表现出了与生俱来的优势，但是人工智能并不具备这种优势，因为在深度学习中大多数成熟的算法对大规模标注数据要求颇高，而收集这样大量满足条件的数据极大耗费人力、物力和财力。除此之外，自动驾驶汽车上有多种传感器包括激光雷达、摄像头、超声波传感器、雷达等，它们可以提供车辆周围环境和车辆自身状态的多模态信息，比如车辆周围的障碍物、道路状况、车速、加速度等。这些传感器的数据在一定程度上存在互补关系，提高车辆对环境的感知和理解能力。例如，激光雷达可以提供高精度的三维距离和形状信息，而摄像头则可以提供更加丰富的颜色和纹理信息，两者结合可以更加准确地识别物体。因此，可以通过融合多模态数据来充分挖掘信息，以进一步提高目标检测和其他自动驾驶模型的性能。许多传统3d方法依赖于大量的标记数据进行学习，而在自动驾驶罕见危险场景中，收集到的单一模态数据的样本量也往往远远低于训练卷积神经网络所需的数据集数量。在2d领域，已经有很多方法如g-fsd、bags等能够解决小样本条件下的目标检测问题，实现缓解长尾效应的现实效果。然而，在数据受限情况下，使用多模态技术检测物体的研究仍然较为空白。因此，在标注样本数量受限的情况下，小样本自动驾驶多模态目标检测技术的研究应运而生，极具现实意义。

技术实现思路

1、为了解决同时有效利用不同模态传感器的优势互补，充分利用收集到样本质量一般的数据，在小样本条件下实现目标检测任务问题，本发明提供了一种基于transfusion的小样本条件下的自动驾驶多模态融合目标检测方法及系统。

2、本发明的方法所采用的技术方案为：一种小样本条件下的自动驾驶多模态融合目标检测方法，包括以下步骤：

3、步骤1：实时获取前行方向图像，提取图像点云数据和图像特征数据，得到雷达俯视图特征和图像特征；

4、步骤2：利用多模态数据融合网络，融合雷达俯视图特征和图像特征，输出检测目标；

5、所述多模态数据融合网络，包括图像引导的序列初始化模块、解码器模块和交叉注意力模块。

6、作为优选，步骤1中，采用三维骨干网络提取图像点云数据；

7、所述三维骨干网络，包括体素特征提取模块、三维特征提取模块、二维卷积处理模块和预测头模块；

8、所述体素特征提取模块，用于将三维点云划分为一定数量的体素，然后进行点的随机采样以及归一化，再对每一个非空体素使用若干体素特征提取层进行局部特征提取；对体素划分后规定同一体素内的点进行统一处理，通过随机取样在每个体素选取t个点，使用体素特征提取层进行体素特征编码，得到一系列的体素特征；

9、所述三维特征提取模块，对于得到的一系列体素特征，使用3d卷积来处理，包括2个卷积核，卷积核当前覆盖到非零数据点就计算卷积输出；

10、所述二维卷积处理模块，包含三个全卷积块，每个全卷积块的第一层通过步长为2的卷积将特征图采样为一半，之后是三个步长为1的卷积层，每个卷积层都包含bn层和relu操作；将每一个全卷积块的输出都上采样到一个固定的尺寸并串联构造高分辨率的特征图；

11、所述预测头模块，包括多个卷积层和1个全连接层，2个分支分别输出预测的回归边框位置信息和对应位置的类别信息；经过第一个基训练阶段后，骨干在第一阶段获得了良好的特征提取能力，基头分支对基类具有鉴别能力。如果每个输入中一个新类的对象少于两个，则复制一些示例数据并将它们添加到输入中。在第二个微调阶段增添增量分支，每个增量分支由一个简单的双层卷积、一层bn和一层relu组成。

12、作为优选，步骤1中，采用二维骨干网络提取图像特征数据。

13、作为优选，步骤2中，所述图像引导的序列初始化模块，包括维度压缩层和相机变换矩阵层；所述维度压缩层，对于步骤1得到的多视图图像特征f，沿高度轴维度压缩，作为注意力机制的键值和输入特征向量的序列，得到图像列；所述相机变换矩阵层，把俯视图特征与图像列联系起来，建立俯视图位置与图像列之间的关系，完成融合点云和图像特征初始化序列。

14、作为优选，步骤2中，所述解码器模块，由6个相同的解码层顺序连接构成，解码层包含2个多头注意力模块和1个前馈模块，模块与模块之间均由一个残差模块连接，并送入正则化模块进行层规范化；每一个解码层计算得到一个损失，从第一解码层得到初始的边界框预测。

15、作为优选，步骤2中，所述交叉注意力模块，通过围绕每个查询的投影二维中心的二维圆形高斯掩码对交叉注意力进行加权。

16、作为优选，在步骤2中，构建样本自适应平衡损失函数解决点云场景中的解决正负样本之间明显的不平衡问题；

17、所述样本自适应平衡损失函数为：

18、fl＝-αt(1-pt)γlog(pt)；

19、令一个c类分类器的输出为y∈rc×1，定义函数f将输出y转为伪概率值p＝f(y)，当前样本的类标签为t，记pt＝p[t]，表示分类器预测为t类的概率值；γ>0为权重指标，αt为平衡因子；

20、其中y是真实样本的标签，1表示正而0表示负，y'是经过sigmoid激活函数的预测输出，其数值在0到1之间；

21、基于焦点损失中预测p的置信度，样本自适应平衡损失动态地调整了正样本中困难样本和简单样本的权值wpos，其中s是当前位置的分数；设置numpos为每个输入样本中的正样本数，numneg为每个输入样本中的负样本数，使用计算权重系数wneg，以抑制大量的背景区域；设置一个负样本响应阈值θ来测量预测区域的响应水平，对高于θ的区域的数量做统计并记为numhn；设置动态权重whn，其值随着numpos和numneg的变化而变化；利用wpos调整困难样本的权重和正样本中的简单样本，并使用wneg减少正样本和负样本之间大量背景区域导致的严重失衡的负面影响，最后用whn来处理高于阈值θ的困难负样本。

22、本发明的系统所采用的技术方案是：一种小样本条件下的自动驾驶多模态融合目标检测系统，包括：

23、一个或多个处理器；

24、存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现所述的小样本条件下的自动驾驶多模态融合目标检测方法。

25、本发明结合最新多模态融合3d目标检测算法与小样本学习技术，在少量数据下训练得到具备一定准确性和鲁棒性的模型算法，对解决自动驾驶危险场景中样本不足的问题做出尝试和提出改进方案，进一步提高自动驾驶的安全性和可靠，在实际应用中具有广阔的价值和意义。