一种基于多模态数据融合的车辆检测方法

本发明涉及计算机视觉领域，尤其涉及一种基于多模态数据融合的车辆检测方法。

背景技术：

1、环境感知是自动驾驶技术中的关键技术之一，它可以实现对自动驾驶汽车周围环境的实时监测和分析，从而实现自动驾驶汽车的安全、高效、稳定的运行。但环境感知技术仍有一些关键问题亟待解决。比如在复杂的场景中，物体之间可能存在遮挡、重叠等情况，这会导致算法难以准确地检测到所有的物体。为了提高自动驾驶车辆在动态环境下的检测精度，本发明提出了一种基于多模态数据融合的车辆检测方法，为三维目标检测应用于环境感知技术提供了理论指导和解决方案。

2、为了解决三维目标检测在复杂环境下物体之间的遮挡、重叠甚至精度低等问题，国内外出现了许多优秀的解决方案。现有的较好的解决方法是增加语义信息，加入不同类型的目标物体具有不同的行为特征和动态行为，但由于语义信息存在时效性和不确定性，随着时间和环境的变化，可能会发生变化，影响模型的准确性。另一个解决方法是增加更多的训练数据，但获取真实场景中的大量高质量三维数据比较困难，此外，大多数三维数据需要手工标注，标注难度和成本较高，可能会导致标注质量不足。最后一个解决方法是多传感器融合，将多个传感器的数据信息融合起来，以增强检测的精度和鲁棒性。由于实时性、计算量、传感器等限制，以上的解决方案仍不能使三维目标检测很好地提升自动驾驶车辆对周围环境的实时监测和分析的能力。

技术实现思路

1、本发明针对现有技术的不足，提出了一种基于多模态数据融合的车辆检测方法，提高了自动驾驶车辆车辆检测的精度。

2、本发明采用下述技术方案实现：

3、基于多模态数据融合的车辆检测方法，该方法采用下述步骤实现：

4、步骤一，对点云数据和图像数据进行预处理；

5、步骤二，使用resnet对图像信息进行检测，利用pillar feature net投影点云信息；

6、步骤三，使用改进的多模态特征融合模块融合点云数据和图像数据；

7、步骤四，传入主干网络生成bev图；

8、步骤五，计算置信度得分，利用非极大抑制去除多余检测框，改善图像检测效果。

9、本发明的有效效果：一、点云数据与图像数据的融合不仅能获得准确的目标的深度信息，还能降低图像检测时的漏检的概率。二、通过融合激光雷达和相机传感器的数据，能够有效降低或避免单一传感器获取信息时的不稳定性，从而提供更可靠的决策依据。。三、本模型利用kitti数据集训练得出，经过大量的调试和参数优化，我们的三维目标检测模型的平均精度为82.26％，平均检测时间为0.11s。

10、本发明的效果通过如下实验得到验证：

11、本提出的方法与其他多模态数据融合的三维目标检测算法进行比较，如avod，avod采用了多任务的网络结构，可以同时完成多种任务。本发明已经在公共kitti数据集和现实世界中评估了所提出的方法。本发明通过准确率和召回率评估算法的准确性。准确率是检测结果正确的目标在所有识别结果中的占比，召回率是检测结果正确的目标在数据集标签的所有目标的占比。计算准确率(precision)计算公式如下：

12、

13、其中，tp表示正确的正例；fp表示错误的正例。

14、在kitti数据集上的实验表明，本发明提出的方法在大规模动态城市环境中，与avod相比，将平均精度提高了约8.8％。对比实验结果表明，本方法在动态环境中提高了准确性和鲁棒性。

技术特征：

1.一种基于多模态数据融合的车辆检测方法，其特征在于，包括步骤：

2.根据权利要求1所述基于多模态数据融合的车辆检测方法，其特征在于：所述步骤一中，具体步骤包括：

3.根据权利要求1所述基于多模态数据融合的车辆检测方法，其特征在于：所述步骤二中，具体步骤包括：

4.根据权利要求1所述基于多模态数据融合的车辆检测方法，其特征在于：所述步骤三中，具体步骤包括：

5.根据权利要求1所述基于多模态数据融合的车辆检测方法，其特征在于：所述步骤四中，具体步骤包括：

6.根据权利要求1所述基于多模态数据融合的车辆检测方法，其特征在于：所述步骤五中，具体步骤包括：

技术总结
本发明公开了一种基于多模态数据融合的车辆检测方法，具体是一种基于点云和图像数据融合的车辆目标检测方法。目的是解决无人驾驶系统环境感知中的车辆检测精度低的问题。该方法是由如下步骤实现的：步骤一：对点云数据和图像数据进行预处理；步骤二：使用ResNet对图像信息进行检测，利用Pillar Feature Net投影点云信息；步骤三：使用改进的多模态特征融合模块融合点云数据和图像数据；步骤四：传入主干网络生成BEV图；步骤五：计算置信度得分，利用非极大抑制去除多余检测框，改善图像检测效果。

技术研发人员：伍锡如,林钰睿,赵宇,侯琳
受保护的技术使用者：桂林电子科技大学
技术研发日：
技术公布日：2024/1/15