一种基于激光雷达与双目摄像头融合的3D目标检测方法及装置与流程

本发明涉及无人驾驶汽车感知，尤其涉及基于激光雷达与双目摄像头融合的3d目标检测方法及装置。

背景技术：

1、为缓解交通拥堵、减少能源消耗、提高驾驶安全，无人驾驶汽车已经成为近年来的研究热点。在无人驾驶汽车的研究中，使用合理的 3d目标检测方法快速而精确地检测出车辆行驶环境中的障碍物，可以为后续规划、决策和控制算法提供有力支持，是保证车辆安全行驶的前提。

2、目前，无人驾驶汽车上主要采用激光雷达、摄像头、毫米波雷达等作为环境感知传感器，车辆行驶场景越复杂，越需要采用在车上布置多个传感器的技术方案。通过对多个传感器的输出信息进行融合，来获得更加丰富准确的车辆行驶场景信息。比如，将激光雷达与摄像头的信息进行融合，不仅可以得到360°范围内的环境信息，还可以检测识别出目标的具体类型。基于深度学习的目标检测方法，是当前目标检测的研究热点，在视觉方面得到了很好的应用，并实现了大量落地。但由于激光雷达点云数据量大，具有无序性和无结构性，并不适合采用该方法进行3d目标检测。因此，需要提供一种合理的3d 目标检测方法，对激光雷达与摄像头融合后的信息进行目标检测。

技术实现思路

1、本发明针对现有3d目标检测技术存在的缺陷，提出一种基于激光雷达与双目摄像头融合的3d目标检测方法及装置，用于快速准确地检测出环境中的3d目标。

2、为实现上述目的，本发明提供的技术方案如下：

3、步骤a：对激光雷达与双目摄像头进行参数标定；

4、步骤b：对激光雷达点云数据进行预处理；

5、步骤c：对激光雷达点云进行地面分割、聚类；

6、步骤d：建立目标分类预测模型；

7、步骤e：进行3d目标匹配与检测。

8、进一步的，所述步骤a具体包括以下步骤：

9、步骤a1：获取激光雷达原始点云数据和双目摄像头原始rgb图像数据，并进行解析；

10、步骤a2：对双目摄像头进行内参标定，同时对激光雷达、双目摄像头进行外参联合标定，实现二者输出的数据在空间上和时间上的同步。并将标定后的点云数据转换成ros消息格式进行发布。

11、进一步的，所述步骤b具体包括以下步骤：

12、步骤b1：将ros消息格式的点云数据装换成pcl格式的点云数据；

13、步骤b2：采用roi方法对激光雷达点云进行筛选，提取出车辆行驶时的感兴趣区域；

14、步骤b3：采用voxelgrid方法对感兴趣区域的点云进行降采样处理，降低点云后续处理的计算量。

15、进一步的，所述步骤c具体包括以下步骤：

16、步骤c1：采用基于lpr的地平面拟合分割方法对点云数据进行地平面拟合，将点云分割成地面点云和非地面点云，避免地面点对位于地面上物体点集造成干扰。

17、步骤c2：采用欧几里得聚类方法对非地面点云进行聚类处理，分割出车辆、行人等单个障碍物点云簇，并将点云簇转换成ros消息格式进行发布。

18、进一步的，所述步骤d具体包括：采用yolov3网络来建立分类预测模型，可以快速地识别出障碍物目标的具体类别。

19、进一步的，所述步骤e具体包括以下步骤：

20、步骤e1：计算聚类得到的障碍物点云簇的位置坐标，然后将坐标值映射到2d像素中进行label匹配，并将正确匹配到的label标注到每个点云簇的属性中；

21、步骤e2：根据每个障碍物点云簇的label，选择不同的3d box 框建立方法对点云簇添加合适的边界框，边界框代表不可碰撞区域，后续路径规划和决策时，需考虑该区域，避免发生碰撞。

22、本发明提供一种基于激光雷达与双目摄像头融合的3d目标检测装置，该装置包括：

23、信息采集模块：包括1个32线激光雷达和1个双目摄像头，用于采集车辆行驶场景信息，包括车辆、行人、交通设施等信息。

24、传感器标定模块：对激光雷达和双目摄像头进行内参和外参标定，使二者输出的场景数据信息在时间和空间上同步，有利于后续的信息匹配，提高感知精度。

25、点云数据处理模块：对激光雷达原始点云数据进行roi提取和 voxelgrid滤波处理，去除噪声、降低点云后续处理的计算量；然后对点云进行地面分割处理，得到非地面点云，并对非地面点云进行聚类处理，得到分割后的障碍物点云簇。

26、分类预测模型建立模块：采用yolov3网络来建立分类预测模型，通过训练，可以快速对障碍物目标进行分类。

27、3d目标匹配与检测模块：计算障碍物点云簇的位置坐标，并将其映射到2d像素中进行label匹配，对每个点云簇标注相应的label 属性；根据每个点云簇标注的label，选择不同的3d box框建立方法对点云簇添加边界框，计算边界框的属性(包括坐标、长宽高或半径、航向等)，并将边界框进行输出。

28、本发明提供了一种基于激光雷达与双目摄像头融合的3d目标检测方法及装置，该方法具有如下优点：

29、(1)本发明提出的3d目标检测方法充分考虑了点云和rgb图像的数据特征，根据深度学习与传统算法对数据处理的特征，采取传统算法对点云进行处理，处理的速度快、效率高，采取深度学习算法对rgb图像进行处理，目标识别精度高。

30、(2)本发明提出的3d目标检测方法结合了激光雷达和双目摄像头对行驶场景感知的优点，利用双目摄像头识别出目标类别，并将类别label标记给对应的障碍物点云簇，使得障碍物点云簇不仅具有三维、距离等信息，也具有种类信息，为后续决策提供了有力的信息支持。

31、(3)本发明提出的3d目标检测方法在研究了几种3d box建立方法的优缺点和适用对象之后，根据label选择不同的3d box建立的方法，使建立的3d box的边框更加接近实际目标对象、更加精确，对后续目标跟踪具有明显优势。

技术特征：

1.一种基于激光雷达与双目摄像头融合的3d目标检测方法，其特征在于，所述方法包括以下步骤：

2.根据权利要求1所述的基于激光雷达与双目摄像头融合的3d目标检测方法，其特征在于，所述步骤a具体包括以下步骤：

3.根据权利要求2所述的基于激光雷达与双目摄像头融合的3d目标检测方法，其特征在于，所述步骤a2选择平面标定法，采用matlab工具箱stereocalibrator进行双目摄像头的内参重新标定，标定完成后会得到cameraparameters1、cameraparameters2、translationofcamera2等参数，然后在驱动包里更改这些参数，即可获得较为准确的三维坐标点和二维像素点之间的矩阵转换关系。

4.根据权利要求1所述的基于激光雷达与双目摄像头融合的3d目标检测方法，其特征在于，所述步骤b具体包括以下步骤：

5.根据权利要求1所述的基于激光雷达与双目摄像头融合的3d目标检测方法，其特征在于，所述步骤c具体包括以下步骤：

6.根据权利要求1所述的基于激光雷达与双目摄像头融合的3d目标检测方法，其特征在于，所述步骤d具体包括：采用yolov3网络来建立分类预测模型，可以快速地识别出障碍物目标的具体类别。

7.根据权利要求1所述的基于激光雷达与双目摄像头融合的3d目标检测方法，其特征在于，所述步骤e具体包括以下步骤：

8.一种基于激光雷达与双目摄像头融合的3d目标检测装置，其特征在于，包括：

技术总结
本发明公开一种基于激光雷达与双目摄像头融合的3D目标检测方法，包括以下步骤：步骤A：对激光雷达与双目摄像头进行参数标定；步骤B：对激光雷达点云数据进行预处理；步骤C：对激光雷达点云进行地面分割、聚类；步骤D：建立目标分类预测模型；步骤E：进行3D目标匹配与检测。该基于激光雷达与双目摄像头融合的3D目标检测方法可实现对行驶环境中的障碍物的快速、准确检测，并具备很强的通用性。本申请还公开了一种基于激光雷达与双目摄像头融合的3D目标检测装置，同具有上述有益效果。

技术研发人员：郑平平,刘一霏,任甜,张倩
受保护的技术使用者：陕西汽车集团股份有限公司
技术研发日：
技术公布日：2024/1/16