一种激光雷达和单目摄像头融合的目标跟踪方法及系统与流程

本发明属于目标检测与跟踪，具体涉及一种激光雷达和单目摄像头融合的目标跟踪方法及系统。

背景技术：

1、现有的目标检测与跟踪方案中，一部分仅使用激光雷达对环境感知，对激光雷达扫描线束要求较高，低线数(如16线)的感知精度偏低；一部分仅使用单目摄像头对环境感知，但由于传感器限制无法获取距离信息；一部分仅使用双目摄像头对环境感知，但距离信息的精度不高；一部分融合激光雷达和单目摄像头的方式，低线数的激光雷达检测效果不佳，存在融合失败情况。

2、因此，现阶段需设计一种激光雷达和单目摄像头融合的目标跟踪方法及系统，来解决以上问题。

技术实现思路

1、本发明目的在于提供一种激光雷达和单目摄像头融合的目标跟踪方法及系统，用于解决上述现有技术中存在的技术问题，采用低线数(16线)激光雷达和单目摄像头融合方式，提高目标跟踪的准确度；改进融合方式，提高低线数的激光雷达对融合的效果。

2、为实现上述目的，本发明的技术方案是：

3、一种激光雷达和单目摄像头融合的目标跟踪方法，包括以下步骤：

4、s1、摄像头内参标定；

5、s2、摄像头与激光雷达外参标定；

6、s3、激光雷达点云数据处理后聚类，获得目标的三维框；

7、s4、摄像头图像数据校正后yolov5网络检测，获得图像目标二维框；

8、s5、图像目标框卡尔曼滤波，deepsort匹配，获得跟踪的图像目标框；

9、s6、点云目标框通过外参矩阵投影到图像坐标中，获得点云二维目标框；

10、s7、点云二维目标框box1集合与跟踪的图像目标框box2集合匹配，获得匹配成功的融合目标框、未匹配成功的图像目标框、未匹配成功的点云目标框；

11、s8、获得匹配成功的融合目标框，将相应标签赋值给点云目标框，用于后续规划；

12、s9、未匹配成功的图像目标框，估算其距离，用于后续规划；

13、s10、未匹配成功的点云目标框，保留，用于后续规划。

14、进一步的，步骤s1具体如下：

15、准备棋盘格标定板，采用张正友标定法完成摄像头标定，获得内参数据。

16、进一步的，步骤s2具体如下：

17、准备棋盘格标定板，规格a1尺寸；

18、将安装有激光雷达和摄像头的车辆停放到空旷平整的地方，在工控机上运行激光雷达和摄像头的驱动程序，同时实时记录它们的点云数据和图像数据，以进行离线标定；

19、在记录数据时，将标定板棋盘面向装有摄像头和激光雷达的车头且垂直地面，将标定板依次放置在多个位置，在每个位置放置标定板并依次呈现多个朝向角度；完成数据记录；

20、播放数据，进行离线标定；使用autoware自动驾驶开源框架中提供的标定工具，获得外参数据。

21、进一步的，步骤s3具体如下：

22、运行激光雷达的驱动程序，获得实时的点云数据l1；

23、对点云数据l1先进行体素滤波，降低点云复杂度，获得点云数据l2；

24、对点云数据l2中超过一定高度的数据舍弃，保留的点云数据l3；

25、对点云数据l3作地面滤波处理，剔除地面的点云后，获得最终的点云数据l4；

26、对点云数据l4，采用欧几里德聚类方法，获得目标的三维框。

27、进一步的，步骤s4具体如下：

28、运行摄像头的驱动程序，获得图像数据c1；

29、运行摄像头校正程序，获得校正后的图像数据c2；

30、运行基于yolov5网络的检测程序，完成图像数据c2的目标识别，获得图像目标二维框。

31、进一步的，步骤s5具体如下：

32、对步骤s4中检测到的当前t时刻目标进行卡尔曼滤波，获得每个目标下一个时刻t+1预测位置，组成集合p1；

33、在下一个时刻t+1通过步骤s4检测图像，获得目标的位置，组成集合p2；

34、最后通过deepsort算法完成集合p1和p2的匹配，匹配上的目标将获得唯一id号。

35、进一步的，步骤s6具体如下：

36、将步骤s3获得的目标三维框依据步骤s2已得到外参数据转换到基于图像坐标的二维框，即为点云二维目标框。

37、进一步的，步骤s7具体如下：

38、box1和box2都为图像坐标下的二维框集合；

39、当box1框的中心位置超过摄像头图像的尺寸时，则摄像头视野不能覆盖此box1对应的点云目标，将存在该情况的box1添加到未匹配成功的点云目标框box5集合中，剩下的目标框作为box3集合；

40、选取box2集合中一个目标框，依次计算该目标框与box3集合中所有目标框的iou值，重复上述操作，直至完成box2集合中所有的目标框；

41、以iou值为代价，采用匈牙利法完成匹配；匹配结果中，若iou大于设定阈值则为匹配成功的融合目标框box6；若box2集合中目标框iou小于阈值则为未匹配成功的图像目标框，添加到box8集合中；若box3集合中目标框iou小于阈值则为未匹配成功的点云目标框，添加到box5集合中。

42、一种激光雷达和单目摄像头融合的目标跟踪系统，应用于如上述的一种激光雷达和单目摄像头融合的目标跟踪方法。

43、与现有技术相比，本发明所具有的有益效果为：

44、本方案采用低线数(16线)激光雷达和单目摄像头融合方式，提高目标跟踪的准确度；改进融合方式，提高低线数的激光雷达对融合的效果。

技术特征：

1.一种激光雷达和单目摄像头融合的目标跟踪方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种激光雷达和单目摄像头融合的目标跟踪方法，其特征在于，步骤s1具体如下：

3.根据权利要求2所述的一种激光雷达和单目摄像头融合的目标跟踪方法，其特征在于，步骤s2具体如下：

4.根据权利要求3所述的一种激光雷达和单目摄像头融合的目标跟踪方法，其特征在于，步骤s3具体如下：

5.根据权利要求4所述的一种激光雷达和单目摄像头融合的目标跟踪方法，其特征在于，步骤s4具体如下：

6.根据权利要求5所述的一种激光雷达和单目摄像头融合的目标跟踪方法，其特征在于，步骤s5具体如下：

7.根据权利要求6所述的一种激光雷达和单目摄像头融合的目标跟踪方法，其特征在于，步骤s6具体如下：

8.根据权利要求7所述的一种激光雷达和单目摄像头融合的目标跟踪方法，其特征在于，步骤s7具体如下：

9.一种激光雷达和单目摄像头融合的目标跟踪系统，其特征在于，应用于如权利要求1-8任一项所述的一种激光雷达和单目摄像头融合的目标跟踪方法。

技术总结
本发明涉及一种激光雷达和单目摄像头融合的目标跟踪方法及系统，属于目标检测与跟踪技术领域，包括：摄像头内参标定；摄像头与激光雷达外参标定；激光雷达点云数据处理后聚类，获得目标的三维框；摄像头图像数据校正后yolov5网络检测，获得图像目标二维框；图像目标框卡尔曼滤波，deepsort匹配，获得跟踪的图像目标框；点云目标框通过外参矩阵投影到图像坐标中，获得点云二维目标框等。本方案采用低线数(16线)激光雷达和单目摄像头融合方式，提高目标跟踪的准确度；改进融合方式，提高低线数的激光雷达对融合的效果。

技术研发人员：黄得铭,曾帆,徐铮,蒋聪,尹成龙
受保护的技术使用者：成都云科新能汽车技术有限公司
技术研发日：
技术公布日：2024/1/13