基于相机和雷达的障碍物检测方法、装置、设备及介质与流程

本申请涉及障碍检测，具体而言，涉及一种基于相机和雷达的障碍物检测方法、装置、设备及介质。

背景技术：

1、随着科学技术的发展，各行各业的发展趋向于节省人力化，尤其是在车辆驾驶领域，无人驾驶尤为突出。在无人驾驶领域，车辆对于周围环境感知是实现无人驾驶的基础，环境感知包括检测障碍物的类别、位置和对障碍物进行跟踪等。

2、现有技术中，对于车辆周围的环境感知一般采取雷达探测的方式，通过雷达对车辆周围环境的点云信息进行采集，并依据采集的点云信息进行障碍物识别。但是由于采集到的点云信息太多，需要大量的算力支持，导致处理效率较低。

技术实现思路

1、有鉴于此，本申请的目的在于提供一种基于相机和雷达的障碍物检测方法、装置、设备及介质，以克服现有技术中的问题。

2、第一方面，本申请实施例提供了一种基于相机和雷达的障碍物检测方法，所述方法包括：

3、使用相机获取目标车辆前进方向待检测区域的待检测图片，并且使用雷达获取目标车辆前进方向待检测区域的待检测点云；

4、基于所述相机与所述雷达的融合、所述待检测图片，对所述待检测点云进行简化，得到简化后的目标点云；

5、基于所述目标点云确定出障碍物信息，以控制目标车辆避开障碍物行驶。

6、在本申请一些技术方案中，上述对所述待检测点云进行简化，得到简化后的目标点云，包括：

7、对所述待检测点云进行裁剪、区域检测和滤波，得到所述目标点云。

8、在本申请一些技术方案中，上述基于所述相机与所述雷达的融合、所述待检测图片，对所述待检测点云进行简化，得到简化后的目标点云，包括：

9、对所述待检测点云中未满足预设要求的点云进行裁剪，得到第一点云；

10、对所述第一点云进行简化，得到简化后的目标点云。

11、在本申请一些技术方案中，上述方法还包括：

12、对所述待检测图片进行障碍物识别，得到障碍物的位置信息且每个障碍物对应一检测框；

13、所述对所述第一点云进行简化，得到简化后的目标点云，包括：

14、根据相机雷达之间的旋转平移关系和相机成像模型，将所述第一点云投影到所述待检测图片；

15、根据所述检测框与所述第一点云投影的位置关系，从所述第一点云中选出投影位于所述检测框中的第二点云；

16、对所述第二点云进行简化，得到简化后的目标点云。

17、在本申请一些技术方案中，上述对所述第二点云进行简化，得到简化后的目标点云，包括：

18、对所述第二点云进行地面滤波，得到滤波后的第三点云；

19、对所述第三点云进行简化，得到简化后的目标点云。

20、在本申请一些技术方案中，上述对所述第三点云进行简化，得到简化后的目标点云，包括：

21、对所述第三点云进行体素滤波，得到所述目标点云。

22、在本申请一些技术方案中，上述基于所述目标点云确定出障碍物信息，包括：

23、对所述目标点云进行聚类处理，选取点云数量最多的类作为障碍物信息。

24、第二方面，本申请实施例提供了一种基于相机和雷达的障碍物检测装置，所述装置包括：

25、获取模块，用哪个与使用相机获取目标车辆前进方向待检测区域的待检测图片，并且使用雷达获取目标车辆前进方向待检测区域的待检测点云；

26、简化模块，用于基于所述相机与所述雷达的融合、所述待检测图片，对所述待检测点云进行简化，得到简化后的目标点云；

27、确定模块，用于基于所述目标点云确定出障碍物信息，以控制目标车辆避开障碍物行驶。

28、第三方面，本申请实施例提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的基于相机和雷达的障碍物检测方法的步骤。

29、第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述的基于相机和雷达的障碍物检测方法的步骤。

30、本申请的实施例提供的技术方案可以包括以下有益效果：

31、本申请方法包括使用相机获取目标车辆前进方向待检测区域的待检测图片，并且使用雷达获取目标车辆前进方向待检测区域的待检测点云；基于所述相机与所述雷达的融合、所述待检测图片，对所述待检测点云进行简化，得到简化后的目标点云；基于所述目标点云确定出障碍物信息，以控制目标车辆避开障碍物行驶。

32、本申请实施例在获取了待检测图片和待检测点云之后，基于相机与雷达的融合、待检测图片，对待检测点云进行简化，得到简化后的目标点云，使用目标点云确定障碍物信息，大大降低了点云的数量，提高了处理效率。

33、为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

技术特征：

1.一种基于相机和雷达的障碍物检测方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述对所述待检测点云进行简化，得到简化后的目标点云，包括：

3.根据权利要求1所述的方法，其特征在于，所述基于所述相机与所述雷达的融合、所述待检测图片，对所述待检测点云进行简化，得到简化后的目标点云，包括：

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

5.根据权利要求4所述的方法，其特征在于，所述对所述第二点云进行简化，得到简化后的目标点云，包括：

6.根据权利要求5所述的方法，其特征在于，所述对所述第三点云进行简化，得到简化后的目标点云，包括：

7.根据权利要求6所述的方法，其特征在于，所述基于所述目标点云确定出障碍物信息，包括：

8.一种基于相机和雷达的障碍物检测装置，其特征在于，所述装置包括：

9.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至7任一所述的基于相机和雷达的障碍物检测方法的步骤。

10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至7任一所述的基于相机和雷达的障碍物检测方法的步骤。

技术总结
本申请提供了一种基于相机和雷达的障碍物检测方法、装置、设备及介质，该方法包括：使用相机获取目标车辆前进方向待检测区域的待检测图片，并且使用雷达获取目标车辆前进方向待检测区域的待检测点云；基于所述相机与所述雷达的融合、所述待检测图片，对所述待检测点云进行简化，得到简化后的目标点云；基于所述目标点云确定出障碍物信息，以控制目标车辆避开障碍物行驶。本申请实施例在获取了待检测图片和待检测点云之后，基于相机与雷达的融合、待检测图片，对待检测点云进行简化，得到简化后的目标点云，使用目标点云确定障碍物信息，大大降低了点云的数量，提高了处理效率。

技术研发人员：于飞,汪平凡,杨万鹏,陈嘉鑫,郝晓伟,郭琴琴
受保护的技术使用者：北京星网船电科技有限公司
技术研发日：
技术公布日：2024/1/16