一种汽车前方障碍物检测方法和系统与流程

本发明涉及多传感器融合感知的技术领域，尤其涉及一种基于摄像头和毫米波雷达融合的障碍物检测方法。

背景技术：

随着我国经济与科技的飞速发展，人们的用车需求也日益增加，汽车使用量也是在逐年增加。人工智能技术的快速发展也推动了汽车智能化技术的发展，无人驾驶汽车也逐渐地出现在大众的视野之中。无人驾驶汽车是通过一系类传感器来获取外界的信息，这些传感器包括像摄像头、毫米波雷达、激光雷达等等，这些传感器就相当于人类的眼睛，耳朵等感知器官一样。通过这些传感器的感知信息传给车辆的决策层便能够实现无人驾驶系统。

为了行驶过程中的安全，对于传感器感知到的前方障碍物的具体信息(如大小、距离、速度)的精确度有非常高的要求。

由于各种传感器有其自身的优缺点，例如摄像头的优点是可以清晰地呈现物体的形状外观，即易于描述物体的细节特征，但缺点是容易受到恶劣天气影响，单目摄像头测距不够精准；毫米波雷达的优点是抗干扰能力强，不受天气的影响，测距精度高，缺点是测距的范围有限，而且毫米波雷达不能够感知汽车前方的行人等。故通过融合算法将摄像头和毫米波雷达感知的车辆前方障碍物信息进行一个加权运算，便能够得到更加精准的障碍物信息，这样车辆便能够更好地进行避障或其他的下一步动作，极大地提高了汽车行驶的安全性。

技术实现要素：

本发明所要解决的技术问题是实现一种基于摄像头和毫米波雷达融合的障碍物检测方法，能够为无人驾驶技术中的汽车环境感知能力以及决策规划层提供更精确及可靠的参考依据。

为了实现上述目的，本发明采用的技术方案为：一种汽车前方障碍物检测方法，包括以下步骤：

1)为单目摄像头、毫米波雷达供电；

2)单目摄像头识别车辆前方的障碍物；

3)毫米波雷达与单目摄像头使用统一的坐标系；

4)判断毫米波雷达与单目摄像头获取的障碍物是否为同一个障碍物；

5)毫米波雷达与单目摄像头在时间上统一融合；

6)融合毫米波雷达与单目摄像头的障碍物信息；

7)向外发出障碍物信息。

所述3)中，毫米波雷达与单目摄像头的各自坐标系统一到车身坐标系下达到空间上的融合。

所述4)中，车身坐标系下，以单目摄像头的检测的障碍物点为圆心，设定半径阈值α，当毫米波雷达检测到的障碍物的点在圆范围内时，便认为是同一个障碍物，否则不计为同一个障碍物。

所述5)中，以单目摄像头的采样速率为准，当单目摄像头每采集一帧图像数据，选取毫米波雷达的上一帧缓存的数据，实现毫米波雷达与单目摄像头在时间上统一融合。

所述6)中，通过一个概率加权函数来融合毫米波雷达与单目摄像头的障碍物信息，并作为障碍物的最终输出信息

一种执行所述汽车前方障碍物检测方法的检测系统，包括以下模块：

为单目摄像头、毫米波雷达供电的电源模块；

识别车辆前方的障碍物的识别模块

将毫米波雷达与单目摄像头使用统一坐标系的坐标统一模块；

判断毫米波雷达与单目摄像头获取的障碍物是否为同一个障碍物的判断模块

将毫米波雷达与单目摄像头在时间上统一融合的时间统一模块；

将毫米波雷达与单目摄像头的障碍物信息融合的信息融合模块；

向外发出障碍物信息的通信模块。

所述识别模块包括单目摄像头和毫米波雷达，所述单目摄像头安装在前车窗玻璃中心位置，所述毫米波雷达安装在汽车前端中心位置，所述单目摄像头和毫米波雷达均用于采集汽车正前方的障碍物信息。

本发明通过融合多传感器结合深度学习检测算法以及概率加权融合函数来输出汽车前方障碍物的信息，比单一传感器的障碍物输出信息更加精确，大大地提高了无人驾驶汽车的感知能力，提高了无人驾驶系统的安全性与鲁棒性。

附图说明

下面对本发明说明书中每幅附图表达的内容作简要说明：

图1为汽车前方障碍物检测方法流程图。

具体实施方式

下面对照附图，通过对实施例的描述，本发明的具体实施方式如所涉及的各构件的形状、构造、各部分之间的相互位置及连接关系、各部分的作用及工作原理、制造工艺及操作使用方法等，作进一步详细的说明，以帮助本领域技术人员对本发明的发明构思、技术方案有更完整、准确和深入的理解。

整个系统包括车辆、单目摄像头，毫米波雷达、检测及融合算法开发板等。需要将单目摄像头、毫米波雷达安装在车辆的正确位置，摄像头安装前车窗玻璃中心位置上，安装的位置要保证能够获取车辆前方合适的视野范围。

单目摄像头与毫米波雷达的安装示意图。摄像头安装在车辆前挡风玻璃的中心位置，毫米波雷达安装在汽车前端中心位置(保险杠上方)。

汽车点火，单目摄像头跟毫米波雷达均正常供电。其中摄像头用来识别车辆前方的障碍物，即摄像头负责分别前方的障碍物是行人或者车辆或其他种类障碍物，所用的检测算法基于深度学习算法(yolov3)，同时可以输出前方障碍物的距离、大小或速度信息；毫米波雷达同时也可以出前方障碍物的距离等信息，因毫米波雷达与摄像头的各自坐标系并不相同，所以需要将车辆前方障碍物的坐标统一到车身坐标系下，即将摄像头跟毫米波雷达做空间上的融合。

车辆前方障碍物可以在一个坐标系下显示，但毫米波雷达的障碍物显示通常是以点的形式显示，并且毫米波雷达检测的障碍物点干扰较多，而摄像头的检测是以框的形式显示，取框的中心点作为障碍物，为方便确定摄像头检测的障碍物同毫米波雷达检测的是同一个障碍物，在车身坐标系下，以摄像头的检测的障碍物点为圆心，设定半径阈值α，当毫米波雷达检测到的障碍物的点在圆范围内时，便认为是同一个障碍物，否则不计为同一个障碍物。

摄像头与毫米波雷达的采样周期不同，为了保证融合系统在时间上的同步，以摄像头的采样速率为准，当摄像头每采集一帧图像数据，选取毫米波雷达的上一帧缓存的数据。

这些数据包含障碍物的距离、大小、速度等信息，对摄像头和毫米波雷达的数据进行关联，即通过一个概率加权函数来融合这两种传感器的障碍物信息，并作为障碍物的最终输出信息。这些检测以及融合算法最终集成到一个嵌入式开发板中，留出障碍物输出信息端口，将这个端口与汽车的决策控制模块连接。

如图1所示，障碍物检测方法包括：

步骤s1，车辆点火，单目摄像头、毫米波雷达正常供电；

步骤s2，摄像头通过深度学习算法用来识别车辆前方的障碍物；

步骤s3，毫米波雷达与摄像头的各自坐标系统一到车身坐标系下达到空间上的融合；

步骤s4,车身坐标系下，以摄像头的检测的障碍物点为圆心，设定半径阈值α，当毫米波雷达检测到的障碍物的点在圆范围内时，便认为是同一个障碍物，否则不计为同一个障碍物；

步骤s5，毫米波雷达与摄像头在时间上统一融合，以摄像头的采样速率为准，当摄像头每采集一帧图像数据，选取毫米波雷达的上一帧缓存的数据；

步骤s6，通过一个概率加权函数来融合这两种传感器的障碍物信息，并作为障碍物的最终输出信息；

步骤s7,将算法集成到嵌入式开发板上，留出输出端口接入决策控制模块。

上面结合附图对本发明进行了示例性描述，显然本发明具体实现并不受上述方式的限制，只要采用了本发明的方法构思和技术方案进行的各种非实质性的改进，或未经改进将本发明的构思和技术方案直接应用于其它场合的，均在本发明的保护范围之内。