基于数据融合的车辆检测跟踪算法的制作方法

本发明涉及车辆道路检测技术，具体涉及一种基于数据融合的车辆检测跟踪算法。

背景技术

前方车辆的检测与识别作为车辆辅助驾驶系统的关键技术，近些年得到了迅速的发展。在车辆检测时，单一的传感器会引起传感器对车辆辅助驾驶系统的误导，同时，单一的传感器也会造成检测系统实用性不强、精确度较差的问题。

目前，道路车辆检测与速度测量系统主要采用的方法有视频测速和地感线圈测速。视频测速是通过计算车辆行驶的像素坐标差比上帧数差，乘上一个固定比例得到车辆的速度；视频测速方法简单，但是误差较大。地感线圈测速是将两个线圈间隔固定距离，当车辆驶入第一个线圈开始计时，车辆驶出第二个线圈计时结束，得到时间差，利用距离除上时间得到车辆的行驶速度；地感线圈测速准确度高，但是容易毁坏，维修费用高。

技术实现要素：

本发明的目的在于提供一种基于数据融合的车辆检测跟踪算法，通过多个传感器拟合出的车辆信息图像，结果更加准确。

实现本发明目的的技术方案为：一种基于数据融合的车辆检测跟踪算法，包含以下步骤：

使用图像识别跟踪方法对ccd摄像机采集的视频图像目标进行识别跟踪；

使用毫米波雷达测量前方运动目标的速度、方位以及距离信息；

搭建雷达与光学图像的数据融合模型，将不同传感器的信息做时间和空间上的匹配，将雷达获取的车辆信息转化到视频图像识别的车辆上进行标注，实现多传感器数据融合的车辆检测。

与现有技术相比，本发明的显著优点为：本发明提出一种基于雷达与光学图像数据融合的前方车辆检测方法，首先利用毫米波雷达获取前方有效目标车辆的距离、速度等信息，再依据机器视觉实现目标物体的识别与跟踪，通过坐标系转化关系将两个传感器的信息匹配，从而将前方车辆的信息标注在图像上。

附图说明

图1为基于雷达与光学图像数据融合车辆检测跟踪方法流程图。

图2为基于背景自适应更新算法的车辆识别方法流程图。

图3为雷达信号处理流程图。

图4为外场测试以及测试结果图。

具体实施方式

结合图1，一种基于数据融合的车辆检测跟踪算法，包含以下步骤：

使用图像识别跟踪方法对ccd摄像机采集的视频图像目标进行识别跟踪；

使用毫米波雷达测量前方运动目标的速度、方位以及距离信息；

搭建雷达与光学图像的数据融合模型，将不同传感器的信息做时间和空间上的匹配，将雷达获取的车辆信息转化到视频图像识别的车辆上进行标注，实现多传感器数据融合的车辆检测。

进一步的，所述图像识别跟踪方法具体为：

根据场景不同，图像识别跟踪方法分为自适应背景差分法和基于haar-like特征的adaboost算法；自适应背景差分算法应用于摄像机固定的情况下，算法复杂度小，提取目标完整，实时性较好；基于haar-like特征的adaboost算法应用于摄像机运动的场景。

自适应背景差分法具体为：

根据视频的某一时刻选定一帧作为背景图像；将当前时刻的图像像素与背景图像相减得到差分图像，设定阈值t，若当前帧与背景帧模型灰度值相差大于t则认为该点为运动目标，并将其二值化为1；反之，则认为该点是背景点，将其二值化为0，从而实现分割运动目标，提取出图像的前景。

进一步的，识别出车辆目标后使用kalman滤波对物体进行跟踪。

进一步的，数据融合具体为：

根据张友正标定法，利用matlab摄像机标定工具箱，确定摄像机内参数；

采用最小二乘法迭代求取摄像机的畸变参数；

根据摄像机与雷达的安装位置进行摄像机外参数的求取；

根据世界坐标系到像素坐标系的转换公式，将雷达获取的目标速度、距离信息转换到图像的像素坐标上，通过计算雷达信息对应的车辆质心像素坐标与光学图像识别的车辆质心像素坐标，当像素坐标差值小于设定的阈值则认为目标为同一车辆，将车辆的速度，距离信息显示在图像识别的车辆上，从而实现两种传感器的信息融合模型的搭建，完成空间上的融合；

对于时间上的融合，由于雷达信号处理速度与视频图像的更新频率不同，因此在时间上我们采用多线程同步的方式使得数据同步更新。

在进行坐标转换时选取雷达坐标系为世界坐标系，根据雷达的距离、方位角和俯仰角三个信息可以得到物体在世界坐标系下的三维坐标[x,y,z]；设[u,v]分别是视频检测出的车辆质心的横坐标与纵坐标，k为相机内参，r和t是世界坐标系转换到相机坐标系的旋转和平移矩阵，即相机的外参，s是比例因子；从世界坐标系到图像坐标系的投影关系可以表示为：

为了验证融合算法的有效性与实时性，在搭建好的硬件系统上，使用visualstudio平台上用c++编写程序，初步实现系统的功能并在实际的应用场景下进行测试并对结果进行分析。实验结果表明，本发明能够快速有效的识别前方车辆，并将雷达信息与光学图像信息相匹配，匹配率基本满足要求。

下面结合附图和实施例对本发明进行详细说明。

实施例

图1给出了本发明跟踪算法的总体框架，首先提出了两种能够适用于车辆检测系统的算法：自适应背景差分法和基于haar-like特征的adaboost算法。其中自适应背景差分算法主要应用于摄像机固定，背景变化较慢的情况下；基于haar-like特征的adaboost算法主要应用于摄像机运动的场景，算法运算量不大，能够满足系统的实时性要求。

在识别出车辆目标后使用kalman滤波对物体进行跟踪。同时，在雷达传感器方面，由信号发生器产生高频电信号，其中一部分信号输入到混频器作为本振信号，另一部分信号通过发射天线以电磁波的方式发射。电磁波在空气传播时，在遇到障碍物时，会有部分电磁波信号无法通过障碍物而被反射回来。接收天线通过接受反射信号并转换形成电信号，从而产生回波信号。然后，将得到的回波信号与混频器本振信号的进行混频会输出一个频率较低的信号。该信号包含了障碍物和雷达天线之间的相对距离和相对速度信息，被称之为中频信号。最后，将中频信号通过放大、滤波、a/d转换、信号处理就可获得障碍物的距离、速度信息。最后，将车辆的速度距离等信息标注在图像上，从而完成摄像机与雷达数据融合的车辆检测跟踪。

图2给出了自适应背景更新算法的流程图，先根据视频的某一时刻选定一帧作为背景图像，然后将当前时刻的图像像素与背景图像相减得到差分图像，根据检测的目的来设定阈值t，若当前帧与背景帧模型灰度值相差大于t则认为该点为运动目标，并将其二值化为1；反之，如果像素差值小于等于t则认为该点是背景点，将其二值化为0，从而实现分割运动目标，提取出图像的前景。自适应背景更新方法步骤如下：

(1)选取第一帧图像i1作为背景图b1；

(2)更新的背景图bi为：

bi＝(1-a)*bi-1+a*ii(1)

其中a为背景更新系数，由公式可知，更新的背景图bi与当前帧ii和前面的背景图bi-1均有关系。a的取值较小，因此背景图b1的权重随着时间越来越小，得到的背景越来越完整。

图3给出了雷达信号处理的流程图，将接收机收到的回波信号经过混频处理转换为差拍信号，a/d采样将模拟信号转化为数字信号并利用blankman窗进行fft变换。然后选择恒虚警检测的方法将处理结果与门限值比较，如果大于门限，则判断目标存在。求解出车辆的径向速度：

其中，f是差拍信号的频率，μ是调频斜率，c是光速，v是目标的径向速度，f0是雷达发射信号的频率；r是目标的距离，根据频谱图的峰值谱线计算出相邻帧之间的相位差，利用不模糊距离和差拍信号频率求解出距离模糊得到目标的距离。

雷达测方位角和俯仰角信息是基于雷达天线辐射电磁波时，天线波束轴与目标对准时回波信号最强，而天线波束轴与目标偏离时回波信号变弱的特点确定目标的方向。方位角和俯仰角的角度测量的公式如下：

λ是雷达的波长，d是天线1和天线2之间的距离；测出天线的相位差即可测出目标的方向。

根据张友正标定法，利用matlab摄像机标定工具箱，求出了摄像机内参数。对于摄像机畸变的影响，本发明采用最小二乘法迭代求出了摄像机的畸变参数从来消除了镜头成像的形变现象，最后再根据摄像机与雷达的安装位置进行外参数的求取。在进行坐标转换时我们选取雷达坐标系为世界坐标系，根据雷达的距离、方位角和俯仰角三个信息可以得到物体在世界坐标系下的三维坐标[x,y,z]。设[u,v]分别是视频检测出的车辆质心的横坐标与纵坐标，k为相机内参，r和t是世界坐标系转换到相机坐标系的旋转和平移矩阵，即相机的外参，s是比例因子。从世界坐标系到图像坐标系的投影关系可以表示为：

融合算法的具体步骤如下：

步骤1，利用视频检测的车辆质心的坐标与雷达转换得到的坐标依据进行计算两者之间的距离，寻找距离最小值。

步骤2，若该值小于某一特定阈值，则认为视频检测的车辆与雷达测速的车辆是同一辆车，视频检测目标与雷达测速目标匹配成功。

步骤3，将匹配成功的视频检测目标与雷达测速的目标进行标记，并将雷达获取的速度、距离信息标注在车辆上。

步骤4，寻找次小值，重复步骤2。

图4为融合模型算法的可行性与有效性验证。通过多次外场实验表明，本发明设计的基于ms-lfsk汽车防撞雷达的前方车辆检测系统能够有效的检测出前方障碍物，并能够将速度等信息标注在图像界面上。为统计该融合算法的匹配成功率，在道路上我们随机抽取一段视频进行实时数据统计。实验结果如表1。从统计结果可以看出，融合算法对车辆检测识别的成功率在86.2％，具有相对较高的识别率且能够在相对复杂的场景下有更好的表现。

表1实验结果