本发明涉及车辆测速技术,具体涉及一种基于视频车辆检测和雷达信号融合的车辆测速方法。
背景技术
随着国民经济的发展,我国的汽车保有量持续增长,导致路车矛盾愈发剧烈,仅通过增加交通工具和道路的方法已经无法实现路车协调运作的目标,为了优化道路使用率,提高交通管理能力,需要利用智能交通系统进行车辆测速。
当前车辆测速的方法主要有视频测速、地感线圈测速和雷达测速。视频测速是通过计算车辆行驶的像素坐标差比上帧数差,乘上一个固定比例得到车辆的速度,该测速方法简单,但是误差较大。地感线圈测速是将两个线圈间隔固定距离,当车辆驶入第一个线圈开始计时,车辆驶出第二个线圈计时结束,得到时间差,利用距离除上时间得到车辆的行驶速度,该测速方法测速准确度高,但是容易毁坏,维修费用高,只能进行单车辆的测速。雷达测速是利用多普勒效应,根据雷达的发射波频率与接收波频率的频差来完成对车辆的测速,该测速方法不受天气影响,精度高,被广泛应用于智能交通系统,但是单纯使用雷达测速并不能直观地看出道路上车辆行驶的情况。
技术实现要素:
本发明的目的在于提供一种基于视频车辆检测和雷达信号融合的车辆测速方法,提高了车辆测速的精度和测速结果的可视性。
实现本发明目的的技术解决方案为:一种基于视频车辆检测和雷达信号融合的车辆测速方法,其特征在于,步骤如下:
步骤1、车辆识别跟踪:利用摄像头采集车辆视频信息,进行车辆的识别和跟踪;
步骤2、测速测量:利用雷达获取的回波信号,确定车辆的速度、距离和方位信息;
步骤3、结果融合:根据雷达检测的车辆距离和方位信息,确定车辆质心坐标和行驶方向,将其与视频检测得到的车辆质心坐标和行驶方向进行匹配,在视频上显示车辆的速度信息。
本发明与现有技术相比,其显著优点为:1)本发明采用多个车道一个雷达,精度较高,价格低廉;2)本发明将视频目标检测与雷达信号融合完成车辆的测速,能够直观清晰观察车辆行驶速度情况;3)本发明利用深度学习完成对车辆的检测,精确度更高,速度更快;4)本发明对车辆进行卡尔曼滤波跟踪时,将车辆位置的真实值作为车辆跟踪的初始值,可以使车辆跟踪更加准确。
附图说明
图1是本发明的雷达上扫频段波形图。
图2是本发明的雷达下扫频段波形图。
图3是本发明雷达的摆放位置。
图4是本发明目标检测的流程图。
图5是本发明雷达信号处理的流程图。
图6为本发明车辆测速的流程图。
具体实施方法
下面结合附图和具体实施例来进一步说明本发明方案。
本发明基于视频车辆检测和雷达信号融合的车辆测速方法,包括如下步骤:
步骤1、车辆识别跟踪:利用摄像头采集车辆视频信息,进行车辆的识别和跟踪。作为一种具体实施方式,利用yolov3算法进行车辆识别,利用卡尔曼滤波跟踪进行车辆跟踪。
利用yolov3算法进行车辆识别的流程如图4所示,具体方法如下:
对摄像头读取的一帧图片进行归一化处理,并划分成s×s网格,选择物体中心位置落在的网格负责物体的检测,由于每个边界框拥有5个参数,分别为目标的中心坐标(x0,y0),宽w、高h和边界框置信度,将中心坐标(x0,y0)相对于所在的目标中心单元格归一化到0-1之间,w、h用图像自身的宽和高归一化到0和1之间;
根据归一化后的边界框参数确定边界框置信度
卡尔曼滤波跟踪具体选取车辆的质心坐标为车辆的跟踪点,将跟踪分为初始化、预测、匹配和更正四个阶段,步骤如下:
将车辆出现在第一帧图像中的像素坐标作为卡尔曼滤波跟踪的初始值;
对当前所有的运动目标进行卡尔曼滤波预测,由于物体在短时间内的运动可以看作是匀速直线运动,所以定义其状态转移矩阵a为a=[1,0,△t,0;0,1,0,△t;0,0,1,0;0,0,0,1],其中△t表示视频读取一帧的时间,将状态矩阵和当前帧的预测结果代入状态转移方程,得到下一帧的状态预测值;
对多个跟踪目标进行匹配,由于视频处理一帧的时间短,所以车辆的行驶距离不会很远,设定一个阈值t,xk+1,xk分别是视频下一帧和当前帧车辆质心的横坐标,yk+1,yk分别是视频下一帧和当前帧车辆质心的纵坐标,匹配时利用车辆出现在视频前后帧中的像素坐标计算出欧氏距离
对卡尔曼滤波的估计值进行修正,将得到的车辆质心坐标的估计值和测量值利用卡尔曼系数即可计算当前车辆质心坐标的最优估计值。本发明采用卡尔曼滤波器可以实现对目标的实时估计,没有滞后效果。
步骤2、测速测量:利用雷达获取的回波信号,确定车辆的速度、距离和方位信息。雷达通过发射机和收发开关发射信号,遇到物体时接收机接收被反射回来的微弱信号。由于接收到的信号是高频信号,需要对其进行数据处理,雷达信号处理的流程图如图5所示。作为一种具体实施方式,测速测量的具体方法为:
将接收机收到的回波信号进行a/d和混频处理转换为差拍信号,并利用窗函数进行fft变换,对得到的频谱图做非相干累积处理来抑制其他目标杂波的干扰;
进行有序统计恒虚警检测,将处理结果与门限值比较,如果大于门限,则判断目标存在,进行速度和距离的解耦合操作,由于差拍信号的频率是由速度和距离信息组成,根据频谱图的峰值谱线计算出相邻帧之间的相位差,利用不模糊距离和差拍信号频率求解出距离模糊得到目标的距离,代入式
雷达的方位角信息是基于雷达天线辐射电磁波时,天线波束轴与目标对准时回波信号最强,而天线波束轴与目标偏离时回波信号变弱的特点确定目标的方向。本发明根据波程差确定车辆的方位角
作为一种更具体实施方式,雷达的发射波形采用步进式多阶线性频率键控(ms-lfsk)波形,ms-lfsk波形设计的思路是将波形分为上扫频段和下扫频段两个部分,在如图1和2所示,每个频段分别产生多种不同频率的波形,以此来产生多种不模糊距离。上扫频段由m个线性频率键控信号组成,每个lfsk信号的频率键控时宽为tstep,扫频带宽为b,第k+1个信号和第k个信号有固定的频率差fshfitk=fk+1-fk,下扫频段雷同上扫频段。
步骤3、结果融合:根据雷达检测的车辆距离和方位信息,确定车辆质心坐标和行驶方向,将其与视频检测得到的车辆质心坐标和行驶方向进行匹配,在视频上显示车辆的速度信息。作为一种具体实施方式,结果融合的具体方法为:
初次匹配:将雷达检测的车辆行驶方向与视频跟踪的车辆行驶方向进行比对,若一致,则初次匹配成功,进入二次匹配,否则匹配失败;
二次匹配:将雷达检测的车辆三维空间坐标投影到图像坐标系,计算出车辆的质心坐标(u,v),设雷达安装的高度是h,与水平面的夹角是θ,雷达测得车辆的距离是r,方位角是ψ,车辆在雷达坐标系下的x=rsinψ,z=rcosψ,
实施例1
为了验证本发明方法的有效性,任选一处道路进行车辆测速,具体如下:
视频采集一帧图像,将图片归一化成416×416,然后划分成13×13个网格,如果车辆的中心位置落在该网格,则这个格子就负责检测这个车辆。
网格会产生3个边界框,每个边界框利用sigmoid函数对车辆的中心、目标在边界框内的概率和检测类别置信度进行预测。计算
将输出的检测框的中心作为卡尔曼滤波跟踪的初始值,对当前的车辆进行卡尔曼滤波跟踪。当同时跟踪2辆汽车时,计算车辆前后帧中像素坐标的欧氏距离,如果欧式距离的最小值小于阈值50,判定为前后帧跟踪的车辆是同一辆,并且寻找次小值继续进行跟踪匹配;如果大于阈值50,判定为车辆跟踪丢失,重新建立新的跟踪。
与此同时,雷达发射ms-lfsk信号,并对回波信号进行ad采样和数据重排,得到差拍信号。对每组lfsk差拍信号做fft处理,得到频谱图wk[n],对其做周期图累积,得到幅频响应
车辆的方位角
雷达检测到车辆的距离、速度和方位角信息通过上位机传输到视频处理端口。视频处理器记录开始时检测到的车辆的质心坐标,在车辆的跟踪过程中继续统计车辆的质心坐标,最后根据摄像头的摆放位置可以从视频中根据车辆的质心坐标差判断出车辆的行驶方向。然后雷达传过来的速度从正负之分也可以判断出车辆的行驶方向。如果视频检测的车辆行驶速度和雷达所传车辆速度的方向一致,则进入第二步匹配;否则认为匹配失败。
在第二步匹配中,设雷达安装的高度是h,与水平面的夹角是θ,安装如图3所示。雷达测得车辆的距离是r,方位角是ψ,车辆在雷达坐标系下的x=rsinψ,z=rcosψ,
从本实施例可以看出,本发明能够对多辆汽车同时进行测速,并且可以利用视频直观显示道路车辆的行驶情况。这样不仅具有较高的测速精度,而且可视性强,价格低廉。