基于车头灯轨迹跟踪和动态配对的夜间交通流量检测方法与流程

文档序号:15450173发布日期:2018-09-14 23:53阅读:149来源:国知局

本发明涉及计算机视觉、图像处理和智能交通数据采集技术领域,尤其涉及一种基于车头灯轨迹跟踪和动态配对的夜间交通流量检测方法。



背景技术:

交通流量数据采集是智能交通系统(its)的基础且重要环节,基于视频的检测技术相比于传统的交通流量数据采集方法,如地磁感应线圈检测、基于超声波检测、基于红外检测、人工计数等,具有以下优势:1.安装、维护、系统升级简便;2.检测设备购置成本较低;3.可提供现场实时的交通场景影像资料,或再现过去的交通场景;4.环境友好;5.设备间无干扰。因此基于计算机视觉的交通数据采集方法在智能交通领域具有较好的应用前景。

针对日间光照条件良好的交通流量视频检测方法,如帧间差分法、背景消除法,必须依赖于前景与背景具有明显区分才可有效检测;又如快速小波变换方法,必须依赖于较清晰的图像以提取纹理特征,故均无法适用于夜间车身亮度与道路亮度均很低的情况。

在夜间,车头灯是车辆明显且稳定存在的特征,因此现已提出的应用于夜间的交通流量视频检测方法绝大部分将车头灯作为检测车辆存在性的特征依据。但是夜间道路光照情况受到诸多复杂因素,如道路照明、摄像头曝光度、是否下雨、车流密度等的影响,进而影响车灯的亮度特征以及非车灯背景的亮度特征,此外还会影响干扰光源的存在性及其特征。仅通过对静态图像亮度信息的分析完成车灯识别的检测方法,难以在复杂交通场景具有良好的鲁棒性,使得夜间车辆检测成为难题。



技术实现要素:

为了克服现有交通流量视频检测方法难以适用于复杂夜间道路场景的不足,本发明提供一种基于车头灯轨迹跟踪和动态配对的夜间交通流量检测方法,将车头灯作为夜间识别车辆存在性的依据,充分利用车头灯几何特征的时域稳定性准确提取车头灯光斑,而后基于车灯跟踪轨迹特征相似性以及车灯空间位置关系实现车灯配对,最终实现夜间复杂道路场景下的车辆计数目标。

技术方案:为了实现上述目标,本方案所采用的技术方案为:

一种基于车头灯轨迹跟踪和动态配对的夜间交通流量检测方法,包括如下步骤:

(1)视频采集:在龙门架或适当高处架设摄像机,将摄像机曝光度调至足够低,拍摄所需检测路段的夜间道路交通视频;

(2)参数输入与标定:输入检测路段相关参数,标出路段边线,从而计算静态提取区(即静态提取模块处理区域)、车灯跟踪区(即动态过滤模块与车灯配对模块处理区域)的位置尺寸以及流量检测线(即车辆计数断面)的高度,并获取并储存从图像中像素距离转换为实际物理距离所需参数;

(3)静态提取:对静态提取感兴趣区域内的图像基于亮度特征和几何特征进行初步的筛选,提取出疑似车头灯光斑;

(4)动态过滤:对静态提取所得疑似车头灯光斑进行跟踪,并在跟踪过程中,将不再满足车头灯几何特征的光斑筛除;

(5)车灯配对:基于车灯跟踪轨迹特征相似性以及空间位置关系,对属于同一车辆的车灯进行配对;

(6)车辆计数:当所跟踪的车灯移动至流量检测线位置时,根据车灯配对结果进行车辆计数。

所述步骤(1)具体为:

101:在龙门架或适当高处架设摄像机,以一定的俯角拍摄,所拍摄画面不宜包含天空;

102:将摄像机曝光度调至较低水平,以白色车辆车身与车灯具有较明显亮度区分为宜;

103:拍摄所需检测路段的夜间道路交通视频。

所述步骤(2)具体为:

201:输入所需检测路段车道宽度、总车道数,以及流量检测线位置参数,并标出所需检测路段边线;

202:根据所输入参数以及所标出路段边线,计算静态提取区、车灯跟踪区之位置尺寸以及流量检测线之高度;

203:储存透视投影所需参数,参数将在(5)车灯配对步骤中用于计算车灯纵向实际移动速度、以及两车灯横向实际距离。

所述步骤(3)具体为:

301:将图像同彩色图像转换成灰度图,获取其亮度信息;

302:将步骤301所得结果使用固定阈值进行二值化阈值分割,提取高亮度像素;

303:将步骤302所得结果进行形态学开运算,以消除小面积噪点以及车灯之间的粘连;

304:对步骤303所得结果进行轮廓检测;

305:计算步骤304所得轮廓的外包络矩形,以便提取光斑几何特征;

306:设定若干规则初步筛除几何特征明显与车头不符的干扰光斑,规则如下:

306-1)光斑轮廓的外包络矩形之长宽比小于阈值t1;

306-2)光斑面积ca大于下限阈值t2、小于上限阈值t3。

所述步骤(4)具体为;

401:以步骤(3)提取所得疑似车头灯光斑的外包络矩形为初始跟踪窗口,使用camshift跟踪算法进行跟踪,若跟踪窗口覆盖范围与静态提取区有交集,则在下一帧中静态提取所使用的灰度图中画出黑色实心矩形,该矩形在覆盖前一帧跟踪窗口的基础上,还需在左右各留出3像素、下方留出9像素余量,以保证在下一帧中仍可完全覆盖该车灯,从而避免对同一车灯的重复跟踪;

402:在跟踪过程中,动态对几何特征不再满足车头灯特征的光斑放弃跟踪,筛除规则如下:

定义ci为第i个camshift跟踪对象,ci在当前帧中的跟踪窗口起点(左上角点)的x轴和y轴坐标分别为ci(x)和ci(y),当前帧跟踪窗口高度为ci(h)、宽度为ci(w),面积为ci(a)。此外定义动态过滤感兴趣区域的行数为ht、列数为wt。

402-1)跟踪窗口面积大于零:ci(a)>0;

402-2)跟踪窗口面积小于设定阈值:ci(a)<t4;

402-3)跟踪窗口长宽比小于设定阈值:

402-4)跟踪窗口左边不得触及跟踪区左边缘:ci(x)>0;

402-5)跟踪窗口右边不得触及跟踪区右边缘:ci(x)+ci(w)<wt;

402-6)跟踪窗口底边不得触及跟踪区底边缘:ci(y)+ci(h)<ht。

所述步骤(5)具体为:

501:使用kalman滤波平滑camshift跟踪轨迹,修正由于摄像头抖动等造成的误差。具体使用方法如下:

501-1)状态向量:xk=[cx(k),cy(k),spdx(k),spdy(k)]t

其中cx(k)、cy(k)分别为k时刻跟踪窗口中心点的x轴坐标与y轴坐标,spdx(k)、spdy(k)分别为k时刻跟踪窗口中心点在x轴、y轴方向的速度;

501-2)状态方程:xk=axk-1+wk-1,

其中过程噪声wk-1为高斯白噪声,状态转移矩阵a为:

501-3)观测向量:zk=[cx(k),cy(k)]t

即当前帧camshift算法的跟踪窗口中心坐标;

501-4)观测方程:zk=hxk+vk,

其中观测噪声vk也为高斯白噪声,观测转移矩阵h为:

502:基于跟踪轨迹点移动速度、方向角度相似度,以及跟踪轨迹点空间位置关系,设定若干规则进行配对,规则如下:

501-1)两车灯的y轴向距离小于阈值:dyi,j(k)=|cyi(k)-cyj(k)|<t6,

其中dyi,j(k){i,j∈(0,n-1)且i≠j}为第k帧图像第i个跟踪对象与第j个跟踪对象之y轴向距离,cxi(k),cyi(k)分别为该跟踪对象中心点之x、y轴坐标;t6为y轴向距离上限阈值;

501-2)两车灯的x轴向距离转换为物理距离后,其值属于车头灯距离范围之内:t7<dwi,j(k)<t8,

其中dwi,j(k){i,j∈(0,n-1)且i≠j}为第k帧图像第i个跟踪对象与第j个跟踪对象之横向物理距离,且dwi,j(k)=|cxi(k)-cxj(k)|·α(cyi(k)),其中α(cyi(k))为i跟踪对象所处的y坐标所对应的物理尺寸,t7与t8分别为横向物理距离的下限和上限阈值;

501-3)两车灯的y轴向移动速度大小接近:dspdi,j(k)=|spdi(k)-spdj(k)|<t9,

其中dspdi,j(k){i,j∈(0,n-1)且i≠j}为第k帧图像中第i个跟踪对象与第j个跟踪对象的最近30帧平均速度之差值,spdi(k)分别为第i个跟踪对象在第k帧图像最近30帧的所移动的平均速度,t10为速度差上限阈值;

501-4)两车灯的移动方向角度接近:dβi,j(k)=|βi(k)-βj(k)|<t11,

其中dβi,j(k){i,j∈(0,n-1)且i≠j}为第k帧图像中第i个跟踪对象与第j个跟踪对象的角度之差值,βi(k)为第i个跟踪对象从其在第k-30帧图像中坐标指向其在第k帧图像中坐标的方向向量与y轴正向的夹角,t11为角度差上限阈值;

501-5)在对跟踪对象跟踪的全过程中501-1、501-2、501-3、501-4始终满足。

与现有技术相比,本发明具有如下有益效果:本发明使用静态提取结合动态过滤的车头灯提取方法,充分利用了车头灯亮度特征、几何特征的时域稳定性,可准确筛除干扰光源,从而提取车头灯光斑,相比于仅从静态图像中分割车灯的方法,在复杂的夜间道路场景具有更强的适用性和可靠性。基于车灯跟踪轨迹特征相似性以及车灯空间位置关系的车灯配对方法,在事先使用kalman滤波对轨迹点进行修正后,其准确性可得到保证。实验表明本算法正检率平均可达95%以上,检测率平均可达90%以上。本发明可完成夜间道路各种照明条件、拍摄条件、天气条件、交通条件下,即包括无照明道路、有照明道路、非雨天路面、雨天路面、低密度交通流、高密度交通流,基于视频所采集影像数据实时、准确、强鲁棒性地检测交通流量的目标。

附图说明

图1为实施例中基于车头灯轨迹跟踪和动态配对的夜间交通流量检测方法的总流程图;

图2为各检测区域位置尺寸示意图;

图3为静态提取模块流程图;

图4为动态过滤模块流程图;

图5为避免重复跟踪静态提取结果处理方法流程图;

图6为避免重复跟踪步骤中黑色实心矩形位置尺寸示意图;

图7为车灯配对模块流程图。

具体实施方式

下面结合附图和实例对本发明的具体实施作进一步说明,但本发明的实施和保护不限于。

如图1为本发明方法的总技术路线图,包括如下步骤:

(1)在龙门架或适当高处架设摄像机,将摄像机曝光度调至足够低,拍摄所需检测路段的夜间道路交通视频;

(2)进行视频分析之前,需针对特定摄像头架设位置以及特定路段情况进行初始标定,通过输入相关参数、标出路段边线,自动计算出各检测模块区域位置尺寸参数并储存,此外储存从图像中像素距离转换为实际物理距离所需参数;

(3)将所捕捉的彩色图像转换为灰度图,对灰度图进行二值化阈值分割以及形态学开运算操作,再根据设定规则基于几何特征对所得高亮度光斑进行初步提取,得到静态提取的疑似车头灯光斑;

(4)对上一步所得疑似车头灯光斑使用camshift跟踪算法进行跟踪,跟踪过程中根据设定规则基于几何特征动态筛除干扰光斑;

(5)使用kalamn滤波对camshift跟踪窗口中心点位置进行修正,使跟踪轨迹平滑,其后对在动态过滤步骤中被跟踪的光斑进行配对,基于光斑移动轨迹在速度、方向角度的相似性,以及光斑中心坐标空间位置关系,设定若干规则进行车灯配对;

(6)根据上一步的车灯配对结果,进行车辆计数,并输出车流量数据以及车速、变道行为等交通信息。

所述步骤(1)具体为:

101:在龙门架或适当高处架设摄像机,以一定的俯角拍摄,所拍摄画面不宜包含天空;

102:将摄像机曝光度调至较低水平,以白色车辆车身与车灯具有较明显亮度区分为宜;

103:拍摄所需检测路段的夜间道路交通视频;

如图2为各检测模块区域的位置尺寸示意图:

所需输入的参数包括检测路段车道数nl、车道宽wl、流量检测线位置参数α,标出检测路段边线。则各检测区位置尺寸计算方法如下:

202-1)静态提取区:横向截取所画出路段边线,选取截距为60·nl像素的线段之y坐标作为静态提取区上边界y坐标,上边界长为所路段边线截线段长加上左右各50像素余量,即ws=60·nl+100像素。静态提取区高为

202-2)车灯跟踪区:车灯跟踪区上边界y坐标与静态提取区上边界y坐标相同,下边界y坐标为画面下边缘y坐标,如图所示动态提取区高为ht;左边界x轴坐标为静态提取区左边界x坐标和左侧路段边线与画面底边交点x坐标的较小值,右边界x坐标则为静态提取区右边界x坐标和右侧路段边线与画面底边交点x坐标的较大值,如图所示动态提取区宽为wt。

202-3)流量检测线:流量检测线y坐标为车灯跟踪区上边界y坐标加上ht·α。

如图3为静态提取模块流程图,具体包括如下步骤:

301:将图像同彩色图像转换成灰度图,获取其亮度信息;

302:将步骤301所得结果使用固定阈值进行二值化阈值分割,提取高亮度像素;

303:将步骤302所得结果进行形态学开运算,以消除小面积噪点以及车灯之间的粘连;

304:对步骤303所得结果进行轮廓检测;

305:计算步骤304所得轮廓的外包络矩形,以便提取光斑几何特征;

306:设定若干规则初步筛除几何特征明显与车头不符的干扰光斑,规则如下:

306-1)光斑轮廓的外包络矩形之长宽比小于阈值t1;

306-2)光斑面积ca大于下限阈值t2、小于上限阈值t3。

如图4为动态过滤模块流程图,具体包括如下步骤:

401:以步骤(3)提取所得疑似车头灯光斑的外包络矩形为初始跟踪窗口,使用camshift跟踪算法进行跟踪,若跟踪窗口覆盖范围与静态提取区有交集,则在下一帧中静态提取所使用的灰度图中画出黑色实心矩形,该矩形在覆盖前一帧跟踪窗口的基础上,还需在左右各留出3像素、下方留出9像素余量,以保证在下一帧中仍可完全覆盖该车灯,从而避免对同一车灯的重复跟踪,避免重复跟踪静态提取结果处理方法流程如图5所示,黑色实心矩形位置尺寸示意图如图6所示,图中细线椭圆形表示静态提取所得车头灯、细线矩形表示该车头灯的camshift跟踪窗口、粗线矩形所包围区域表示黑色实心矩形范围;

402:在跟踪过程中,动态对几何特征不再满足车头灯特征的光斑放弃跟踪,筛除规则如下:

定义ci为第i个camshift跟踪对象,ci在当前帧中的跟踪窗口起点(左上角点)的x轴和y轴坐标分别为ci(x)和ci(y),当前帧跟踪窗口高度为ci(h)、宽度为ci(w),面积为ci(a)。此外定义动态过滤感兴趣区域的行数为ht、列数为wt;

402-1)跟踪窗口面积大于零:ci(a)>0;

402-2)跟踪窗口面积小于设定阈值:ci(a)<t4;

402-3)跟踪窗口长宽比小于设定阈值:

402-4)跟踪窗口左边不得触及跟踪区左边缘:ci(x)>0;

402-5)跟踪窗口右边不得触及跟踪区右边缘:ci(x)+ci(w)<wt;

402-6)跟踪窗口底边不得触及跟踪区底边缘:ci(y)+ci(h)<ht。

如图7为车灯配对模块流程图。

如图7所示,在第k帧图像中,若跟踪对象i、j满足上述所有条件且未曾被配对,则将两者配对,创建一个以上述两者为成员的车灯组,并将该车灯组标记为“配对中”;若跟踪对象i、j已被配对且仍旧满足上述所有条件,则维持对两者的配对,车灯组标记不作变化;若跟踪对象i、j已被配对但不满足上述任一条件,则永久解除对两者的配对,并将该车灯组“解除配对”,两者此后无论是否再次满足所有配对条件,该组“解除配对”标记不再改变。如果车灯组其中一个成员被终止跟踪,则解除对该组的使用。

以上所述仅是本发明的优选实施方式,应当指出:对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1