专利名称：一种检测和跟踪夜间行驶车辆的方法
技术领域：
本发明属于图像处理领域和计算机视觉领域的技术，涉及一种检测和跟踪夜间行驶车辆的方法。
背景技术：
夜间车辆检测不像白天，白天车辆清晰可见，对比度明显，现有图像处理和视觉算法能有效检测出车辆。夜间情况大不相同，在不同的照明条件下，车辆的车体可见度不一样，在路面照明不足的情况下这种算法不能检测车体，而车体上的各种车灯及其路面反射光线非常明显，这种算法需要排除大面积的路面反射光的影响，而又要检测出相邻车辆的车灯，这是夜间车辆检测的难点。在夜间车辆检测中，由于明亮的车灯的显著特征，无论道路上有没有路灯照明，无论天气情况如何，车辆前灯特征是相对稳定的。所以现在有的夜间车辆检测算法都一般都是以明亮的车灯作为特征来检测的。艾特锐视(Iteris)、皮克(Peek)等系统在夜间就是采用检测车辆前灯的方法检测。研究者R. Taktak和Rita Cucchiara也提出了基于车辆前灯的车辆检测。R. Taktak使用灰值形态学变换提取明亮的车灯，计算车灯的周长、面积、圆形度等形状特征，以及车灯之间的距离、形状特征比等参数，用这些参数作为属性，用样本训练决策树，用来寻找成对车灯，从而检测车辆[1]。Rita Cucchiara采用阈值法提取明亮车灯，利用动态信息排除静止光源，使用车灯形状特征初步配对车灯，然后比较车灯对对称轴方向与车流方向来排除一些错误配对，从而检测车辆[2]。在夜晚这样的特殊的场景下，由于光照的不稳定，环境的复杂性，现有的前景检测算法都失效，并不能实现在夜晚的场景下车辆的检测。上述引用的参考文献R. Taktak, M. Dufaut, R. Husson. "Vehicle Detection at Night using Image Processing and Pattern Recognition, ，， In: International Conference on Image Processing, Austin, Texas, USA, Nov. 1994, pp:296-300.Cucchiara, R. , Piccardi, M. "Vehicle Detection under Day and Night Illumination,，，Proc. of ISCS-IIA99, Special Session on Vehicle Traffic and Surveillance, 1999，pp:789-794。
发明内容
本发明的目的在于，针对上述问题，一种检测和跟踪夜间行驶车辆的方法，为实现上述目的，本发明采用的技术方案是具体按照以下步骤实施
步骤1 前景检测，选取车灯亮度进行前景检测，
在检测之前把输入视频帧进行灰度化，再通过公式的运算，得到一个二值化的图像，通过检测视频流中每一帧的像素点的亮度是否大于设定的阈值来检测出车灯区域； 步骤2:噪点消除，通过对步骤1得到的二值化图像进行形态学的开运算操作去掉大部的噪点，再通过基于车灯的形状消除掉一部分车灯在路面的投影，较准确地得到前景目标，根据先验知识，车灯一般都是圆形的，如果不是步骤1所述的二值化图像，联通区域不是圆形的，将此目标滤除掉，较准确地得到前景目标；
步骤3 车灯匹配，对车灯对的匹配应同时满足以下四条规则
(1)两车灯之间的路面坐标距离小于最大车灯对宽度；
(2)正常行驶的车辆其车灯对连线应近似垂直于车道方向，变道车辆的车灯对连线斜率小于车灯对最大斜率；
(3)两车灯形状相似；
(4)一个车灯最多只能属于一个配对，当一个车灯与其他两个或两个以上的车灯都相似配对时，只取相似度最大的配对，而排除其他配对；
根据同一辆车的车灯的形状相近、运动特征相同这两个特点，首先求取各车灯的运动特征值，在运动特征值相同的一组车灯中求取每两个车灯的相似度值，根据相似度最大的原则进行两车灯配对，把属于同一辆车的大小前灯、装饰灯、车顶灯及它们的倒影归为一组，并找出其中的大前灯对，以大前灯对代表该车辆；
步骤4:车灯对跟踪按照上述的步骤完成车灯的配对后，再对车灯进行跟踪，从而实现对车辆的跟踪，按照以下的方法实现
首先分析帧间车灯对的相对位置，然后根据以下的帧间车灯对关联的规则跟踪车灯， 第一，帧间车灯对位置预测规则
根据以下的步骤，采用卡尔曼滤波来预测车灯对的下一帧的位置，
(1)定义目标观测值，将目标初始化；
(2)通过预测下一时刻目标的目标位置预测目标的可能出现区域，然后在一定区域内搜索目标的最佳匹配图像，得到观测值；
(3)根据上一步的观测值采用更新公式更新目标状态的估计，得到最终的一个滤波结
果；
(4)根据步骤(3)得到的目标状态的估计值再转到步骤O)进行下一个时刻的滤波估计，最终得到一个表示目标状态的估计观测值的序列即卡尔曼滤波结果；
第二，帧间车灯对匹配规则
(1)车灯对在下一帧可能出现的位置在当前帧的位置范围；
(2)根据前后帧车灯的特征向量值来匹配车灯；
(3)建立当前帧的车灯对，从下一帧图像提取的车灯对中寻找可以与当前帧车灯对关联的两车灯，而不是从下一帧图像提取的大前灯对中选择；
第三，车灯对的分组规则
将属于同一辆车的车灯对归为一组，按照以下规则找出其中的大前灯对(1)这些车灯对分布在一定范围内；(2)大前灯对面积最大， 步骤5:再次跟踪目标后进行车灯对匹配
为了弥补前面的方法的中匹配失败的车灯检测，按照以下的步骤完成对车辆的跟踪
第一，按下述的步骤跟踪车灯，
(1)计算当前帧中各目标的特征向量；(2)将当前帧中的各目标向量与目标链中的各目标的向量进行匹配；
(3)更新目标链；
第二，按下述的步骤跟踪车辆
完成对车灯的检测跟踪后，将属于同一辆车的车灯归类，结合先验知识和车灯的运动信息，来减少车辆的误检和漏检测，通过以下方法实现对车辆的检测和跟踪
(1)计算当前目标链中各个目标之间的距离，将满足一定条件的目标归为同一类；
(2)计算同一类目标中各个目标之间的运动差分向量，将满足一定条件的目标归为同
一辆车；
当目标链中的目标全部合并完成以后，定义一个集合表示被检测的车辆，通过对集合中任一元素的跟踪对车辆进行跟踪，通过集合中所有元素的运动信息的均值来提取车辆的运动信息，最后得到需要检测的车辆。 进一步的，所述步骤1中的检测视频流中每一帧的像素点的亮度是否大于设定的阈值来检测前景的检测的公式为
权利要求
1. 一种检测和跟踪夜间行驶车辆的方法，通过车灯的检测来检测和跟踪车辆，其特征在于，具体按照以下步骤实施步骤1 前景检测，选取车灯亮度进行前景检测，在检测之前把输入视频帧进行灰度化，再通过公式的运算，得到一个二值化的图像，通过检测视频流中每一帧的像素点的亮度是否大于设定的阈值来检测出车灯区域；步骤2:噪点消除，通过对步骤1得到的二值化图像进行形态学的开运算操作去掉大部的噪点，再通过基于车灯的形状消除掉一部分车灯在路面的投影，较准确地得到前景目标，根据先验知识，车灯一般都是圆形的，如果不是步骤1所述的二值化图像，联通区域不是圆形的，将此目标滤除掉，较准确地得到前景目标；步骤3 车灯匹配，对车灯对的匹配应同时满足以下四条规则(1)两车灯之间的路面坐标距离小于最大车灯对宽度；(2)正常行驶的车辆其车灯对连线应近似垂直于车道方向，变道车辆的车灯对连线斜率小于车灯对最大斜率；(3)两车灯形状相似；(4)一个车灯最多只能属于一个配对，当一个车灯与其他两个或两个以上的车灯都相似配对时，只取相似度最大的配对，而排除其他配对；根据同一辆车的车灯的形状相近、运动特征相同这两个特点，首先求取各车灯的运动特征值，在运动特征值相同的一组车灯中求取每两个车灯的相似度值，根据相似度最大的原则进行两车灯配对，把属于同一辆车的大小前灯、装饰灯、车顶灯及它们的倒影归为一组，并找出其中的大前灯对，以大前灯对代表该车辆；步骤4:车灯对跟踪按照上述的步骤完成车灯的配对后，再对车灯进行跟踪，从而实现对车辆的跟踪，按照以下的方法实现首先分析帧间车灯对的相对位置，然后根据以下的帧间车灯对关联的规则跟踪车灯，第一，帧间车灯对位置预测规则根据以下的步骤，采用卡尔曼滤波来预测车灯对的下一帧的位置，(1)定义目标观测值，将目标初始化；(2)通过预测下一时刻目标的目标位置预测目标的可能出现区域，然后在一定区域内搜索目标的最佳匹配图像，得到观测值；(3)根据上一步的观测值采用更新公式更新目标状态的估计，得到最终的一个滤波结果；(4)根据步骤(3)得到的目标状态的估计值再转到步骤O)进行下一个时刻的滤波估计，最终得到一个表示目标状态的估计观测值的序列即卡尔曼滤波结果；第二，帧间车灯对匹配规则(1)车灯对在下一帧可能出现的位置在当前帧的位置范围；(2)根据前后帧车灯的特征向量值来匹配车灯；(3)建立当前帧的车灯对，从下一帧图像提取的车灯对中寻找可以与当前帧车灯对关联的两车灯，而不是从下一帧图像提取的大前灯对中选择；第三，车灯对的分组规则将属于同一辆车的车灯对归为一组，按照以下规则找出其中的大前灯对(1)这些车灯对分布在一定范围内；(2)大前灯对面积最大，步骤5:再次跟踪目标后进行车灯对匹配为了弥补前面的方法的中匹配失败的车灯检测，按照以下的步骤完成对车辆的跟踪第一，按下述的步骤跟踪车灯，(1)计算当前帧中各目标的特征向量；(2)将当前帧中的各目标向量与目标链中的各目标的向量进行匹配；(3)更新目标链；第二，按下述的步骤跟踪车辆完成对车灯的检测跟踪后，将属于同一辆车的车灯归类，结合先验知识和车灯的运动信息，来减少车辆的误检和漏检测，通过以下方法实现对车辆的检测和跟踪(1 )计算当前目标链中各个目标之间的距离，将满足一定条件的目标归为同一类；(2)计算同一类目标中各个目标之间的运动差分向量，将满足一定条件的目标归为同一辆车；当目标链中的目标全部合并完成以后，定义一个集合表示被检测的车辆，通过对集合中任一元素的跟踪对车辆进行跟踪，通过集合中所有元素的运动信息的均值来提取车辆的运动信息，最后得到需要检测的车辆。
2.根据权利要求1所述的检测和跟踪夜间行驶车辆的方法，其特征在于，所述步骤1 中的检测视频流中每一帧的像素点的亮度是否大于设定的阈值来检测前景的检测的公式为JX if p(x,y) >T1 叫0,其他其中P(x，y)表示图像像素点(χ，y)的像素值，Tl表示一个预设的阈值，F(x，y)表示一个二值化的图像，其中为1的点表示可能为车灯区域。
3.根据权利要求2所述的检测和跟踪夜间行驶车辆的方法，其特征在于，所述步骤2中的判断一个联通区域是否接近圆形的判定标采用如下公式cr =-=-P2其中，A表示联通区域的面积，P表示周长，若联通区域接近圆形，公式(2)的cr值就越接近于1。
4.根据权利要求3所述的检测和跟踪夜间行驶车辆的方法，其特征在于，所述步骤4中第一个规则中的第(2)步采用如下的公式预测目标的可能出现区域，x-(i)=A*x(i-l)+w(t)其中，t表示时间，w表示过程激励噪声，A表示联通区域的面积，F 表示目标状态先验估计值，$￠- 表示上一时刻目标状态后验估计值，则可预测出下一时刻目标的目标位置为，然后在一定区域内搜索目标的最佳匹配图像，得到观测值Z(t)，所述第一个规则中的第(3)步中更新公式为 ￠) = Γ￠) + (1 - α)*Z￠)其中，α为根据经验设定的一个滤波系数，表示更新后目标状态位置。
5.根据权利要求4所述的检测和跟踪夜间行驶车辆的方法，其特征在于，所述步骤5中第一小步中的第(2)步将当前帧中的各目标向量与目标链中的各目标的向量进行匹配，匹配的判据为欧拉距离
全文摘要
本发明公开了一种检测和跟踪夜间行驶车辆的方法，按照以下步骤实施步骤1:前景检测，选取车灯亮度进行前景检测，通过检测视频流中每一帧的像素点的亮度是否大于设定的阈值来检测出车灯区域；步骤2:噪点消除，对步骤1得到的二值化图像去掉大部的噪点，较准确地得到前景目标；步骤3车灯匹配根据相应的原则进行两车灯配对，并找出其中的大前灯对，以大前灯对代表该车辆；步骤4:车灯对跟踪按照上述的步骤完成车灯的配对后，再对车灯进行跟踪，从而实现对车辆的跟踪；步骤5:再次跟踪目标后进行车灯对匹配，最后得到需要检测的车辆。本发明的有益效果是使用车灯这一特征对检测夜间车辆，本方法中的算法特征提取简单，车辆检测效果稳定。
文档编号G06K9/00GK102567705SQ20101060224
公开日2012年7月11日 申请日期2010年12月23日 优先权日2010年12月23日
发明者吴晶, 明安龙, 马华东 申请人:北京邮电大学