专利名称：一种基于视频的过境车辆快速检测方法
技术领域：
本发明属于交通监视、视频处理技术领域，具体涉及视频图像的运动估计和检测 方法，特别是交通视频图像中运动车辆的检测方法。
背景技术：
近年来，随着汽车的普及，道路堵塞、交通事故等问题引起了人们的广泛关注。智 能交通系统(Intell igent Transportation System，ITS)是将先进的计算机处理，数据采 集和传输技术，计算机控制等有机的结合起来，从而有效的对交通运输进行监测、管理和控 制，提高交通运输效率，保障车辆安全的系统。在智能交通系统的具体应用中，随着摄像设 备价格的降低，计算机处理能力的增强和网络速度的提高，交通视频监控技术得到了快速 的发展和广泛的应用，它为道路上车辆及行人状态分析、流量统计、信号控制、违章检测等 很多方面提供重要依据，已经引起学术界的广泛关注。以车辆为运动目标的运动检测技术是交通视频监控系统中最为关键的技术。运动 目标检测是计算机视觉的核心问题之一，它融合了图像处理、模式识别、计算机控制、人工 智能等多学科的先进技术，在交通监控，安全管理，自动导航等许多方法有着广泛的应用。 运动目标检测的原理是从图像序列中实时的自动识别感兴趣的目标，完成对运动目标的定 位。该问题的难点在于在二维图像中，对物体的三维特征进行恢复。因为对物体进行成像的 投影变换过程中，必然存在信息的丢失，而且，由于成像角度和运动物体本身姿态的变化， 运动物体的所成的像也必然随之变化。再加上物体所在的环境中存在的光照、阴影等噪声 的影响，使得该问题的难度进一步增加。其中的遮挡问题，更是对传统运动目标检测算法的 有效性和鲁棒性提出了严重挑战，在复杂条件下，特别是夜间场景下的检测问题，也逐渐成 为车辆检测问题中的焦点问题。运动目标检测中，最常用的前景提取算法是背景差分法。首先我们需要在交通场 景下进行背景建模，在大多数交通场景中，背景环境并非是完全静止不变的，如场景中树木 受到风的影响而晃动，自然光照随时间的变化，建筑物、车辆等物体的影子等等，都会对背 景产生影响，因此背景估计模型必须要求能够自适应的处理这种实时动态的跟踪环境的变 化。常用的自适应背景估计模型主要有(1)图像平均模型(Hoose，1992)，这种方法把一 系列的图像序列的像素值累加起来求平均值作为背景像素值。(2)选择性背景更新模型 (BUtler，2005)，这种方法根据背景图像和当前图像进行差分结果进行判断，如果某点的背 景图像值和当前图像值的差分值小于某一个阈值时，就认为该点没有运动物体，用当前图 像的点作为背景，实现背景跟新，而如果差分值大于该阈值，则表示改点为运动物体，维持 背景不变。(3)混合高斯分布模型(Stauffer et al.，2000)，这种方法就是把图像的像素 值看成是一些高斯分布的综合作用前景高斯分布和背景高斯分布的混合体。图像的某点 像素值符合前景高斯分布时，就认为该点属于运动目标；符合背景高斯分布时，就认为该点 属于背景，并进行背景跟新。混合高斯模型的估计效果较好，但是计算量比较大。背景差分算法是通过背景与当前帧进行差分的方法得到运动前景，其中的关键步骤是背景估计。这种算法首先对场景的背景进行有效的估计，再用当前图像帧和背景图像进行差分运算，但这但这样得到的前景往往有较大的噪声，需要对差分图像进行滤波，以除 去图像中的噪声，然后对滤波后的图像进行区域分割，提取出运动区域。
发明内容
本发明的目的在于提出一种检测精确、受环境影响小、鲁棒性好的对过境车辆进 行快速检测的方法。本发明提供的基于视频的过境车辆快速检测方法，利用背景差法、梯度 帧间差法和帧间差法，同时消除白天阴影、呼吸效应以及晚上前大灯地面反射光等影响，精 确检测运动物体位置，判断运动物体所处车道。具体步骤如下(见图1所示)(1)获得原始帧以后，首先进行高斯模糊的处理，模糊处理的好处在于，可以消除 一些轻微抖动(如摄像头轻微抖动，树枝轻微抖动等)带来的影响。(2)在准备阶段，利用帧间差法，对背景做简单判断，加权累加，获得背景图像。(3)闪光灯检测和消除呼吸效应。主要统计相邻两帧相应像素点的差值的绝对值 均值，通过训练阈值判定。(4)采用背景差法(主要是利用当前帧和背景帧相减)，获得当前帧中的运动物体 的大致轮廓。(5)快速连通区域检测，相交矩形快速检测和合并。(6)在以后步骤获得的候选区域内，采用帧间差法(主要是利用相邻帧相减)，获 得当前帧中的运动物体的精确位置。这里使用梯度的帧间差法，主要是为了消除夜间路灯 照明环境一般情况下地面反射光的影响。(7)消除阴影。具体为训练阴影点和背景点的亮度比值范围，取边界轮廓上的点进 行了阴影判定。(8)消除抖动情况。主要是记录警戒线各个位置的状态，如果该范围处于车辆碰线 状态，则记录为忙碌，考虑到不同两辆车碰线时总是有一定的时间间隔，因此有新的车辆碰 线时，只有它所碰范围处于已经空闲了至少T帧的状态，才视该新的车辆有效。本方法与现有技术相比有点在于(1)融合了多种方法的优点，取长补短，能够对场景中的车辆达到精确的检测效^ ο(2)采用专门的图像处理库以及专门的硬件优化，同时融合的多个方法计算复杂 度低，并对一些算法进行了优化，能够很好地满足实时性的要求。(3)对实际情况中不同的场景、光线变化等进行了多方面的考虑，采用了专门的解 决策略，实际运行表现出较好的性能。实际运行结果表明，本方法能够克服传统方法中运算量较大的缺点，满足电子警 察视频车辆检测的实时性要求，能够对场景中的车辆进行精确检测，对光线变化、阴影等干 扰，具有较好的鲁棒性。
图1本发明的总体流程图。图2快速连通区域检测算法图。
具体实施例方式高斯模糊获得原始帧以后，首先进行了高斯模糊的处理。模糊处理的好处在于，可以消除一 些轻微抖动(如摄像头轻微抖动，树枝轻微抖动等)带来的影响。闪光灯检测和呼吸效应消除这两者的检测具有一定相似性。闪光灯闪的时间极短，通常只有一帧，而且其图像整体亮度属于剧变。而呼吸效应，存在两种情况，一种是一般部分区域的呼吸效应，这里可 以通过前面的阈值加以舍弃，因为一般的呼吸效应都是渐变的，不是类似运动物体的突变。 而对于整体图像可能的呼吸效应，对于整体图像亮度都属于突变。这些特点和运动物体所 在的突变是不同的，因为一般情况下，运动物体的突变只是局部区域的，不会引起整个图像 亮度的突变。因此，我们这里统计了相邻两帧相应像素点的差值的绝对值均值。白天主要 判定呼吸效应，超过一定阈值则抛弃该帧；闪光灯白天晚上皆可判定，虽然白天影响不大。这里简单提一下蚊虫等相关问题，限制运动物体的最小大小即可较好地解决这类 问题。背景差法确定车辆大致轮廓背景法主要是利用当前帧和背景帧相减，从而获得当前帧中的运动物体。主要算 法流程如下所示(1)对视频或者摄像头的视频帧逐一读取，由彩色图像先转化为灰度图像。对于 前M帧(M取值可视交通流量情况而定，一般可设为700-1000帧左右)不进行检测，主要 进行背景帧的初始计算(此过程只会在系统刚刚启动的时候运行)。设背景帧为Iba。kgMmd， 当前帧为Icmrait，则 这里，N为帧序列号(N = 1，2，...，Μ)，α为更新的权重系数。注意，在预处理阶 段，使用了帧间对应像素点的差值进行了判定，只有小于一定阈值(可视视频情况而定，一 般为灰度值10 50)，才视为背景点，进行加权累加。正式运行阶段无此判定。(2)从第Μ+1帧图像开始，首先同样先由彩色图像转化为灰度图像，然后由当前帧 和背景帧相减，获得背景差值帧图像/Iinai (3)对背景差值帧图像进行二值化处理。注意白天的阈值在一定程度上消除了呼 吸效应的渐变产生的区域像素点造成的影响，因为相对于运动物体来说，运动物体所处区 域为突变，一般变化较为明显。(4)对二值化处理后的背景差值帧图像进行形态学滤波，去掉噪音。可以先进行一 次腐蚀，然后在进行多次膨胀。(5)更新当前背景帧，和步骤⑴中类似。快速连通区域检测算法由于运算能力所限，使用传统的广度优先或者深度优先的搜索算法进行8连通区 域的检测，然后再把所有搜索得到区域最大规范为矩形，这种方法消耗时间较多，而且容易 陷入深度堆栈。这里针对本问题的特殊情况，采用了更为快捷的算法，使用该算法主要基于本特定问题的几个假设(1)图像中所有运动物体均最终表示为不相交的矩形。(2)所有运动物体至少相距一定距离，如几个像素点，否则视为同一物体。使用算法如图2所示在碰线区域(具有一定的带宽，带宽可设为10)，从左至右，从上至下，进行连通区 域搜索。发现一个未被搜索过的前景点，则视为一个新的连通区域的起始点，然后由该起始 点出发，整行整列地扩张该连通区域(候选行列中只要有前景点则将其包括在内)至不能 扩张为止，最后标志该区域所有点已搜索过。相交矩形快速检测和合并算法对于所有可能相交的矩形，将其合并为一个大的矩形。快速检测算法如下所示设矩形左上角点和右下角点分别表示为rect. TopLeft、rect. BottomRight，则检 测任意两个矩形recti，rect2是否相交，minx = recti. TopLeft. x > rect2. TopLeft. x ？ recti. TopLeft. x :rect2. TopLeft. x ；miny = recti. TopLeft. y > rect2. TopLeft. y ？ recti. TopLeft. y :rect2. TopLeft. y ；maxxrecti. BottomRight. x < rect2. BottomRight. x ？ recti. BottomRight. x rect2. BottomRight. x ；maxyrecti. BottomRight. y < rect2. BottomRight. y ？ recti. BottomRight. y :rect2. BottomRight. y ；if (minx > maxx miny > maxy)则不相交,否贝相交。至此，我们便确定了每个运动车辆的大致轮廓。精确定位帧间差法和梯度帧间差法帧间差法主要是利用相邻帧相减，从而获得当前帧中的运动物体。这里使用梯度 的帧间差法主要是为了消除夜间路灯照明环境一般情况下地面反射光的影响。主要算法流 程如下所示(1)对视频或者摄像头的视频帧逐一读取，由彩色图像先转化为灰度图像。对于前 M帧由于未进行检测，不处理，只在第M帧图像时，对其采用罗伯特交叉算子进行梯度滤波， 保存，用作后续计算。为了保证车体区域像素亮度值保持较高的差异和扩大检测尺度，以利 于后续梯度帧间差分检测算法的实现，我们在梯度值的基础上再加上一个常数g(可设为 灰度值128)，即f(i, j) = f(i, j) -f (i-1，j-1) +g(2)从第M+l帧图像开始，首先同样先有彩色图像转化为灰度图像，对当前帧同样 使用和(1)中类似方法进行梯度滤波，然后由当前帧和前一帧相减，获得梯度帧间差值图 像。同理，可获得简单的原始的帧间差值图像。
(3)对梯度帧间差值图像和帧间差值图像分别进行二值化处理。(4)进行场景判定，分白天和晚上分别处理，以后可继续扩展场景。(5)对于白天场景，对二值化处理后的帧间差值图像进行形态学滤波，去掉噪音；在由背景差值法获得的各个矩形的基础上进一步处理，找到其在帧间差值图像上的对应矩 形位置，由帧间差值图像上的有效运动物体像素的位置，进一步缩小矩形的大小范围。(6)对于夜晚场景，对二值化处理后的梯度帧间差值图像进行形态学滤波，去掉噪 音；这里主要是为了消除车大灯照成的地面反射光的影响。同样，在由背景差值法获得的各 个矩形的基础上进一步处理，找到其在帧间差值图像上的对应矩形位置，由帧间差值图像 上的有效运动物体像素的位置，确定运动物体的车头起始位置和两侧位置。由于梯度帧间 差值法消的比较厉害，所以对于较远的车尾位置定位不是很准确，这里，我们使用没用膨胀 腐蚀过的帧间差值图像确定其车尾位置(没有膨胀腐蚀主要是节约时间，而且这里效果影 响不是很大)。阴影消除所谓阴影，主要是由于背景点被遮挡造成，因此和背景点具有一定的相似性。因 此，我们主要训练了阴影点和背景点的亮度比值范围(更好的方法可以是训练彩色图像的 三个颜色通道R (红)，G (绿)，B (蓝)占(R+G+B)的比值)，而一般前景点和背景点的比值 都会处在不同的范围。同时，为了更好的消除阴影点，我们主要是通过边界圈定运动物体的 大致范围，因此，我们这里也主要是取边界轮廓上的点进行了阴影判定。这样可以快速地消 除一些阴影点，尽可能消除由于阴影点和前景点相似带来的问题。因为，即使前景点和背景 点完全相似，对于一个运动物体，总存在一些镜面反射点，不可能完全消除。车辆碰线检测对于所有已经检测到的车辆位置，进行碰线检测，算法流程如下所示(1)对于所有碰线物体，与当前记录的所有前一帧碰线物体相比较，如果两者矩形 重合面积超过一定阈值(指重合面积所占两矩形任意之一的百分比，可设为0. 5)，则视为 同一物体，不再报警，否则报警有新的物体出现。矩形重合面积的计算在“相交矩形检测和 合并算法”的基础上，设重合面积为BothSize，则BothSize = (maxx-minx)氺(maxy-miny)(2)记录下所有当前帧的碰线物体，为后续帧进行处理。抖动情况的消除由于边界不是很稳定的情况，可能会涉及到同一物体的多次报警，这里提供一个 非常有效的消除方法。主要是记录警戒线各个位置的状态，如果该范围处于车辆碰线状态， 则记录为忙碌，考虑到不同两辆车碰线时总是有一定的时间间隔，因此有新的车辆碰线时， 只有它所碰范围处于已经空闲了至少T帧的状态，才视该新的车辆有效。主要流程如下(1)初始状态为无。(2)每一帧开始，对所有记录下来的忙碌的警戒线位置范围判断，和当前帧数号比 较，如果已经空闲T帧，则消除该位置范围。(3)新的车辆碰线，和所有记录下来的忙碌的位置范围比较，如果处在某个忙碌的 位置范围，则不报警，视为原来已报警车辆，同时将该车辆的碰线范围和与其相交的忙碌的 位置范围合并，并置最近忙碌帧号为当前帧号。否则，报警，并记录下该车辆碰线范围，并置最近忙碌 帧号为当前帧号。
权利要求
一种基于视频的过境车辆快速检测方法，其特征在于根据视频的特点，利用背景差法、梯度帧间差法和帧间差法，同时消除白天阴影、呼吸效应以及晚上前大灯地面反射光的影响，精确检测运动物体位置，判断运动物体所处车道；具体步骤如下(1)获得原始帧以后，首先进行高斯模糊的处理；(2)在准备阶段，利用帧间差法，对背景做简单判断，加权累加，获得背景图像；(3)闪光灯检测和消除呼吸效应，主要统计相邻两帧相应像素点的差值的绝对值均值，通过训练阈值判定；(4)采用背景差法，利用当前帧和背景帧相减，获得当前帧中的运动物体的大致轮廓；(5)快速连通区域检测，相交矩形快速检测和合并；(6)在候选区域内，采用帧间差法，利用相邻帧相减，获得当前帧中的运动物体的精确位置；(7)消除阴影，训练阴影点和背景点的亮度比值范围，取边界轮廓上的点进行阴影判定；(8)消除抖动情况，记录警戒线各个位置的状态，如果该范围处于车辆碰线状态，则记录为忙碌；有新的车辆碰线时，只有它所碰范围处于已经空闲了至少T帧的状态，才视该新的车辆有效。
2.根据权利要求1所述的基于视频的过境车辆快速检测方法，其特征在于所述背景 差法为利用当前帧和背景帧相减，获得当前帧中的运动物体的大致轮廓，其算法流程如 下(1)对视频或者摄像头的视频帧逐一读取，由彩色图像先转化为灰度图像；对于前M帧 进行背景帧的初始计算，设背景帧为Iba。kgMmd，当前帧为I。u mt，则 N为帧序列号，N= 1，2，...，Μ，α为更新的权重系数；(2)从第Μ+1帧图像开始，首先同样先由彩色图像转化为灰度图像，然后由当前帧和背 景帧相减，获得背景差值帧图像/Iinai (3)对背景差值帧图像进行二值化处理；(4)对二值化处理后的背景差值帧图像进行形态学滤波，去掉噪音；期间先进行一次 腐蚀，然后再进行多次膨胀；(5)更新当前背景帧，和步骤(1)中相同。
3.根据权利要求1所述的基于视频的过境车辆快速检测方法，其特征在于所述帧间 差法具体为利用相邻帧相减，从而获得当前帧中的运动物体的精确位置；其算法流程如 下(1)对视频或者摄像头的视频帧逐一读取，由彩色图像先转化为灰度图像；对于前M帧 由于未进行检测，不处理，只在第M帧图像时，对其采用罗伯特交叉算子进行梯度滤波，保 存，用作后续计算；(2)从第M+1帧图像开始，首先同样先由彩色图像转化为灰度图像，对当前帧同样使用 和步骤(1)中相同的方法进行梯度滤波，然后由当前帧和前一帧相减，获得梯度帧间差值图像；同理，可获得简单的原始的帧间差值图像；(3)对梯度帧间差值图像和帧间差值图像分别进行二值化处理；(4)进行场景判定，分白天和晚上分别处理，以后可继续扩展场景；(5)对于白天场景，对二值化处理后的帧间差值图像进行形态学滤波，去掉噪音；在由 背景差值法获得的各个矩形的基础上进一步处理，找到其在帧间差值图像上的对应矩形位 置，由帧间差值图像上的有效运动物体像素的位置，进一步缩小矩形的大小范围；(6)对于夜晚场景，对二值化处理后的梯度帧间差值图像进行形态学滤波，去掉噪音； 同样，在由背景差值法获得的各个矩形的基础上进一步处理，找到其在帧间差值图像上的 对应矩形位置，由帧间差值图像上的有效运动物体像素的位置，确定运动物体的车头起始 位置和两侧位置。
4.根据权利要求1所述的基于视频的过境车辆快速检测方法，其特征在于所述阴影 消除，具体为训练阴影点和背景点的亮度比值范围，取边界轮廓上的点进行了阴影判定。
全文摘要
本发明属于交通监视、视频处理技术领域，具体公开了一种基于视频的过境车辆快速检测方法。该方法采用背景差法、梯度帧间差法和帧间差法，同时消除白天阴影、呼吸效应以及晚上前大灯地面反射光等影响，精确检测运动物体位置，判断运动物体所处车道。实验结果表明，本方法能够克服传统方法中运算量较大的缺点，满足电子警察视频车辆检测的实时性要求，能够对场景中的车辆进行精确检测，对光线变化、阴影等干扰，具有较好的鲁棒性。
文档编号G06K9/00GK101872546SQ20101016700
公开日2010年10月27日 申请日期2010年5月6日 优先权日2010年5月6日
发明者冯瑞, 滕舟, 薛向阳, 郭跃飞, 金城 申请人:复旦大学