专利名称：一种静态前景检测和跟踪方法
技术领域：
本发明涉及一种静态前景检测和跟踪方法，属于图像处理领域和计算机视觉领 域。
背景技术：
1、关于静态前景检测相关技术所谓前景检测，就是将目标物体对应的区域从图像序列中提取出来，针对具体的交通 监控来说，就是将场景中的行人和车辆等从监控图像序列中分离出来。目前前景检测算法 大体上可以分为三类(1)背景差分法，(2)时间差分法，(3)光流法。从实时监控的角度出 发，一般采用背景差分方法来提取前景。
运动前景检测的一般方法是先对背景图像进行建模，通过背景差分方法得到前景 图像，然后去除掉前景图像中的背景扰动和阴影，就能较准确地提取出前景目标来。再通过 对前景物体进行基于BLOB块的跟踪，得到前景的运动信息，从而判断前景物体是否是运动 物体(Stauffer, C; Grimson, W. E. L. "Adaptive background mixture models for real-time tracking, " Proc. of CVPR 1999，vol. 2，pp. 2246-2252.)。这种方法也可以 用于静态前景检测，但是该方法对于光线噪声的抗干扰能力不强，而且静态前景会随着背 景模型的更新而被更新到背景中去，不能被稳定地检测出来，此外当目标物体发生遮挡时， 该方法的检测准确率大大降低。Porikli (Poriklij F. ； Ivanovj Y. ； Hagaj T. “Robust Abandoned Object Detection Using Dual Foregrounds，，，Journal on Advances in Signal Processing, art. 30, 11 pp., 2008.)提出了利用双背景模型的方法，该方法基于不同帧率的背景差分 分别对图像帧进行前景提取，这两种背景差分方法都是基于混合高斯模型，把其中一个模 型用于短检测模型，即每帧更新，另一个模型用于长检测模型，即每η帧更新一次，短背景 模型更新快，场景的改变能更快地反映在背景模型中，而长背景模型，以一个较低的学习率 来适应场景的变化，因此将由两个背景模型得到的前景掩码进行对比，若某个前景在长前 景掩码中存在，而在短前景掩码中不存在，则该物体可能为静态前景物体。双背景模型能够 利用长背景模型，减慢更新率，从而在一定程度上解决静态前景容易融入到背景模型中去 的问题，而利用短背景模型，又能实现背景的实时更新，但是长背景模型的更新慢这个特点 决定了该模型会引入大量光线噪声，从而导致误检测率升高。
Liao, H-H (Liao, H-H. ； Chang, J-Y. ； Chen, L-G.，，A localized Approach to abandoned luggage detection with Foreground-Mask sampling”， Proc. of AVSS 2008, PP. 132-139.)提出基于前景掩码采样的方法，即在背景差分的基础上得到前景图像序列， 然后对前景图像序列进行采样，对采样来的每6个样本的二值化前景掩码图进行相与，利 用相与的结果来决定前景掩码S中像素点的值，S上的每一个点，若为白色的点(值为1 )，则 表明该点在过去的30秒钟内一直存在，并且很有可能是静态物体。该方法利用静态物体一 直存在于前景中的特点，对前景掩码图像进行采样，并通过对采样的图像进行统计来分析图像中某一点是否属于静态前景。其实质是利用了静态前景的位置特征不变这一特点。这 种方法能在很大程度上检测出静态前景，但这个方法的不足之处于，它没有解决如何才能 让静态前景不会随着时间的变化融入到背景图像中去从而得到稳定的而且噪声小的前景 图像的问题。发明内容
本发明提供了一种背景模型非实时更新的技术，解决静态前景容易更新到背景模 型中的问题。此外，还提供了一种基于静态前景的位置特征和光线噪声随机分布特点的静 态前景提取方法；具有稳定检测出静态前景、最大程度地消除光线噪声并从有前景中判断 出静态前景的优势。
本发明技术方案是一种静态前景检测和跟踪方法，其方法步骤如下①实时数据流的接收；②背景模型的建立；③前景检测；④目标跟踪；⑤事件判定；⑥ 图像保存。
所述的实时数据流的接收，是通过高清网络摄像机采集监控现场的实时流数据； 数据流经过网络传输到达本地计算机；本地计算机利用Iibvlc接口函数实现对数据流的 解码、复用；最后将数据流变成可操作的图像数据类型。
所述的背景模型的建立，是指利用初始的多帧视频图像构建出初始背景的混合高 斯模型，后续再阶段性的更新背景模型。混合高斯模型(GMM)通过多个高斯模型来表征图 像中各像素点的值，准确地对每个像素点进行建模。本背景模型是对视频前200帧图像进 行建模的；所述的前景检测的方法步骤是①形态学滤波处理，去除掉大部分环境因素造成的噪声；②对每M帧图像序列进行边缘检测，得到的边缘轮廓图；对前述边缘轮廓图的前景像 素点进行统计，若发现某一个像素点在设定的一段时间内存在的概率大于设定阈值，则定 义为静态前景；若小于该阈值，则将其滤除掉；③利用前述建立的的背景模型对第N*M帧图像进行背景差分，得到第N*M帧图像的前 景图像；将步骤②中边缘统计得到的前景图像与经背景差分得到的前景图像进行比较分 析，滤除噪声和运动物体，得到静态前景图像；M、N为自然数，优选的，M为20。
所述的目标跟踪，是基于静态前景的形状和运动特征，对前景图像中的BLOB块进 行跟踪，得到静态前景的相关位置信息及在该位置存在时长的统计信息。
所述的事件判定，是指当某个静态前景在前景中存在的时间大于指定阈值时，判 断这个静态前景属于抛洒物(或遗留物等)，进而实施报警。
所述的图像保存，是指启动报警后，对报警前的L帧图像序列的关键图像序列进 行保存；L为自然数；优选的，L经验值为200。
在一般的运动检测中，用新获的每一帧图像来更新混合高斯模型，用当前图像中 的每个像素点与混合高斯模型匹配，如果匹配成功则判定该点为背景点，否则为前景点。高 斯模型主要是由方差和均值两个参数决定，对于均值和方差的学习，采取不同的学习机制，将直接影响到模型的稳定性、精确性和收敛性。由于对运动目标的背景提取建模，因此需要 对高斯模型中的方差和均值两个参数实时更新。但是在静态前景检测中，背景模型的更新 会将静态物体更新到背景中去。因此在背景建模阶段更新，模型建完后并不对模型进行实 时更新，而是阶段性地更新背景，可以稳定地得到静态前景。该背景模型非实时更新技术解 决了静态前景容易更新到背景模型中的问题。
前景图像中包括静态前景、动态前景和光线噪声，计算机无法从一幅前景图像中 辨认出静态前景、动态前景或者光线噪声造成的虑假前景。但是，静态前景具有位置不变的 特点，运动前景的位置随时间有规律变化，而光线噪声则存在随机分布的特点，通过分析， 采用统计的方法对每20帧图像序列中的前景像素点进行统计，若发现某一个像素点在设 定的一段时间内存在的概率大于某一个阈值，则说明它是静态前景的可能性很大；反之，若 小于那个阈值，则将其滤除掉。这样，就可以去除掉大量的光线噪声，并且将静态前景从运 动前景中区分出来。
此外，结合光线没有边缘的特点，对原图进行边缘检测，将由边缘检测得到的前景 图与通过统计后的背景差分前景图像进行比较分析，几乎可以滤除所有噪声和运动物体， 得到比较干净的静态前景图像。此基于静态前景的位置特征和光线噪声随机分布特点的提 取静态前景的方法检测结果准确，大大减少了噪声和运动物体的干扰。
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实 施例一起用于解释本发明，并不构成对本发明的限制。在附图中图1是本发明的一种静态前景检测和跟踪方法的系统流程示意图；图2是本发明的混合高斯背景建模效果示意图；图3是本发明的基于混合高斯模型的前景检测效果图；图4是本发明的基于边缘检测的抛洒物前景检测算法流程图；图5是本发明的前景检测效果图；图6是本发明的另一组前景检测效果图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实 施例仅用于说明和解释本发明，并不用于限定本发明。
实施例1下面通过一个在特种车辆智能监管平台上对车辆抛洒事件进行检测的实施例，详细叙 述本发明。
如图1所示，基于静态前景检测的车辆抛洒事件检测过程主要包括几个部分实 时数据流的接收、背景模型的建立、前景检测、目标跟踪、事件判定、图像保存。
1、实时数据流的采集及接收通过高清网络摄像机采集监控现场的实时流数据。数据流经过网络传输到达本地计算 机。本地计算机通过Iibvlc接口函数实现对网络数据流的接收，再利用opencv接口函数 实现流数据到可处理图像数据的转换；为了方便处理，将彩色图像转换为灰度图像。
2、背景模型的建立在进行前景检测前，利用开始的前N帧视频图像构建出初始背景，其质量的好坏将直 接影响到后面的差分效果。
混合高斯模型(GMM)通过多个高斯模型来表征图像中各像素点的值，能更准确地 对每个像素点进行建模。本实施例对视频前200帧图像进行建模后，得到较为准确的背景 模型，如图2所示。
在一般的运动检测中，用新获得的每一帧图像来更新混合高斯模型，用当前图像 中的每个像素点与混合高斯模型匹配，如果匹配成功则判定该点为背景点，否则为前景点。 但是在静态前景检测中，背景模型的更新会将静态物体更新到背景中去，如图3中的(d)、 (e)所示。因此本实施例在背景建模阶段更新，模型建完后并不对模型进行实时更新，而是 设定每两小时对背景进行再次建模，这样可以稳定地得到静态前景。
3、前景检测如图4和图5所示，方法步骤如下①将经形态学滤波处理的原图像帧使用carmy算子进行边缘检测，得到边缘轮廓序列图；②将边缘检测后的图像进行二值化；③判断上述二值化的图像是否是第N个20帧，N取自然数；如果是第N个20巾贞，进入 步骤④，否则返回步骤①进行边缘检测；④进行如下两个操作，一是判断像素点在这20帧图像序列中存在的时间(用存在的帧 数来表示)是否大于阈值18 ；如果结果为是，则统计结果图中存在该点，否则不存在，从而得 到边缘统计图；二是利用上述建立的背景模型对第20帧图像进行背景差分，得到第20帧图 像的二值化前景图像；⑤将步骤④的边缘统计结果图与经背景差分的二值化前景图像进行比较分析，滤除掉 大部分躁声和运动物体，得到较干净的前景物体，如图5所示。
4、目标跟踪目标跟踪的目的在于从视频流后续的帧中找出之前某帧中的感兴趣的物体。
目标的跟踪，是结合目标的形状和运动特性，实现对不同形状、不同运动特性的物 体进行智能识别的技术。在跟踪处理过程中主要解决跟踪的初始化、更新和结束等问题。
基于静态前景的形状和运动特征，对前景图像中的BLOB块进行跟踪，通过对BLOB 块的跟踪可以得到静态前景的相关位置信息及一些统计信息，如目标的位置信息，运动状 态信息，存在的时间信息。
5、事件判定当某个静态前景在前景中存在的时间大于某个阈值，则可以判断这个静态前景属于抛 洒物(或遗留物)，进而实施报警；本实施例设定目标如果位置没有变，运动速度为零，存在 的时间大于15s，则判断为静态物，实施报警。如图5中(i)所示，抛洒物检测基于对(h) 所示的前景检测图进行跟踪匹配，检测结果准确，并没有受到躁声和运动物体的干扰。
5、图像保存当启动报警后，即对报警前的200帧图像序列的关键图像序列进行保存。
图6为本发明另一组前景检测效果图。
最后应说明的是以上所述仅为本发明的优选实施例而已，并不用于限制本发明， 尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可 以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。 凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的 保护范围之内。
权利要求
1.一种静态前景检测和跟踪方法，其特征在于其方法步骤如下①实时数据流的接收；②背景模型的建立；③前景检测；④目标跟踪；⑤事件判定；⑥ 图像保存。
2.根据权利要求1所述的静态前景检测和跟踪方法，其特征在于所述的实时数据流 的接收，是通过高清网络摄像机采集监控现场的实时流数据；数据流经过网络传输到达本 地计算机；本地计算机利用Iibvlc接口函数实现对数据流的解码、复用；最后将数据流变 成可操作的图像数据类型。
3.根据权利要求1所述的静态前景检测和跟踪方法，其特征在于所述的背景模型的 建立，是指利用初始的多帧视频图像构建出初始背景的混合高斯模型，后续再阶段性的更 新背景模型。
4.根据权利要求3所述的静态前景检测和跟踪方法，其特征在于利用初始的200帧 视频图像构建出初始背景的混合高斯模型。
5.根据权利要求1所述的静态前景检测和跟踪方法，其特征在于所述的前景检测的 方法步骤是①形态学滤波处理，去除掉大部分环境因素造成的噪声；②对每M帧图像序列进行边缘检测，得到的边缘轮廓图；对前述边缘轮廓图的前景像 素点进行统计，若发现某一个像素点在设定的一段时间内存在的概率大于设定阈值，则定 义为静态前景；若小于该阈值，则将其滤除掉；③利用前述建立的的背景模型对第N*M帧图像进行背景差分，得到第N*M帧图像的前 景图像；将步骤②中边缘统计得到的前景图像与经背景差分得到的前景图像进行比较分 析，滤除噪声和运动物体，得到静态前景图像；M、N为自然数。
6.根据权利要求5所述的静态前景检测和跟踪方法，其特征在于M取值为20。
7.根据权利要求1所述的静态前景检测和跟踪方法，其特征在于所述的目标跟踪，是 基于静态前景的形状和运动特征，对前景图像中的BLOB块进行跟踪，得到静态前景的相关 位置信息及在该位置存在时长的统计信息。
8.根据权利要求1所述的静态前景检测和跟踪方法，其特征在于所述的事件判定，是 指当某个静态前景在前景中存在的时间大于指定阈值时，判断这个静态前景属于抛洒物或 遗留物等，进而实施报警。
9.根据权利要求1所述的静态前景检测和跟踪方法，其特征在于所述的图像保存，是 指启动报警后，对报警前的L帧图像序列的关键图像序列进行保存；L为自然数。
10.根据权利要求9所述的静态前景检测和跟踪方法，其特征在于L的经验值为200。
全文摘要
一种静态前景检测和跟踪方法，其方法步骤如下①实时数据流的接收；②背景模型的建立；③前景检测；④目标跟踪；⑤事件判定；⑥图像保存。其是一种背景模型非实时更新的技术，解决静态前景容易更新到背景模型中的问题。此外，还提供了一种基于静态前景的位置特征和光线噪声随机分布特点的静态前景提取方法；具有稳定检测出静态前景、最大程度地消除光线噪声并从有前景中判断出静态前景的优势。
文档编号G06T7/20GK102034240SQ20101060198
公开日2011年4月27日 申请日期2010年12月23日 优先权日2010年12月23日
发明者向梅, 明安龙, 马华东 申请人:北京邮电大学