专利名称：基于显著度和混合高斯模型的监控视频前景提取方法
技术领域：
本发明涉及数字视频分析领域，尤其涉及一种基于显著度和混合高斯模型的监控视频前景提取方法。
背景技术：
视频监控系统已经广泛应用于小区安全监控，交通路况，机场，银行等，并将有着广泛的应用前景。由于现有的视频监控系统大部分都是仅仅将视频录制以后保存，并没有 发挥实时主动地监控作用，在此基础上发展的智能视频监控系统，采用视频分析技术，自动实现对目标的检测，识别和跟踪，并在此基础上对行为进行判断。视频监控系统集视频采集、检测、识别、检索与一身，代表了未来监控领域的发展趋势，但是由于视频的种类变换多样，而现有的视频分析方法的适用性不强，严重影响智能监控系统的监控效果，一定程度上制约了视频监控系统的发展，因此，如何对视频进行有效地分析是视频监控领域的一个亟待解决的重要问题。视频监控系统由于摄像机位置比较固定，因此背景区域基本保持不变，基于像素的背景建模方法由于运算复杂度低得到了广泛的应用。2000年美国麻省理工人工智能研究所Stauffer and Grimson采用混合高斯模型即每个像素均由3到5个高斯模型表示,每个像素均循环每个高斯模型直到找到合适的高斯模型，采用基于在线EM (期望最大化)学习方法更新参数，以便适应视频的变化。每个像素都需要判断是否属于高斯模型，如果属于前景的高斯模型，则该像素为前景，否则该像素为背景，该方法的提出为混合高斯模型算法的应用和发展奠定了基础，但这种基于EM算法的更新方法，收敛速度比较慢，很难适应视频内容的变化，而且该算法很难确定一个合适的学习速率。2008年Haque通过选择相近的高斯模型函数的方法，不需要循环所有的模型，通过自动设定循环区间的方法，仅仅选择重要的高斯背景模型进行判断的方法，在解决背景部分抖动方面取得了一定的效果，但是该方法仍然不能完整地提取物体的内部区域。总之，前景提取算法中的背景建模方法本身是一种基于像素在时间域的分析方法，根据像素在时域上的变化判断，该像素是否是前景像素，并没有充分利用出前景像素在当前帧的相关位置及其像素之间的相关关系信息，导致检测的前景区域并不完整。
发明内容
本发明的目的在于针对现有的基于混合高斯模型的前景提取方法获取的前景不完整的问题，提供一种基于显著度和混合高斯模型的监控视频前景提取方法，更加完整地提取监控视频的前景区域，为视频监控系统目标识别，跟踪与检索提供强有力的支持。为了达到上述目的，本发明采用如下的技术方案—种基于显著度和混合高斯模型的监控视频前景提取方法，对视频进行前景提取时，进行以下步骤，步骤1，对视频进行基于混合高斯模型的前景提取，得到基于混合高斯模型的前景区域的掩膜；步骤2，将视频的每一帧图像从RGB颜色空间转换到LAB颜色空间；步骤3，获取当前帧与参考帧的帧差图像；步骤4，将步骤3所得帧差图像进行高斯滤波消除图像噪声，并对滤波后帧差图像进行二值化获取当前帧的掩模图像；步骤5，通过步骤4所得掩膜图像获取当前帧的前景区域，并在LAB颜色空间中对当前帧的前景区域进行图像显著度的提取，得到显著度图；步骤6，将步骤5所得显著度图进行二值化，获得基于显著度的图像前景的掩膜；步骤7，将步骤I所得基于混合高斯模型的前景区域的掩膜与步骤6所得基于显著度的前景区域的掩膜合并，得到最终的前景区域。而且，步骤3所述的参考帧的获取方法为，在当前帧的以前帧中求取相邻帧颜色直方图的欧式距离的差值，将差值最大的相邻帧中时间较前的一帧设为当前帧的参考帧，其中帧号越小表示时间越靠前。而且，步骤4中，对帧差图像采用3 X 3大小的高斯滤波器消除图像噪声，然后对滤波后帧差图像进行基于单一阈值的二值化操作，获取当前帧的掩模图像。而且，步骤5中，对当前帧的前景区域进行图像显著度的提取时，只针对步骤4所得滤波后帧差图像中的掩膜区域进行显著度的提取，对其中的非掩膜区域不进行显著度的提取。
而且，步骤5中，进行显著度提取的处理如下，步骤a，设步骤4所得滤波后帧差图像尺寸为MXN，对整个滤波后帧差图像进行二维DCT变换，得到滤波后帧差图像在(X，y)坐标的DCT变换结果值f(x，y)，x的取值为
O,1,2,... M-I, y 的取值为 0，1，2，· · · N-I ；步骤b，根据步骤4所得掩膜图像中非掩膜区域，将相应dct系数设置为0，如以下
公式所示，
,^ 、i/Uj)if pLxel{x,y)\ = Q\
帅，少) = |θif P魂I (I)X e [O, M) ye [0，N)其中，dct(x, y)为滤波后帧差图像在(X，y)坐标的dct系数，pixel (x, y)为滤波后帧差图像在(X，y)坐标的像素值；步骤c,对步骤b所得dct系数dct (X，y)，采用以下公式进一步提取dct系数特征值 sign (X，y),
(Iι·) >0、X e [O, M) ye [O, N)其中，sign (x, y)表示滤波后巾贞差图像在(x, y)坐标的dct系数特征值；步骤d,对步骤c所得dct系数特征值sign (x, y)采用反DCT变换并将该反DCT的值进行平方后归一化，获取滤波后帧差图像在(x，y)坐标处像素的显著度值，作为显著度图在(x，y)坐标的显著度值；若步骤4所得掩膜图像在(x，y)坐标处像素值为O，显著度图在(X，y)坐标的像素值依然为O。而且，步骤6中，对步骤5所得显著度图采用Otsu算法获取基于显著度的图像前
景的掩膜，如以下公式所示，
权利要求
1.一种基于显著度和混合高斯模型的监控视频前景提取方法，其特征在于对视频进行前景提取时，进行以下步骤， 步骤1，对视频进行基于混合高斯模型的前景提取，得到基于混合高斯模型的前景区域的掩膜； 步骤2，将视频的每ー帧图像从RGB颜色空间转换到LAB颜色空间； 步骤3，获取当前帧与參考帧的帧差图像； 步骤4，将步骤3所得帧差图像进行高斯滤波消除图像噪声，并对滤波后帧差图像进行ニ值化获取当前帧的掩模图像； 步骤5，通过步骤4所得掩膜图像获取当前帧的前景区域，并在LAB顔色空间中对当前帧的前景区域进行图像显著度的提取，得到显著度图； 步骤6，将步骤5所得显著度图进行ニ值化，获得基于显著度的图像前景的掩膜； 步骤7，将步骤I所得基于混合高斯模型的前景区域的掩膜与步骤6所得基于显著度的前景区域的掩膜合并，得到最終的前景区域。
2.根据权利要求I所述基于显著度和混合高斯模型的监控视频前景提取方法，其特征在于步骤3所述的參考帧的获取方法为，在当前帧的以前帧中求取相邻帧颜色直方图的欧式距离的差值，将差值最大的相邻帧中时间较前的一帧设为当前帧的參考帧，其中帧号越小表示时间越靠前。
3.根据权利要求I所述基于显著度和混合高斯模型的监控视频前景提取方法，其特征在干步骤4中，对帧差图像采用3 X 3大小的高斯滤波器消除图像噪声，然后对滤波后帧差图像进行基于单ー阈值的ニ值化操作，获取当前帧的掩模图像。
4.根据权利要求I所述基于显著度和混合高斯模型的监控视频前景提取方法，其特征在于步骤5中，对当前帧的前景区域进行图像显著度的提取时，只针对步骤4所得滤波后帧差图像中的掩膜区域进行显著度的提取，对其中的非掩膜区域不进行显著度的提取。
5.根据权利要求4所述基于显著度和混合高斯模型的监控视频前景提取方法，其特征在于步骤5中，进行显著度提取的处理如下， 步骤a，设步骤4所得滤波后帧差图像尺寸为MXN，对整个滤波后帧差图像进行ニ维DCT变换，得到滤波后帧差图像在(x，y)坐标的DCT变换结果值f(x，y)，x的取值为O，I, 2，…M-l，y 的取值为 O，I, 2，…N-I ； 步骤b，根据步骤4所得掩膜图像中非掩膜区域，将相应dct系数设置为O，如以下公式所示，
6.根据权利要求5所述的基于显著度和混合高斯模型的监控视频前景提取方法，其特征在于步骤6中，对步骤5所得显著度图采用otsu算法获取基于显著度的图像前景的掩膜，如以下公式所示，(Ipixel) )> as/ / NireslocJ、Mask s(x, f) ニ— — —IvO pixel s(x, v)< ostu threslod J(3)X G [0，M) y G [0，N) 其中,Mask_s(x,y)表示基于显著度的前景区域的掩膜在(x, y)坐标的像素值,pixel_s (x, y)表示显著度图在(X，y)坐标的像素值，ostu_threslod为ostu算法自动获取的阈值。
7.根据权利要求6所述的基于显著度和混合高斯模型的监控视频前景提取方法，其特征在于，步骤7中，将步骤I所得基于混合高斯模型的前景区域的掩膜与步骤6所得基于显著度的前景区域的掩膜取并集得到最終的前景区域的掩膜，如以下公式所示，,,,.、(\ {Mask r) = I )o/\ Mask .バ x ニ I))Mas^x,y)=-—elseJ(4)X G [0，M) y G [0，N) 其中，Mask_g(x, y)为基于混合高斯模型的前景区域的掩膜在(x, y)坐标的像素值。
全文摘要
一种基于显著度和混合高斯模型的监控视频前景提取方法先将待分析的视频采用混合高斯模型进行前景提取，然后将当前帧前帧中相邻2帧中颜色直方图欧式距离相差大的两帧中的帧号小的那一帧作为参考帧,将当前帧与该参考帧做差获取帧差图像，再进行二值化得到掩模图像。对该掩模图像进行基于3×3模板的高斯滤波消除图像的噪声。通过上述掩膜图像，获得基于该掩膜图像的当前帧区域，对区域进行显著度的提取并二值化得到基于显著度的掩膜，将基于显著度的掩膜和基于混合高斯模型的掩膜求并集，最终得到更加完整的前景区域。
文档编号H04N7/18GK102663405SQ20121014709
公开日2012年9月12日 申请日期2012年5月14日 优先权日2012年5月14日
发明者宗成强, 渠慎明, 王中元, 胡瑞敏, 钟睿, 黄震坤 申请人:武汉大学