专利名称：基于变化检测和帧差累积的视频对象分割方法
技术领域：
本发明涉及一种视频对象提取中的处理方法，特别涉及一种基于变化检测和帧差累积的视频对象分割方法。在保证分割效果和速度的前提下，改变了传统变化检测需要多次试验获取帧差阈值的缺点，充分考虑了像素邻域的信息，更为准确的获取视频对象。帧差累计应用一段时间内的信息，解决了运动对象不规则运动所带来的局部运动对象缺失问题，基于不连续性检测的Kirsch边缘检测算子得到当前帧中连通的完整图像边缘信息并二值化，三种方法结合应用，使该方法更具有实用性和推广性。
背景技术：
基于对象的视频分割是实现MPEG-4基于内容的编码和交互功能的关键，伴随着MPEG-4标准基于内容编码技术的推广，视频对象分割技术已经成为当前研究的热点。目前，基于对象的视频分割在视频监控，人机交互，军事，通讯等领域都有着极为广泛的应用前景。尽管近年来人们对视频对象分割进行了广泛的研究，但是仍没有完全解决这个问题。视频对象分割方法按照是否需要人工参于分割过程分为自动分害I](参见Thomas Meier,King N. Ngan. Automatic segmentation of moving objects forvideo object plane generation[J]. IEEE Transactions on Circuits and Systemsfor Video Technology，1998，8 (5) : 525-538)和半自动分割(参见 Munchurl Kim，J.G. Jeon, J. S. Kwakj M. H. Lee, C. Ahn. Moving object segmentation in video sequencesby user interaction and automatic object tracking[J]. Image and VisionComputing, 2001，19 (5) : 245-260)。按照应用领域不同主要包括时域分割方法，空域分割方法及时空融合分割方法。时域分割方法利用视频序列的时序属性，通过相邻帧的时域变化来检测运动目标。常用的方法有巾贞间差分法和背景差分法。巾贞间差分法(参见Zhan C H. An improved movingobject detection algorithm based on frame difference and edge detection[A].International Conference on Image and Graphics [C]，2007:519-523);方法实现简单，程序设计复杂度低，对光线等场景变化不太敏感，能够适应各种动态环境，稳定性较好，但是不能提取出对象的完整区域，只能提取出边界，依赖于选择的帧间差的时间间隔。背景差分法(参见 Olivier Barnich, Marc Van Droogenbroeck. A universal backgroundsubtraction algorithm for video sequences[J]. IEEE Transactions on Image Processing, 2011,20(6) :1709-1723);其原理和方法设计简单根据实际情况确定阈值进行处理，所得结果直接反映了运动目标的位置、大小、形状等信息，能够得到比较精确的运动目标信息，但是背景更新的计算量比较大容易产生离散噪声点，受光线、天气等外界条件变化的影响较大。光流(参见 Jareal A, Venkatesh K S. A new color based optical flowalgorithm for environment mapping using a mobile robot[A]. IEEE InternationalSymposium on Intelligent Control [C] 2007:567-572);携带了目标的运动信息，在场景信息未知情况下，能很好地检测出运动对象，检测准确度高，但光流法计算量大一般不能被应用于实时处理场景。空域分割方法(参见Jaime S. Cardoso, Jorge C. S. Cardoso, LuisCorte-Real. Object-based spatial segmentation of video guided by depth andmotion information[A]. IEEE Workshop on Motion and Video Computing[C]. 2007.)；利用图像的颜色、亮度、纹理以及边缘信息等空域属性来提取视频对象。时空融合分割方法(Ahmed, R.，Karmakar, G. C.，Dooley, L. S. Incorporation of texture informationfor joint spatio-temporal probabilistic video object[A]. IEEE InternationalConference on Image Processing[C] 2007，6，293-296);是现在最常用的分割方法，该方法结合视频序列的时域信息及 空域信息。两种信息相互融合得到相对准确的分割结果。然而无论是采用哪种方法来分割运动对象，显露背景和对象的不规则运动(运动对象或者其某一部分在一段时间内静止)都会造成分割准确度的下降。在运动分析中，显露背景和因对象的不规则运动造成的静态前景区域易被错误地检测为前景或是背景，从而造成分割准确度的下降。
发明内容
本发明提出了一种基于变化检测和帧差图像累积的视频对象分割方法，首先利用高斯滤波对各帧视频图像进行高斯平滑滤波，然后使用t显著性检验检测间隔为k帧的对称帧的帧间变化，再对检测出的初始运动变化区域通过时域定区间帧差累积计算，并进一步整合形成记忆掩膜；而后使用基于不连续性检测的Kirsch边缘检测算子通过图像边缘连续性检测来调节阈值，从而得到当前帧中连通的所有图像边缘信息，减少记忆掩膜中的残留噪声、保证边缘连续性的同时较好地保护了低强度的边缘细节；接着通过时空滤波器获得语义视频对象平面；最终选择性的应用填充及形态学处理操作实现视频对象的分割。这是一种新视频对象分割方法，它的提出有效地解决了视频对象分割方法经常出现的由不规则运动(运动对象或者其某一部分在一段时间内静止)引起的视频对象内部缺失和显露背景的问题，分割速度、分割效果、适用范围及可移植性均有了很大的改善。本发明要解决的技术问题是I、当直接通过帧间差分获取运动对象的变化区域时，需要通过多次实验获取帧差法的阈值，对噪声和光线变化敏感且获取完整的运动区域存在严重缺失的问题；2、视频对象不规则运动(运动对象或者其某一部分在一段时间内静止)产生的遮挡(覆盖/显露)问题。3、Kirsch边缘检测算子获取视频对象边界存在不连续性。本发明解决其技术问题所采用的技术方案基于变化检测和帧差图像累积的视频对象分割方法，包括以下步骤步骤一利用高斯滤波平滑视频序列各帧图像，使用t显著性检验检测间隔为k帧的对称帧的帧间变化获得各帧初始运动变化区域，再对检测出的初始运动变化区域进行经过对称帧距变化区域相与操作获得完整运动变化区域，而后采取时域定区间帧差累积计算，获得定时段有效模板，并进一步整合形成记忆掩膜，完成视频对象的时域分割；步骤二 对原始视频的每一帧用改进的Kirsch边缘检测算子即基于不连续性检测的Kirsch算子进行边缘检测；二值化边缘检测的结果完成视频对象的空域分割；步骤三采用并行时空融合的方式将由步骤一中形成的分段记忆掩膜与视频序列的每一帧通过步骤二中得到的二值化边缘检测结果进行相与操作提取出运动对象的精确边界轮廓；根据边界信息选择性的进行形态学开闭及填充操作完成视频对象的提取。本发明与现有技术相比所具有的优点在于I、本方法利用t分布显著性检验检测帧间的变化，不需要知道视频内噪声的方差因此避免了噪声参数的估计，且获取帧差图像时不需要手动实验获取阈值，可以根据t分布表查找获得最优阈值。假设检验的统计变化检测技术可以很好的抑制相机噪声对分割结果的影响，分割结果明显的优于阈值分割得到的结果。2、本方法利用间隔为k帧的图像可以更好的处理视频对象缓慢运动，提出了记忆掩膜MT (Memory Template)的概念,采用时域内定区间巾贞差累积的方法获取记忆模板，有效解决运动区域边界的缺失问题。3、直接利用Kirsch边缘检测获得的边缘线容易出现断点，效果不是很理想。本方 法采用4X4的方向模板计算目标点周围6个方向上的差值，当最大差值超过某个门限值时，则可认为该点为不连续点，由此来检测图像边缘的不连续性。从而得到当前帧中连通的所有图像边缘信息，减少记忆掩膜中的残留噪声、保证边缘连续性的同时较好地保护了低强度的边缘细节。
图I是本发明的基于变化检测和帧差累积的视频对象分割方法的流程图。图2是Akiyo视频序列变化检测和巾贞差累积效果图其中(a)表不Akiyo视频序列的第5帧；(b)表示Akiyo视频序列的第21帧；(C)表示图(a)通过t显著性检验检测后得到的初始运动变化区域；(d)表示图(b)通过t显著性检验检测后得到的初始运动变化区域；(e)表示图(C)经时域定区间帧差累积的完整的运动变化区域；(f)表示图(d)经时域定区间帧差累积后的完整的运动变化区域。图3是Akiyo视频序列的记忆掩膜图其中(a)表示Akiyo视频序列的第一个和第二个记忆掩膜。图4是Akiyo视频序列VOP提取效果图其中(a)表不Akiyo视频序列的第5巾贞；(b)表不Akiyo视频序列的第21巾贞；(c)表不从图(a)中提取到的VOP ； (d)表不从图(b)中提取到的VOP ；图5是Grandma视频序列采用本发明方法提取出的VOP效果图其中(a)表示Grandma视频序列的第4巾贞；(b)表示从图(a)中提取到的VOP ； (c)表示Claire视频序列的第19帧；(d)表示从图(c)中提取到的VOP ；图6是Claire视频序列采用本发明方法提取出的VOP效果图其中(a)表示Claire视频序列的第8巾贞；(b)表示从图(a)中提取到的VOP ； (C)表示Claire视频序列的第16帧；(d)表示从图(c)中提取到的VOP ；图7是Miss-American视频序列采用本发明方法提取出的VOP效果图其中(a)表示Miss-American视频序列的第20巾贞；(b)表示从图(a)中提取到的VOP; (c)表示Miss-American视频序列的第40巾贞；(d)表示从图(c)中提取到的VOP ；图8是Mother and daughter及Hall monitor视频序列采用本发明方法提取出的VOP效果图其中(a)表示Mother and daughter视频序列的第15巾贞；(b)表示从图(a)中提取到的VOP ； (C)表示Hall monitor视频序列的第70巾贞；(d)表示从图(c)中提取到的 VOP ；图9是本文方法和参考(祝世平，马丽，侯仰栓.基于时域定区间记忆补偿的视频对象分割算法[J].光电子.激光，2010，21 (8) :1241-1246.)方法应用于Grandma视频序列和Miss-American视频序列的前20帧分割结果的空间准确度对比图。(a)是应用于Grandma视频序列的空间准确度对比图；(b)是应用于Miss-American视频序列的空间准确度对比图；其中空间准确度I代表应用本文方法所获得的空间准确度结果，空间准确度2代表应用参考方法所获得空间准确度结果。
具体实施例方式下面结合附图及具体实施方式
进一步详细介绍本发明。
本发明的基于时域定区间记忆补偿的视频对象分割方法，图I为本发明方法的流 程图，本方法包括以下步骤步骤一利用高斯滤波平滑视频序列各帧图像，使用t显著性检验检测间隔为k帧的对称帧的帧间变化获得各帧初始运动变化区域，再对检测出的初始运动变化区域进行经过对称帧距变化区域相与操作获得完整运动变化区域，而后采取时域定区间帧差累积计算，获得定时段有效模板，并进一步整合形成记忆掩膜，完成视频对象的时域分割；设F(n)表示图像序列的第n帧，F(n)与F(n_k)之间的差值图像包含F(n)中的视频对象和由于对象的运动而暴露的背景区域。F(n+k)与F(n)之间的帧差掩膜包含F(n)中的视频对象和由于对象运动在F(n+k)中覆盖的背景区域。接下来，对视频图像进行变化检测，采用基于t分布的变化检测技术，统计帧差图像中未变化区域的值及变化区域的值，得到初始变化检测掩膜。采用基于t分布的变化检测技术避免了多次实验获取分割阈值，充分考虑了检测像素邻域内的信息，得到的判断结果更为准确。由于假设检验存在的误警概率而丢失的运动细节和运动对象内部由于纹理细节缺失而造成的内部孔洞以及零散分布的噪声区域存在于初始运动变化区域。进行时域分割时，如果目标部分运动不明显，就难以找到包含完整视频对象的运动区域，所以首先采用对称帧距帧差来进行运动累计。设视频序列灰度化后第n帧为Fn (x，y)，经过高斯滤波平滑过后为Gn(x，y)。视频序列内每帧图像噪声记为Nn(x，y)方差记为S1c。故可将视频序列中第n帧图像Gn (X，y)表示为Gn (.Y，V) = Gn v) + Nn V)其中G (Xj)为视频图像的实际值。根据上式，可得差分图像/‘D(x,y) = Cr, (>'/)-(/::,, il + iV (x,y)-/V(!； A, (x,.v)设D(x,y)=Nn(x，y)-N(n_k)(X，y),其中 Nn(x, y)与 N(n_k) (x, y)是概率密度相同并且相互独立的随机变量，故D(x,y)仍为加性零均值高斯噪声随机变量，方差为S2 =2x5；。由于各个像素点的噪声是互相独立的，如果窗内所有不为零的帧差值都是由噪声引起的，这些值的均值U应该为零，所以根据概率论知识进行假设检验，设位置(x，y)为背景(即零假设i!=0。在噪声方差未知的情况下，采用t显著性检验检测，根据邻域窗内的像素点构造统计测试量t:
权利要求
1.一种基于变化检测和帧差累积的视频对象分割方法，该视频对象分割方法的特征在于时域分割利用t显著性检验检测帧间变化，不需要根据繁琐的实验数据设定阈值，根据t分布表查找获得最优阈值，不需要知道视频内噪声的方差，因此避免了噪声参数的估计；在帧差累积阶段提出了有效模板和记忆掩膜的概念和两者的使用及其形成方法；空域分割利用改进的Kirsch边缘检测算子即基于不连续性检测的Kirsch算子获得完整精细的连通边缘，该视频对象分割方法的具体步骤如下 步骤一利用高斯滤波平滑视频序列各帧图像，使用t显著性检验检测间隔为k帧的对称帧的帧间变化获得各帧初始运动变化区域，再对检测出的初始运动变化区域进行相与操作获得完整运动变化区域，而后采取时域定区间帧差累积计算，获得定时段有效模板，并进一步整合形成记忆掩膜，完成视频对象的时域分割； 步骤二 对原始视频的每一帧采用改进的Kirsch边缘检测算子即基于不连续性检测的Kirsch算子进行边缘检测；二值化边缘检测的结果完成视频对象的空域分割； 步骤三采用并行时空融合的方式将由步骤一中形成的分段记忆掩膜与视频序列的每一帧通过步骤二中得到的二值化边缘检测结果进行相与操作提取出运动对象的精确边界轮廓；根据边界信息选择性的进行形态学开闭及填充操作完成视频对象的提取。
2.根据权利要求I中所述的一种基于变化检测和帧差累积的视频对象分割方法，其特征在于所述步骤一的时域运动变化检测先对间隔为k的对称帧的灰度图像进行帧差计算，然后通过t显著性检验检测获取初始运动变化区域，再进行时域定区间帧差累积计算，并进一步整合形成记忆模板，具体步骤如下 (1)、设视频序列灰度化后第n帧为Fn(x，y)，经过高斯滤波平滑过后为Gn(x，y)。
(2)、视频序列内每帧图像噪声记为Nn(x，y)方差记为<。故可将视频序列中第n帧灰度图像Gn(x, y)表不为
3.根据权利要求I中所述的一种基于变化检测和帧差累积的视频对象分割方法，其特征在于，所述步骤二的改进的Kirsch边缘检测算子即基于不连续性检测的Kirsch算子进行边缘检测，具体步骤如下 (1)、利用传统Kirsch边缘检测算子进行边缘检测计算，得到初始各帧视频序列的边缘图像。边缘检测时，一些重要的边缘细节由于干扰或对比度不足变得模糊、微弱。
(2)、直接利用Kirsch边缘检测获得的边缘线容易出现断点，效果不理想。本方法采用4X4的方向模板计算目标点周围6个方向上的差值，当最大差值超过某个门限值时，则可认为该点为不连续点，由此来检测图像边缘的不连续性。从而得到当前帧中连通的所有图像边缘信息，减少记忆掩膜中的残留噪声、保证边缘连续性的同时较好地保护了低强度的边缘细节。经过二值化过后得到M6。
4.根据权利要求I中所述的一种基于变化检测和帧差累积的视频对象分割方法，其特征在于，所述步骤三的时空滤波获取完整语义视频对象，具体步骤如下 (1)、N/L个时域记忆掩膜MT分别和每个空域二值化边缘检测结果融合提取二值运动对象模板 B (X，y) =MT (X，y) H Me (x, y) 若对应的B(x，y)应为255，即该点被最终标记为前景，否则标记为背景。
(2)、采用这样上述融合方式，很显然能够将记忆母板中由于视频对象运动而产生的遮挡区域通过边界的约束剔除掉。最后，结合原始视频序列％(x，y)，完成视频对象的分割
全文摘要
本发明公开了一种基于变化检测和帧差累积的视频对象分割方法，首先使用t显著性检验检测间隔为k帧的对称帧的帧间变化，再对检测出的初始运动变化区域通过时域定区间帧差累积计算，并进一步整合形成记忆掩膜；而后使用基于不连续性检测的Kirsch边缘检测算子通过图像边缘连续性检测来调节阈值，从而得到当前帧中连通的所有边缘信息；接着通过时空滤波器获得语义视频对象平面；最终选择性的应用填充及形态学处理操作实现视频对象的分割。这是一种新的视频对象分割方法，它的提出有效地解决了视频对象分割方法经常出现的对象不规则运动造成的视频对象内部缺失和背景显露。分割速度、分割效果、适用范围及可移植性均有了很大的改善。
文档编号H04N7/26GK102970528SQ20121040244
公开日2013年3月13日 申请日期2012年12月28日 优先权日2012年12月28日
发明者祝世平, 高洁 申请人:北京航空航天大学