一种基于反馈的运动物体分割的图像处理方法
【专利摘要】一种基于反馈的运动物体分割的图像处理方法，对背景建模，采用两层次的背景更新模型；第一层采用较低的更新率对背景进行更新，以适应背景的缓慢变化；第二层根据高层信息的反馈，对背景进行加速、补偿等操作，以适应场景内物体运动的突变；对前景分割，根据高层信息的反馈，合并预测的运动物体块，在预测的物体区域内，自适应地调整分割阈值，以达到抑制噪声的同时，防止分割的前景物体出现空洞和割裂情况的发生。本发明处理方法中的背景建模时既保持模型的鲁棒性，又保持模型对前景物体异常运动的敏感性；前景分割时，既能很好地抑制噪声，又能防止前景空洞、被割裂的情况。
【专利说明】一种基于反馈的运动物体分割的图像处理方法
【技术领域】
[0001]本发明涉及一种基于反馈的运动物体分割的图像处理方法，属于智能交通模式识别【技术领域】。
【背景技术】
[0002]运动物体图像处理方法中背景建模和前景分割是智能视频监控系统的基础。背景模型和前景分割的精度将直接影响系统的后续处理，包括运动物体分割、识别和行为理解等。传统的背景建模和前景分割技术存在两个艰难的权衡问题:一个是背景建模时保持模型的鲁棒性与敏感性之间的权衡；另一个是前景分割时抑制噪声和防止前景物体出现空洞和被割裂情况之间的权衡。
[0003]智能视频监控系统一般都采用图1的流程。图1中的模块顺序执行，背景建模与前景分割决定后续物体分割、识别和跟踪操作，但是后续的操作并不对背景建模和前景分割产生影响。在众多的背景建模方法中，混合高斯模型(GMM)方法[I]是最普遍使用的方法，在它基础上又提出了很多改进的方法[2-3]。但是这些方法在背景更新时采用固定的更新率，不能同时保证模型的鲁棒性和敏感性。当更新率取得较大时，缓慢运动的物体会被错误的更新到背景中去；当更新率取得较小时，需要很长的时间来更新突来停止或运动的物体的区域，从而引进很多的虚警。
[0004]为了使建立的模型兼具鲁棒性和敏感性，文献[4-5]开始采用图1的结构，通过高层反馈对像素进行分类，进而根据像素类别对背景更新率进行调整控制。但是这些方法仍旧存在一些问题:首先就像文献[4] [5]所说，当前帧对像素类别错误的划分会损害到后续帧的操作。其次，这些方法对前景分割中存在的权衡问题没有很好的解决。最后，这些方法的计算复杂度比较高，不利于实时应用。
[0005]文献[6-7]主要致力于前景分割的研究。文献[6]根据邻居节点是否为前景像素来调节分割阈值。文献[7]通过融合物体的运动，颜色和对比度等信息来提高前景分割的效果。这些方法没有使用高层信息的反馈，在抑制噪声和防止前景物体出现空洞、被割裂情况之间不能取得很好的权衡。
[0006][I]C.Stauffer, and ff.Grimson, Adaptive background mixture models forreal-time tracking, in Proc.1EEE Conference on Computer Vision and Pattern Recognition，vol2, pp.246-252，1999.[0007][2]M.Heikkilaj and M.Pietikainenj A texture-based method for model-1ngthe background and detecting moving objects,IEEE Transaction on PatternAnalysis and Machine Intelligence, vol.28, n0.4, pp.657-662, 2006.[0008][3] T.Haines, and T.Xiang，，，Background Subtraction with DirichletProcesses，，，in Proc.2012European Conference on Computer Vision, pp.97-111, 2012.[0009][4]T.Boult, R.Michealsj and X.Gaoj Frame-rate omnidirectionalsurveillance and tracking of camouflaged and occluded targets, Sec—ond IEEEWorkshop on Visual Surveillance,pp.48-55, 1999.[0010][5]H.Linj J.Chuangj and T.Liuj Regularized Background Adaptation:A NovelLearning Rate Control Scheme for Gaussian Mixture Mod—eling，IEEE Trans, on ImageProcessing, vol.20，n0.3，pp.822-836，2011.[0011][6] P.Kumar, S.Ranganathj and W.Huang, Queue based Fast Back-groundModelling and Fast Hysteresis Thresholding for Better Fore-groundSegmentation,in Proc.the2003Joint Conference of the Fourth InternationalConference on Information, Communications and Signal Processing, vol.2, pp.743-747，2003.[0012][7] Z.Kuangj H.Zhou, and K.Wong, Accurate Foreground Segmenta-tionwithout Pre-learning, in Proc.2011Sixth International Confer—ence On Image andGraphics, pp.331-337，2011.[0013]综上所述，现有技术存在以下几点不足:(1)传统的(图1所示)背景建模方法采用统一的背景更新率，当更新率取得不合适时，将引入很多虚警。(2)以文献[5]为例，很多研究者开始采用图2所示流程图进行处理。这些方法根据高层信息的反馈对图像中各个像素进行分类，之后按照分类结果调整相应的更新速率。这些方法对像素分类要求很高，一旦分类发生错误，这种错误将会进行传播，影响后面连续多帧的更新效果。此外，这些方法在前景分割上没利用运动信息的反馈，在前景分割时，对图中各像素的阈值没进行自适应的调整。(2)以文献[6]为例，在进行前景分割时，阈值大小由其邻居像素是否为前景决定。当其邻居像素越多为前景时，其分割阈值越小，反之越大。这种方法首先会对分割出的物体的边界造成模糊作用；其次这种方法不能很好地解决前景空洞比较大的情况。
【发明内容】
[0014]本发明技术解决问题:克服现有技术的上述不足，提供一种基于反馈的运动物体分割的图像处理方法，背景建模时既保持模型的鲁棒性，又保持模型对前景物体异常运动(突然静止或运动)的敏感性；前景分割时，既能很好地抑制噪声，又能防止前景空洞、被割裂的情况。
[0015]本发明技术解决方案:一种基于反馈的运动物体分割的图像处理方法，采用图3的结构，把高层信息反馈回来，以提高背景建模和前景分割的效果，具体实现步骤如下:
[0016](I)对背景建模
[0017]采用两层次的背景更新模型，第一层采用相对较小的(0.001)的更新率对背景进行更新，以适应背景的缓慢变化；第二层根据运动物体跟踪信息的反馈，对背景进行加速、补偿操作，以适应场景内物体运动的突变；
[0018](2)对前景分割，根据高层信息的反馈，合并预测的运动物体块，在预测的物体区域内，自适应地调整分割阈值，以达到抑制噪声的同时，防止分割的前景物体出现空洞和割裂情况的发生。
[0019]本发明采用自适应阈值的背景差方法进行前景分割，即在某像素点，当前图像的像素值与背景的像素值的差大于给定阈值时，该点被认为是前景点。背景模型建立的越准确越有利于前景的分割，前景分割的越好，在本发明中也越有利于背景模型的更新。[0020]所述步骤(I)背景建模的具体实现方法如下:
[0021](11)输入视频流中任一帧图像，全图进行第一层背景更新，得到背景初步更新结果O
[0022](12)根据运动物体跟踪的结果，对输入的视频图像进行区域分类，包括背景区域、运动物体区域、静止物体区域和醒来物体区域，得到图像区域划分结果。
[0023](13)根据区域划分结果，对步骤(11)所得结果进行第二层更新，背景区域保持第一层更新结果不变；运动物体区域进行更新补偿操作；静止物体区域和醒来物体区域进行加速更新操作。得到这帧背景更新的最终结果。
[0024]所述步骤(2)前景分割的具体实现方法如下:
[0025](21)根据上帧自适应调整的阈值，对新输入的图像进行自适应阈值化前景分割。得到前景图。
[0026](22)根据前景图上分割出的前景物体块的位置，合并认为是属于同一物体的前景块的外接矩形，得到各物体大致区域。
[0027](23)在(22)结果上，对各物体区域进行扫描，找出各物体的边界，从而得到各物体的精确区域。
[0028](24)在各物体区域内进行分割阈值的自适应调整，得到整个图像各个地方的分割阈值，以备下一帧使用。
[0029]本发明与现有技术相比的优点在于:
[0030](I)本发明建立的背景模型既能保持模型的鲁棒性，又能保持模型对前景物体异常运动(突然静止或运动)的敏感性。且根据高层信息反馈后对物体像素的误分类对本发明方法的性能几乎没什么影响。
[0031](2)本发明在前景分割时既能抑制噪声，同时又能抑制分割的前景物体出现空洞和被割裂情况的发生。
[0032](3)本发明建立的背景模型简单，计算复杂度低，实时性效果好。
【专利附图】
【附图说明】
[0033]图1为智能视频监控系统的图像处理最传统的处理流程图
[0034]图2为基于反馈的背景建模处理流程图；
[0035]图3为本发明采用的处理流程图；
[0036]图4为本发明中背景建模实现流程图；
[0037]图5为前景块合并实例图，a为合并前的图，b为合并后的图
[0038]图6为前景块外接矩形合并示例图，a为示例I, b为示例2
[0039]图7为物体边界确定图，a为左右边界点确定示例图，b为获得的物体区域图；
[0040]图8为前景分割实现流程图。
【具体实施方式】
[0041]如图3-4所示，本发明具体实现步骤如下:
[0042]1.背景建模
[0043]本发明采用如图4所示的双层次背景更新模型。在第一层，采用较低的更新率对整个背景进行更新；在第二层，根据运动物体跟踪信息反馈，将图像分为四种不同类型的区域，之后在不同的区域上分别进行相应的第二层操作。
[0044]1.1第一层更新
[0045]在第一层，采用低通滤波的形式对整个背景进行更新:
[0046]B' n+1(i, j) = (1-Ctmin).Bn(i, j) +amin.Gn(i, j)
[0047]其中n是当前的帧号，(i，j)是像素的坐标，Bn(i, j)是像素(i，j)处当前帧的背景值，Gn(i，j)是像素(i，j)处当前帧的像素值，B' n+1(i, j)是像素(i，j)处更新后的背景值，Qmin是更新率。在这层中Qmin设置的比较小(0.001左右)以适应场景的缓慢变化，如光照等。
[0048]1.2第二层更新
[0049]1.2.1图像中区域分类
[0050]通过对运动物体进行跟踪，能很容易得到运动物体的起始位置(? y0)和运动物体的速度Vi。根据Xo，y。，Vi,图像可以很容易的划分为四种不同类型的区域，包括背景区域，运动物体区域，睡着物体区域(运动物体突然由运动变为静止的区域)和醒来物体区域(运动物体突然由静止变为运动的区域)。图像中不包含任何运动物体的区域为背景区域，标记为O。根据速度Vi，运动物体通过阈值化的方法能区分成静止和运动两种类型。图像中运动物体覆盖的区域为运动物体区域，标记为I。静止物体覆盖的区域为睡着物体区域，标记为2。根据运动物体的起始位置可以知道跟踪的运动物体是否是从边界进入场景的。如果运动物体不是从边界进入场景的，就定义该物体为醒来的物体，该物体覆盖的起始区域为醒来物体区域，标记为3。因此，可以得到一个图像类型标记:
[0051]
【权利要求】
1.一种基于反馈的运动物体分割的图像处理方法，其特征在于实现步骤如下: (1)对背景建模 采用两层次的背景更新模型，第一层采用相对较小的即0.0Ol的更新率对背景进行更新，以适应背景的缓慢变化；第二层根据运动物体跟踪信息的反馈，对背景进行加速、补偿操作，以适应场景内物体运动的突变； (2)对前景分割，根据高层信息的反馈，合并预测的运动物体块，在预测的物体区域内，自适应地调整分割阈值，以达到抑制噪声的同时，防止分割的前景物体出现空洞和割裂情况的发生。
2.根据权利要求1所述的基于反馈的运动物体分割的图像处理方法，其特征在于:所述步骤(I)背景建模的具体实现方法如下: (11)输入视频流中任一帧图像，全图进行第一层背景更新，得到背景初步更新结果； (12)根据运动物体跟踪的结果，对输入的视频图像进行区域分类，包括背景区域、运动物体区域、静止物体区域和醒来物体区域，得到图像区域划分结果； (13)根据区域划分结果，对步骤(11)所得结果进行第二层更新，背景区域保持第一层更新结果不变；运动物体区域进行更新补偿操作；静止物体区域和醒来物体区域进行加速更新操作。得到这帧背景更新的最终结果。
3.根据权利要求1所述的基于反馈的运动物体分割的图像处理方法，其特征在于:所述步骤(2)前景分割的具体实现方法如下: (21)根据上帧自适应调整的阈值，对新输入的图像进行自适应阈值化前景分割，得到前景图； (22)根据前景图上分割出的前景物体块的位置，合并认为是属于同一物体的前景块的外接矩形，得到各物体大致区域； (23)在步骤(22)结果上，对各物体区域进行扫描，找出各物体的边界，从而得到各物体的精确区域； (24)在各物体区域内进行分割阈值的自适应调整，得到整个图像各个地方的分割阈值，以备下一帧使用。
【文档编号】G06K9/00GK103514609SQ201310283658
【公开日】2014年1月15日 申请日期:2013年7月6日 优先权日:2013年7月6日
【发明者】凌强, 严金丰, 张逸成, 李峰, 徐理想 申请人:中国科学技术大学