一种基于背景建模的视频移动目标侦测方法与流程

文档序号:12306758阅读:220来源:国知局

本发明涉及计算机视觉与视频分析技术领域,尤其是一种基于背景建模的视频移动目标侦测方法。



背景技术:

视频监控系统广泛的存在于安防、交通、刑侦等应用中。大多数视频监控系统里的摄像机是固定静止的。对于这种静止固定下的摄像机的监控视频分析,建立背景模型以提取移动目标是最基础并得到最广泛应用的技术。然而在实际环境中,复杂的动态背景比如树叶晃动、光照变化、阴影、水纹、雨滴、大风造成的摄像机抖动等等都会对背景模型和移动目标提取造成很大的干扰。过去的十几年,有大量的背景算法模型被提出,以针对这些挑战。然而在实际使用过程中,这些背景算法表现仍然欠佳。较简单的基于像素在时间域上的统计特性的方法比如《adaptivebackgroundmixturemodelsforreal-timetracking》(stauffer,c.;grimson,w.e.l.inproceedingsoftheieeecomputersocietyconferenceoncomputervisionandpatternrecognition,fortcollins,co,usa,23-25june1999;pp.1585-1594.)和《vibe:auniversalbackgroundsubtractionalgorithmforvideosequences》(barnich,0.;vandroogenbroeck,m.ieeetrans.imageprocess.2011,20,1709-1724.),由于没有考虑像素在空间域上的相关性,对细微的纹理移动变化(比如非严格周期性的树叶晃动、水纹波动等)都会产生大量的误检。而较复杂的基于邻域的背景模型比如《fastbackgroundsubtractionbasedonamultilayercodebookmodelformovingobjectdetection》(guo,j.-m.;hsia,c.-h.;liu,y.-f.;shih,m.-h.;chang,c.-h.;wu,j.-y.ieeetrans.circuitssyst.videotechnol.2013,23,1809-1821)和《atexture-basedmethodformodelingthebackgroundanddetectingmovingobjects》(heikkila,m.;pietikainen,m.ieeetrans.patternanal.mach.intell.2006,28,657-662),则因计算量庞大而无法在实时视频监控中得到很好的应用。



技术实现要素:

本发明要解决的技术问题是提供一种基于背景建模的视频移动目标侦测方法,能够解决现有技术的不足,对于复杂的动态背景具有较低的敏感性,同时对于正常的移动物体具有较高的检测率。

为解决上述技术问题,本发明所采取的技术方案如下。

一种基于背景建模的视频移动目标侦测方法,其特征在于包括以下步骤:

a、建立三个背景子模型;基于像素的单高斯模型记为bm1,基于区域的模型记为bm2,lbp模型记为bm3;

b、将输入图像与bm1的单高斯模型进行比较,生成二值化的前景目标图;在前景目标图里,为0的像素为背景,为1的像素为前景;

c、在步骤b中获得的前景目标图上进行进一步的过滤;bm2为每个超像素维护一个20个样本的模型,每个样本是该区域内的历史上的某个像素值;当判断某个像素是否为背景时,将此像素值与所在超像素的20个样本比较,相似样本超过阈值时,则判断为背景;

d、对于步骤c中给出的前景目标图,进行形态学的开运算与闭运算,去掉孤立噪点区域和空洞区域;再进行连通域分析,获得一个或多个连通区域,每个连通区域在理想情况下对应一个移动物体;

e、对于每个前景连通域,计算区域内的tlbp特征,并用一个训练好的分类器进行分类;如分类结果是属于背景,则将该连通域整个从前景目标图中抹去;

f、根据步骤e中所获得的前景目标图和当前帧,对bm1中的单高斯背景模型进行更新;前景目标图中的所有前景像素点位置不参与更新;

g、根据bm1中的单高斯背景模型的背景图,进行快速图像分割,以更新图像的超像素表示;根据前景目标图、当前帧、超像素分割图,再对bm2中的模型进行更新;前景目标图中的所有前景像素点位置不参与更新,背景像素点基于预设概率放入所属超像素的20个背景样本中;

h、则对tlb图进行更新;tlb图为每个像素点维持一个32位的存储空间,每一位储存相应相邻两帧的比较结果;历史记录的最大保存量为32帧。

作为优选,步骤b中,

将输入图像与bm1的单高斯模型中的背景图进行相减并阈值判断,生成二值化的前景目标图,公式如下:

式中i(x,y,t)表示(x,y)处在当前帧(时间为t)的像素值,μ(x,y,t-1)为像素点(x,y)在时域上到前一帧为止的均值,σ(x,y,t-1)为像素点(x,y)在时域上到前一帧为止的标准方差,二者共同构成了bm1的单高斯模型。

作为优选,步骤c中,

根据帧图像与bm2模型,对s1中所获得的前景目标图进行修改,公式如下:

式中ni为(x,y)所属超像素的第i个样本;δ(x,y)定义如下:

作为优选,步骤e中,

tlbp特征是一个512维的直方图特征,每一维代表了一个3x3的邻域内的0、1组合模式,其特征值为此种0、1组合模式在该连通区域内的过去32帧中的出现次数。

作为优选,步骤e中,采用线性svm分类器。

作为优选,步骤f中,

单高斯背景模型的更新公式如下:

μ(x,y,t)=αμ(x,y,t-1)+(1-α)i(x,y,t)

σ2(x,y,t)=ασ2(x,y,t-1)+(1-α)(i(x,y,t)-μ(x,y,t))2

其中α为衰减系数,代表历史信息的重要程度。

作为优选,步骤g中包括以下步骤,

1)前景目标图中的所有前景像素点位置不参与更新;

2)对于每个需要更新背景模型的像素点,以当前帧的像素值随机取代该像素点所属超像素的样本集的一个样本值;

3)当一个像素点被判定为背景时,它有1/rate的概率更新背景模型;rate是时间采样因子,这里取值为16;

4)针对需要更新像素点,随机的选择一个该像素点邻域的背景模型,以新的像素点更新被选中的背景模型。

作为优选,步骤h中,

tlb图更新公式如下:

t(x,y,t)=(t(x,y,t-1)<<1)+s(i(x,y,t)-i(x,y,t-1))

其中s(x)当x大于0时为1,否则为0。

采用上述技术方案所带来的有益效果在于:本发明的背景模型由三个子模型构成。一个是基于像素的单高斯模型来描述静态背景,而对于动态背景则采用一个独创性的基于区域的模型来模拟。两者相辅相成,共同完成对背景的描述和自适应更新。第三个子模型则是一个特殊的lbp(localbinarypattern)模型,用于进一步对某些动态背景进行过滤。不同于现有技术中的基于邻域的背景模型,这里的基于区域的模型不是定义在规则形状的邻域上的,而是基于图像分割的结果,可以是或大或小的不规则形状区域(超像素),这有利于描述复杂度和纹理各异的背景区域。本发明采用了lbp算子来描述邻域内的像素值在时间上的变化特性,与现有技术中用lbp描述纹理不同。并且与已有方法不同的是,这个tlbp模型是用来过滤已获得的移动前景连通域,而非用于像素点是否移动前景的判断。因此,虽然lbp本身的计算不小,但由于计算频率较低,并不会对整个移动物体提取过程的处理速度产生多大的影响。

本发明通用性好、速度快,适用于包含树叶晃动、光照变化、阴影、水纹、雨滴、大风造成的摄像机抖动等各种动态背景的场景。

附图说明

图1是本发明一个具体实施方式的流程图。

具体实施方式

参照图1,本发明一个具体实施方式包括以下步骤:

a、建立三个背景子模型;基于像素的单高斯模型记为bm1,基于区域的模型记为bm2,lbp模型记为bm3;

b、将输入图像与bm1的单高斯模型进行比较,生成二值化的前景目标图;在前景目标图里,为0的像素为背景,为1的像素为前景;

c、在步骤b中获得的前景目标图上进行进一步的过滤;bm2为每个超像素维护一个20个样本的模型,每个样本是该区域内的历史上的某个像素值;当判断某个像素是否为背景时,将此像素值与所在超像素的20个样本比较,相似样本超过阈值时,则判断为背景;

d、对于步骤c中给出的前景目标图,进行形态学的开运算与闭运算,去掉孤立噪点区域和空洞区域;再进行连通域分析,获得一个或多个连通区域,每个连通区域在理想情况下对应一个移动物体;

e、对于每个前景连通域,计算区域内的tlbp特征,并用一个训练好的分类器进行分类;如分类结果是属于背景,则将该连通域整个从前景目标图中抹去;

f、根据步骤e中所获得的前景目标图和当前帧,对bm1中的单高斯背景模型进行更新;前景目标图中的所有前景像素点位置不参与更新;

g、根据bm1中的单高斯背景模型的背景图,进行快速图像分割,以更新图像的超像素表示;根据前景目标图、当前帧、超像素分割图,再对bm2中的模型进行更新;前景目标图中的所有前景像素点位置不参与更新,背景像素点基于预设概率放入所属超像素的20个背景样本中;

h、则对tlb图进行更新;tlb图为每个像素点维持一个32位的存储空间,每一位储存相应相邻两帧的比较结果;历史记录的最大保存量为32帧。

步骤b中,

将输入图像与bm1的单高斯模型中的背景图进行相减并阈值判断,生成二值化的前景目标图,公式如下:

式中i(x,y,t)表示(x,y)处在当前帧(时间为t)的像素值,μ(x,y,t-1)为像素点(x,y)在时域上到前一帧为止的均值,σ(x,y,t-1)为像素点(x,y)在时域上到前一帧为止的标准方差,二者共同构成了bm1的单高斯模型。

步骤c中,

根据帧图像与bm2模型,对s1中所获得的前景目标图进行修改,公式如下:

式中ni为(x,y)所属超像素的第i个样本;δ(x,y)定义如下:

步骤e中,

tlbp特征是一个512维的直方图特征,每一维代表了一个3x3的邻域内的0、1组合模式,其特征值为此种0、1组合模式在该连通区域内的过去32帧中的出现次数。与普通lbp不同的是,3x3邻域的中间位置也包括在模式中,并且0代表的是当前帧的值小于等于前一帧,1代表大于前一帧。

步骤e中,采用线性svm分类器。

步骤f中,

单高斯背景模型的更新公式如下:

μ(x,y,t)=αμ(x,y,t-1)+(1-α)i(x,y,t)

σ2(x,y,t)=ασ2(x,y,t-1)+(1-α)(i(x,y,t)-μ(x,y,t))2

其中α为衰减系数,代表历史信息的重要程度。

步骤g中包括以下步骤,

1)前景目标图中的所有前景像素点位置不参与更新;

2)对于每个需要更新背景模型的像素点,以当前帧的像素值随机取代该像素点所属超像素的样本集的一个样本值;

3)当一个像素点被判定为背景时,它有1/rate的概率更新背景模型;rate是时间采样因子,这里取值为16;

4)针对需要更新像素点,随机的选择一个该像素点邻域的背景模型,以新的像素点更新被选中的背景模型。

步骤h中,

tlb图更新公式如下:

t(x,y,t)=(t(x,y,t-1)<<1)+s(i(x,y,t)-i(x,y,t-1))

其中s(x)当x大于0时为1,否则为0。

本实施例在视频摘要、视频信息结构化、入侵检测等多个视频分析项目中得到了应用,取得了较满意的结果。在《changedetection.net:“anewchangedetectionbenchmarkdataset》(goyette,n.;jodoin,p.m.;porikli,f.;konrad,j;ishwar,p.inproc.ieeeworkshoponchangedetection(cdw-2012)atcvpr-2012,providence,ri,16-21jun.,2012)中的dynamicbackground和camerajitter两组共10个视频的测试中,误检目标数目相比现有技术中的最好的《vibe:auniversalbackgroundsubtractionalgorithmforvideosequences》(barnich,0.;vandroogenbroeck,m.ieeetrans.imageprocess.2011,20,1709-1724.),也降低了86%以上,而正确目标的检测率则维持不变。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1