专利名称：一种基于扩展混合高斯模型的运动目标检测方法
技术领域：
本发明属于模式识别领域，涉及图像处理和计算机视觉等技术，特别 是涉及视频中的运动目标检测。
背景技术：
在计算机视觉领域中， 一个最根本的问题就是如何从底层原始视频数 据得到高层的语义理解。当前国内外智能视频监控的研究主要集中在摄像 机标定、多摄像机融合、运动物体的视觉分析等方面。其中，运动物体的 视觉分析是计算机视觉领域中最活跃的研究课题之一，其核心是利用计算 机视觉技术从图像序列中检测、跟踪和识别运动物体(如人和车等)并对其 行为进行理解与描述，它在虚拟现实、视频监控、感知接口等领域均有着 广阔的应用前景。运动物体的视觉分析系统一般包括下述的四个处理过 程，如图1所示1)运动检测；2)目标分类；3)目标跟踪；4)行为理 解和描述。
运动物体的检测与提取以及目标物体的跟踪作为运动物体的视觉分 析中的两项核心技术以及底层问题，它们是后续各种高级处理，如物体分 类及行为识别、事件检测、行为分析、视频图像的压缩编码和语义索引等 高层次的视频处理和应用理解的基础，也是视频监控技术自动化和实时应 用的关键，同时，它们也是当前图像技术研究应用的热点和焦点。
背景建模方法因为能够比其他方法(光流，帧间差)提供更多的运动 目标的信息，它被广泛应用于目标检测中。但是在实际的应用场景中，动 态背景和阴影都会产生不需要的误检测，从而使运动目标检测失败。
目前最常用的背景建模方法是混合高斯方法(GMM)。但是该方法是 基于像素点的方法且未融合空间信息，所以，当背景运动很剧烈时，该方 法就会造成很多误检测，如图2 (b)所示，图2 (b)为传统混合高斯模 型方法的检测结果。由于背景存在剧烈运动，该方法造成了许多前景误检测(如图2 (b)中白点所示)，而这些前景误检测是由于邻域背景的运动 造成的。。同时该模型中的高斯个数需要事先确定，从而限制了该方法的 进一步应用。目前的阴影去除算法也很多，但是他们都是作为一个独立的 模块应用于目标检测，如在混合高斯检测出前景目标后，再应用阴影去 除算法去除前景中的阴影，其流程图如图3所示。这种结构使"背景建模" 的输出直接决定"阴影去除"的结果，如果"背景建模"的结果不好，那 么"阴影去除"的结果肯定也会变差。本发明基于一个扩展的混合高斯模 型，通过构造背景、前景和阴影的概率密度函数将动态背景建模、前景检 测、阴影去除融合在一个概率框架下进行处理，如图4所示。这种框架可 以克服，如图3所示，"背景建模"和"阴影去除"作为独立的模块所带 来的一些缺点。同时此扩展的混合高斯模型融合了空间信息，其高斯成员 的数目也能在运行过程中动态的确定，从而克服了传统的混合高斯模型因 未融合空间信息而造成的前景误检测。
发明内容
现有目标检测技术通常将背景建模、前景检测和阴影去除作为独立的 模块，因此很难达到一个很好的分类效果。本发明的目的是提供一种一种 基于扩展混合高斯模型的运动目标检测方法，所述方法基于一个扩展的混 合高斯模型，通过构造背景、前景和阴影的概率密度函数将动态背景建模、 前景检测、阴影去除融合在一个概率框架下进行处理。同时此扩展的混合 高斯模型融合了空间信息，其高斯成员的数目也能在运行过程中动态的确 定。
为了实现上述目的，本发明提供的基于扩展混合高斯的运动目标检测 方法，包含如下步骤
通过一级模型构建模块，基于扩展混合高斯模型，构造阴影背景、和 前景的概率密度函数；
通过二级模型构建模块，基于上述三类的模型，构造运动目标和非运
动目标的概率密度函数；
通过分类模块，应用MAP-MRF (Maximum a Posteriori- Markov Random Field)方法进行分类；应用跟踪的反馈信息，进一步精确前景模型。
进一步，所述构造阴影背景、和前景的概率密度函数步骤包括 基于扩展的混合高斯模型，假设对于某一栅格，其在大部分时间内为
背景所覆盖，构建背景模型；
基于扩展的混合高斯模型，假设如果某一时刻， 一个栅格检测到前景
样本，则下一时刻，沿速度方向上的另一个栅格检测到颜色相似的前景样
本的概率增加，构建前景模型；
基于扩展的混合高斯模型，假设对于同一个栅格，不同的运动目标所 造成的阴影特征是相似的，构建阴影模型。
进一步，所述构造运动目标和非运动目标的概率密度函数步骤包括 基于非运动目标包含阴影和背景的特征，构建非运动目标模型；
基于前景包含运动目标的特征，构建运动目标的模型。 进一步，在一个概率框架中，同时处理了背景建模，运动目标检测和 阴影去除。
进一步，扩展的混合高斯模型融入了空间信息，且模型中的高斯成分 个数可以动态的确定。本发明的有益效果是，通过将高斯混合模型融合空间信息可以克服因
背景运动造成的前景误检测；通过在一个概率框架中融合背景建模、前景 检测和阴影去除可以克服阴影所造成的不利影响，从而提高运动目标的检 测效果。效果提高以后的运动目标信息可以更好的应用于视觉监控中后续 的分类、跟踪环节，和图像压縮等领域。
图1示出视觉分析系统的一般处理过程； 图2 (a)是原始图像；
图2 (b)是传统的混合高斯模型方法的检测结果；
图2 (c)是本发明的检测结果；
图3是传统方法的目标检测流程图4是本发明的系统流程图；图5 (a)是传统的混合高斯模型学习的结果，高斯个数为4; 图5 (b)是传统的混合高斯模型学习结果，高斯个数为5; 图5 (C)是本发明的学习结果。
图6 (a)是原始图像；
图6 (b)是本发明的运动目标检测结果；
图7 (a)是在室外环境中，不同栅格的灰度直方图7 (b)是在室内环境中，不同栅格的灰度直方图。
具体实施例方式
下面结合附图详细说明本发明技术方案中所涉及的各个细节问题。应
指出的是，所描述的实施例仅s在便于对本发明的理解，而对其不起任何 限定作用。
运动目标检测对于监控中后续环节，如跟踪和识别，具有很重要的作 用。基于扩展的混合高斯模型，本发明实现了运动目标检测方法，它能有
效处理动态场景和阴影的影响。如图4示出本方法的系统流程图，所述步
骤基于扩展的混合高斯模型，构造背景、前景和阴影的概率密度函数(模 型)；然后通过构造运动目标和非运动目标的概率密度函数(模型)，将一 个三类的分类问题转变为一个两类的分类问题；接着用MAP-MRF
(Maximum a Posteriori- Markov Random Field)方法进行运动目标分害U; 最后利用运动目标跟踪的信息进一步精确前景的概率密度函数(模型)。
本发明的方法需要的硬件最低配置为P4 3.0GCPU， 512M内存的 计算机；最低分辨率为320x240的监控摄像头；帧率为25帧每秒的视频 采集卡。在此配置水平的硬件上，采用0++语言编程实现本方法，可以达 到实时检测的效果。
本发明的具体实施形式如下所述
1.基于扩展的混合高斯模型，构造背景模型
构造背景模型是基于如下假设对于某一栅格，在大部分时间内为背 景所覆盖。在这一节，我们将推导出扩展的混合高斯模型，它与传统的混 合高斯模型有以下区别扩展的混合高斯模型融合了空间信息；模型中的
6高斯成分的数量可以在应用过程中动态的确定。推导过程如下
为了融合空间信息，我们首先用核密度估计的方法构造概率密度函数 如下
<formula>formula see original document page 7</formula>(1)
其中，y、h…y'，为M寸刻以前的图像样本。他们为五维向量，前两维为 样本坐标，后三维为样本的RGB值。^为五维的核函数，w为正定对称
阵。我们假设样本的坐标和RGB值之间相互独立，贝ij:
<formula>formula see original document page 7</formula>
其中，s'和e'为样本y'的坐标分量和RGB分: 写为
<formula>formula see original document page 7</formula>(2)
很显然公式(2)可以改
<formula>formula see original document page 7</formula>(3)
其中CiV为rgb的值域，^'为rgb分量等于e'的样本个数。然后我们对 样本的坐标分量釆用类似于binned kernel density estimator(文献[l]， P. Hall and M. P. Wand. On the accuracy of binned kernel density estimators. / Mw&'var/afev4"a^^, 1995.)的方法进行简化，可以得到
肌
/(xl^"-'2^(c-c,)(JXi^(s-g,》= Ws ^
/=iyZ^。=i A 。, 乂 (4)
其中，g'为第v个栅格的中心坐标，，为一帧中的栅格个数，^为栅格的
宽度，^(Sa^)表示样本S。对第7个栅格的贡献。重新排列方程(4)，我
们可以得到
柳CW TV
/(x 16) Z」4 (s - g》d 4 (c - c,))
(5)
其中，w,u',i^:e。xs。，。。接着我们取
'1, if |s。—g丄"/2， 0， otherwise
其中l卜L是无穷大级数。显然我们可以得到^为落入第y个栅格的样本个 数，而且其中有 个样本的RGB值等于e'。我们可以重写方程(5)为肌 1 w乂
/(x 16) S (s — )(i ￡尺股(c — c))
^… (7)
其中、为在第7个栅格的样本的RGB分量，^是个常量，其值等于"。 1 ^
显然，表达式W'" 是落在第7个栅格的样本的RGB分量的边缘
分布。此时，我们假设第7个栅格的样本的RGB分量为混合高斯分布，
柳 A
/(x 16) a 2c人(s-g》(艺 G - ))
/=' '=' (8)
其中，^^为描述第y个栅格的混合高斯分布的高斯成分个数，^()为高斯 函数，其方差为"， 为混合高斯中第^个高斯的权值。通过公式(8)， 我们可以看出空间信息通过两种方式进行融合1)混合高斯是基于栅格， 而不是基于像素的；2) ^^s — g》将某个样本和它相邻的栅格构建起了联 系。图7 (a)和附图7 (b)显示了不同环境和不同位置的栅格的灰度直 方图。图7 (a)为室外场景，其中直方图a、 b和c反映的分别为原始图 像中栅格A、 B和C中的象素点的灰度值在时间上分布曲线。图7 (b) 为室内场景，其中直方图d、 e和f反映的分别为原始图像中栅格D、 E 和F中的象素点的灰度值在时间上分布曲线。直方图的横轴为象素点的灰 度值，纵轴为象素点的个数。从图7 (a)和图7 (b)，可以看出他们的分 布可以用混合高斯来描述。
从图7 (a)和图7 (b)我们还能看出，即使是在同一个场景下，随 着栅格的位置不同，所需要用来描述分布的高斯的数目也不相同。在下面 我们将用高斯合并和去除的规则动态确定混合高斯分布中的高斯的数目。
当混合高斯模型中的某个高斯被更新时，我们将会检查在同一模型中 是否有其他高斯需要和它合并。
考虑到在背景建模中，高斯沿各个分量的方差相等，此时我们构造两 个一维高斯替换原来的三维高斯(R， G， B三维)。新构建的高斯的方差、
8权值和中心距与原高斯相同。当两个新构建高斯(weighted Gaussian)满足以下条件时，我们将合并原来的两个高斯(weighted Gaussian):
1. 当两个高斯(weighted Gaussian)没有交点时。这表示其中一个高其j (weighted Gaussian)完全为另一个高其/f (weighted Gaussian)所覆盖，
此时需要合并。
2. 当两个高斯(weighted Gaussian)有交点时。此时若交点与任意一个高斯中心的距离小于一个指定的域值，则需要合并。
当两个高斯(weighted Gaussian)满足合并条件时，我们将按下述公
式进行合并
a = '———=^—^--(叫a+叫//，)
"腦' + W/尸+ m/p w,+w, '"'
s:(D"')r+S二W)') " f" 、r- w2S2 〃2K
、T ，, 厂、厂W6W7 , /
"2 = ! ，22 , ,Cmf"-/i2)
new
其中新合并的高斯用G, =(&w，S'， ="^，《_)来表示，原来的高斯分别为G, 巧,2/,^)和G2 =(/^2，5:2 =cr22J>2)。考虑到合并后的高斯沿各
个方向的方差也要相等，此时我们用
"2 = w,cr, , ，2 , ，2Cm) Cm)
附w
来近似代替合并后的高斯的方差。
高斯参数的更新与(文献[2], C. Stauffer and W. Grimson. Learningpattern of acitivity using real-time tracking. IEEE Trans. Parttem Analysis andMachine Intelligence, 22: 747-757, 2000.) —致。当某个高斯的权值小于一个阀值时，我们将该高斯从该模型中删除。图5 (a)-图5 (c)显示了应用高斯合并和删除策略后的学习方法与传统的混合高斯模型方法的比较。图5 (a)为传统的混合高斯的学习结果，此时高斯的个数手工选为4。图5 (b)为传统的混合高斯的学习结果，此时高斯的个数手工选为5。图5 (c)为本发明的学习结果。从图5 (a) - (c)，可以看出我们的方法更稳定效果也更好。从前面的推导，我们可以看出背景的模型如下式
9柳 1
/(x I 6) ￡ c^他(s — g/)(i Z ^ (c — S ))
2. 基于扩展的混合高斯模型，构造前景模型
在通常情况下，运动目标在检测以后不会立即消失。本发明利用该特点来构建前景模型，从而使运动目标的检测率提高。前景模型的构建是基于如下假设如果某一时刻， 一个栅格检测到前景样本，则下一时刻，沿速度方向上的另一个栅格检测到颜色相似的前景样本的概率增加。考虑到在未检测到任何前景样本时，栅格检测到任何颜色的前景的概率相等，我们构建前景模型如下
柳 .
/(x i /) = Z c,i:抬(s—g》[w, + (i—,] ^ = 2 化(c - a,)
■/=1 ;,=1 j'
其中，,为混合分布的权值，y为均匀分布的随机变量，。=^。表达式，
+ 、)^ ，用来描述落在第y'个栅格的前景样本的颜色分布。
为了利用跟踪信息，前景模型的更新如下如果某一栅格检测到前景，
则这些前景样本用来更新描述另一个栅格前景颜色值的边缘分布，该栅格位于当前检测的前景样本在下一时刻预测出现的位置上。
3. 基于扩展的混合高斯模型，构造阴影模型
如果只利用背景模型和前景模型，则检测出的前景不仅包含运动目标，还包括阴影。阴影会造成，诸如多个运动目标合并、目标的轮廓发生改变等后果。这些都会对后续的跟踪识别环节造成影响。为了去除阴影，同时能够将阴影去除融入一个整体框架，我们构建阴影模型。阴影模型的构建基于如下假设对于同一个栅格，不同的运动目标所造成阴影的特征是相似的。阴影模型如下
柳
/(x I刑=艺 (s - & )(S ,、 (c - ))
气
其形式与背景模型类似。表达式，台" "，用于描述第y个栅
格的阴影RGB值的分布。其更新过程类似于背景，但是用于更新的样本
10必须满足下式:
八(""力—《"力)《rs
其中，八"力，八"力和A",力分别为，在当前帧中，位于坐标"力的象 素点的V， S和H颜色分量。《",力，《"力和《"力分别为，在背景 参考图象中，位于坐标"，力的象素点的V， S和H颜色分量。该公式的意 义为阴影会使背景的灰度值降低，但不会改变背景的S和H分量太多。 由上可知，我们需要构建一个背景参考图象。参考图象由下式构建
为"1时刻象素点(U)的背景颜色值，A"，力为^时刻的背景颜色
值，A"，力为,时刻图像的颜色值，且A-o.oooi， A-o丄
4.构造运动目标和非运动目标模型，并进行运动目标分割 在实际的应用中，我们所关心的是哪一部分是运动目标，而对哪些是 背景哪些是阴影并不关心。在这一节，我们将构建运动目标和非运动目标 的模型。很明显，非运动目标包括背景和阴影，前景包含运动目标。他们 的模型如下
其中，/"l"力为运动目标的模型，/"l"^为非运动目标的模型。
在构建运动目标模型和非运动目标模型后，我们利用如(文献[3] ，Y.
Sheikh and M. Shah. Bayesian modeling of dynamic scenes for object detection. IEEE Trans. Parttern Analysis and Machine Intelligence, pages 1778—1792， 2005.)所述的MAP-MRF (Maximum a Posteriori- Markov
RandomField)方法来进行运动目标分割。分割效果如图6 (b)所示，图 中白色区域为最终的运动目标区域。
从实验结果我们可以看出在融合了空间信息和阴影模型以后，我们能
/。(x,力 i" = 0;
(1 _ M (x,力)+々,/,"力，else if/(x 16) < /(x | /); (1 一 , (x,力)+ / 2/,(>,力， otherwise;
/(x|w) = /(x|/) /(x I膽)=max(/(x I刑,/(x 16))够很好的处理动态背景和阴影。
以上所述，仅为本发明中的具体实施方式
，但本发明的保护范围并不 局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想 到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保 护范围应该以权利要求书的保护范围为准。
权利要求
1. 一种基于扩展混合高斯模型的运动目标检测方法，其特征在于，包含如下步骤通过一级模型构建模块，基于扩展混合高斯模型，构造阴影、背景和前景的概率密度函数；通过二级模型构建模块，基于上述三类的模型，构造运动目标和非运动目标的概率密度函数；通过分类模块，应用MAP-MRF(Maximum a Posteriori-MarkovRandom Field)方法进行分类；应用跟踪的反馈信息，进一步精确前景模型。
2. 如权利要求l所述的方法，其特征在于，所述构造阴影背景、和前景的概率密度函数步骤包括基于扩展的混合高斯模型，假设对于某一栅格，其在大部分时间内为 背景所覆盖，构建背景模型；基于扩展的混合高斯模型，假设如果某一时刻， 一个栅格检测到前景 样本，则下一时刻，沿速度方向上的另一个栅格检测到颜色相似的前景样 本的概率增加，构建前景模型；基于扩展的混合高斯模型，假设对于同一个栅格，不同的运动目标所 造成的阴影特征是相似的，构建阴影模型。
3. 如权利要求l所述的运动目标检测方法，其特征在于，所述构造运 动目标和非运动目标的概率密度函数步骤包括基于非运动目标包含阴影和背景的特征，构建非运动目标模型； 基于前景包含运动目标的特征，构建运动目标的模型。
4. 如权利要求1或2所述的运动目标检测方法，其特征在于，在一个 概率框架中，同时处理了背景建模，运动目标检测和阴影去除。
5. 如权利要求l所述的运动目标检测方法，其特征在于，扩展的混合 高斯模型融入了空间信息，且模型中的高斯成分个数动态的确定。
全文摘要
本发明是一种基于扩展混合高斯模型的运动目标检测方法。所述方法包含如下步骤通过一级模型构建模块，基于扩展混合高斯模型，构造阴影背景、和前景的概率密度函数；通过二级模型构建模块，基于上述三类的模型，构造运动目标和非运动目标的概率密度函数；通过分类模块，应用MAP-MRF(Maximum a Posteriori-Markov Random Field)方法进行分类；应用跟踪的反馈信息，进一步精确前景模型。本发明通过将高斯混合模型融合空间信息可以克服因背景运动造成的前景误检测；通过在一个概率框架中融合背景建模、前景检测和阴影去除可以克服阴影所造成的不利影响，从而提高运动目标的检测效果。
文档编号G06K9/62GK101470809SQ20071030422
公开日2009年7月1日 申请日期2007年12月26日 优先权日2007年12月26日
发明者舟 刘, 谭铁牛, 黄凯奇 申请人:中国科学院自动化研究所