专利名称：一种自适应内核密度估计运动检测装置和方法
技术领域：
本发明涉及视频分析领域中的背景模型生成，采用自适应阈值选 择方法进行像素分类。根据本发明的技术方案，阈值的选择能够自适 应地进行，且能适应不同的场景。在此基础上，本发明进一步提出了 背景更新模型来更新背景。同时，本发明还利用帧间差分背景模型和 内核密度估计分类结果来进行突变背景检测，较好地解决了背景突变 时所存在的运动目标误检测问题。
背景技术：
从视频序列中分离出运动目标，是计算机视觉中的重要研究内 容，可以应用到交通监测、人的行为识别和人机交互等领域。背景减
除技术(Background subtraction)是摄像机静止条件下的一种应用广 泛的运动检测技术，为此研究人员提出了不同的方法(参见参考文献 [1] ) 。 Elgamma等提出了基于内核密度估计(Kernel Density Estimation, KDE)的非参数背景模型(参见参考文献[2])，该方法能 够适应不同的场景；不同于高斯混合模型(GMO，它充分利用最近的历 史帧信息来更新背景模型，能够适应复杂的像素分布密度，克服像素 值在短时间内发生的频繁变化，因此能得到较准确的估计结果。但是， 在参考文献[2]中，通过给定的假正率(False Positive)来选择阈值， 这需要有场景的先验知识，对于不同的场景需要人工干预，重新选择。 Anurag Mittal和Nikos Paragios根据设定的误报率(false alarm rate)和漏报率(miss probability)，通过训练样本调整阈值(参见 参考文献[3])，使用该阈值在给定的条件下能够获得相对好的分类结 果。但当场景改变时，需要重新选择样本进行训练，才能得到适用于 该场景的阈值。 发明内容本发明的目的是提供一种自适应的内核密度估计运动检测方案。 首先这种方案，对概率直方图进行分析，提出了一种自适应的阈值选 择方法，该方法不需要对样本进行训练，可以根据场景的不同，自适 应调整阈值。针对背景更新机制，本发明提出了用于更新背景模型的 方法，能够得到更为合理的背景，有利于运动目标的检测。此外，本
发明还提出了一种利用帧间差分背景模型和KDE分类结果的突变背景 检测装置和方法，较好地解决了背景发生突变时的运动目标误检测问 题。
为了实现上述目的，根据本发明的第一方案，提出了一种自适应 内核密度估计运动检测装置，包括接收单元，用于接收输入的视频 帧；初始化单元，用于初始化背景模型和帧间差分背景模型；概率计 算统计单元，用于针对当前视频帧的每个像素，根据背景样本，计算 该像素的内核密度估计概率，并统计当前帧的像素的内核密度估计概 率直方图；分类单元，利用内核密度估计概率直方图自适应地求取分 类类阈值，如果某一像素的内核密度估计概率小于所述阈值，则确定 该像素为前景像素；否则，为背景像素。
优选地，所述分类单元首先对内核密度估计概率直方图进行平滑 和差分，得到差分直方图，然后在差分直方图上，寻找内核密度估计 概率直方图变化趋势变缓的起点g和缓慢变化的终点《，最后根据g 和《，确定所述分类阈值。
优选地，所述自适应内核密度估计运动检测装置还包括背景更
新单元，用于对内核密度估计概率大于所述分类阈值的像素进行背景
市抓 更新c
优选地，所述背景更新单元按照先进先出的原则顺序更新背景样本。
优选地，所述自适应内核密度估计运动检测装置还包括突变背 景更新单元，用于根据帧间差分背景模型和分类单元的结果，判断是 否出现了突变像素，并在突变像素满足预定条件时，对突变像素进行 突变背景更新。
优选地，当帧间差分背景模型确定一像素为背景，而分类单元确
6定该像素为前景时，所述突变背景更新单元判断该像素为突变像素。
优选地，所述突变背景更新单元对所有突变像素进行连通域分 析，提取连通域的多个预定特征，当且仅当连通域的预定特征满足预 定条件时，所述突变背景更新单元才对与该连通域相关的突变像素进 行突变背景更新。
优选地，所述突变背景更新单元以当前视频帧后的预定多个视频 帧来更新背景样本。
优选地，所述自适应内核密度估计运动检测装置还包括运动处 理单元，用于对检测到的前景像素进行连通域分析，并结合运动目标 的先验知识，对于属于同一个目标的区域进行合并，对于属于不同目 标的区域进行分割，从而得到完整的运动目标。
为了实现上述目的，根据本发明的第二方案，提出了一种自适应 内核密度估计运动检测方法，包括接收步骤，接收输入的视频帧； 初始化步骤，初始化背景模型和帧间差分背景模型；概率计算统计步 骤，针对当前视频帧的每个像素，根据背景样本，计算该像素的内核 密度估计概率，并统计当前帧的像素的内核密度估计概率直方图；分 类步骤，利用内核密度估计概率直方图自适应地求取分类阈值，如果 某一像素的内核密度估计概率小于所述阈值，则确定该像素为前景像 素；否则，为背景像素。
优选地，在所述分类步骤中，首先对内核密度估计概率直方图进 行平滑和差分，得到差分直方图，然后在差分直方图上，寻找内核密 度估计概率直方图变化趋势变缓的起点g和缓慢变化的终点A，最后 根据《和A，确定所述分类阈值。
优选地，所述自适应内核密度估计运动检测方法还包括背景更 新步骤，对内核密度估计概率大于所述分类阈值的像素进行背景更新。
优选地，在所述背景更新步骤中，按照先进先出的原则顺序更新 背景样本。
优选地，所述自适应内核密度估计运动检测方法还包括突变背 景更新步骤，根据帧间差分背景模型和分类步骤的结果，判断是否出 现了突变像素，并在突变像素满足预定条件时，对突变像素进行突变<image>image see original document page 8</image>
具体实施例方式
下面参照附图对本发明的优选实施例进行详细说明，在描述过程 中省略了对于本发明来说是不必要的细节和功能，以防止对本发明的 理解造成混淆。
图l示出了根据本发明的自适应内核密度估计运动检测方法的整 体流程图。以下将参考
图1，对根据本发明的自适应内核密度估计运 动检测方法的各个步骤进行详细描述。
1. 初始化模型参数(步骤S100和S102)
对输入的视频帧(步骤sioo)，初始化背景模型、帧间差分背景
模型，初始化系统的其他参数，例如采样的视频帧数为50。(步骤 S102)。
2. 计算内核密度估计(KDE)概率(步骤S104)
假定视频帧中有#个像素点，每个像素点有^个历史采样作为对 应像素的背景样本，则第i个像素点的第J'个背景样本的像素值为Jcu.， hl...M、 y-l…AT。在t时刻视频帧中第i个像素点的像素值为;^),.，
则t时刻像素点J'概率Pr(x(^)可以通过公式(1)进行估计-
pr("^)=+|;,(^xn) (1)
其中:c((^.为f时刻视频帧中第i个像素点的第J个背景样本的像素
值，K为核估计子，如果K取正态分布iV(Oj:)，公式(l)变形为如下 所示的公式(2):<formula>formula see original document page 10</formula>,
其中^为像素的颜色分量特征维数，x(/L为x(^的第w个颜色 。对于RGB格式的彩色图像，像素的颜色分量可以取R、 G、 B像 素值，假设像素的R、 G、 B相互独立，这样，此时的特征维数^/为3; a,^，附=1...3为第J'个像素对应的R、 G、 B颜色分量的核宽，则构成
的第i个像素对应的三维核宽矩阵S,为 <formula>formula see original document page 10</formula>
3.统计像素分布得到概率直方图(步骤S106)
按照公式(2),计算输入视频帧中t时刻l个像素的概率Pr(;c(^)，
为了计算方便，将公式(2)修改为如下所示的公式(3)，计 算W个采样的概率和-
<formula>formula see original document page 10</formula>(3)
，附
按照参考文献[2]中的方法进行估计第i个像素点的核宽tr^，当 所有核宽cr^的最大可能取值cr^和最小可能取值cTa确定后，在任意
时刻t对于像素的^个采样来说，t时刻视频帧中的第i个像素点概 率Pr("^)的可能最大值Pr^可由公式(4)确定
<formula>formula see original document page 10</formula>(4)
Pr(jc(/),)可能取值的最小值Pr^，不仅取决于c^M，还由公式(3)中指数项决定，可以取0。把
乘以比例因子，行量化，得到 [O,Pr」。然后，遍历所有像素的概率，形成概率分布直方图/n^p (如 公式(5)所示)
to》) (5)
图2示出了像素的概率分布及其直方图。如图2所示，(a)为原 始图像，场景中的运动目标为行人，(b)为(a)的概率分布，x轴方向 对应图像的宽度方向，y轴方向对应图像的高度方向，z轴代表概率值 的大小，(c)为(b)的俯视图，x轴方向对应图像的宽度方向，y轴方向 对应图像的高度方向，(d)概率直方图/^ ，u轴表示像素的概率值取
值，v轴表示概率等于该取值的像素数目。 4. 自适应阈值的选择(步骤S108)
用高斯核函数对/^,p进行平滑得到/^;(图2中的(d))。对 ^;^及/w《》'+ l)按照公式(6)进行差分，在此用预定小阈值" 来进一步去除干扰，得到差分直方图&X^ (如公式(6)所示)
r / 、 / 、、 (6) 力#=* (/n'w戸+1) _ to (o)
图3示出了局部概率直方图、差分直方图和分割结果。如图3所 示，(a)为图2(d)的局部放大图，(b)为由公式(6)得到的与图2(d)对 应的差分直方图，(c)为(b)的局部放大图，图中u轴表示像素的概率 值取值，v轴表示概率等于该取值的像素数目。(d)为选取差分直方图 的第一个零点作为分类阈值(该点为直方图变化趋于稳定的点，图3(c) 中为6)的分割结果，x轴方向对应图像的宽度方向，y轴方向对应图
像的高度方向。
为此，如下选取分类阈值77//:
1)通过差分直方图M^^ (图3中的(b))寻找直方图由陡变
& / (0=缓的转折点《(图3 (c)中标出)，即i^满足下式:
<formula>formula see original document page 12</formula>(7)
toW/(z0-tow(z'+1)
2) 在差分直方图/^。# (图3中的(b))上从《开始向右侧寻 找变化趋势变缓的起点《(图3 (c)中标出)；
3) 在差分直方图/H^^ (图3中的(b))上从g开始向右侧寻 找缓慢变化的终点^ (图3 (c)中标出)，直到尸_ (可以由场景中的 先验知识得到，为目标在整个场景中所占的最大比例，图3 (c)中标 出)止；
4) 当77z/取Pj寸会带来漏掉部分前景目标，当77z/取Pj寸会把部 分背景误捡测为前景，为此按照公式(8)进行处理，确定适当的分类 阈值7%/，其中a为大于l的系数
图4示出了像素的概率处于不同范围时的分割结果:
(8)
(a) 0SPr(x(^)<户￡时的结果，从图中可以看出运动目标(行人)
的部分像素出现缺失，但噪音很小；(b)为i^Pr(^),.h尸,时的结果，
原来由运动到静止的目标(栏杆)也被检测出来，且存在较多噪声；(c) 为Pi:(;c(f),^A时的分割结果，从图中可以看出只有少量属于前景的像
素被检测为背景；(d)为釆用公式(8)求取阈值并按照公式(9)进行分类 的结果，运动目标(行人)漏检测像素很少，有少量属于背景的像素被 当作前景来检测。图中x轴方向对应图像的宽度方向，y轴方向对应 图像的高度方向。
5. 像素分类(步骤S110)
依据像素的概率值，按照下式(9)进行分类，如果某一像素的概 率值小于分类阈值7V,则确定该像素为运动像素，并将该像素输出至运动处理单元进行处理。
Pr(x(^)〈W ⑨
否则按照第6步进行背景更新。 6.背景更新模型(步骤S120)
由公式(3)得到的像素概率，实际上反映了该像素和背景的相似 程度。考虑在t时刻概率Pr(x(A)，显然如果Pr(x(^)小于分类阈值
7%/，像素x(^为前景，在背景更新时不做考虑；如果Pr(x(^)大于
分类阈值77z/，像素x(《为背景，可以直接把该像素更新到背景中去， 即按照公式(10)进行更新
1zy Pr(x(V).)2 77z/
V V /J (10)
0 e/se
在得到当前帧用于更新背景的概率Pi;^A)之后，就可以按照先 入先出的原则顺序进行更新背景样本。例如在f-l时刻更新第/个像素 的第卜1个背景样本斗L,，则在^时刻更新第z个像素的第)个背景
样本x(A,假设在卜1时刻更新第^个像素的第y-i个背景样本
,，贝U/时刻的样本更新如公式(11)所示，其中Z:l...M:
々L = Pr* )* x W + (1 - PrA" W,))"(卜(11)
如果更新了第/个像素的背景样本，则按照参考文献[2]中的方法重新 估计第f个像素的核宽巧,
例如，在卜l时刻更新第/个像素的第9个背景样本x(f)"，则在？时刻更新第/个像素的第10个背景样本x(f),，,。。假设x(^为130，
P"义WJ为1， 4卜Ou。为l20，则更新后的背景样本为
:c(f)no=l*130 + (l-1)"20 = 130。
图5示出了采用背景更新得到的背景和前景检测结果 (a)为原始视频中的一帧，(b)为该时刻更新得到的背景，(c)为
采用本文算法得到的分割结果，图中的白色像素为检测到的运动目标。 按照第7步进行背景突变检测，并进行相应的更新。
7.突变背景的检测、更新模型(步骤S114、 S116和S118) 设5(/)、 C(/)、 Z^')分别对应位置像素i的背景像素值、当前帧 像素值和前一帧的像素值，其中"7为一个预先设定的小阈值， 用来统计背景发生变化的计数变量(如公式(12)所示)-'0 (,) + l z/血(C(/)-5(/))>^1 C"(/)=〗 &a^(C(/) —Al (12)
当Oz(z')满足公式(13)时，则认为该像素/是背景，需要以当
前像素值C(/)来更新对应位置的背景像素值万(z')，其中t力i^为更新率
5
(13)
背景更新的快慢取决于更新率t力么由于不涉及复杂的运算，因 此运行速度很快。当^^取值较小时，会把前景更新到背景中去，从
而检测不到前景目标；当更新率较高时，变化的背景可能不会得到及 时更新，误把背景当作前景目标。在本发明中，只是利用上述更新方 案的快速更新特性，作为背景发生变化的依据，因此"i"的选择不易 太高，例如，可以选取以下数值30 40之间的整数值，如30、 35、40等。
属于背景的像素，在背景未被更新之前，可能会被KDE检测为前 景，可以利用这种特性来检测背景的显著变化，如公式(14)所示， 其中B表示背景像素集合，S^用来表示背景发生突变与否的掩码，
=1L M
1 ^ " & Pr (x(A ) < 7Tz/ 0 ete
(14)
如果万^为1，说明背景已经发生了突变。否则，背景没有发生 突变。
通过公式(14)所检测到的背景发生突变的像素，不应立即作为更 新KDE背景样本的依据。突变的背景一般表现为区域性，面积较大。 为提高系统的鲁棒性，对满足公式(14)的所有突变像素进行连通域分 析，提取连通域的面积、个数、最大长度、最大宽度等特征。当这些 特征满足背景突变的条件(例如，连通域的面积大于场景的预定比例、 个数大于场景中的最大目标个数、最大长度大于场景中的最大目标长 度、宽度大于场景中的最大目标宽度等)时，才认为背景确实发生了 突变，从而减少干扰，提高系统准确性。
当背景确实发生突变时，用当前帧开始后的vV帧图像更新背景中 的样本，保证背景模型得到及时更新，提高检测的鲁棒性。同时，本 发明也能解决背景更新中的死锁情况(deadlock situations)(参见参 考文献[2， 4])。
图6是根据本发明的自适应内核密度估计运动检测装置的整体方 框图。
具体地，根据本发明的自适应内核密度估计运动检测装置500包 括接收单元510、初始化单元520、概率计算统计单元530、分类单 元540、突变背景更新单元550、背景更新单元560和运动处理单元 570。接收单元510用于接收输入的视频帧。初始化单元520用于初始 化背景模型、帧间差分背景模型，以及初始化系统的其他参数，例如 采样的视频帧数为50。
概率计算统计单元530用于针对当前帧的每个像素，根据背景样 本，计算该像素的内核密度估计概率，并统计当前帧的像素的内核密 度估计概率直方图。
分类单元540利用内核密度估计概率直方图自适应地求取分类阈 值，如果某一像素的内核密度估计概率小于所述分类阈值，则确定该 像素为前景像素，并将该像素输出至运动处理单元570;如果该像素 的内核密度估计概率大于所述分类阈值，则确定该像素为背景像素， 则将该像素输出至背景更新单元560。
背景更新单元560用于对内核密度估计概率大于所述分类阈值的 像素进行背景更新。在所述背景更新过程中，背景更新单元560按照 先进先出的原则顺序更新背景样本。
突变背景更新单元550用于根据帧间差分背景模型和分类单元的 结果，判断是否出现了突变像素，并在突变像素满足预定条件时，对 突变像素进行突变背景更新。
运动处理单元570用于对检测到的前景像素进行连通域分析，并 结合运动目标的先验知识，如目标的最大和最小宽度、最大和最小高 度、最大和最小面积等，对于属于同一个目标的区域进行合并，对于 属于不同目标的区域进行分割，从而得到完整的运动目标。
至此已经结合优选实施例对本发明进行了描述。应该理解，本领 域技术人员在不脱离本发明的精神和范围的情况下，可以进行各种其 它的改变、替换和添加。因此，本发明的范围不局限于上述特定实施 例，而应由所附权利要求所限定。参考文献列表 M Piccardi, Background subtraction techniques: 'a review. Systems. Man and Cybernetics [J], 2004. 4: 3099-3104; A.Elgammal，D. Hanvood,and L. S.Davis, Non_ parametric model for background subtraction [C]. Proc. ECCV 2000. 751-767; AnuragMittal， NikosParagios. Motion-Based Background Subtraction using Adaptive Kernel Density Estimation. [C]. CVPR， 2004. 11(2): 302-309; Hanzi Wang， David Suter. A consensus-based method for tracking: Modeling background scenario and foreground 卿e眼nce Pattern Recognition. 2007. 40:1091-1105.
权利要求
1. 一种自适应内核密度估计运动检测装置，包括接收单元，用于接收输入的视频帧；初始化单元，用于初始化背景模型和帧间差分背景模型；概率计算统计单元，用于针对当前视频帧的每个像素，根据背景样本，计算该像素的内核密度估计概率，并统计当前帧的像素的内核密度估计概率直方图；分类单元，利用内核密度估计概率直方图自适应地求取分类阈值，如果某一像素的内核密度估计概率小于所述分类阈值，则确定该像素为前景像素；否则，该像素为背景像素。
2. 根据权利要求1所述的自适应内核密度估计运动检测装置， 其特征在于所述分类单元首先对内核密度估计概率直方图进行平滑和差分， 得到差分直方图，然后在差分直方图上，寻找内核密度估计概率直方 图变化趋势变缓的起点g和缓慢变化的终点A，最后根据g和A，确 定所述分类阈值。
3. 根据权利要求1或2所述的自适应内核密度估计运动检测装 置，其特征在于还包括-背景更新单元，用于对内核密度估计概率大于所述分类阈值的像 素进行背景更新。
4. 根据权利要求3所述的自适应内核密度估计运动检测装置， 其特征在于所述背景更新单元按照先进先出的原则顺序更新背景样 本。
5. 根据权利要求1 4之一所述的自适应内核密度估计运动检测 装置，其特征在于还包括突变背景更新单元，用于根据帧间差分背景模型和分类单元的结 果，判断是否出现了突变像素，并在突变像素满足预定条件时，对突 变像素进行突变背景更新。
6. 根据权利要求5所述的自适应内核密度估计运动检测装置， 其特征在于当帧间差分背景模型确定一像素为背景，而分类单元确定 该像素为前景时，所述突变背景更新单元判断该像素为突变像素。
7. 根据权利要求5或6所述的自适应内核密度估计运动检测装 置，其特征在于所述突变背景更新单元对所有突变像素进行连通域分 析，提取连通域的多个预定特征，当且仅当连通域的预定特征满足预 定条件时，所述突变背景更新单元才对与该连通域相关的突变像素进 行突变背景更新。
8. 根据权利要求7所述的自适应内核密度估计运动检测装置， 其特征在于所述突变背景更新单元以当前视频帧后的预定多个视频帧 来更新背景样本。
9. 根据权利要求1 8之一所述的自适应内核密度估计运动检测 装置，其特征在于还包括运动处理单元，用于对检测到的前景像素进行连通域分析，并结 合运动目标的先验知识，对于属于同一个目标的区域进行合并，对于 属于不同目标的区域进行分割，从而得到完整的运动目标。
10. —种自适应内核密度估计运动检测方法，包括 接收步骤，接收输入的视频帧；初始化步骤，初始化背景模型和帧间差分背景模型； 概率计算统计步骤，针对当前视频帧的每个像素，根据背景样本，计算该像素的内核密度估计概率，并统计当前帧的像素的内核密度估计概率直方图；分类步骤，利用内核密度估计概率直方图自适应地求取分类阈 值，如果某一像素的内核密度估计概率小于所述分类阈值，则确定该 像素为前景像素；否则，为背景像素。
11. 根据权利要求io所述的自适应内核密度估计运动检测方法，其特征在于在所述分类步骤中，首先对内核密度估计概率直方图进行平滑和 差分，得到差分直方图，然后在差分直方图上，寻找内核密度估计概 率直方图变化趋势变缓的起点g和缓慢变化的终点& ，最后根据A和g，确定所述分类阈值。
12. 根据权利要求10或11所述的自适应内核密度估计运动检测方法，其特征在于还包括背景更新步骤，对内核密度估计概率大于所述分类阈值的像素进 行背景更新。
13. 根据权利要求12所述的自适应内核密度估计运动检测方法， 其特征在于在所述背景更新步骤中，按照先进先出的原则顺序更新背 景样本。
14. 根据权利要求10 13之一所述的自适应内核密度估计运动 检测方法，其特征在于还包括突变背景更新步骤，根据帧间差分背景模型和分类步骤的结果， 判断是否出现了突变像素，并在突变像素满足预定条件时，对突变像 素进行突变背景更新。
15. 根据权利要求14所述的自适应内核密度估计运动检测方法， 其特征在于在所述突变背景更新步骤中，当帧间差分背景模型确定一 像素为背景，而分类步骤确定该像素为前景时，判断该像素为突变像 素。
16. 根据权利要求14或15所述的自适应内核密度估计运动检测 方法，其特征在于在所述突变背景更新步骤中，对所有突变像素进行 连通域分析，提取连通域的多个预定特征，当且仅当连通域的预定特 征满足预定条件时，才对与该连通域相关的突变像素进行突变背景更 新。
17. 根据权利要求16所述的自适应内核密度估计运动检测方法， 其特征在于在所述突变背景更新步骤中，以当前视频帧后的预定多个 视频帧来更新背景样本。
18. 根据权利要求10 17之一所述的自适应内核密度估计运动 检测方法，其特征在于还包括运动处理步骤，对检测到的前景像素进行连通域分析，并结合运 动目标的先验知识，对于属于同一个目标的区域进行合并，对于属于 不同目标的区域进行分割，从而得到完整的运动目标。
全文摘要
本发明提出了一种自适应内核密度估计运动检测装置和方法。根据本发明的自适应内核密度估计运动检测装置包括接收单元，用于接收输入的视频帧；初始化单元，用于初始化背景模型和帧间差分背景模型；概率计算统计单元，用于针对当前视频帧的每个像素，根据背景样本，计算该像素的内核密度估计概率，并统计当前帧的像素的内核密度估计概率直方图；分类单元，利用内核密度估计概率直方图自适应地求取分类阈值，如果某一像素的内核密度估计概率小于所述阈值，则确定该像素为前景像素，否则该像素为背景像素。
文档编号H04N7/26GK101448151SQ20071017822
公开日2009年6月3日 申请日期2007年11月28日 优先权日2007年11月28日
发明者刘昌平, 刘迎建, 徐东彬, 磊 黄 申请人:汉王科技股份有限公司