一种基于前景背景模型交互的运动目标检测方法
【专利摘要】本发明公开一种基于前景背景模型交互的运动目标检测方法，以前景模型对目标的表征状态进行拟合建模；以背景模型对场景中背景状态进行拟合建模。引入上一时刻背景模型的决策作为先验估计当前时刻前景模型参数；引入上一时刻前景模型的决策作为先验估计得到当前时刻背景模型参数；融合当前时刻前景及背景模型的决策得到对当前时刻运动目标的检测结果。前景、背景模型交互方法包括：①利用上一时刻前景、背景模型决策作为先验经验相互指导当前时刻背景、前景模型中样本加权、选择及更新，②贝叶斯框架下的前景背景模型决策融合。该方法能够准确地拟合场景中的稳定信息，并适应场景及目标表征的变化，抑制复杂动态场景中动态背景噪声，准确检测出运动目标。
【专利说明】
一种基于前景背景模型交互的运动目标检测方法
技术领域
[0001] 本发明涉及一种图像运动目标检测的方法，具体是利用前景、背景模型交互实现 复杂动态场景中运动目标检测的方法，属于图像处理技术领域。
【背景技术】
[0002] 在复杂、动态场景中的运动目标检测所常遇到的问题主要包括:①光照变化，②杂 乱场景及运动场景所形成的杂乱、动态噪声，③目标同背景相似。对于这些问题的解决，目 前的方法主要依赖于两种策略。一是通过对长时间背景状态进行拟合建模，并通过比较运 算，能够检测到场景中的变化信息，以检测出运动目标，该类策略对运动信息较为敏感。二 是通过对运动目标的表征状态进行拟合建模，通过模型匹配的策略检测出场景中的运动目 标，该类策略有助于对场景杂乱、动态背景噪声的抑制。孤立的考虑前景及背景模型，难以 同时解决场景杂乱、变化、运动噪声以及目标-背景相似所导致检测率较低的问题。其次，目 标在运动过程中表征状态的变化导致难以采用常用的图像特征建立稳定、鲁棒的前景模 型。此外，模型对场景稳定状态的拟合程度及对场景状态变化的适应性，是较为矛盾的问 题，影响到对模型中拟合数据时长的选择。最后，在背景模型及前景模型的建模和计算过程 中均包含有大量的参数估计过程，参数估计结果的优劣直接影响到模型的性能，先验知识 的准确引入有利于参数估计准确性的提高。目前尚未有一种技术能够综合解决上述问题。
【发明内容】
[0003] 发明目的：针对现有方法在复杂、动态场景中应用时，所存在的光照变化适应、杂 乱背景噪声抑制、动态背景噪声抑制、目标表征建模等问题，并综合考虑到基于先验经验的 模型参数估计策略、模型融合策略及前景目标显著性检测策略，本发明提供了一种基于加 权样本采样及显著性检测的前景模型建模及基于加权样本采样及核密度估计的背景模型 建模，利用前景、背景模型交互实现模型参数估计(主要包括样本加权、选择及更新)及贝叶 斯框架下的前景背景模型决策融合方法。
[0004] 技术方案:一种基于前景背景模型交互的运动目标检测方法，包括以下几个方面： [0005] (1)建立贝叶斯框架下前景、背景模型决策的融合方法。建立图像中的点属于背景 和前景的概率P(Bt I Xt )，P(Ft I Xt)，及最终决策δ (Xt)似然比的解析表达。
[0006] (2)建立一种基于改进核密度估计背景模型的建模计算方法。
[0007]
[0008] (3)建立一种基于显著性概率密度估计前景模型的建模及计算方法。
[0009] P(xt|Ft) = St
[0010] (4)设计前景、背景模型中样本选择的时间窗长。
[0011] (5)分别估计前景、背景模型中样本的权重。
[0012] W7i^l-P(XMFt-I),W77iCxp(X^ iIBt-I)
[0013] (6)在权重估计的基础上，根据权重的大小排列并选择样本。
[0014] X7t= {x7 ijw7 i>W7 η+Ι,Χ^?= {xt,X//i}w//i>W//K+l
[0015] (7)根据样本的衰减程度及"先进先出"原则，重采样样本。
[0016] 有益效果：与现有技术相比，本发明提供的基于前景背景模型交互的运动目标检 测方法，首先，建立贝叶斯框架下的前景、背景模型融合及计算方法，融合两种模型的决策 形成最终的对运动目标检测的决策结果。其次，分别建立基于加权样本的前景及背景模型 建模及计算方法。最后，对模型中样本加权、选择及更新采用模型交互式的估计和计算方 法。上述三个关键技术共同组成了前景、背景模型的交互方法。该方法能够描述长时场景的 稳定信息，又能够适应场景的变换，并且通过对背景及前景状态的拟合，能够解决复杂、动 态场景中的光照变化及杂乱、动态背景噪声，并能够准确的拟合场景稳定状态，适应场景的 变化状态，以实现高准确性的运动目标检测。如图2所示，本发明所公开的方法获得了准确 度最高的运动目标检测结果。
【附图说明】
[0017] 图1为本发明方法总体的流程图；
[0018] 图2为本发明方法所实现的图像运动目标检测结果以及同其它方法的比较示例， 以说明本发明方法的有益效果，其中，a为视频帧图像，b为真实的目标区域，c为时间-空间 高斯模型所得到的结果，d为时间残余谱方法所得到的结果，e为前景-背景核密度估计模型 所得到的结果，f为本发明方法所得到的结果；
[0019] 图3为运动目标的运动显著性示例，其中，a为视频帧图像及场景的运动显著性图 像，b为目标的运动显著性，c为运动显著性的分布图；
[0020] 图4为前景背景模型交互示意框图。
【具体实施方式】
[0021] 下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明 而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价 形式的修改均落于本申请所附权利要求所限定的范围。
[0022] 基于前景背景模型交互的运动目标检测方法，如图1所示，包括:基于加权样本采 样及显著性检测的前景模型建模及基于加权样本采样及核密度估计的背景模型建模，利用 前景、背景模型交互实现模型参数估计(主要包括样本加权、选择及更新)及贝叶斯框架下 的前景背景模型决策融合方法。
[0023] -，基于改进核密度估计的背景模型
[0024] 经典的核密度估计背景模型能够采用样本及核密度函数估计实现背景建模，计算 图像中点属于背景的概率。在理论上，样本属于背景的概率越高，模型对目标运动过程中发 生的变化越敏感，运动目标检测正确率越高。但是在经典的核密度估计背景模型中，样本的 选择通常采用"盲"采样的方式，即在没有先验经验指导的情况下随机地选择样本。这种方 式并不能保证样本以较高的概率来源于背景，当其来源于目标本身时，模型就会出现误判。
[0025] 在本发明所公开的方法中，首先根据先验知识对候选样本进行加权(权重值正比 于样本属于背景的概率），其次根据权重值从大到小排列候选样本，选择那些权重较大的候 选样本作为模型所需要的样本输入到模型中并结合其权重进行计算，具体如下：
[0026] 对于t时刻的点Xt，相应的样本Y1采样于该点相同位置处在{1，2,-St-U时间区 间内的值，并对其进行加权，得到矢量，其中权重用于估计该样本属于背景的 置信度。选择η个权重值最大的样本(属于背景的概率最高）引入到模型计算中，最终考虑样 本权重而建立的改进核密度估计模型可以表示为：
[0027]
[0028]其中，Xt为t时刻的点，Bt为t时刻背景状态，P(Xt|Bt)为t时刻的点X t属于背景Bt的 概率，κ 〇为核函数，η为样本个数。
[0029] 通过这种改进，背景模型在核密度估计过程中通过样本地加权、选择，并将样本权 重引入到模型计算中，使得模型更加依赖于那些以较高概率属于背景的样本，能够更加准 确的提取出当前点同样本点之间的差异，反映出该点位置上图像信息的变化。最终，更加准 确的检测出目标运动所造成的变化及运动目标区域。
[0030] 二，基于显著性概率密度估计的前景模型
[0031] 在目标运动的过程中，它们的外观表征通常会发生高频率的变化。这种问题受到 光照和遮挡的影响而越发变的严重，如图3(a)所示。在这种情况下难以采用常用的图像强 度特征(例如灰度和色彩特征），亦或者形态学特征(例如轮廓和骨架特征)稳定地实现前景 目标建模。相比较，运动显著性具有能够抑制场景变化的不变性特征。如图3(b)所示，尽管 目标的图像特征在运动过程中发生剧烈变化，它的运动显著性仍保持平稳，如图3(c)。此 外，这种显著性的值同目标和背景间的对比度密切相关，较强的对比度对应着幅度值较高 的显著性的值。上述因素意味着这种运动显著性值与相应点属于前景的概率密切正相关。 加之运动显著性的变化范围为0~1。因而这种运动显著性可以直接转换为目标属于前景的 概率，即前景模型。
[0032]鉴于此，对于前景模型在本发明中建立一种显著性概率密度估计模型。对于t时刻 的点Xt，相应的样本X"i采样于该点相同位置处在{1，2，…，t-ι}区间内的值，并对其进行加 权，得到矢量，其中权重W 1用于估计该样本属于背景的概率。在理论上，样本属于 背景的概率越高，模型对运动中发生的变化越敏感，运动目标检测正确率越高。选择K个权 重值最大的样本(属于背景的概率最高）引入到模型中，并同t时刻的点xt组成时间序列X〃 t。 对于时间序列X〃 t计算其相位谱，得：
[0033]
[0034] 其中，3为傅里叶变换。Pt为时间序列X〃t的相位谱。时间t时刻的运动显著性可以 通过反傅里叶变换计算得到：
[0035]
[0036] 其中，^T1为反傅里叶变换，gt为一维高斯滤波器(其方差典型值通常设置为：〇 = 5)。相应t时刻的运动显著性可以通过阈值滤波计算得到：
[0037]
[0038] τ为阈值(其典型值通常设置为0.5)将该显著性值归一化到0到1之间，t时刻显著 性图像可以描述t时刻像素X t属于前景的概率。因此前景模型可以建模为：
[0039] P(xt|Ft) = St
[0040] 其中，Ft为t时刻前景状态，P(Xt|Ft)为t时刻的点Xt属于前景F t的概率。
[0041]三，前景、背景模型中样本采样时间窗的选择
[0042]在采样时间窗的设计中，考虑到本发明中背景模型及前景模型交互过程中，两种 模型的互补性，两种模型分别设计不同的性能。背景模型主要用于拟合场景中长时的稳定 状态，对t时刻的点Xt其样本采样的时间窗长尽可能长，设计为t-Ι，即{1，2，···，?-1}，如图4 所示。
[0043]对于前景模型，考虑其主要用于拟合前景目标的表征状态及场景中状态的变化， 使得本发明所公开的方法能够适应场景的动态变化，选择相对较小的时间窗长，如图4所 示，设计为U X K。其中υ为比例系数(典型值通常设置为υ = 2)。
[0044]通过这种前景、背景模型的分工设计，本发明所公开的方法即能够稳定地拟合场 景的长时稳定状态，又能够适应场景的变化。
[0045]四，前景背景模型交互式样本权重估计及选择
[0046]本发明公开了一种通过前景、背景模型交互式实现样本权重估计方法，如图4所 不。
[0047]在前景模型中，样本权重估计是通过引入上一时刻（t-Ι时刻）背景模型决策判断 该样本属于背景的概率P(W1IBn)作为先验，权重值W1正比于该概率P(^1IBh),以此估 计得到当前时刻t前景模型中样本的权重：
[0048] W77iCxp(X^iIBt-I)
[0049] 在具体应用中，￥^ = 0\卩(1〃#*一1)，其中0为比例系数值，典型0=1。
[0050] 在前景模型中，对于t时刻的点Xt，共有t-Ι个候选样本。根据其权重从大到小的顺 序，对样本进行排列，并选择权重最大的前K个样本同t时刻的点Xt共同组成用于傅里叶变 换的矢量X^=IxtjMw" 。其中K参数的估计：
[0051]
[0052]其中，α(α>Κ)为采样的时间窗宽度,T1为预设的权重，典型值!^ =。.72。
[0053]在背景模型中，样本权重估计是通过引入上一时刻（t-Ι时刻）前景模型的决策判 断该样本属于前景的概率PU": I B^1)作为先验，权重值V i反比于该概率I Bh)，以此 估计得到当前时刻t前景模型中样本的权重：
[0054] W7i^l-P(X7iIFt-I)
[0055] 在具体应用中，i = vX (1-P(x、|Ft-i))，其中V为比例系数值，典型v = l。
[0056] 在背景模型中，对于t时刻的点Xt，共有t_l个候选样本。根据其权重从大到小的顺 序对样本进行排列，并选择权重最大的前η个样本V t= {1、}?^>'/11+1。其中：
[0057]
[0058]其中，T2为预设的权重，典型值T2 = 0.8。
[0059]这种方法通过选择那些属于背景概率较高的样本及其权重用于模型计算，一方面 能够增强背景模型对场景的拟合能力，另一方面能够防止前景模型进入死循环，即选择的 样本为目标本身。
[0060]这种方式有助于提高本发明方法防止模型进入死循环并提高模型的适应性。一方 面，对于短时前景模型，以长时背景模型的决策给权重加权能够加强那些以较高概率属于 背景的样本的重要性。能够减小模型进入死循环的可能性，即前景模型中的样本变成了目 标本身。另一方面，长时背景模型中的样本以短时前景模型的决策为依据进行加权可以增 强那些近期样本对背景模型的重要性。以此能够增强背景模型的适应性。
[0061 ] 五，样本重采样
[0062] 对于以样本为基础的模型，样本的衰减是一个重要的问题，即在多次循环后样本 的权重值变小。这种权重值较小的样本一方面会降低模型对场景的拟合能力另一方面会消 耗计算资源，从而降低模型的性能。
[0063] 为了防止样本本身的衰减，采用重采样的方式更新样本。首先，采用衰减因子Y、 N"度量样本集合的衰减程度：
[0064]
[0065] Y和N〃的值越小表示样本集合的衰减程度越大。重采样方法删除那些权值较小的 样本，并补充新的样本。在本发明所公开的方法中，这种重采样的方法同样本"先进先出"的 策略相结合，即在一定次数的循环后，忽视权重值大小而舍弃那些较老的样本，同时补充新 的样本。这种方法能够防止样本过于集中而导致样本表征缺少多样性的问题。
[0066] 六，贝叶斯框架下前景背景模型决策融合
[0067] 本发明公开了一种基于贝叶斯框架下将前景与背景模型的决策融合于统一的概 率密度模型的方法，如图1，图4所示。前者用于计算图像点属于前景的概率，后者用于计算 图像点属于背景的概率。
[0068] 对于图像运动目标检测，需要判断当前时刻图像中每一点属于前景和背景的概 率。假定对于t时刻的点Xt，对其判决的形式化表示为D t 如果%属于背景
[0069] Dt - < ?巧如果&属于前景
[0070] 在贝叶斯框架下，Xt属于背景的概率可以表示为：
[0071]
[0072] 其中，Xt Xt-1 为时间矢量，表示为Xt = {χι，X2，…，xt}和Xt-1= {χι，X2，…，xt-1}。其 中，由于背景樽型是由矢量Xt,-!估计得到，P(xt, I . Xn) = P(xt, I Bt,)。
[0073]
[0074] 其中，Ρ(Βη|Βη)是背景状态保持稳定的概率，是背景变化为前景的 概率，pWhIxh)是上一时刻卜1乂^属于背景的概率，通过上一时刻的背景模型计算，并迭 代到当前时刻得到。
[0075]同理，在贝叶斯框架下，Xt属于前景的概率可以表示为：
[0076]
[0077] 其中，Xt Xt-1 为时间矢量，表示为Xt = {xi，X2，…，Xt}和Xt-1= {xi，X2，…，Xt-1}。其 中，由于前景模型Ft是由矢量Xt-HM+得到，P(Xt I Ft，Xt-i) = P(Xt I Ft)。
[0078]
[0079] 其中，PWhIFh)是前景状态保持稳定的概率，PWhIFh)是前景变化为背景的 概率，pWm Ixt-O是上一时刻卜1，1-1属于前景的概率，通过上一时刻的前景模型计算，并 迭代到当前时刻得到。
[0080] 分母项可以计算为：
[0081]
[0082]最终，通过前景、背景模型交互，运动目标检测结果可以计算为：
[0083]
[0084] 其中Θ为阈值，典型值θ = 〇.7。
【主权项】
1. 一种基于前景背景模型交互的运动目标检测方法，其特征在于:首先，通过引入上一 时刻背景模型的决策作为先验估计当前时刻前景模型参数(主要包括对样本地加权、选择 及更新）；通过引入上一时刻前景模型的决策作为先验估计得到当前时刻背景模型参数(主 要包括对样本地加权、选择及更新），形成了一种前景、背景模型相互指导以实现模型中样 本加权、选择及更新方法；其次，在贝叶斯框架下，建立了一种前景、背景模型决策融合方 法；上述前景及背景模型的相互指导建模及模型决策融合技术共同构成前景、背景模型交 互方法;该方法通过同时对场景中背景、前景状态的建模能够准确地拟合场景中的稳定信 息(长时背景模型的贡献），并适应场景中的变化(短时前景模型的贡献），抑制复杂、动态场 景中的杂乱噪声及动态背景噪声，准确检测出运动目标;此外，这种前景、背景交互方法还 有助于防止模型陷入死循环和衰弱，并提高模型的鲁棒性和稳定性。2. 如权利要求1所述的基于前景背景模型交互的运动目标检测方法，其特征在于，建立 了利用有限个加权样本实现前景及背景模型建模： 对于背景模型，引入了核密度估计模型并对其进行了改进;对于t时刻的点xt，相应的样 本采样于该点相同位置处在{1，2，···，?-1}时间区间内的值，并对其进行加权，得到矢量 ，其中权重用于估计该样本属于背景的置信度;选择η个权重值最大的样本(属 于背景的概率最高）引入到模型计算中，最终考虑样本权重而建立改进的核密度估计模型 可以弄示为，其中，xt为t时刻的点，Bt为t时刻背景状态，P(Xt | Bt)为t时刻的点Xt属于背景Bt的概率， κ 0为核函数，η为样本个数。3. 如权利要求2所述的基于前景背景模型交互的运动目标检测方法，其特征在于，对于 前景，建立一种显著性概率密度估计模型;对于t时刻的点xt，相应的样本X%采样于该点相 同位置处在U，2，···，t-l}时间区间内的值，并对其进行加权，得到矢量，其中权重 w%用于估计该样本属于背景的置信度。选择K个权重值最大的样本(属于背景的概率最高） 弓丨入到模型中，并同t时刻的点Xt组成时间序列X〃 t;对于时间序列X〃t计算其相位谱，得： ,/, =3(A',）,pt = angle(ft) 其中，3为傅里叶变换;pt为时间序列X〃t的相位谱;时间t时刻的运动显著性可以通过 反傅里叶变换计算得到： 其中，XT1为反傅里叶变换，gt为一维高斯滤波器;相应t时刻的运动显著性可以通过阈 值滤波计算得到：将该显著性值归一化到0到1之间，t时刻显著性图像可以描述t时刻像素 xt属于前景的 概率;因此前景模型可以建模为： P(xt | Ft) = St 其中，Ft为t时刻前景状态，P(Xt I Ft)为t时刻的点Xt属于前景Ft的概率。4.如权利要求1所述的基于前景背景模型交互的运动目标检测方法，其特征在于，以模 型交互方式实现模型中样本地加权、选择及更新方法； 对于背景模型中样本、前景模型中样本^:的处理主要涉及:①采样时间窗，②权重 计算，③样本更新;针对这三点，采用前景、背景模型交互的方式予以实现； (1) 米样时间窗的选择 背景模型主要用于拟合场景中长时的稳定状态，对t时刻的点xt其样本采样的时间窗 长，设计为t_l，即{1，2，…，t-Ι}; 对于前景模型，选择相对较小的时间窗长，设计为u X K; (2) 样本权重估计及选择 在前景模型中，样本权重估计是通过引入上一时刻背景模型的决策判断该样本属于背 景的概率PU^lBw)作为先验，权重值正比于该概率PU^lBw)，以此估计得到当前时 亥Ijt前景模型中样本的权重： w//i〇cp(x//i | Bt-i) 在前景模型中，对于t时刻的点xt，共有t-1个候选样本;根据其权重从大到小的顺序对 样本进行排列，并选择权重最大的前K个样本同t时刻的点xt共同组成用于傅里叶变换的矢 量X〃 t = {X t，x〃 i} w〃 i > w〃 K+1;其中K参数的估计：其中，α(α>Κ)为采样的时间窗宽度，Τι为预设的权重； 在背景模型中，样本权重估计是通过引入上一时刻（t-i时刻）前景模型的决策判断该 样本属于前景的概率PU% I Bh)作为先验，权重值V i反比于该概率PU% | Bn)，以此估计 得到当前时刻t前景模型中样本的权重： w7i〇ci-p(x/ i |Ft-i) 在背景模型中，对于t时刻的点xt，共有t-1个候选样本;根据其权重从大到小的顺序对 样本进行排列，并选择权重最大的前η个样本X' t= n+1输入到背景模型中；其 中：其中，Τ2*预设的权重； 这种方法一方面能够增强背景模型对场景的拟合能力，另一方面能够防止前景模型进 入死循环，即选择的样本为目标本身； (3) 样本重采样 为了防止样本本身的衰减，采用重采样的方式更新样本;首先，采用衰减因子N\N 〃度 量样本集合的衰减程度：Ν'和N"的值越小表示样本集合的衰减程度越大；重采样方法删除那些权值较小的样 本，并补充新的样本;采用"先进先出"的策略相结合，即在数次的循环后，忽视权重值大小 而舍弃那些较老的样本，同时补充新的样本。5.如权利要求1所述的基于前景背景模型交互的运动目标检测方法，其特征在于，建立 了一种贝叶斯框架下前景、背景模型决策融合方法，输出最终的运动目标检测结果； 假定对于t时刻的点xt，对其判决的形式化表示为Dt在贝叶斯框架下，xt属于背景的概率可以表示为：其中，Xt Xt-1为时间矢量，表示为Xt = {xi，X2,…，Xt}和Xt-1= {xi，X2,…，Xt-1};其中，由于 背景模型Bt是由矢量Xt-i估计得到，P (xt I Bt，Xt-i) = P (Xt I Bt);其中，Ρ(Βη|Βη)是背景状态保持稳定的概率，Ρ(Ρη|Βη)是背景变化为前景的概率， PWhIXh)是上一时刻卜1乂^属于背景的概率，通过上一时刻的背景模型计算，并迭代到 当前时刻得到； 同理，在贝叶斯框架下，xt属于前景的概率可以表示为：其中，Xt Xt-1为时间矢量，表示为Xt = {xi，X2,…，Xt}和Xt-1= {xi，X2,…，Xt-1}。其中，由于 前景模型Ft是由矢量Xw估计得到，其中，P^hIFh)是前景状态保持稳定的概率，Ρ(Βη|Ρη)是前景变化为背景的概率， P^hIXh)是上一时刻卜1，1-1属于前景的概率，通过上一时刻的前景模型计算，并迭代到 当前时刻得到； 分母项可以计算为：最终，通过前景、背景模型交互，运动目标检测结果可以计算为：其中Θ为阈值。
【文档编号】G06T7/20GK106056626SQ201610364082
【公开日】2016年10月26日
【申请日】2016年5月26日
【发明人】陈哲, 张振, 王鑫, 王慧斌, 卢苗
【申请人】河海大学