专利名称：前景对象检测方法与装置及背景检测方法与装置的制作方法
技术领域：
本发明有关于一种前景对象检测方法，更具体地，有关于一种前景对象检测方法和装置以及背景检测方法和装置。
背景技术：
前景对象检测是将从相机撷取(capture)图像中的前景对象与背景分离的过程。前景对象具有各种应用，例如视频监视(video surveillance)或基于对象的视频编码。实际应用中的前景对象检测方法通常基于背景相减法(background subtraction),背景相减法假设随时间推移相机为固定(stationary)且可创建并更新背景模型(backgroundmodel)。本领域存在若干实际应用的流行技术,包括调适性高斯集合法(adaptive MixtureofGaussian, M0G)、核心密度估计法(Kernel Density Estimation, KDE)以及编码本(Codebook)。所有上述前景/背景检测方法采用图像处理技术来处理相机撷取的色彩/强度图像，而其中所撷取图像不包括深度信息。一种基于混合高斯模型(Mixture ofGaussian)的方法已应用于具有混合的深度和色彩信息的图像。然而，基于MOG的方法简单地将深度信息看作色彩信息的组成并因此产生更高的计算复杂度。因此，需要提出低复杂度前景对象检测方法和装置，采用深度图像中的深度信息来检测深度图像的场景中所对应的前景对象。
发明内容
有鉴于此，本发明提供一种前景对象检测方法与装置及背景检测方法与装置。本发明提供一种前景对象检测方法，用于检测多个深度图像中的像素，该前景对象检测方法包括从该多个深度图像中接收该像素的深度值；如果该像素可以第一背景分布模型表示，根据该深度值更新该第一背景分布模型，且将该像素的代表值标记为第一背景；如果该像素位于该第一背景之后，处理备用背景模型；如果该像素位于该第一背景之前，将该像素的该代表值标记为前景；以及提供该像素的该代表值。本发明再提供一种背景检测方法，用于多个深度图像中多个对象边沿周围的像素，其中，该多个深度图像使用第一背景分布模型或该第一背景分布模型与第二背景分布模型的混合，该背景检测方法包括从该多个深度图像中接收该像素的深度值；如果该像素以该第一背景分布模型表示，根据该深度值更新该第一背景分布模型；如果该像素在对应于该第一背景分布模型的背景之前，跳过更新该第一背景分布模型；如果该像素在对应于该第一背景分布模型的该背景之后，建立候选背景分布模型并估计第一发生频率与第二发生频率，该第一发生频率与该第二发生频率对应于由该第一背景分布模型或该候选背景分布模型分别表示的该像素；如果该第一发生频率与该第二发生频率表示高发生频率，从该候选背景分布模型中建立该第二背景分布模型；如果该第一发生频率表示高发生频率且该第二发生频率表示低发生频率，丢弃该候选背景分布模型；如果该第一发生频率表示低发生频率且该第二发生频率表示高发生频率，以该候选背景分布模型替换该第一背景分布模型；以及如果该第二背景分布模型存在，使用该第一背景分布模型与该第二背景分布模型的该混合处理该像素，否则基于该第一背景分布模型使用单一背景分布模型处理该像素。本发明另提供一种前景对象检测装置，用于多个深度图像中像素，该前景对象检测装置包括接收模块，用于从该多个深度图像中接收该像素的深度值；判定模块，耦接于该接收模块，用于判定是否该像素可以第一背景分布模型表示；更新模块，耦接于该判定模块，如果该像素可以该第一背景分布模型表示，则根据该像素的该深度值更新该第一背景分布模型；标记模块，耦接于该判定模块，如果该像素可以该第一背景分布模型表示，则将该像素的代表值标记为第一背景；而如果该像素位于该第一背景之前，则将该像素的该代表值标记为前景，且该标记模块输出提供该像素的该代表值；以及处理模块，耦接于该判定模块，如果该像素位于该第一背景之后，则该处理模块处理备用背景模型。本发明还提供一种背景检测装置，用于多个深度图像中多个对象边沿周围的像素，其中，该多个深度图像使用第一背景分布模型或该第一背景分布模型与第二背景分布模型的混合，该背景检测装置包括接收模块，用于从该多个深度图像中接收该像素的深度值；判定模块，耦接于该接收模块，用于判定是否该像素可以第一背景分布模型表示；更新模块，耦接于该判定模块，如果该像素可以该第一背景分布模型表示，根据该深度值更新该第一背景分布模型；而如果该像素在对应于该第一背景分布模型的背景之前，跳过更新该第一背景分布模型；处理模块，耦接于该判定模块，该处理模块包括创建模块、频率估计模块、丢弃模块以及替换模块；其中，如果该像素在对应于该第一背景分布模型的该背景之后，创建模块建立候选背景分布模型，且该频率估计模块估计第一发生频率与第二发生频率，该第一发生频率与该第二发生频率分别对应于由该第一背景分布模型或该候选背景分布模型表示该像素的发生频率；如果该第一发生频率与该第二发生频率表示高发生频率，该创建模块从该候选背景分布模型中建立该第二背景分布模型的模块；如果该第一发生频率表示高发生频率且该第二发生频率表示低发生频率，该丢弃模块丢弃该候选背景分布模型；如果该第一发生频率表示低发生频率且该第二发生频率表示高发生频率，该替换模块以该候选背景分布模型替换该第一背景分布模型；以及如果该第二背景分布模型存在，使用该第一背景分布模型与该第二背景分布模型的该混合处理该像素，否则基于该第一背景分布模型使用单一背景分布模型处理该像素。本发明提供的前景对象检测方法可实现简单而实用的基于深度图像的前景对象检测。
图1为通过减去已知背景基于色彩/强度图像的简单前景检测示意图；图2为使用三种高斯分布的MOG方法的实例示意图；图3为前景中对应两个人物主体的深度图像示意图；图4为使用深度相机撷取深度图像的方案示意图；图5为对应上述过程的流程图；图6为根据本发明一个实施例基于深度信息的背景确定示意图；图7为根据本发明一个实施例的高斯模型更新过程的流程图8为根据本发明一个实施例包括改进的背景更新过程且同时处理无意义像素的系统流程图；图9为基于具有混合的两个高斯模型的深度信息的背景确定示意图；图10为根据本发明一个实施例基于深度信息的前景对象检测结果示意图；图1lA为根据本发明的一个实施例的前景对象检测装置的方块示意图；图1lB为图1lA中处理模块的方块示意图；图12为根据本发明的一个实施例的背景对象检测装置的方块示意图。
具体实施例方式在说明书及权利要求书当中使用了某些词汇来指称特定的元件。所属技术领域的技术人员应可理解，硬件制造商可能会用不同的名词来称呼同一个元件。本说明书及权利要求书并不以名称的差异作为区分元件的方式，而是以元件在功能上的差异作为区分的准贝U。在通篇说明书及权利要求项中所提及的「包含」为一开放式的用语，故应解释成「包含但不限定于」。此外，「耦接」一词在此包含任何直接及间接的电气连接手段。因此，若文中描述第一装置耦接于第二装置，则代表第一装置可直接电气连接于第二装置，或透过其它装置或连接手段间接地电气连接至第二装置。
前景对象检测是将自相机撷取的图像中的前景对象与背景分离的过程。前景对象具有各种应用，例如视频监视或基于对象的视频编码。前景对象检测方法通常基于背景相减法，该背景相减法假设随时间推移相机为固定的且可创建并更新背景模型，当接收到新视频帧时，从新视频帧中减去背景模型来获取前景对象，且同时使用新视频帧更新背景模型。图1为通过减去已知背景基于色彩/强度图像的简单前景检测示意图。图1所示方法为常规方法的关键概念，常规方法假设可建立图像100中的背景110。当接收包括前景对象120的新图像100’时，通过从新图像100’中减去背景图像110获取前景对象120。基于背景相减法的许多前景对象检测方法已在文献中有所描述，其中，主要使用强度显像相机(intensity camera)(简称强度相机)或热显像相机(thermal camera)撷取图像。上述前景对象检测方法的主要概念为假设可事先建立背景模型。并且假设相机为固定且最初场景为空白。然而，最初场景为空白的需求限制性极大从而无法满足真实环境的需求。本领域存在若干实际应用的流行技术，包括MOG法、KDE法以及编码本法。上述方法的主要区别在于如何表示前景或背景、如何确定背景以及如何更新模型。MOG法由Stauffer和Grimson在题为“实时追踪的调适性背景混合模型”的论文中所揭示(IEEE计算机视觉与模式识别国际会议，卷2，第246-252页，1999年8月)。MOG法将前景和背景中的每个像素表示为混合的高斯分布。如果像素的降序排列高斯分布(decreasingly sorted Gaussian distribution)的加权和值大于预定义阈值，则将该像素看作背景。根据MOG法，每个像素的最近历史{X1; . . . , XJ是由K个高斯分布的集合建
立模型。观察到当前像素值的概率为
啊)=f 叼
(I)
其中，K为高斯分布数目，为时间t时集合中的第i个高斯分布的估计权重，μ ijt为时间t时集合中的第i个高斯分布的平均值，Σ ijt为时间t时集合中的第i个高斯分布的协方差矩阵，且H为高斯分布概率密度函数。图2为使用210、220、230三种高斯分布的MOG方法的实例示意图。模型更新规则也在Stauffer和Grimson的论文中有所描述。如果像素的新值可以高斯分布表示，对应的高斯分布得到更新且其他分布的权重减少。如果新值不可以高斯分布表示，且高斯分布的现存数目少于预定义数目，则增加新的高斯分布。否则，标记并替换现存高斯分布中的一个。Stauffer和Grimson也揭示一种背景模型估计方法，其中高斯分布以ω/δ的值排序，ω为权重且δ为对应高斯分布的标准差。将最前面的B个高斯分布选作背景模型，其中
权利要求
1.一种前景对象检测方法，用于检测多个深度图像中的像素，该前景对象检测方法包括 从该多个深度图像中接收该像素的深度值； 如果该像素以第一背景分布模型表示，根据该深度值更新该第一背景分布模型，且将该像素的代表值标记为第一背景； 如果该像素位于该第一背景之后，处理备用背景模型； 如果该像素位于该第一背景之前，将该像素的该代表值标记为前景；以及 提供该像素的该代表值。
2.如权利要求1所述的前景对象检测方法，其特征在于，如果该像素的深度值在一个范围之内，该范围覆盖对应于该第一背景分布模型的第一值，则该像素以该第一背景分布模型表示。
3.如权利要求2所述的前景对象检测方法，其特征在于，该第一背景分布模型符合高斯分布模型，该高斯分布模型具有平均值或标准差，其中，该第一值与该平均值相关且该范围与该标准差相关。
4.如权利要求2所述的前景对象检测方法，其特征在于，如果该深度值大于该第一值，该像素位于该第一背景之后。
5.如权利要求2所述的前景对象检测方法，其特征在于，如果该深度值小于该第一值，该像素位于该第一背景之前。
6.如权利要求1所述的前景对象检测方法，其特征在于，更包括，如果该第一背景分布模型不存在，建立新的第一背景分布模型。
7.如权利要求6所述的前景对象检测方法，其特征在于，根据先前帧中的对应像素的先前深度值，建立该新的第一背景分布模型。
8.如权利要求6所述的前景对象检测方法，其特征在于，该新的第一背景分布模型的平均值对应于该像素值或先前帧中对应像素的先前深度值。
9.如权利要求1所述的前景对象检测方法，其特征在于，更包括检查是否该深度值为有意义的，且如果该深度值为无意义的，在所述的接收该深度值之后，将该像素的该指示标记为该第一背景。
10.如权利要求1所述的前景对象检测方法，其特征在于，根据该深度值或先前帧中对应像素的先前深度值，所述的处理备用背景模型以新的第一背景分布模型替换该第一背景分布模型。
11.如权利要求10所述的前景对象检测方法，其特征在于，该第一背景分布模型符合第一高斯分布，该第一高斯分布具有第一平均值和第一标准差，其中，该深度值用作该第一平均值且预定义值用作该第一标准差。
12.如权利要求1所述的前景对象检测方法，其特征在于，所述的处理备用背景模型包括 如果第二背景分布模型不存在，根据该深度值建立该第二背景分布模型； 如果噪声估计表示对应于该第二背景分布模型的第二背景为真实背景，则以该第二背景分布模型替换该第一背景分布模型；以及 如果该噪声估计表示该第二背景为噪声，则丢弃该第二背景分布模型。
13.如权利要求12所述的前景对象检测方法，其特征在于，该噪声估计基于该像素以该第二背景分布模型表示的发生频率。
14.如权利要求13所述的前景对象检测方法，其特征在于，如果该第二背景分布模型代表该像素则增加该发生频率，否则减少该发生频率。
15.如权利要求14所述的前景对象检测方法，其特征在于，如果该发生频率大于高的阈值，则表示该第二背景为该真实背景。
16.如权利要求14所述的前景对象检测方法，其特征在于，如果该发生频率小于低的阈值，则表示该第二背景为该噪声。
17.如权利要求1所述的前景对象检测方法，其特征在于，更包括提供对应于该像素的该代表值的背景置信度。
18.如权利要求17所述的前景对象检测方法，其特征在于，该背景置信度与第一计数a相关、第二计数z相关以及第三计数t相关，其中，该第一计数a对由该第一背景分布模型表示的该像素进行计数，该第二计数z对无意义的该像素进行计数，该第三计数t对作为该第一背景的该像素进行计数。
19.如权利要求1所述的前景对象检测方法，其特征在于，该第一背景分布模型符合固定背景分布模型，该固定背景分布模型具有第一值和第二值，其中，如果该深度值与该第一值之间的差值在误差容忍度之内，则该像素以该第一背景分布模型表示，其中，该误差容忍度对应于该第二值,该第一值与该第二值为不可更新的。
20.如权利要求19所述的前景对象检测方法，其特征在于，将在该像素处所观察的最大深度值选作该第一值。
21.一种背景检测方法，用于多个深度图像中多个对象边沿周围的像素，其中，该多个深度图像使用第一背景分布模型或该第一背景分布模型与第二背景分布模型的混合，该背景检测方法包括 从该多个深度图像中接收该像素的深度值； 如果该像素以该第一背景分布模型表示，根据该深度值更新该第一背景分布模型； 如果该像素在对应于该第一背景分布模型的背景之前，跳过更新该第一背景分布模型； 如果该像素在对应于该第一背景分布模型的该背景之后，建立候选背景分布模型并估计第一发生频率与第二发生频率，该第一发生频率与该第二发生频率对应于由该第一背景分布模型或该候选背景分布模型分别表示的该像素； 如果该第一发生频率与该第二发生频率表示高发生频率，从该候选背景分布模型中建立该第二背景分布模型； 如果该第一发生频率表示高发生频率且该第二发生频率表示低发生频率，丢弃该候选背景分布模型； 如果该第一发生频率表示低发生频率且该第二发生频率表示高发生频率，以该候选背景分布模型替换该第一背景分布模型；以及 如果该第二背景分布模型存在，使用该第一背景分布模型与该第二背景分布模型的该混合处理该像素，否则基于该第一背景分布模型使用单一背景分布模型处理该像素。
22.—种前景对象检测装置，用于多个深度图像中像素，该前景对象检测装置包括接收模块，用于从该多个深度图像中接收该像素的深度值； 判定模块，耦接于该接收模块，用于判定是否该像素以第一背景分布模型表示； 更新模块，耦接于该判定模块，如果该像素以该第一背景分布模型表示，则根据该像素的该深度值更新该第一背景分布模型； 标记模块，耦接于该判定模块，如果该像素以该第一背景分布模型表示，则将该像素的代表值标记为第一背景；而如果该像素位于该第一背景之前，则将该像素的该代表值标记为前景，且该标记模块输出提供该像素的该代表值；以及 处理模块，耦接于该判定模块，如果该像素位于该第一背景之后，则该处理模块处理备用背景模型。
23.如权利要求22所述的前景对象检测装置，其特征在于，该处理模块包括 创建模块，如果第二背景分布模型不存在，该创建模块根据该深度值建立该第二背景分布模型； 噪声估计模块，用于对该像素的该深度值进行噪声估计； 替换模块，耦接于该噪声估计模块，如果该噪声估计表示对应于该第二背景分布模型的第二背景为真实背景，该替换模块以该第二背景分布模型替换该第一背景分布模型；以及 丢弃模块，耦接于该噪声估计模块，如果该噪声估计表示该第二背景为噪声，该丢弃模块丢弃该第二背景分布模型。
24.一种背景检测装置，用于多个深度图像中多个对象边沿周围的像素，其中，该多个深度图像使用第一背景分布模型或该第一背景分布模型与第二背景分布模型的混合，该背景检测装置包括 接收模块，用于从该多个深度图像中接收该像素的深度值； 判定模块，耦接于该接收模块，用于判定是否该像素以第一背景分布模型表示； 更新模块，耦接于该判定模块，如果该像素以该第一背景分布模型表示，根据该深度值更新该第一背景分布模型；而如果该像素在对应于该第一背景分布模型的背景之前，跳过更新该第一背景分布模型； 处理模块，耦接于该判定模块，该处理模块包括创建模块、频率估计模块、丢弃模块以及替换模块；其中，如果该像素在对应于该第一背景分布模型的该背景之后，创建模块建立候选背景分布模型，且该频率估计模块估计第一发生频率与第二发生频率，该第一发生频率与该第二发生频率分别对应于由该第一背景分布模型或该候选背景分布模型表示该像素的发生频率；如果该第一发生频率与该第二发生频率表示高发生频率，该创建模块从该候选背景分布模型中建立该第二背景分布模型的模块；如果该第一发生频率表示高发生频率且该第二发生频率表示低发生频率，该丢弃模块丢弃该候选背景分布模型；如果该第一发生频率表示低发生频率且该第二发生频率表示高发生频率，该替换模块以该候选背景分布模型替换该第一背景分布模型；以及 如果该第二背景分布模型存在，使用该第一背景分布模型与该第二背景分布模型的该混合处理该像素，否则基于该第一背景分布模型使用单一背景分布模型处理该像素。
全文摘要
本发明提供一种前景对象检测方法与装置及背景检测方法与装置。其中，前景对象检测方法用于检测深度图像中的像素，前景对象检测方法包括从该多个深度图像中接收该像素的深度值；如果该像素可以第一背景分布模型表示，根据该深度值更新该第一背景分布模型，且将该像素的代表值标记为第一背景；如果该像素位于该第一背景之后，处理备用背景模型；如果该像素位于该第一背景之前，将该像素的该代表值标记为前景；以及提供该像素的该代表值。本发明提供的前景对象检测方法可实现简单而实用的基于深度图像的前景对象检测。
文档编号G06T7/00GK103034991SQ20121000919
公开日2013年4月10日 申请日期2012年1月12日 优先权日2011年9月29日
发明者张涛, 蔡玉宝 申请人:联发科技(新加坡)私人有限公司