专利名称：图像处理设备和图像处理方法
技术领域：
本发明一般涉及用于从视频序列中检测运动对象的图像处理设备和图像处理方 法，尤其涉及基于高斯混合模型来区分视频序列的图像中背景与前景的图像处理设备和图 像处理方法。
背景技术：
随着视频图像处理技术的发展，人们已经不满足于视频图像的捕捉、编/解码和 传输，而是对视频图像中运动对象的识别、分析和处理提出了更多的要求。为满足这些要 求，基础的工作是从视频序列中分割出运动对象，即区分运动前景和背景。目前，运动对象检测的问题主要分为两类，摄像机固定和摄像机运动。对于摄像 机固定的情形，前景是指在假设背景为静止的情况下，任何有意义的运动对象即为前景。 相对比地，背景的变化是缓慢的，而且主要是由于光照，风等等的影响。通常采用高斯混 合模型来对背景进行建模，在视频序列的图像中分离出前景和背景。在Chris Stauffer 禾口 W. E. L. Grimson 的 文 章"Adaptive background mixture models for real-time tracking，，，1999 IEEE Computer Society Conference on Computer Vision and Pattern Recognition(CVPR' 99)-Volume 2，pp. 2M6，1999中描述了如何采用高斯混合模型对背 景进行建模以及如何在图像中区分前景和背景。
发明内容
由于存在光线变化、风吹导致的慢速摆动等因素，背景中会存在缓慢的变化。在基 于高斯混合模型的各种方案中，能够根据学习速率α和P来更新模型，以适应背景的这种 改变。然而如果背景改变的速度超过高斯混合模型的学习速度，则背景改变会被误检为前 景，从而提高背景噪声。虽然高的学习速率α和P使得高斯混合模型能够适应快的背景 改变，然而也提高了将运动对象误检为背景，从而丢失前景的概率。调节高斯混合模型的学 习速度显然不是解决问题的优选途径。在基于高斯混合模型的各种方案中，图像的每个像素均有一个高斯混合模型，其 由多个高斯分布组成。当判断一个像素是背景像素还是前景像素时，根据相应高斯混合模 型求出与该像素的值匹配的各个高斯分布的权重和。如果权重和超过预定阈值，则判断该 像素为背景像素，否则为前景像素。此外，还对高斯混合模型进行更新。在更新过程中，对 于与该像素的值匹配成功的高斯分布，提高匹配成功的高斯分布在高斯混合模型中的权重 并更新其模型参数；对于与该像素的值未匹配成功的高斯分布，降低未匹配成功的高斯分 布在高斯混合模型中的权重。只要匹配成功，便对高斯分布的参数进行更新。然而并非所有的更新都是有益的。 例如，有关像素的值与高斯分布是否匹配的判断依据是高斯分布的后验概率大小。然而在 更新过程中，高斯分布的后验概率大小与像素的值的稳定性相关。具体地，高斯混合模型的 第k个高斯分布的后验概率为
权利要求
1.一种图像处理设备，包括判断装置，其针对输入图像的每个像素，利用所述像素的高斯混合模型来确定所述像 素是背景像素还是前景像素；识别装置，其通过模式识别方法从前景像素中识别预定对象，并且将所述前景像素中 未识别为所述预定对象的前景像素最终确定为背景像素；和更新装置，其针对输入图像的每个像素，根据有关所述像素是背景像素还是前景像素 的确定结果来更新所述像素的高斯混合模型。
2.如权利要求1所述的图像处理设备，其中，所述识别装置包括前景分割单元，其将所述判断装置确定的前景像素划分为一或多个前景单连通区域； 识别单元，其通过模式识别方法确定每个所述前景单连通区域是否所述预定对象；和 修正单元，其将未被确定为所述预定对象的前景单连通区域的像素最终确定为背景像素。
3.如权利要求2所述的图像处理设备，还包括前景补偿装置，其将被识别为所述预定对象的前景单连通区域中由所述判断装置确定 的背景像素最终确定为前景像素。
4.如权利要求3所述的图像处理设备，其中，所述前景补偿装置包括背景分割单元，其将被识别为所述预定对象的前景单连通区域中由所述判断装置确定 的背景像素划分为一或多个背景单连通区域；和补偿单元，其在每个所述背景单连通区域的大小与其所处的被识别为所述预定对象的 前景单连通区域的大小的比值小于预定阈值的情况下，将所述背景单连通区域的像素最终 确定为前景像素。
5.如权利要求1所述的图像处理设备，其中，所述更新装置包括确认单元，其针对所述高斯混合模型中每个被更新的高斯分布，确认所述被更新的高 斯分布的参数是否满足预定条件；和恢复单元，其在所述被更新的高斯分布的参数不满足所述预定条件的情况下，将所述 被更新的高斯分布恢复到更新前的状态。
6.如权利要求5所述的图像处理设备，其中所述预定条件为协方差矩阵Σk的行列式 Σ k11/2大于预定阈值。
7.如权利要求1所述的图像处理设备，其中，所述更新装置被配置为对于所更新的高 斯混合模型，根据所述像素与所更新的高斯混合模型的各个高斯分布的匹配程度来重新划 分背景模型和前景模型，其中按照匹配程度由高到低的顺序排列各个高斯分布。
8.一种图像处理方法，包括判断步骤，针对输入图像的每个像素，利用所述像素的高斯混合模型来确定所述像素 是背景像素还是前景像素；识别步骤，通过模式识别方法从前景像素中识别预定对象，并且将所述前景像素中未 识别为所述预定对象的前景像素最终确定为背景像素；和更新步骤，针对输入图像的每个像素，根据有关所述像素是背景像素还是前景像素的 确定结果来更新所述像素的高斯混合模型。
9.如权利要求8所述的图像处理方法，其中，所述识别步骤包括将所述判断步骤确定的前景像素划分为一或多个前景单连通区域； 通过模式识别方法确定每个所述前景单连通区域是否所述预定对象；和 将未被确定为所述预定对象的前景单连通区域的像素最终确定为背景像素。
10.如权利要求9所述的图像处理方法，还包括前景补偿步骤，将被识别为所述预定对象的前景单连通区域中由所述判断步骤确定的 背景像素最终确定为前景像素。
11.如权利要求10所述的图像处理方法，其中，所述前景补偿步骤包括将被识别为所述预定对象的前景单连通区域中由所述判断步骤确定的背景像素划分 为一或多个背景单连通区域；和在每个所述背景单连通区域的大小与其所处的被识别为所述预定对象的前景单连通 区域的大小的比值小于预定阈值的情况下，将所述背景单连通区域的像素最终确定为前景 像素。
12.如权利要求8所述的图像处理方法，其中，所述更新步骤包括针对所述高斯混合模型中每个被更新的高斯分布，确认所述被更新的高斯分布的参数 是否满足预定条件；和在所述被更新的高斯分布的参数不满足所述预定条件的情况下，将所述被更新的高斯 分布恢复到更新前的状态。
13.如权利要求12所述的图像处理方法，其中所述预定条件为协方差矩阵Σk的行列 式I EkI"2大于预定阈值。
14.如权利要求8所述的图像处理方法，其中，所述步骤包括对于所更新的高斯混合模型，根据所述像素与所更新的高斯混合模型的各个高斯分布 的匹配程度来重新划分背景模型和前景模型，其中按照匹配程度由高到低的顺序排列各个 高斯分布。
15.一种图像处理设备，包括判断装置，其针对输入图像的每个像素，利用所述像素的高斯混合模型来确定所述像 素是背景像素还是前景像素；和更新装置，其针对输入图像的每个像素，根据有关所述像素是背景像素还是前景像素 的确定结果来更新所述像素的高斯混合模型， 其中，所述更新装置包括确认单元，其针对所述高斯混合模型中每个被更新的高斯分布，确认所述被更新的高 斯分布的参数是否满足预定条件；和恢复单元，其在所述被更新的高斯分布的参数不满足所述预定条件的情况下，将所述 被更新的高斯分布恢复到更新前的状态。
16.如权利要求15所述的图像处理设备，其中所述预定条件为协方差矩阵Σk的行列 式I EkI"2大于预定阈值。
17.一种信息处理设备，包括如权利要求1至7和权利要求15至16之一所述的图像处 理设备。
全文摘要
公开了一种图像处理设备和图像处理方法。图像处理设备包括判断装置，其针对输入图像的每个像素，利用所述像素的高斯混合模型来确定所述像素是背景像素还是前景像素；识别装置，其通过模式识别方法从前景像素中识别预定对象，并且将所述前景像素中未识别为所述预定对象的前景像素最终确定为背景像素；和更新装置，其针对输入图像的每个像素，根据有关所述像素是背景像素还是前景像素的确定结果来更新所述像素的高斯混合模型。
文档编号G06K9/62GK102087707SQ20091025135
公开日2011年6月8日 申请日期2009年12月3日 优先权日2009年12月3日
发明者吴伟国, 张斯聪 申请人:索尼株式会社