专利名称：前景图像分离方法
技术领域：
本发明涉及摄影监视系统，尤其涉及不受照明光线变化的前景分离技术。
背景技术：
为维护社会治安和提升犯罪事件的破案率，在各种公共场所广设监视摄影机进行 全天候二十四小时监控搜证已是现代社会中一种必要的措施。由于所搜集的图像数量非常 庞大，已经不是只用少数安全人员足以应付实际的需求。因此使用机器进行初步过滤监视 影片或缩小寻找关键图像的范围，然后再提供人员进行确认已是目前视频监控自动化设备 研发的主要方向。图1为一已知的视频处理系统。主要的功能模块可分为前端的摄影机102和后 端的图像分析器110。基于全天候监控的需要，所以前端摄影机102必须具备自动白平衡 (automatic white balance)或曝光控制(exposure control)的功能。然而，这样的自云力 调整功能却可能使图像分析器110进行移动物体的前景图像分离时发生困难。因此，提升 视频监控系统在不同光线照明条件的可靠度成为当前热门的研究课题，也是促使本专利发 明的研发动机。摄影机102的自动白平衡功能虽可改善不同光线照射条件下的取像品质，然而动 态出现的前景物颜色却也可能启动该自动调整机制而瞬间改变背景图像的色调，因此影响 在红蓝绿颜色空间的前景图像分离效果。由于在绝大部分的监控系统中，前端的摄影机102 和后端的图像分析器110通常为分开的独立系统，而且前端摄影机102并不传送前述自动 调整的参数信息给后端进行图像处理的图像分析器110，因此图像分析器110若要补正前 述的问题必须设法自行估测调整参数。目前解决摄影机自动白平衡问题的方法，例如采用 图像边线(edge)或区域二阶样型(local binary pattern)的图像纹理(texture)特征虽 可相当程度改善此问题，但由在此类参数特性和颜色参数之间有一些互补性的差异，因此 若仅使用图像纹理特征参数在某些状况下的前景分离效果并不理想。
发明内容
有鉴于此，本发明提出一种补正自动白平衡或曝光控制的方法，使得背景图像的 颜色和亮度可维持稳定以利采用背景相减法(backgroimdsubtraction)的前景图像分离 技术。在一前景图像分离方法的实施例中，首先从该摄影机接收一输入图像。接着根 据内存的参考图像对该输入图像进行白平衡或亮度补偿，产生一补偿图像，使该补偿图像 与该参考图像的至少部分对应区域具有一致的颜色和亮度。最后将该补偿图像进行一背 景相减演算法，以产生一背景分离结果。当该摄影机产生输入图像持续进行时，而该白 平衡或亮度补偿步骤持续执行。该背景相减演算法可以是一种高斯混合模型(Gaussian MixtureModel)演算法。
图1为已知的监控系统架构图；图2为本发明实施例的图像监控系统架构图；图3为本发明提出的前景图像分离方法流程图；图4a为本发明补偿白平衡的方法流程图；图4b及图4c为比较图像特征的示意图；图4d为直方图的示意图；图5为背景相减演算法产生的一背景遮罩示意图。主要元件符号说明102摄影机110图像分析器200补偿单元210图像分析器220参考图像更新单元#REF参考图像410参考图像420输入图像500背景遮罩510前景部分
具体实施例方式图2为本发明实施例的图像监控系统架构图。一摄影机102在前端持续地捕捉着 图像。但是各种不同颜色和亮度的动态物体可能会不时地进入摄影机102的摄影范围，致 使摄影机102随之调整曝光值以及白平衡参数，以保持整体画面的取像品质。当摄影机102 所获取的输入图像#IN中有动态物体出现时，背景的颜色和亮度可能会随着摄影机102的 自动调节而偏离原来的值。这种差异会导致传统的图像分析器110无法正确的将前景和背 景分离出来。本发明提出一种补偿单元200，耦接该摄影机102的输出端，可以修正该摄影 机102造成的背景颜色和亮度偏移。一般来说，该摄影机102是持续性进行拍摄，视应用需求的不同，每秒可能产生十 至三十(或更多)个输入图像#IN。而本发明的补偿单元200亦持续执行着颜色增益补偿 步骤。简单地说，颜色增益的补偿步骤涵盖了白平衡和亮度的调整。本发明实施例提供一 参考图像#REF，做为白平衡和亮度的补偿基准。该参考图像#REF的产生方式与更新方式将 于后段详述。每当该补偿单元200从该摄影机102接收一个输入图像#IN，就根据参考图 像#REF对该输入图像#IN进行颜色增益的补偿步骤，以产生具有与该参考图像#REF大致 相同的背景颜色和亮度的补偿图像#IN’。藉此，后续的图像分析器210，可接着将该补偿图 像#IN’进行一背景相减演算法，在不受到白平衡和亮度偏移的影响下，准确地将前景与背 景分离。基本上现今已有许多演算法可用来分离前景和背景，举例来说，该图像分析器210 可执行高斯混合模型(Gaussian Mixture Model)演算法，而所产生的背景分离结果#BG以 前景物图像或者背景遮罩的方式呈现。高斯混合模型的原理，简而言之，是将每次输入的该 补偿图像的特征值以可适性的渐进方式更新至一高斯混合模型中，并使用该高斯混合模型 为静态背景将该补偿图像进行一减法运算，藉此将动态前景与静态背景分离开来。关于参考图像#REF的产生方式，基本上源自输入图像#IN。更确切地说，参考图像 #REF的物理意义实质上就是一张动态物体稀少的静态背景画面。举例来说，随着时间的变 化，照明光线可能会有日夜差异，尤其是晨昏时刻变化颇大。为渐次调适照明稳定变化的趋势，该参考图像更新单元220可以利用输入图像#IN的背景分离结果#BG计算该输入图像 #IN中内含动态物体图像面积的数值，以决定是否选择该输入图像#IN更新参考图像#REF。图3为本发明提出的前景图像分离方法流程图。如图2所示的监控系统，在步骤 301中启动。首先在步骤303中，摄影机102开始接收输入图像#IN。在步骤305中，补偿 单元200检查该参考图像更新单元220是否准备好参考图像#REF以做为白平衡补偿的依 据。如果参考图像#REF已经准备就绪，则进行步骤309，由该补偿单元200接收由摄影机 102传来的输入图像#IN，并根据该参考图像#REF将该输入图像#IN进行白平衡或亮度补 偿，以产生一补偿图像#IN’，具有与该参考图像#REF的至少部分对应区域具有一致的颜色 或亮度。接着在步骤311中，由该图像分析器210对该补偿图像#IN’进行一背景相减演算 法，以产生一背景分离结果fflG。另一方面，如果步骤305中判断该参考图像更新单元220 尚未提供一参考图像#REF，则进行步骤307，在不使用补偿单元200的前提下，直接由该图 像分析器210对该输入图像#IN进行一背景相减演算法，以产生一背景分离结果1 6。在步 骤307或311各自根据不同来源产生背景分离结果#BG之后，接着进行步骤313，由该参考 图像更新单元220根据背景分离结果#BG判断属于前景的像素占该输入图像#IN的比率。 如果前景像素的比率小于预设值，则进行步骤315，该参考图像更新单元220将该输入图像 #IN设定为参考图像#REF。相对的，如果前景像素的比率过高，则跳至步骤317，不更新参考 图像#REF。在步骤315和317结束之后，流程递回执行步骤303，周而覆始的接收并补偿输 入图像，并更新参考图像。图4a为本发明补偿白平衡的方法流程图。在补偿单元200中所进行的程序，可 搭配图4b至图4d —并说明。首先在步骤401中，启动该补偿单元200并开始接收输入图 像#IN。在步骤403中，该补偿单元200将输入图像#IN以及参考图像#REF各别切割为相 同数量及大小的区块，两者的区块有一对一的对应位置关系。举例来说，图4b的参考图像 410被切成3x3个小区块，其中ifef (x，y)代表该参考图像410中横轴第x个纵轴第y个区 块。每一小区块包含多个像素，而这些像素颜色值可以用来计算该小区块的特征值，例如包 含红、绿、蓝特征值(巧，&，!^)。同样地，在图4c中显示一输入图像420也被切成3x3个小 区块，其中ut(X，y)代表该输入图像420中横轴第x个纵轴第y个区块，其中包含的红、绿、 蓝特征值表示为(r2, g2, b2)。特征值的计算方式可以有很多种。一种方法是计算每一区块中所有像素值的平均 值。举例来说，一特定区块的红、绿、蓝特征值各别为该区块的所有红像素值的平均值、所有 绿像素值的平均值、以及所有蓝像素值的平均值。另一种方式是以最大值来代表特征值。举 例来说，一特定区块的红、绿、蓝特征值是各别为该区块的所有红像素值中的最大值、所有 绿像素值中的最大值、以及所有蓝像素值中的最大值。另一个例子是，将前述的红、绿、蓝特 征值分别乘以预设的权重然后合并成一灰阶亮度值，并以此灰阶亮度值当作区块代表特征 值。灰阶亮度值的计算方式，已有许多已知做法，故在此不再详细说明。本发明也是有可能 采用其他的方式来表达特征，但基本上都是根据红、绿、蓝色值来计算而得的。在获取上述参考图像410和输入图像420中每一区块的特征值后，接着进行步骤 405，将该参考图像410中每一区块的特征值，除以该输入图像420对应区块的特征值，得到 多个比值。以参考图像410中的区块ifef(x，y)和输入图像420中对应区块dO^y)为例， 可以得到红色比值(ri/r2)，绿色比值(gl/&)以及蓝色比值(bi/b2)。本实施例中因为总共有9个区块，所以红色比值、绿色比值以及蓝色比值各有9组。在步骤407中，该补偿单元200接着分别统计这些红色比值、绿色比值及蓝色比值 的分布情形，以各别产生一红色补偿系数、一绿色补偿系数以及一蓝色补偿系数。统计的方 法可以参考第4d图，采用直方图的方式。该补偿单元200在统计这些比值的分布情形时， 以这些比值为样本，将这些比值的数值范围画分为多个数值区间Q到Cn(N为自然数)，以 产生一直方图，用以统计落在每一数值区间中的样本数量。区间值为事先预定值，其值可设 为0.01至0. 05之间。接着在步骤409中，该补偿单元200选取该直方图中样本数量最高之一数值区间 所对应的数值，作为该补偿系数。举例来说，在第4d图中，显示在数值范围Q这个区间，比 值样本的出现率最高。藉此可推断，该参考图像410和输入图像420中虽然可能有小部分 画面受到前景物体的变化而有差异，但是大部分背景部分的像素颜色值只是单纯的发生某 一比例的偏移。所以第4d图中数值区间CK所代表的数值，有很大的机率就是该偏移比值。 只要求出这些背景部分的偏移比值，就能据以将整个输入图像420的像素颜色值以乘法的 方式补偿回来。基于这个原理，在步骤411中，该补偿单元200将该输入图像420中的所有像素颜 色值乘上由步骤409所决定的补偿系数，就此产生补偿图像#IN’。值得一提的是，图4b和图4c虽然将参考图像410和输入图像420切成3x3个小 区间，但是为了增加准确率，实际运作上可能是以每区间10x10或20x20像素的方式去切割 该参考图像410和输入图像420。因此总共的区间数量，依照参考图像410和输入图像420 的原始长宽值而定。另一方面，需考量统计上的可靠度。如果因为监控到繁忙的交通，导致参考图像 410和输入图像420的差异很大，使得这些比值在第4d图中的分布情形没有那么理想的时 候，就必须进一步检查可靠度。举例来说，如果该直方图中样本数量最多的一数值区间(^所 包含的样本数量未超过所有区块总数的一可靠比例，则不进行补偿以避免发生错误。经过 实测经验，该可靠比例设置为百分之五可以得到较佳的结果。如前所述，本发明的实施例主要基于各个像素颜色值来运算。例如颜色特征值如 果依红、绿、蓝三原色分别处理，故虽然没有一一详细举例，但是可以理解的是上述特征值 包含红特征值、绿特征值以及蓝特征值，上述补偿系数包含一红补偿系数，一绿补偿系数及 一蓝补偿系数，上述比值包含红比值，绿比值以及蓝比值，上述直方图包含红直方图，绿直 方图及蓝直方图，而该补偿图像#IN’由该输入图像#IN中的每一红、绿、蓝色像素值分别乘 上该红补偿系数，该绿补偿系数及该蓝补偿系数而得。更进一步地说，该摄影机也可能是一台黑白摄影机，因此输入图像420没有白平 衡问题，只有曝光值偏移的问题。而本发明实施例的颜色增益补偿步骤，也可适用于此类图 像。在计算输入图像的特征值时，可直接计算该输入图像中各个区块的平均灰阶值或最大 灰阶值作为每一区块的代表特征值。而求出补偿系数后，则直接针对灰阶像素值进行相乘， 使补偿图像#IN’的亮度获得校正。图5为背景相减演算法产生的一背景遮罩示意图。在图像分析器210输出一背景 分离结果#86后，可以背景遮罩的形式将前景和后景区分开来。背景遮罩500中属于背景 的部分是以全黑的方式呈现，而属于前景的部分510，例如一个人形，则以全白的方式呈现。只要该背景遮罩500中全白部分占的比例够低，就可以被选用来当做参考图像。在本实施 例中，只要前景部分占去的面积低于全背景遮罩500的5%，就可用来当做参考图像。
虽然本发明以优选实施例说明如上，但可以理解的是本发明的范围未必如此限 定。相对的，任何基于相同精神或对本发明所属领域技术人员为显而易见的改良皆在本发 明涵盖范围内。因此专利要求范围必须以最广义的方式解读。
权利要求
1.一种前景图像分离方法，用以从自动白平衡调整和亮度改变的输入图像中分离出静 态背景和动态前景，包含提供一参考图像，做颜色增益的补偿基准； 从该摄影机接收一输入图像；根据该参考图像对该输入图像进行一颜色增益补偿步骤，产生一补偿图像，使该补偿 图像与该参考图像的至少部分对应区域具有一致的颜色和亮度； 将该补偿图像代入一背景相减演算法，以产生一背景分离结果。
2.如权利要求1所述的前景图像分离方法，其中该摄影机连续地产生输入图像，而该 颜色增益补偿步骤被连续执行以持续产生补偿图像。
3.如权利要求2所述的前景图像分离方法，其中该背景相减演算法为一高斯混合模 型演算法，将每次代入的该补偿图像的特征值以可适性的渐进方式更新至一高斯混合模型 中，并使用该高斯混合模型为静态背景将该补偿图像进行一减法运算，而产生该背景分离 结果。
4.如权利要求2所述的前景图像分离方法，其中该颜色增益补偿步骤包含 计算该参考图像与该输入图像的颜色特征；比较该参考图像与该输入图像的颜色特征，以产生至少一补偿系数；以及 将该输入图像的像素颜色值乘上该补偿系数，以产生该补偿图像。
5.如权利要求4所述的前景图像分离方法，其中计算该参考图像与该输入图像的颜色 特征的步骤包含将该参考图像及该输入图像各别切割为相同数量及大小的区块，两者的区块有一对一 的对应位置关系；根据每一区块的像素颜色值计算每一区块的特征值；将该参考图像的每一区块的特征值，除以该输入图像对应区块的特征值，得到多个对 应每一区块的比值；统计这些比值的分布情形，以产生该补偿系数。
6.如权利要求5所述的前景图像分离方法，其中统计这些比值的分布情形的步骤包含以这些比值为样本，将这些比值的数值范围画分为多个数值区间，以产生一直方图，用 以统计落在每一数值区间中的样本数量；选取该直方图中样本数量最高的一数值区间所对应的比值数值，作为该补偿系数。
7.如权利要求6所述的前景图像分离方法，其中统计这些比值的分布情形的步骤进一 步包含，如果该直方图中样本数量最多的一数值区间所包含的样本数量未超过所有区块总 数的一可靠比例，则将该补偿系数设定为1，使该补偿图像等于该输入图像。
8.如权利要求7所述的前景图像分离方法，其中该可靠比例为百分之五。
9.如权利要求6所述的前景图像分离方法，其中颜色特征值依红、绿、蓝三原色分别处理，故上述特征值包含红特征值、绿特征值以及 蓝特征值；上述补偿系数包含一红补偿系数，一绿补偿系数及一蓝补偿系数； 上述比值包含红比值，绿比值以及蓝比值；上述直方图包含红直方图，绿直方图及蓝直方图；以及该补偿图像由该输入图像的红、绿、蓝色像素值分别乘上该红补偿系数，该绿补偿系数 及该蓝补偿系数而得。
10.如权利要求9所述的前景图像分离方法，其中每一区块的红、绿、蓝特征值各别为 该区块的所有红像素值的平均值、所有绿像素值的平均值、以及所有蓝像素值的平均值。
11.如权利要求9所述的前景图像分离方法，其中每一区块的红、绿、蓝特征值各别为 该区块的所有红像素值中的最大值、所有绿像素值中的最大值、以及所有蓝像素值中的最 大值。
12.如权利要求1所述的前景图像分离方法，其中提供该参考图像的步骤被递回进行， 包含以该背景相减演算法对该输入图像进行处理，以产生一前景画面；计算该前景画面在该输入图像中所占的一比例；如果该比例低于一预设值，则选取该输入图像为该参考图像。
13.如权利要求12所述的前景图像分离方法，其中该预设值为百分之五。
14.如权利要求6所述的前景图像分离方法，其中该参考图像与该输入图像为彩色图像，其颜色特征是将该参考图像与该输入图像中每 一像素转换为灰阶值后计算而得；以及该补偿图像由该输入图像的红、绿、蓝色像素值同时乘上该补偿系数而得。
15.如权利要求6所述的前景图像分离方法，其中该参考图像与该输入图像为灰阶图像，其颜色特征根据该参考图像与该输入图像中每 一像素的灰阶值计算而得；以及该补偿图像由该输入图像中每一像素的灰阶值同时乘上该补偿系数而得。
全文摘要
本发明提出一种前景图像分离方法，可从自动白平衡或亮度突然变化的连续输入图像中分离出动态前景与静态背景。首先从摄影机接收一输入图像，接着根据一参考图像对该输入图像进行白平衡或亮度补偿，产生一补偿图像，具有与该参考图像大致相同的背景颜色和背景亮度。最后将该补偿图像进行一背景相减(background subtraction)演算法，以产生一背景分离结果。该背景相减演算法可以是一种基于高斯混合模型(Gaussian MixtureModel)的演算法。本方法处理该摄影机连续输入的图像，以连续产生前景图像分离结果，并据以更新该参考图像使该监控系统可调适照明条件的变化。
文档编号H04N7/18GK101998063SQ20091016623
公开日2011年3月30日 申请日期2009年8月20日 优先权日2009年8月20日
发明者王文豪, 黄泰惠 申请人:财团法人工业技术研究院