专利名称：颜色恒常方法和系统的制作方法
颜色恒常方法和系统
背景技术：
在种类繁多的场景照明源下，人类观察者看到相同的颜色范围；一张白纸坚决保 持白色，而与在其之下观察该白纸的光的颜色无关。相反，诸如数字照相机之类的颜色成像 系统不是那么颜色恒常的。颜色恒常(color constancy)问题一确定照明场景的光的颜色并校正图像以计及 其效果一对于许多成像应用来说是成问题的。特别地，数字照相机依赖于颜色恒常算法来 检测照明源并产生最终图像。这些颜色恒常算法的性能直接影响照相机的总体图像质量， 并且人眼对这种缺陷是敏感的。已知的颜色恒常算法的有效性不同。已知的算法均没有给出完美的结果，并且就 精确性来说，没有一个算法优于其它算法。然而，这些算法的性能影响照相机的总体图像质量。因为这些及其它理由，需要本发明。
发明内容
公开了颜色恒常方法和系统的实施例。该方法可以以指令形式存储在存储介质 中，当被执行时所述指令实施所公开的方法，该方法包括将图像划分成多个子图像以及将 多个颜色恒常算法应用于每个子图像。通常，颜色恒常算法分析和调整图像数据中的数字 值以校正用于照明图像的光源的特性差异。对于每个子图像分析每个颜色恒常算法的输 出，以确定在子图像上哪些颜色恒常算法给出不一致的结果。相对于提供一致结果的算法 的输出，调整提供不一致结果的算法的输出的影响以降低其影响(例如，效果或权重)。基 于所述输出的调整，组合来自所述多个颜色恒常算法的输出。
包括附图以提供对本发明的进一步理解，并且附图合并在本说明书中并构成本说 明书的一部分。附图示出了本发明的实施例，并和说明书一起用来解释本发明的原理。本 发明的其它实施例和本发明的许多预期优点将被容易地认识到，因为参照下列详细说明能 更好地理解它们。附图的要素不一定相对于彼此成比例。相似的参考数字指代对应的类似 部分。图1是概念性地示出根据本发明的一个或多个实施例的图像处理系统的实施例 的方框图。图2是示出根据本发明的一个或多个实施例的颜色恒常方法的流程图。图3示出了根据本发明的一个或多个实施例的图像及子图像的示例。图4是示出合并了图1中示出的图像处理系统的实施例的计算机系统的实施例的 方框图。图5是示出合并了图1中示出的图像处理系统的实施例的照相机系统的实施例的 方框图。
图6A和6B分别示出了由现有技术的颜色恒常过程以及由根据本发明的一个或多 个实施例的过程产生的图像。图7A和7B分别示出了由现有技术的颜色恒常过程以及由根据本发明的一个或多 个实施例的过程产生的图像。
具体实施例方式在以下详细描述中参考附图，所述附图形成所述描述的一部分，并且其中通过图 示示出了其中可以实践本发明的特定实施例。在此方面，诸如“顶部”、“底部”、“前”、“后”、 “前面的”、“后面的”等之类的方向术语参照所描述的附图的方位来使用。由于本发明实施 例的组件可以沿若干不同的方位定位，所以所述方向术语出于说明的目的来使用而绝非进 行限制。所要理解的是，可以利用其它实施例并且可以进行结构或逻辑变化而不背离本发 明的范围。因此，以下详细描述不应以限制的意义来理解，并且本发明的范围由所附权利要 求书限定。图1是概念性地示出包括颜色校正模块12的图像处理系统10的实施例的方框 图。系统10接收图像14，以及颜色校正模块12输出具有已校正颜色的校正图像16。其中， 颜色校正模块12对接收的图像14应用各种颜色恒常算法，从而得到校正图像16。图2是大致示出由颜色校正模块12执行的方法的流程图。在方框20中，图像14 被划分成多个子图像。把图像14划分成子图像18的过程类似于利用广角镜头捕获给定场 景中的照片，以及接着利用远摄镜头拍摄相同场景的各部分的更加特写的照片。假设可非 常快速地拍摄广角和特写图片以便场景照明源在此期间不变化，应用于广角和特写图片的 颜包恒常算法应在该组照片上提供类似结果。在数字照相机中，代替切换镜头或缩放，可仅 仅使用来自同一照片内的裁剪。图像14被裁剪若干次以提供整个图像14的若干部分的图 像。图3概念性地示出细分过程，其中图像14被划分成若干子图像18。通常，子图像 18的尺寸需要大到足以为颜色恒常分析提供充足的颜色信息。在由数字照相机捕获的典型 图像的原始像素计数的情况下，例如，相对小的子图像将携带充足的数据。在示例实施方式 中，分析16个子图像18。典型数字照相机有大约IOM像素，因此使用16个子图像导致每个 子图像有大约62 像素。相信甚至更小的子图像(诸如20-50K像素)也能够提供充足的 数据。子图像的数目可以改变，例如在各种实施例中从4个变化到64个子图像。在方框22中，不同颜色恒常算法被应用于图像14和子图像18。方框22中应用的 各种颜色恒常算法可包括例如称为由相关决定颜色(color by correlation)的过程、BV资 格(BV Qualification)、灰度世界(Gray World)、最大 RGB、寻找灰度(Gray Finding)等。 通常来说，颜色恒常算法确定照明及调整图像数据中的数字值以校正用来照明该图像的光 源的特性差异。例如，Gray World颜色恒常算法假设整个图像上的红、绿和蓝色通道中的每个 通道的均值在规范照明源下形成固定比率。由于该固定比率通常不是已知的，因此假设 该固定比率表示灰色。因此，Gray World算法通常把图像的平均值校正成灰色。参见， E. H. Land 的"Recent Advances in Retinex Theory，，，Vision Research，26，p. 7-21, (1986) ；G. Buchsbaum 的“A Spatial Processor Model for Object Color Perception”，Journal of the Franklin Institute 310, p. 1-26(1980)；以及，R· Gershon，A· D· Jepson 禾口 J. K. Tsotsos 的 “From [R，G，B]to Surface Reflectance :Computing Color Constant Descriptors inlmages，，，Perception，p. 755-758 (1988)。最大RBG算法是基于以下主张的在红、绿和蓝色通道中单独计算的最大像素响 应亦可用作白点估计(我们称这种方法为最大RGB)。参见，Ε. H. Land的“The Retinex Theory of Color Vision，，，Scientific American, p. 108-129, (1977)。在由相关决定颜色的算法中，“相关矩阵存储器”或“关联矩阵存储器”连同贝叶斯 或其它相关统计量一起使用。构造相关矩阵存储器以将来自图像的数据与在一系列照明源 下的参考图像相关。当数字照相机例如产生图像时，该数据被转换成色度并创建对应于存 在于场景中的值的向量。将该向量与相关矩阵中的每一列相乘，从而给出新矩阵。接着，对 每一列求和，以及所得值形成表示每个参考源是场景的照明源的似然性的向量。向量值可 以被按密度绘制(density plotted)，其中在该特定列的照明的色度处绘制每个值。根据 该绘图，常规的统计方法可用来估计场景的可能照明。参见，G. Finlayson等的“Color by Correlation :A simple, Unifying Framework for Color Constancy，，，IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 23,No. 11,pp. 1209-1221, (2001) 和授予Hubel等的美国专利No. 6，038，339。如果特定算法的输出在图像14和/或子图像18之间不同，则该特定算法可能不 太适合于图像14。通常，适合于特定图像的颜色恒常算法预期将在图像14和子图像18之 间提供一致的结果。类似地，由若干不同算法提供的输出预期将是类似的一如果一种算法 的输出显著不同于其它算法的输出，则它可能不太适合于该特定图像。因此，在方框M中，确定哪些颜色恒常算法在子图像上给出不一致的结果。例如， 输出的分析可包括查看给定的其中一种算法在子图像18和整个图像14上的输出的变化， 和/或各种颜色恒常算法之间的输出的变化。在方框25中，相对于提供一致结果的算法的输出，调整提供不一致结果的算法的 输出的影响以降低其影响(例如，效果或权重)。例如，将诸如权重之类的影响因子应用于 提供不一致结果的算法的输出，以相较于提供一致结果的算法的输出降低其影响(例如， 效果或权重)。在一些实施例中，构建模型以组合各种颜色恒常算法的输出，并且基于所述确定， 改变该模型的参数来调整所述影响。因此，组合颜色恒常算法的输出可以是对输出简单加 权，或者可按照更复杂的方式改变所述参数。在示例实施例中，每种颜色恒常算法处理每个子图像，就好像它是完整的独立图 像。计算并分析结果，包括例如子图像集上的均值和方差，所述子图像集可标注为F。通过 已知函数f (W，F)可计算最终结果，其中W是一组参数。在某些实施例中，W的值是根据经验设置的。例如，如果一种算法的方差比其它算 法的方差高，则降低该算法的影响。在一些实施例中，W的最佳值是利用机器学习及优化技 术实时确定的。给定已标记的数据集，这些技术允许确定W的值，以便对于该数据集来说， 最终结果将具有最小误差。如果该数据集在尺寸及其内容上是合理的，则该系统将产生更 好的整体性能。在一个实施例中，R是在对所有算法的结果加权之后的最终输出。这也就是色温。R如下确定
权利要求
1.一种方法，包括将图像细分成多个子图像；将多个颜色恒常算法应用于每个子图像；确定哪些颜色恒常算法在所述子图像上给出不一致的结果；相对于提供一致结果的算法的输出，调整提供不一致结果的算法的输出的影响以降低 其影响；以及基于所述输出的调整，组合所述多个颜色恒常算法的输出。
2.权利要求1的方法，其中确定哪些颜色恒常算法给出不一致的结果包括确定所述多 个颜色恒常算法之间的输出变化。
3.权利要求1的方法，其中确定哪些颜色恒常算法给出不一致的结果包括确定所述子 图像之间的输出变化。
4.权利要求1的方法，其中所述多个颜色恒常算法选自包含由相关决定颜色、Gray World、和最大RGB的组。
5.一种存储有指令的计算机可读存储介质，所述指令在被执行时实施一种方法，该方 法包括将图像细分成多个子图像；将多个颜色恒常算法应用于每个子图像；确定哪些颜色恒常算法在所述子图像上给出不一致的结果；相对于提供一致结果的算法的输出，调整提供不一致结果的算法的输出的影响以降低 其影响；以及基于所述输出的调整，组合所述多个颜色恒常算法的输出。
6.权利要求5的计算机可读存储介质，其中确定哪些颜色恒常算法给出不一致的结果 包括确定所述多个颜色恒常算法之间的输出变化。
7.权利要求5的计算机可读存储介质，其中确定哪些颜色恒常算法给出不一致的结果 包括确定所述子图像之间的输出变化。
8.一种系统，包括颜色校正模块，其在操作中将图像细分成多个子图像；将多个颜色恒常算法应用于每 个子图像；确定哪些颜色恒常算法给出不一致的结果；相对于提供一致结果的算法的输 出，调整提供不一致结果的算法的输出的影响以降低其影响；以及组合包含所调整的输出 的所述多个颜色恒常算法的输出。
9.权利要求8的系统，其中确定哪些颜色恒常算法给出不一致的结果包括确定所述多 个颜色恒常算法之间的输出变化。
10.权利要求8的系统，其中确定哪些颜色恒常算法给出不一致的结果包括确定所述 子图像之间的输出变化。
全文摘要
一种颜色恒常方法及系统包括将图像分成多个子图像以及将多个颜色恒常算法应用于每个子图像。针对每个子图像，分析每个颜色恒常算法的输出以确定哪些颜色恒常算法在所述子图像上给出不一致的结果。相对于提供一致结果的算法的输出，调整提供不一致结果的算法的输出的影响以降低其影响(例如效果或权重)。基于所述输出的调整，组合来自所述多个颜色恒常算法的输出。
文档编号G06T1/00GK102138157SQ200880130935
公开日2011年7月27日 申请日期2008年8月30日 优先权日2008年8月30日
发明者R·吴, Y-W·王 申请人:惠普开发有限公司