专利名称：颜色修正方法和颜色修正设备的制作方法
技术领域：
本发明涉及一种用于对彩色图像做出颜色修正的方法和设备，更 具体地，涉及一种包括基于从彩色图像中的主题区域获得颜色信息的 对彩色图像做出白平衡修正的颜色修正方法和颜色修正设备。
背景技术：
提出了针对图像的颜色修正方法，以提高数字图像的图像质量。 在对数字彩色图像做出颜色修正的过程中，尤其是白平衡的调整很重 要。已经提出了各种技术作为包括白平衡调整的颜色修正方法。例如，JP-A-2001-148863描述了一种方法，其中将通过使用针对图像的直方 图提前计算的白平衡参数作用于图像中的皮肤颜色区域，并基于是否 产生了优选皮肤颜色结果来确定该参数。在所产生的皮肤颜色不是优 选的情况下，选择保持未处理状态，即颜色修正未执行。 JP-A-11-289548、 JP-A-3-148989禾卩JP-A-62-265885也描述了一种通过 使用图像的直方图实现白平衡修正的方法。JP-A-2003-224867描述了这样一种方法，其中通过使用图像直方 图，仅提取图像中的灰色或皮肤颜色区域、或图像中的灰色和皮肤颜 色区域，通过使用与所提取的区域有关的颜色信息来估计光源的色温， 并使用以下修正方程，基于所估计的色温来修正针对彩色图像的图像 信号的白平衡…(A1)， G'="G …(A2),…(A3)。其中，R、 G和B表示输入图像像素的RGB值，R'、 G'和B'表示输出 图像像素的RGB值，以及《、 / 和y是用于修正的系数。JP-A-2003-333616也描述了一种方法，其中通过针对图像的直方 图分析，获得诸如皮肤颜色之类的彩色区域和被认为是图像中的原始 白色区域，通过使用一个彩色信息项目或每个区域上彩色信息项目的 组合来估计光源的色温以实现白平衡修正。在上述现有技术中，将注意力放在诸如皮肤颜色之类的彩色区域 和诸如图像中的灰色或白色之类的非彩色区域上，通过针对图像的直 方图分析，获得需要确定在做出白平衡修正时使用的参数的图像中的 对象区域。提出了一种通过检测人脸区域作为图像中的对象区域来修正图像 质量的方法。例如，JP-A-2004-320275描述了一种根据图像中人脸区 域的大小和数量来控制数码相机的快门速度和自动聚焦(AF)操作以 提高使用数码静态相机所拍摄图像的图像质量的方法。 JP-A-2004-320275提及了针对人脸区域的轮廓增强处理和皮肤颜色处 理，但是没有具体描述被认为是重要的针对皮肤颜色处理的处理方法。JP-A-2004-180114描述了一种用于仅基于彩色图像中的彩色信息 所检测到的人脸区域中的皮肤颜色的颜色修正方法。 JP-A-2003-216936描述了一种用于检测人类图像的人脸部分和输入图 像中的这些位置、设置人类图像区域与其他区域之间的边界、以及执 行适于每个区域的白平衡和色彩修正的技术。JP-A-2003-189325描述 了一种在白平衡计算中不使用针对人脸区域的彩色信息的方法。JP-A-2005-027277描述了一种方法，其中确定图像中人的人脸区 域的位置；确定用于改变从图像中获得的皮肤颜色的修正系数，从而 从所确定的皮肤区域中获得的皮肤颜色通常与已知的皮肤颜色范围一 致；并通过使用修正系数来执行针对图像的白平衡调整。 JP-A-2005-027277描述了将灰色世界假设和白点估计用作被认为是重 要的修正方法，但是没有描述相应的具体技术。JP-A-2003-317084描述了 一种用于从图像中检测眼睛的方法。 JP-B-3264273描述了一种使用直方图确定皮肤颜色的方法。以下列出了本说明书中所引用的参考文件。[专利文献 1]日本专利待审公开No. 2001-1488636]曰(JP-A-2001-148863)，[专利文献2]日本专利待审公开No.[专利文献3]日本专利待审公开No.[专利文献4]日本专利待审公开No.[专利文献5]日本专利待 (JP-A-2003-224867),[专利文献 (JP-A-2003-333616)，[专利文献 (JP-A-2004-320285),[专利文献 (JP-A-2004-180114)，[专利文献 (JP-A-2003-216936),[专利文献 (JP-A-2003-189325),[专利文献 (JP-A-2005-027277),[专利文献11-289548 (JP陽A-l 1-289548), 3-148989 (JP-A-3-148989), 62-265885 (JP-A-62-265885), 审公开No. 2003-2248677]曰8]曰9]曰审 审公公本专利待 本专利待 本专利待 本专利待 10]日本专利待审 11]日本专利待审公开 12]日本专利待审公开开No. 2003-333616开 No. 2004-320285审公开No. 2004-180114审公开 No. 2003-216936公开 No. 2003-189325No. 2005-27277No. 2003-317084(JP-A-2003-317084)，[专利文献13]日本专利No. 3264273 (JP-B-3264273),[非专利文献l] Toshinori HOSOI， Tetsuaki SUZUKI, Atsushi SATO, "Face detection based on Generalized Learning Vector Quantization," Technical Report of The Institute of Electronics, Information and Communication Engineers, 2003， Vol. 102, No. 651, pp. 47-52,[非专禾J文献2] Johji TAJIMA， "Image engineering series 10: Color image replication theory, fundamentals of color management," MARUZEN Co. Ltd., September 30， 1996, pp. 33-39,[非专禾!j文献3] The Color Science Association of Japan, "Color science handbook, new edition," Second Edition, University of TokyoPress, June 10， 1998, pp. 69-71 。 发明内容要解决的技术问题在对图像做出白平衡以提高图像质量的过程中，需要掌握与图像 中的对象区域有关的彩色信息，以确定用于白平衡修正的参数。为了 实现上述过程，现有技术使用了通过直方图分析获得诸如皮肤颜色之 类的彩色区域和诸如图像中的灰色或白色之类的非彩色区域。然而，通过直方图分析获得诸如皮肤颜色之类的彩色区域和诸如 图像中的灰色或白色之类的非彩色区域的方法具有精度问题。在检测 图像中皮肤颜色的区域的过程中，需要通过考虑照明颜色和其他因素 中的变化来允许特定宽区域的皮肤颜色区域。因此，如果由具有与皮 肤颜色而非人像(human figure)相类似的颜色的对象在图像中所占据 的区域很大，则将与从图像中实际人类轮廓的人脸区域中获得的彩色 信息不同的、从该对象的区域中获得的彩色信息错误地检测为人像皮 肤颜色，这导致了做出所期望的颜色修正的失败。此外，仅使用图像 数据作为线索，难以使用严重的偏色从图像中检测到原始白色或灰色 的区域。此外，由于在拍摄图像时超出了相机的动态范围而导致有可 能出现爆破的高亮。为了从存在爆破(blown-out)高亮的图像中检测 到被认为是原始的白色或灰色的区域，在直方图分析时引入用于消除 爆破高亮区域的阈值处理。然而，难以自动设置阈值来消除爆破高亮 区域。因此，难以在出现了爆破高亮的任何图像中自动实现良好的白 平衡修正。因此，存在以下问题当通过使用直方图分析来识别图像中的对 象区域时，由于未能正确地抓住白平衡修正必需的修正参数计算所需 的图像中的对象区域有关的彩色信息，而导致无法执行所期望的白平 衡修正函数。此外，在现有技术的白平衡修正中，为了调整通过三个基本颜色R、 G和B所表达的图像中的R、 G和B分量中的平衡，使用通过方程(Al )至(A3)彼此独立地修正R、 G和B分量比例的处理。然而，在这种情
况下，存在以下问题由于存在对修正自由度的限制，所以无法做出 令人满意的白平衡修正。
因此，本发明的目的是提供一种颜色修正方法，用于同时解决上 述问题，并基于输入图像的一帧来实现对于输入图像的有效自动颜色 修正。
本发明的另一目的是提供一种颜色修正设备，用于基于输入图像 的一帧来实现对于输入图像的有效自动颜色修正。
即，本发明提供了一种颜色修正方法和一种设备，用于通过使用 所述方法解决上述问题来实现在包括白平衡修正的颜色修正精度的提 高，在所述方法中，通过图像直方图分析获得与图像中的对象区域有 关的彩色信息以做出白平衡修正，并通过使用现有技术中的白平衡修 正方法来解决由于修正自由度的限制而导致无法做出令人满意的白平 衡修正的问题以确保期望功能。
解决问题的方案
通过颜色修正方法来实现本发明的第一目的，其中对输入图像进 行修正，以产生具有不同于输入图像中的照明条件的照明条件的输出 图像，所述方法包括从输入图像中检测特定主题区域，并提取与该 区域有关的彩色信息；通过使用所提取的与特定主题区域有关的彩色
信息以及提前指定的特定主题的表面反射率，恢复输入图像中的照明
的频谱分布；通过使用所恢复的输入图像中的照明的频谱分布、以及 被指定为目标照明的照明的频谱分布，计算输出图像中的照明的频谱 分布；以及基于与输入图像每个像素有关的彩色信息、所恢复的输入 图像中的照明的频谱分布和所计算的输出图像中的照明的频谱分布， 计算与输出图像的每个像素有关的彩色信息。
通过颜色修正设备来实现本发明的第二目的，其中所述颜色修正 设备对输入图像进行修正，以产生具有不同于输入图像中的照明条件 的照明条件的输出图像，所述设备包括主题区域彩色信息提取装置， 用于从输入图像中检测特定主题区域，并提取与该区域有关的彩色信息；频谱分布恢复装置，用于通过使用由主题区域彩色信息提取装置 所提取的与特定主题区域有关的彩色信息、以及提前指定的特定主题 的表面反射率，恢复输入图像中的照明的频谱分布；频谱分布计算装
置，用于通过使用由频谱分布恢复装置所恢复的输入图像中的照明的 频谱分布、以及被指定为目标照明的照明的频谱分布，计算输出图像
中的照明的频谱分布；以及输出图像产生装置，用于基于与输入图像 每个像素有关的彩色信息、所恢复的输入图像中的照明的频谱分布和 所计算的输出图像中的照明的频谱分布，计算与输出图像的每个像素 有关的彩色信息。
本发明的范围包括用于使计算机执行根据本发明的上述图像标识 方法中每一个的程序、由这种程序形成的程序产品、将这种程序存储 在其上的记录介质和传输这种程序的传输介质。
根据本发明，提高了包括白平衡修正的颜色修正所必需的修正参 数的计算精度。以这种方式，获得了颜色修正精度的提高以及对颜色 修正自由度的限制的放松，从而实现了具有期望效果的颜色修正。
图1是示出了根据本发明的第一示例性实施例的颜色修正方法的 流程图2是示出了日本人的人脸区域的平均频谱特性(表面反射率)； 图3是示出了用于自动检测主题区域并获得彩色信息的处理概况 的图示；
图4是示出了 CIE日光的平均和第一和第二主要分量矢量的图
图5是示出了通过收集对象的表面反射率并执行针对该表面反射 率的主要分量分析所获得的基本矢量的图示；
图6是示出了根据本发明的第二示例性实施例的颜色修正方法的 流程图7是示出了根据本发明的颜色修正设备的第一示例的框图； 图8是示出了根据本发明的颜色修正设备的第二示例的框12图9是示出了用于设置由控制器所显示的值adj的GUI示例的图
示；
图10是示出了用于设置由控制器显示的函数adjw(入)的GUI示例
的图示；以及
图11是示出了根据本发明的颜色修正设备的第三示例的框图。
参考数字的描述 1输入图像； 2输出图像； 3主题区域检测器； 4主题区域彩色信息提取器； 5频谱分布恢复单元； 6主题表面反射率存储器； 7主题表面反射率恢复单元； 8频谱分布计算器； 9频谱分布存储器； 10图像修正单元； 11控制器；
12矩阵变换图像修正单元； 20滑动条； 21控制点；
100至102 颜色修正设备。
具体实施例方式
图1示出了根据本发明的第一示例性实施例的颜色修正方法的流 程图。在本描述中，为了解释的方便，假设图像的彩色系统是RGB 彩色系统。即，通过表示为彩色信息RGB的R (红)、G (绿)和B (蓝)的组合来表示图像的颜色。
在本示例性实施例中的颜色修正方法是以下方法在给出了输入 图像时从输入图像自动提取特定区域、基于所提取的特定区域的彩色信息和所指定的目标照明，对输入图像进行修正，产生具有不同于输 入图像中的照明条件的照明条件的输出图像，并输出该输出图像。
提高颜色修正精度需要确定具有精度的颜色修正的参数。根据本 示例性实施例中的方法，在步骤S1，首先从任意给定的输入图像中自 动检测到可以粗略识别其颜色的主题的区域。作为可以粗略识别其颜 色的主题，优选是在颜色上没有或略有变化、并具有人类可见光区域
(波长为400至700nm)中的频谱信息的主题。此外，优选具有性质 和样式特征以及颜色特征的主题。在以下所做出的解释中，被检测为 主题区域的区域按照场合需求被简单称为"主题区域"。
作为具有这种特征的主题，例如可以使用人脸。图2是示出了日 本人的人脸区域的平均频谱特性(表面反射率)。如图2所示，人脸区 域中的频谱特性具有整个可见光区域上的频谱信息。人脸区域的颜色 随个体而改变，但是可以看出它是相当稳定的。
不用说，人脸区域具有诸如眼睛、鼻子和嘴巴之类的形状特征。 在JP-A-2003-317084中，提出了检测图像中眼睛的方法，作为从输入 图像中检测人脸区域的方法。如果检测到眼睛的位置，则可以容易地 大概确定人脸区域。作为人脸检测方法，也可以使用在Toshinori HOSOI， Tetsuaki SUZUKI, Atsushi SATO, "Face detection based on Generalized Learning Vector Quantization," Technical Report of The Institute of Electronics, Information and Communication Engineers, 2003， Vol. 102, No. 651, pp. 47-52中描述的方法，该方法是使用通用学习矢 量量化的基于图像的方法和检测眼睛的基于特征的方法的组合。
在上述两种技术中的每种技术中，可以通过使用单色信息执行人 脸检测、并添加与作为检测结果的人脸区域是否是皮肤颜色有关的确 定，来提高人脸区域的检测精度。作为确定皮肤颜色的方法，可以使 用在JP-B-3264273中描述的图像直方图的方法。在本示例性实施例中 可用的人脸检测方法并不限于以上描述的两种技术。在本示例性实施 例中可以使用其他技术。
尽管可以针对从任意给定的输入图像中自动检测到的主题是人脸 的情况做出解释，但是主题也可以不同于人脸。例如，对于不同于人
14脸的主题的自动检测，可以使用通过将与提前存储的主题有关的可视 特征信息与图像数据中的可视特征信息进行比较来自动检测主题的方 法。
接下来，在步骤S2，获得与从输入图像自动检测到的主题区域有 关的彩色信息。图3示出了用于自动检测主题区域并获得彩色信息的 处理概况的图示。在该图示中，示出了从输入图像提取人脸部分并从 所提取的区域获得彩色信息的情况。作为与主题区域有关的彩色信息， 可以使用在主题所占据的区域中存在的平均颜色、中间颜色(中间)、
最频繁的颜色(模式)。
在步骤S2，获得主题区域上的彩色信息RGB，并基于所获得的 RGB获得XYZ彩色系统中的三色值XYZ。可以通过RGB值表示输 入图像的每个像素。然而，通过假设提前指定用于显示输入图像的 RGB荧光体的色度和白色色度、以及RGB值数据与从显示设备发射 的光强度之间的关系是线性的，来做出解释。在这种情况下，输入图 像与三色值XYZ之间的关系通过以下方程(1 )来表示
<formula>formula see original document page 15</formula>其中，RX是3X3变换矩阵。如果确定了 RGB荧光体的色度和 白色色度，则可以唯一地计算该变换矩阵。例如，作为计算变换矩阵 RX的方法，可以使用在Johji TAJIMA, "Image engineering series 10: Color image replication theory, fundamentals of color management," MARUZEN Co, Ltd" September 30, 1996， pp. 33-39中公开的方法。在 该文献中，描述了以输入图像的RGB和三色值XYZ的相关表示计算 变换矩阵RX的方法。
接下来，在步骤S3，从与输入图像中的主题区域有关的彩色信息 (即在步骤S2中计算的三色值)、以及主题区域通常具有的彩色信息 中恢复图像场景中的照明的频谱特性。作为主题区域通常具有的彩色 信息，使用相对于特定主题提前指定的表面反射率。图像场景中的照 明是照亮图像中对象的照明(光源)。根据对象的表面反射率、照亮了对象的照明的频谱分布和相对于人类视觉的颜色匹配函数，通过以下方程(2)至(4)表示基于XYZ彩色系统的对象颜色的三色值XYZ。其中人是波长，I(人)是输入图像中的照明频谱分布；R(人)是对象的 表面反射率；以及x(入)、y(人)和z(W是颜色匹配函数(它们是已知函 数)。通过可见光的波长范围进行积分。将步骤S2中己经计算出的三色值XYZ代入方程(2)至(4)的 左侧。然后方程(2)至(4)成为与未知特性I(人)和R(人)有关的观测 方程。然而在这一阶段，无法根据方程(3)计算未知特性I(入)和R(X)。如果甚至在包括特定差错的状态下也可以提前限制或确定表示 主题颜色的表面反射率R(人)，则R(人)是已知值，方程(2)至(4)成 为仅有I(人)的观测方程。例如，如果主题是日本人的脸，则作为示例 的图2所示的具有平均皮肤颜色的日本人的人脸区域的表面反射率 R'(X)可以被用作方程(2)至(4)中的R(X)。即使在主题是不同于人 脸的对象时，也可以提前获得对象的平均或典型表面反射率，并代入 方程(2)至(4)中的R(入)。实质上，无法从方程(2)至(4)中解析地计算频谱分布I(入)， 因为它以可见光区域中的无限空间(dimensional)的波形来表达。顺带提及，CIE日光是针对由CIE (国际照明委员会)的相对频 谱分布所规定的色度测量的光源，已知CIE日光很好地逼近平均及两 个主要分量的线性和。图4是示出了 CIE日光的平均和第--和第二主要分量矢量的图示。可以将照明的频谱分布ia)表示如下/(义Wo(;i)+V,(义)+"2AW…(5).方程(5)中示出的Ij(X)(i-0至2)表示图4中示出的照明的平均 和基本矢量，ai(i^l至2)表示基本矢量的权重系数，该权重系数是表 示照明颜色的特征参数。…(2), …(3)， …(4).将方程(5)中示出的I(X)代入方程(2)至(4)，以获得具有两 个未知量(表示照明颜色的未知特征参数a,和a2)的线性联立方程， 通过该方程可以容易地计算出a,和a2。将所获得的特征参数a,和a2 代入方程(5)以获得图像场景中的照明的频谱分布。假设通过上述过 程获得的图像场景中的照明的频谱分布是Iwg(人)。接下来，在步骤S4，根据提前设置为修正目标的目标照明的频谱分布Ita^t(人)和估计为图像场景中的照明的频谱分布Ug(人)，来计算在图像颜色修正时实际使用的照明的频谱分布Uj(人)。作为提前设置为修正目标的目标照明的频谱分布Uget(X)，可以使用利用其在经验上确认了良好的修正效果的标准光源D65或D55的频谱分布、具有不是 用于白平衡而是用于改变整个图像颜色效果的照明光的频谱分布等。 也可以使用不同于这些的任何频谱分布。用户可以根据他或她的偏好， 将目标照明的频谱分布确定为频谱分布。可以将目标照明的频谱分布ItMget(人)直接用作Iadj(W。此外，可以通过将估计为图像场景中的照明的频谱分布1。J人)与目标照明的频谱分布ItMget(人)混合，来计算在图像颜色修正时实际使用的照明的频谱分 布Iadj(X)，如以下方程(6)所示<formula>formula see original document page 17</formula>…(6).在方程(6)中，adj是用于控制I。rg(入)和Uget(X)的混合比的实系 数。此外，为了能够在为图像场景中的照明的频谱分布1。rg(X)与目标 照明的频谱分布It^et(X)混合比的每个波长进行控制，可以使用以下方 程<formula>formula see original document page 17</formula> …(7)在该方程中，F(X)是在可见光区域中为1.0的恒定波形，adjw(人) 是具有用于控制每个波长的Lg(X)和It，A)的混合比的实数值的可见 光区域中的函数。接下来，在步骤S5中，获得输入图像每个像素中的对象的表面 反射率。根据方程(1)计算通过图像的每个像素的RGB值计算的三色值X丫Z，并代入方程(2)至(4)的左侧。也将在步骤S3中计算 的图像场景中的照明的频谱分布I。rg(人)代入方程(2)至(4)的右侧。 然后，方程(2)至(4)成为与表面反射率R(X)有关的观测方程。也以可见光区域中无限空间波形来表示对象的理想表面反射率 R"(X)，如在照明的频谱反射中。因此，无法根据方程(2)至(4)解 析地计算理想表面反射率R"(人)。通过使用由较低阶基本矢量的加权 和表示的有限空间线性模型，如以下示出对理想表面反射率R"(X)进 行建模i "(;i)"o(;i)+V"义)+V2(义)+V3(义) …(s).图5是示出了通过收集对象的表面反射率并执行针对该表面反射 率的主要分量分析所获得的基本矢量的图示。方程(8)中示出的符号 ri(人)(i = 0至3)表示通过收集多个对象的反射率并针对其执行主要分 量分析所获得的基本矢量。这些矢量ri(人)分别是平均和第一至第三主 要分量矢量，并且全部已知。符号bi(i-0至3)表示基本矢量的权重系数，它们是表示对象颜色的未知特征参数。将方程(8)所示的R"(入)代入与表面反射率R (X)有关的观测方程，以获得具有三个未知量(与表示对象颜色的未知特征参数b,至133有关)的线性联立方程(9):地^)脚,"(9).其中，M(x, ri) (i = 0至3)表示积分项f/。^,.(义)Z(A)W 。同样作用 于y和z。针对图像中的所有像素执行上述处理，以获得图像场景中 所有对象的表面反射率。接下来在步骤S6，计算修正后的输入图像像素的颜色。将提前用于修正时的在步骤S4中计算的照明的频谱分布Iadj(人)代入方程(2)至(4)，以获得与修正后的三色值X'Y'Z'和在步骤S5中计算的对象的 理想表面反射率R"(人)有关的方程(10)至(12)。Z'=J/。*(，' …(10),r'-j"(;i即Xy, …(11)，Z'=J/。", …(12).如果方程(1)中的变换矩阵RX的逆矩阵是RX'1,则可以将修 正之后的三色值X'Y'Z'如下转换为与彩色图像有关的彩色信息R'G'B':1G'针对输入图像中的所有像素执行上述过程，以获得具有如期望而 修正的颜色的输出图像。第二示例性实施例接下来，将参照图6描述根据本发明第二示例性实施例的颜色修正方法。第二示例性实施例中的颜色修正方法是通过利用步骤S7中 所示的矩阵变换来替换在第一示例性实施例中的步骤S5和S6中执行 的从三色值XYZ至X'Y'Z'的修正处理(变换处理)而获得与第一示例 性实施例中的颜色修正方法相同的修正结果的方法。图6中步骤Sl 至S4中的处理与第一示例性实施例中的那些相同。将不会重复针对 相同处理的解释。将对步骤S7进行描述。在步骤S7，在步骤S4完成之后，首先通过使用由较低阶基本矢 量的加权和表示的有限空间线性模型来对对象的表面反射率R"(X)进 行建模。从而获得以上示出的方程(8)。将通过方程(8)示出的R"(人)代入与表面反射率R(人)有关的观测 方程，以获得具有三个未知量(表示对象颜色的未知特征参数b,至b3) 的线性联立方程(上述方程(9))。可以从线性联立方程中获得参数 b,至b3。接下来，将已经在步骤S4计算的要在修正时使用的照明的频谱 分布Uj(人)代入方程(2)至(4)以获得与修正后的三色值X'Y'Z'和对 象的理想表面反射率R"(人)有关的方程(10)至(12)。将方程(8)示出的R"(人)代入方程(10)至(12)以获得方程(14):<formula>formula see original document page 20</formula>其中，N(x,ri)(i=0至3)表示积分项J"力(;i)义(义)w。同样作用于 y和z。此外，将方程(9)代入方程(14)以获得方程(15):'r、雖,"<formula>formula see original document page 20</formula>方程(15)可以简化为以下方程(16):<formula>formula see original document page 20</formula>(16).其中，矩阵A是以下示出的方程(17)表示的3X3矩阵，矩阵B 是由以下示出的方程(18)表示的3X1矩阵。这些矩阵中的每个是常 数矩阵。爿=<formula>formula see original document page 20</formula>龟O 龟。)人A/(z，0 A/(V2)練"(18)在步骤S7，针对输入图像中的所有像素执行等式(16)的颜色修 正处理，之后转换为设备相关颜色。将所产生的图像提供为输出图像。 "设备相关颜色"表示与输出目的地设备相关的颜色空间。尽管已经对于输入图像和输出图像的设备相关颜色是RGB的情 况进行了解释，但是如果甚至在设备相关颜色是不同于RGB的设备 相关颜色(例如CMY或CMYK)的情况下，获得设备相关颜色的颜 色和设备无关颜色的三色XYZ之间的相应关系，则根据本发明的颜 色修正方法可以应用于不同于RGB图像的图像。20颜色修正设备接下来将对根据本发明的颜色修正设备进行描述。图7示出了根 据本发明的颜色修正设备的第一示例。图中示出的颜色修正设备100 是基于上述第一示例性实施例中的颜色修正方法对输入图像1做出颜色修正并将输出图像2输出的设备。更具体地，颜色修正设备100对输入图像1进行修正以产生具有不同于输入图像1中的照明条件的照明条件的输出图像2，并将输出图像2输出。颜色修正设备100具有主题区域检测器3，用于根据输入图像1 检测特定主题区域；主题区域彩色信息提取器4，用于提取与所检测 的区域有关的彩色信息；频谱分布恢复单元5，用于通过使用所提取 的彩色信息和提取指定的特定主题的表面反射率来恢复输入图像1中 的照明的频谱分布；主题表面反射率存储器6;表面反射率恢复单元7， 用于通过使用与输入图像的每个像素有关的彩色信息和通过频谱分布 恢复单元5所恢复的照明的频谱分布来恢复每个像素中的表面反射 率；频谱分布计算器8，用于通过使用由频谱分布恢复单元5所恢复 的照明的频谱分布和被指定为目标照明的照明的频谱分布，计算输出 图像2中的照明的频谱分布；频谱分布存储器9，其中提前存储了目 标照明的频谱分布；以及图像修正单元IO，用于通过使用通过表面反 射恢复单元7所恢复的每个像素中的表面反射率和通过频谱分布计算 器8所计算的输出图像2中的照明的频谱分布，计算与输出图像2的 每个像素有关的彩色信息。作为输入图像1中的特定主题，如上所述， 使用诸如其颜色被确定为特定度的人脸之类的主题。提前向颜色修正 设备100给定特定对象的表面反射率。将所给出的表面反射率存储在 主题表面反射率存储器6中。接下来将描述该颜色修正设备100的操作。当给出了输入图像l时，主题区域检测器3分析输入图像1，检 测提前假设的特定主题，并输出指示了图像中的主题区域的信息。作 为检测方法，可以使用上述技术。如果没有从图像l中检测到要被检 测的主题，则该颜色修正设备100输出输入图像1作为输出图像2， 而不改变输入图像1。接下来，通过上述方法，主题区域颜色区域提取器4提取由主题 区域检测器3检测到的主题区域有关的彩色信息。频谱分布恢复单元5通过使用与通过主题区域彩色信息提取器4 所获得的主题区域有关的彩色信息、在主题表面反射率存储器6中存储的主题区域中的典型或代表性的表面反射率、以及使用其对照明的 频谱分布建模的基本矢量，将输入图像中场景中的照明频谱分布恢复 为输入图像1中的照明频谱分布。接下来，频谱分布计算器8计算输出图像中的照明的频谱分布， 这是在修正图像形成过程中所必需的。频谱分布计算器8通过等式(6) 和(7)并通过使用由频谱分布恢复单元5所恢复的输入图像中的照明 的频谱分布和提前存储在频谱分布存储器9中的目标照明的频谱分 布，计算输出图像中的照明的频谱分布。另一方面，表面反射率恢复单元7根据所恢复的输入图像中的照 明的频谱分布和输入图像数据中的像素值，恢复图像上每个像素中对 象的表面反射率。作为恢复频谱分布恢复单元5和表面反射率恢复单 元7中频谱特性的方法，可以使用在第一示例性实施例中解释的技术。图像修正单元10通过等式(10)至(12)并通过使用图像中每个 像素中对象的表面反射率以及输出图像中的照明的频谱分布，计算三 色值XYZ。图像修正单元10将输出图像转换至设备相关颜色(例如， RGB)并将转换后的图像作为输出图像2输出。在该颜色修正设备中，可以分别提供主题区域检测器3、主题区 域彩色信息提取器4、频谱分布恢复单元5、主题表面反射率存储器6、 表面反射率恢复单元7、频谱分布计算器8、频谱分布存储器9和图像 修正单元IO作为独立单元，或者可以通过根据程序操作的CPU来实 现。在这种情况下，可以将程序存储在与CPU连接的存储设备中。艮P， 可以通过使用具有存储设备的计算机来配置该颜色修正设备。图8示出了根据本发明的颜色修正设备的第二示例。在图8示出的颜色修正设备101中，将控制器11添加至图7所示 的颜色修正设备100中。控制器11执行使用户能够指定值adj或函数 adjw(人)的控制，并向频谱分布计算器8输出用户所指定的值adj或函数adjw(人)。值adj或函数adjw(人)是用于在频谱分布计算器8计算输 出图像中的照明频谱分布时，控制输入图像中的照明的频谱分布和期 望目标照明的频谱分布的混合比的值或函数。图9示出了由控制器IO显示给用户的GUI(图形用户界面)以使 用户能够设置值adj的示例。用户可以通过使用诸如鼠标之类的定点 设备移动所显示的滑动条20来调整值adj。类似地，图10示出了由控制器11显示给用户的GUI (图形用户 界面)以使用户能够设置函数adjw(X)的示例。用户可以通过鼠标操作 等上下移动所显示的控制点21，调整通过该控制点21的adjw(人)的波 形。对于通过控制点21的adjw(X)，易于通过使用样条内插或拉格朗 曰内插来计算不同于控制点的波长处的函数值。尽管在图10中的示例 中提供了五个控制点21，但是控制点的个数是任意的，并且可以允许 控制点21的添加或删除。尽管在图9和10所示的示例中，可以将adj和adjw(人)指定在1 至1.0的范围内，但是设置范围并不限于0至1.0。能够设置实数值。 控制器11反映由频谱分布计算器8中用户设置的adj或adjw(X)。此外，控制器11具有使用户能够根据用户偏好将照明颜色指定为 目标照明的功能。当指定了目标照明的颜色时，可以使用例如修正后 的色温。根据CIE日光的修正后色温，可以计算相应的频谱分布。在 The Color Science Association of Japan, "Color science handbook, new edition", Second Edition, University of Tokyo Press, June 10， 1998, pp. 69-71中描述了根据修正后的色温计算频谱分布。由于根据在CIE日 光的频谱分布计算过程中的修正后的色温来临时计算色度，所以控制 器11可以给出针对目标色度颜色的色度。此外，控制器ll可以给出 针对目标照明的频谱分布的每个波长的文件指定功率。图8所示的颜色修正设备还可以通过由程序控制的计算机来构 成，如图7所示的颜色修正设备。图11示出了根据本发明的颜色修正设备的第三示例。图中示出的 颜色修正设备102是基于上述第二实施例的颜色修正方法对输入图像 1做出颜色修正、并对输出图像2进行输出的设备。颜色修正设备102(代替了图7所示的表面反射恢复单元7和颜色修正设备100中的图像修正单元10)具有矩阵变换图像修正单元12，用于通过使用根据在每个像素中的表面反射率的建模时使用的基本矢量计算的常数矩阵、 所恢复的输入图像1中的照明的频谱分布和输出图像中的照明的频谱 分布，计算与输出图像的每个像素有关的彩色信息。接下来将描述该颜色修正设备102的操作。以与图7所示的颜色修正设备100中相同的方式执行通过频谱分 布恢复单元5恢复输入图像中的照明的频谱分布、以及通过频谱分布 计算器8计算输出图像中的照明的频谱分布。接下来，当给予矩阵变 换图像修正单元12通过频谱分布恢复单元5所恢复的数图像中的照明 的频谱分布、通过频谱分布计算器8所计算的输出图像中的照明的频 谱分布以及输入图像1时，执行图6所示的步骤S5来计算方程(16)。 矩阵变换图像修正单元12通过方程(16)执行针对输入图像1的所有 像素的颜色修正处理、执行至设备相关颜色的转换并对输出图像2进 行输出。此外在该颜色修正设备102中，可以分别提供主题区域检测器3、 主题区域颜色信息提取器4、频谱分布恢复单元5、主题表面反射率存 储器6、频谱分布计算器8、频谱分布存储器9和矩阵变换图像修正单 元12作为独立单元、或可以通过根据程序进行操作的CPU实现。因 此，可以通过使用计算机配置该颜色修正设备。此外，作为根据本发明的颜色修正设备的第四示例，替换了图8 所示的表面反射率恢复单元7和图像修正单元10的、具有矩阵变换图 像修正单元12的颜色修正设备也可以容易地实现。可以通过由程序控 制的计算机构成该颜色修正设备。工业实用性本发明可以在针对彩色图像的输入/输出设备中执行包括白平衡 的颜色修正的过程中使用。本发明也可以通过以在计算机系统上运行 的程序的形式，用作对于任何颜色图像的颜色修正软件或颜色修正应 用。
权利要求
1、一种颜色修正方法，其中修正输入图像以产生具有与输入图像中的照明条件不同的照明条件的输出图像，所述方法包括从输入图像中检测特定主题区域，并提取与所述区域有关的彩色信息；通过使用所提取的与特定主题区域有关的彩色信息和提前指定的特定主题的表面反射率，恢复输入图像中的照明的频谱分布；通过使用所恢复的输入图像中的照明的频谱分布和被指定为目标照明的照明的频谱分布，计算输出图像中的照明的频谱分布；以及基于与输入图像的每个像素有关的彩色信息、所恢复的输入图像中的照明的频谱分布和所计算的输出图像中的照明的频谱分布，计算与输出图像的每个像素有关的彩色信息。
2、 如权利要求l所述的方法，其中计算彩色信息包括 通过使用与输入图像的每个像素有关的彩色信息和所恢复的输入图像中的照明的频谱分布，恢复每个像素中的表面反射率；以及通过使用所恢复的每个像素中的表面反射率和所计算的输出图 像中的照明的频谱分布，计算与输出图像的每个像素有关的彩色信息。
3、 如权利要求l所述的方法，其中计算彩色信息包括 通过使用根据在对每个像素中的表面反射率进行建模时所使用的基本矢量而计算出的常数矩阵、所恢复的输入图像中的照明的频谱 分布和输出图像中的照明的频谱分布，计算与输出图像的每个像素有 关的彩色信息。
4、 如权利要求1至3之一所述的方法，其中在计算频谱分布的 过程中，通过将所恢复的输入图像中的照明的频谱分布与目标照明的 频谱分布以与可见光区域内的波长无关的恒定比例进行混合，计算输 出图像中的照明的频谱分布。
5、 如权利要求1至3之一所述的方法，其中在计算频谱分布的 过程中，通过基于与可见光区域内的波长有关的函数来将所恢复的输入图像中的照明的频谱分布与目标照明的频谱分布进行混合，计算输 出图像中的照明的频谱分布。
6、 如权利要求4所述的方法，其中所述恒定比例由用户设置。
7、 如权利要求5所述的方法，其中所述与波长有关的函数由用 户设置。
8、 一种颜色修正设备，用于对输入图像进行修正以产生具有与输入图像中的照明条件不同的照明条件的输出图像，所述设备包括主题区域彩色信息提取装置，用于从输入图像中检测特定主题区域，并提取与该区域有关的彩色信息；频谱分布恢复装置，用于通过使用由主题区域彩色信息提取装置 所提取的与特定主题区域有关的彩色信息、以及提前指定的特定主题 的表面反射率，恢复输入图像中的照明的频谱分布；频谱分布计算装置，用于通过使用由频谱分布恢复装置所恢复的 输入图像中的照明的频谱分布、以及被指定为目标照明的照明的频谱 分布，计算输出图像中的照明的频谱分布；以及输出图像产生装置，用于基于与输入图像每个像素有关的彩色信 息、所恢复的输入图像中的照明的频谱分布和所计算的输出图像中的 照明的频谱分布，计算与输出图像的每个像素有关的彩色信息。
9、 如权利要求8所述的颜色修正设备，其中所述输出图像产生 装置包括表面反射率恢复装置，用于通过使用与由频谱分布恢复装置所恢 复的输入图像的每个像素有关的彩色信息和输入图像中的照明的频谱 分布，恢复每个像素的表面反射率；以及图像修正装置，用于通过使用由所述表面反射率恢复装置所恢复 的每个像素中的表面反射率和由所述频谱分布计算装置所计算的输出 图像中的照明的频谱分布，计算与输出图像的每个像素有关的彩色信 息。
10、 如权利要求8所述的设备，其中所述输出图像产生装置包括 矩阵变换图像修正装置，用于通过使用根据在对每个像素中的表面反射率进行建模时所使用的基本矢量而计算出的常数矩阵、所恢复的输入图像中的照明的频谱分布和输出图像中的照明的频谱分布，计 算与输出图像的每个像素有关的彩色信息。
11、 如权利要求8至10之一所述的设备，其中所述频谱分布计 算装置通过将由频谱分布恢复装置所恢复的输入图像中的照明的频谱 分布与目标照明的频谱分布以与可见光区域内的波长无关的恒定比例 进行混合，计算输出图像中的照明的频谱分布。
12、 如权利要求8至10之一所述的设备，其中所述频谱分布计 算装置通过基于与可见光区域内的波长有关的函数来将由所述频谱分 布恢复装置所恢复的输入图像中的照明的频谱分布与目标照明的频谱 分布进行混合，计算输出图像中的照明的频谱分布。
13、 如权利要求11所述的设备，还包括控制器，用于使用户能 够设置所述恒定比例，并将所述恒定比例输出至所述频谱分布计算装 置。
14、 如权利要求12所述的设备，还包括控制器，用于使用户能 够设置所述与波长有关的函数，并将所述与波长有关的函数输出至所 述频谱分布计算装置。
15、 一种颜色修正程序，用于使计算机执行处理，以修正输入图 像，从而产生具有与输入图像中的照明条件不同的照明条件的输出图 像，所述程序使计算机执行处理，用于从输入图像中检测特定主题区域，并提取与所述区域 有关的彩色信息；处理，用于通过使用所提取的与特定主题区域有关的彩色信息和 提前指定的特定主题的表面反射率，恢复输入图像中的照明的频谱分 布；处理，用于通过使用所恢复的输入图像中的照明的频谱分布和被 指定为目标照明的照明的频谱分布，计算输出图像中的照明的频谱分 布；以及处理，用于基于与输入图像的每个像素有关的彩色信息、所恢复 的输入图像中的照明的频谱分布和所计算的输出图像照明的频谱分 布，计算与输出图像的每个像素有关的彩色信息。
16、 如权利要求15所述的程序，其中所述用于计算彩色信息的处理包括处理，用于通过使用与输入图像的每个像素有关的彩色信息和所 恢复的输入图像中的照明的频谱分布，恢复每个像素中的表面反射率; 以及处理，用于通过使用所恢复的每个像素中的表面反射率和所计算 的输出图像中的照明的频谱分布，计算与输出图像的每个像素有关的 彩色信息。
17、 如权利要求15所述的程序，其中用于计算彩色信息的处理包括处理，用于通过使用根据在对每个像素中的表面反射率进行建模 时所使用的基本矢量而计算出的常数矩阵、所恢复的输入图像中的照 明的频谱分布和输出图像中的照明的频谱分布，计算与输出图像的每 个像素有关的彩色信息。
18、 如权利要求15至17之一所述的程序，其中在所述用于计算 频谱分布的处理中，通过将所恢复的输入图像中的照明的频谱分布与 目标照明的频谱分布以与可见光区域内的波长无关的恒定比例进行混 合，计算输出图像中的照明的频谱分布。
19、 如权利要求15至17之一所述的程序，其中在所述计算频谱 分布的处理中，通过基于与可见光区域内的波长有关的函数来将所恢 复的输入图像中的照明的频谱分布与目标照明的频谱分布进行混合， 计算输出图像中的照明的频谱分布。
20、 一种记录介质，可由计算机读取，所述计算机能够执行处理 以修正输入图像，从而产生具有与输入图像中的照明条件不同的照明 条件的输出图像，所述记录介质存储了用于使计算机执行以下处理的颜色修正程序处理，用于从输入图像中检测特定主题区域，并提取与所述区域有关的彩色信息；处理，用于通过使用所提取的与特定主题区域有关的彩色信息和 提前指定的特定主题的表面反射率，恢复输入图像中的照明的频谱分布；处理，用于通过使用所恢复的输入图像中的照明的频谱分布和被 指定为目标照明的照明的频谱分布，计算输出图像中的照明的频谱分 布；以及处理，用于基于与输入图像的每个像素有关的彩色信息、所恢复 的输入图像中的照明的频谱分布和所计算的输出图像照明的频谱分 布，计算与输出图像的每个像素有关的彩色信息。
全文摘要
一种颜色修正方法，其中修正输入图像以产生具有不同于输入图像中的照明条件的照明条件的输出图像，所述方法包括根据输入图像检测特定主题区域，并提取与所述区域有关的彩色信息；通过使用所提取的与特定主题区域有关的彩色信息和提前指定的特定主题的表面反射率，恢复输入图像中的照明的频谱分布；通过使用所恢复的输入图像中的照明的频谱分布和指定为目标照明的照明的频谱分布，计算输出图像中的照明的频谱分布；以及基于与输入图像的每个像素有关的彩色信息、所恢复的输入图像中的照明的频谱分布和所计算的输出图像照明的频谱分布，计算与输出图像的每个像素有关的彩色信息。
文档编号H04N9/73GK101263721SQ200680033740
公开日2008年9月10日 申请日期2006年7月12日 优先权日2005年7月13日
发明者塚田正人 申请人:日本电气株式会社