眼睛颜色校正装置以及程序的制作方法

专利名称：眼睛颜色校正装置以及程序的制作方法
技术领域：
本发明涉及眼睛颜色校正装置以及程序，涉及适用于拍摄图像(特别是， 拍摄了人的面部的图像)的摄像装置、或处理图像的信息处理装置或输出装 置、软件等的有效的技术。
背景技术：
不论数字照相机/银盐方式照相机，在使用闪光进行拍摄的情况下，存在 产生眼睛的瞳孔部分或者眼睛整体成为红色的红眼现象的问题。作为同样的 问题，还存在人物的瞳孔乃至眼睛整体被拍摄为黄色的黄眼现象。这样的红 眼/黄眼现象(以下，以红眼现象为例进行说明)是从眼睛的瞳孔部分入射到 眼球内的闪光通过视网膜反射所引起的现象。由于照相机的小型化进步并且 照相机的光轴和闪光之间的距离接近，所以以往红眼现象的产生率提高，再 次成为问题。
作为在拍摄时防止/减轻这样的红眼现象的技术，提出了红眼防止闪光。 这是在拍摄之前使闪光的发光弱，之后，重新使闪光发光的技术。根据这个 技术，通过最初的发光，被拍摄者的瞳孔被收缩，防止/减轻之后的闪光造成 的红眼现象的产生。
但是，在产生了红眼现象的情况下，只要不能重新拍摄，就需要对红眼 进行图像校正。作为这样的图像校正的技术，提出了指定产生红眼现象的像
素，通过改变该像素的颜色而进行校正的方法(参照特许第2634511号公报 (专利文献l))。
但在产生了红眼现象的眼睛的图像中，丧失了原来的眼睛的颜色。因此， 难以从产生了红眼现象的眼睛的图像中估计原来的眼睛的颜色。若不能估计 原来的眼睛的颜色，则即使想要通过使用在专利文献1中公开的技术来执行 校正也难以生成自然的图像是理所当然的。
此外，在红眼的判定/校正颜色的决定中，从通过色彩对比来判断色感的 人体的视觉的特征来看，仅将眼睛颜色设为判定材料也存在无理之处。即，在特别接近茶色的眼睛颜色的情况下，即使是具有相同值的图像数据也存在 因状况而被看作红眼或者不是红眼的情况。此时，考虑到该人物的眼睛原来 是茶色，或者原来是比较黑的色调的眼睛但通过弱红眼现象而被看作茶色的 两种情况。这两种情况不能根据眼睛颜色来判断，要根据肤色、或者背景等 的照片整体的色调进行色彩对比来判断。
此外，在特别红的面部或者红色的照明下的情况下等，存在在进行消除 红色感的校正的情况下反而被看作不自然的情况。这是因为，在从肤色所预 计的照明之下(在红的面部的情况下，疑似的照明之下)，成为不可能存在 的眼睛颜色。因此，在这样的情况下，消除红色感的校正严格来说是错误， 需要生成与肤色相匹配的眼睛颜色，并以此为基准进行校正。
从这样的方面出发，也能够判断不应仅着眼于眼睛进行校正处理，还要 考虑其周围的肤色或与背景的色彩对比而进行红眼的判断/校正颜色的决定。 因此，本发明人基于这样的考虑，开发了一种校正方法，即不论是否产生红 眼现象或黄眼现象等的异常，从输入图像确定被摄体人物的肤色，通过将该 肤色代入基于预先实施的统计结果的近似式，从而从被摄体人物的肤色估计
正常的眼睛的颜色分量(特开2005-148033号公报(专利文献2))。 专利文献l:特许第2634511号公报 专利文献2:特开2005-148033号公报

发明内容
发明要解决的课题
在该专利文献2中公开的发明中，虽然可实现符合肤色的自然且无不适 感的眼睛颜色，但由于像素的原来的亮度因红眼现象等而已经失去，所以若 维持红眼的像素的亮度的同时对眼睛颜色进行校正，则存在校正后的眼睛的 亮度变得非常白的情况。此时，存在即使能够无不适感地校正眼睛颜色，但 亮度产生不适感，作为结果校正质量变差的课题。
本发明的目的在于，提供一种眼睛颜色校正装置以及程序，其能够在对 拍摄的人物图像的眼睛部分进行校正处理时，不会使校正后的图像产生不适 感。
用于解决课题的手段
为了达到上述的目的，本发明的眼睛颜色校正装置，其特征在于，包括肤色确定部件，确定被输入的图像中的被摄体人物的肤色；皮肤校正颜
色计算部件，基于通过所述肤色确定部件所确定的肤色，求出应在所述图像
中表现的该人物的眼睛的颜色的皮肤校正颜色；亮度估计部件，根据所述被 摄体人物的眼睛部分的像素值，估计产生该像素的红眼等的色调异常之前的 亮度；以及校正单元，根据基于所述皮肤校正颜色的校正基准颜色和所述估 计的亮度，对所述被摄体人物的眼睛的颜色进行校正。
而且，包括原眼睛颜色计算部件，根据在所述被摄体人物的眼睛的外 周区域中包含的像素的颜色，求出作为该外周区域的代表颜色的原眼睛颜色； 以及校正基准颜色决定部件，根据所述求出的皮肤校正颜色和原眼睛颜色的 任一个颜色，决定所述校正基准颜色。此外，包括判断部件，对通过所述 皮肤校正颜色计算部件所求出的皮肤校正颜色和通过所述眼睛检测部件检测 的眼睛区域中所确定的颜色进行比较，从而判定在所述图像中的该人物的眼 睛的颜色是否产生异常，在判断部件判定为异常的情况下，所述校正部件执 行校正处理。此外，该判断部件可以具有如下功能对通过所述眼睛颜色估 计部件所估计的眼睛的颜色中的红色和通过所述眼睛检测部件;险测的眼睛区 域所确定的颜色中的红色进行比较，从而判断在所述图像中的该人物的眼睛 部分是否成为红眼。
在本发明中，肤色确定部件可以构成为通过用户手动确定肤色，也可以 构成为将通过用户根据输入图像而指定的颜色、通过用户指定的图像中的像 素的颜色(即，根据用户所指定的部位的实际测量值)等确定作为该人物的 肤色，也可以如实施方式中表示地那样，自动地检测面部区域的同时基于属 于该区域的像素来求出。
同样地，在原眼睛颜色计算部件中的求出原眼睛颜色的处理也可以是基 于用户的手动而求出，也可以如实施方式中表示地那样，自动地4企测眼睛区 域的同时检测外部周围区域，并基于属于该外部周围区域的像素来求出。
在图像的眼睛部分中产生的异常是，例如红眼现象或黄眼现象等，是对 眼睛部分的一部分或者全部的颜色所产生的异常。
在本发明中，从输入的图像中确定被摄体人物的肤色，基于该肤色而估 计该人物的眼睛的颜色。因此，可估计对在该图像中的肤色考虑了色彩对比 的、自然且无不适感的眼睛的颜色。因此，可以从因产生红眼现象或黄眼现 象等而丧失了原来的眼睛的颜色的图像中，估计原来的眼睛的颜色(被认为
6在没有产生异常的情况下所表现(输出)的眼睛的颜色)。
此外，由于设置了亮度估计部件，加入了所估计的亮度而进行校正处理， 所以防止了瞳孔被校正为白，能够实现尽可能再现产生眼睛颜色异常的现象 之前的亮度的高质量的校正。
此外，在具有求出眼睛的外部周围区域的原眼睛颜色，并基于该原眼睛 颜色而校正眼睛颜色的功能的情况下，基于什么颜色(皮肤校正颜色/原眼睛 颜色)进行校正是根据校正基准颜色决定部件决定。因此，在眼睛的外部周 围区域残留了被摄体人物的眼睛的颜色的情况下，通过基于原眼睛颜色进行 校正，从而能够基于该人所具有的原来的眼睛的颜色来进行眼睛颜色的校正， 因此可再现进一步无不适感的眼睛颜色。而且，,H殳即使在眼睛整体成为红 眼等的异常，眼睛的外部周围区域也没有原来的眼睛颜色的情况下，也能够 进行基于肤色的眼睛颜色的校正处理。
所述亮度估计部件也可以包括计算GB亮度的功能，该GB亮度是在构 成像素的颜色的R、 G、 B中，基于G和B的值而决定的亮度。此时，所述 校正部件能够在维持校正基准颜色的R、 G、 B的值的比率的同时，变换为校 正基准颜色的所述GB亮度的值与校正对象像素的GB亮度值相等。
在产生红眼现象的情况下，考虑到相比原来的眼睛颜色的亮度值上升的 增加量，主要是由于红色光。因此，可通过使用G和B的值来估计红眼产生 之前的亮度值。
此外，可以包括面部检测部件，检测包含所输入的图像中的被摄体人 物的面部的一部分或者整体的面部区域；以及眼睛4全测部件，；险测包含通过 所述面部#:测部件所卩险测的该人物的眼睛的一部分或者整体的眼睛区域，所 述肤色确定部件可基于所述面部检测部件所检测的面部区域中包含的像素的 颜色来确定肤色，所述原眼睛颜色计算部件可基于所述眼睛检测部件所检测 的眼睛的外部周围区域中包含的像素的颜色来求出原眼睛颜色。"眼睛区域" 是包含被摄体人物的眼睛的一部分或者全部的区域。
在本发明中，可以从用户的输入中独立地(即，在肤色的确定处理时， 即使用户没有指定颜色或者用于确定颜色的图像中的区域)，自动地进行眼 睛颜色的校正处理。因此，能够给用户省事。
此外，进一步具有对通过所述皮肤校正颜色计算部件所求出的皮肤校正 颜色和通过所述眼睛检测部件检测的眼睛区域中所确定的颜色进行比较的功能的情况下，可以包括用于判断在所述图像中的该人物的眼睛的颜色是否产 生异常的判断部件，可以在判断部件判定为异常的情况下，所述校正部件执 行校正处理。此外，在判断部件中的判断处理算法可适用各种算法，但例如 通过对所述眼睛颜色估计部件所估计的眼睛的颜色中的红色和所述眼睛4企测 部件检测的眼睛区域中所确定的颜色中的红色进行比较，从而能够判断在所 述图像中的该人物的眼睛部分是否成为红眼。
这样，由于在需要校正的情况下进行校正处理，所以不需要的校正处理 的执行被削减，装置的负荷被减轻。当然，在本发明中，也可以对全部的图 像进行校正处理，而不进行对于是否需要有关校正的判断。这样的话，即使 产生了通过判断部件不能检测的异常的情况下，也能够正确地校正眼睛颜色。
本发明的程序，使计算机作为如下部件起作用肤色确定部件，确定被 输入的图像中的被摄体人物的肤色；皮肤校正颜色计算部件，基于通过所述 肤色确定部件所确定的肤色，求出应在所述图像中表现的该人物的眼睛的颜 色的皮肤校正颜色；亮度估计部件，根据所述被摄体人物的眼睛部分的像素 值，估计产生该像素的红眼等的色调异常之前的亮度；以及校正单元，根据 基于所述皮肤校正颜色的校正基准颜色和所述估计的亮度，对所述被摄体人 物的眼睛的颜色进行校正。
发明效果
在本发明中，通过在眼睛颜色的校正中，对产生眼睛颜色的异常的现象 之前的亮度进行估计，并对眼睛颜色进行校正以再现其亮度，从而防止瞳孔 被校正为白，能够实现无不适感的高质量的校正。


图1是表示眼睛颜色校正装置的第 一实施方式的功能方框的例子的图。 图2是表示面部矩形以及在取得肤色的代表值时确定的区域的例子的图。
图3是表示眼睛的外部周围区域的例子的图。
图4是表示眼睛颜色校正装置的动作例子的流程图。
标号i^明
10眼睛颜色校正装置 11存储单元12面部检测单元
13肤色确定单元
14皮肤校正颜色计算单元
15眼睛4企测单元
16原眼睛颜色计算单元 17校正基准颜色决定单元 18判断单元 19校正单元
具体实施例方式
图1表示眼睛颜色校正装置的优选的一实施方式。眼睛颜色校正装置IO 在硬件方面，包括通过总线连接的CPU(中央运算处理装置)、主存储装置 (RAM)、辅助存储装置等。辅助存储装置是使用非易失性存储装置而构成。 这里所指的非易失性存储装置是指，所谓的ROM (EPROM、 EEPROM、掩 模ROM等)，FRAM、硬盘等。该眼睛颜色校正装置IO可以在个人计算机中 安装规定的应用程序而构成，也可以由专用的装置而构成。
如图1所示，本实施方式的眼睛颜色校正装置IO通过在辅助存储装置中 存储的各种程序(OS、应用等)被加载到主存储装置并通过CPU执行，从 而作为包含存储单元11、面部检测单元12、肤色确定单元13、皮肤校正颜 色计算单元14、眼睛检测单元15、原眼睛颜色^r测单元16、 4交正基准颜色 决定单元17、判断单元18以及校正单元19等的装置起作用。
面部检测单元12、肤色确定单元13、皮肤校正颜色计算单元14、眼睛 检测单元15、原眼睛颜色检测单元16、判断单元18以及校正单元19是应用 软件的程序通过由CPU执行而实现。此外，各个处理单元可以是各自作为专 用的芯片而构成。此外，根据通过各个处理单元所实施的处理内容，存在硬 件/软件中的适合不适合。因此，这些可作为硬件/软件的混合而安装。以下， 说明眼睛颜色校正装置IO所具有的各个功能单元。
存储单元11存储被输入到眼睛颜色校正装置10的图像。存储单元11可 使用所谓的RAM而构成，也可以使用所谓的ROM而构成。被输入的图像数 据有在数字照相机的内置存储器、外部存储装置、各种记录媒体等中存储的 已拍摄的图像数据等。来自数字照相机的内置存储器的图像数据的传送是，
9利用通信电缆或红外线通信等进行。还可以是外部存储装置或各种存储媒体 本身构成存储单元11。此外，还有在存储单元11中存储的图像数据是从信息 处理装置通过接口而传输的图像的情况。
面部检测单元12在存储单元11中存储的图像中对成为眼睛颜色校正装
置10的处理对象的图像实施面部检测处理。在面部检测处理中，面部检测单 元12从存储单元11中读出成为处理的对象的图像，并从所读出的图像中检 测面部矩形20。图2是表示面部矩形的例子(面部矩形20)的图。面部矩形 20是包含被摄体人物的面部部分的矩形。
面部检测单元12若检测出面部矩形20，则输出面部矩形信息。面部矩 形信息是指，表示面部矩形20的大小或位置的信息。例如，面部矩形信息表 示面部矩形20的宽度和左上角的坐标。通过该面部矩形信息，其他的处理单 元确定在处理对象的图像中的被摄体人物的面部的位置。在本实施方式中， 由于将面部矩形20的纵横比设为预先设定的固定值，从而根据由面部矩形 20的宽度和左上角的坐标所构成的面部矩形信息，可确定由面部矩形20划 分的区域。
面部一企测单元12的面部一企测处理也可以构成为，例如通过^f吏用了与面部 整体的轮廓对应的基准模板的模板匹配而检测面部。此外，面部检测处理也 可以构成为，通过基于面部的构成要素(眼睛、鼻子、耳朵等)的模板匹配 而检测面部。此外，面部检测处理也可以构成为，通过色度键而检测头发的 顶点，并基于该顶点而检测面部。此外，面部检测单元12也可以构成为，检 测接近肤色的区域，并将该区域作为面部而检测。此外，面部检测单元12也 可以构成为，使用神经元网络进行通过老师信号的学习，并将像面部的区域 检测作为面部。面部检测单元12的面部检测处理并不限定于在上述的例示中 举例的处理，也可以通过其他的现有的任何方法实现。
肤色确定单元13从通过面部检测单元12所检测的面部矩形20的区域 中，取得被摄体人物的肤色的代表值。以后，将该处理称为肤色确定处理。 肤色确定单元13在肤色确定处理中，例如取得在面部矩形20中包含的像素 的彩色值的统计值作为代表值。作为优选的方式，肤色确定单元13构成为， 在面部矩形20中包含的像素中，取得规定像素的彩色值的统计值。
"规定像素"是指，例如根据面部矩形20的面部矩形信息所确定的区域 中包含的像素。作为更具体的例子，例如可以是根据面部矩形20的面部矩形
10信息而几何学地确定的区域内的像素。图2作为这样的区域的例子，确定将
面部矩形20的宽度的3/4设为直径，将面部矩形20的中心(在图2中的"p") 设为中心的圓内的区域。
此外，"规定像素，，例如可以是在面部矩形20中包含的像素中排除了成 为肤色测量的噪声主要原因的像素的剩余的像素。作为这样的成为噪声主要 原因的像素的例子，有面部的像素(例如眉毛、眼球、嘴唇、鼻孔)或皮 肤的油光部分等的像素。此外，"规定像素"例如也可以是在面部矩形20中 包含的像素中、通过边缘提取等的处理而确定的面部轮廓的内侧中包含的像 素。此外，上述的"规定像素"的确定方法可根据需要进行组合。
肤色确定单元13基于"规定像素"进行统计处理，并取得被摄体人物的 肤色的代表值。统计处理也可以是中间值、平均值、最频值等的简单的处理。 此外，在统计处理中，也可以进一步进行例如通过3cr等的方法而从直方图划 分范围，从而排除噪声主要原因的处理。
肤色确定单元13也可以构成为，在进行肤色统计处理时，通过与上述的 方法不同的方法来取得被摄体人物的肤色的代表值。表示一个例子，则肤色 确定单元13也可以构成为，取得在面部矩形20内的特定的像素的彩色值作 为代表值。
皮肤校正颜色计算单元14基于通过肤色确定单元13所取得的肤色的代 表值，计算基于该被摄体人物的皮肤而估计的眼睛的颜色。以下，将通过皮 肤校正颜色计算单元14所估计的眼睛的颜色称为"皮肤校正颜色"。皮肤校 正颜色计算单元14基于RGB的各个颜色的变换函数(近似式)而取得皮肤 校正颜色。该近似式表示在被摄体人物的图像中的肤色和被认为没有产生红 眼等的异常的图像中的眼睛的颜色之间的相关。该近似式是作为前处理而预 先取得的式。该近似式可根据以下的步骤求出。
首先，收集多个对红眼或黄眼等的眼睛的图像认为没有产生异常的图像 (换言之，"无不适感的图像"、"被认为被摄体人物的眼睛正常地拍摄的图 像，，)作为样本图像。通过对这些样本图像进行统计处理，从而得到在被摄体 人物的图像中的肤色和被认为没有产生异常的图像中的眼睛的颜色之间的相 关。具体地说，首先，皮肤校正颜色计算单元取得在各个样本图像中的被摄 体人物的肤色的代表值Sn (Sm、 Sgn、 Sbn)和该人物的眼睛的正常颜色的 代表值En(Em、 Egn、 Ebn )。这些代表值，例如可通过与由肤色确定单元13所进行的统计处理相同的方法而取得。当然，这些代表值也可以通过其他 任何方法而求出。
接着，假设例如各个颜色的变换函数可以以一次方程式近似。即，假设 通过以下的式(1 )表示各个颜色的变换函数。
Ec=Ac-Sc+Bc……(1 )
这里，"c，，表示rgb的任一个。此外，"A"、 "B"表示系数。在前处理 中，基于在各个样本图像中的肤色的代表值Sn和眼睛的正常的颜色的代表值 En,通过最小二乘法而决定系数"A，，以及"B"的值。这样，在前处理中， 求出对于RGB的各个颜色的近似式，即用于从肤色估计眼睛的正常颜色的三 个近似式。
皮肤校正颜色计算单元14保有有关的三个近似式。因此，皮肤校正颜色 计算单元14对预先取得的近似式代入通过肤色确定单元13所取得的肤色的 代表值，计算基于对应被摄体的肤色所估计的正常的颜色(即，皮肤校正颜 色)。
另外，在上述的说明中，说明了在前处理中取得一次方程式的近似式的
计算单元14的处理。
眼睛检测单元15对在存储单元11中存储的图像中成为眼睛颜色校正装 置10的处理对象的图像进行眼睛检测处理。在眼睛检测处理中，眼睛检测单 元15从存储单元2中读出在成为处理对象的图像中通过面部检测单元12所 检测的面部矩形20内的图像，并从读出的图像中检测眼睛区域。眼睛区域是 包含通过面部检测单元12而检测出面部的被摄体人物的眼睛的图像。
眼睛检测单元15的眼睛检测处理也可以构成为，通过使用了与眼睛的形 状对应的基准模板的模板匹配而检测眼睛。此时，眼睛检测单元15也可以构 成为，选择与根据面部检测单元12检测的面部矩形20的大小所估计的眼睛 直径对应的模板而进行眼睛4全测处理。此外，眼睛检测单元15也可以构成为， 通过根据检测的面部矩形20的位置而估计大致的眼睛位置，从而限定进行模 板匹配的区域。此外，目艮睛检测单元15的眼睛检测处理也可以通过模板匹配 以外的任何方法来实现。例如，眼睛检测单元15也可以构成为，通过对输入 图像提取边缘之后跟踪眼睛的轮廓，从而检测眼睛。眼睛检测单元15若通过 眼睛检测处理而检测出眼睛，则输出表示眼睛的区域的信息(以下，称为"眼睛区域信息")。
原眼睛颜色检测单元16求出通过眼睛检测单元15所确定的被摄体的眼
睛的外部周围区域的颜色。即，如图3所示，在通过眼睛检测单元15所求出 的眼睛区域R中，将与该眼睛区域同心并且将通过眼睛^^测单元15所求出的 眼睛直径的3/4设为直径的圆C的外侧的区域R1设为被摄体的眼睛的外部周 围区域，测量在其外部周围区域中存在的各个像素的平均颜色，并将求出的 颜色设为原眼睛颜色。
校正基准颜色决定单元17决定成为在进行红眼校正时的基准颜色的眼 睛校正基准颜色。具体地说，校正基准颜色决定单元17取得皮肤校正颜色计 算单元14对同一个被摄体求出的皮肤校正颜色、和通过原眼睛颜色4企测单元 16所求出的原眼睛颜色，并基于皮肤校正颜色而校正眼睛的外部周围区域， 与该校正的眼睛颜色和原眼睛颜色进行比较。然后，校正基准颜色决定单元 17判断校正的眼睛颜色是否比原眼睛颜色增加了红色感，在红色感增加的情 况下，将原眼睛颜色决定为眼睛校正基准颜色，在红色感减少的情况下，将 皮肤校正颜色决定为眼睛校正基准颜色。
即，在基于肤色所校正的眼睛的颜色比校正前的原眼睛颜色增加了红色 感的情况下，可判断为眼睛的外部周围区域没有产生红眼现象。因此，由于 该外部周围区域成为残留被摄体本身的眼睛颜色，所以可通过将原眼睛颜色 设为眼睛校正基准颜色，从而进行高质量的校正。相反地，在红色感减少的 情况下，可估计为眼睛的外部周围区域也产生红眼现象，在眼睛整体中失去
准颜色，从而能够进行符合肤色的校正，可得到与在专利文献2中公开的发 明相等的效果。
在红色感相等的情况下，将哪个设为眼晴校正基准颜色都可以，但在本 实施方式中，将原眼睛颜色设为眼睛校正基准颜色。这是因为，通过使用被 摄体本身具有的眼睛颜色的原眼睛颜色，能够校正为更加符合该被摄体的自 然的眼睛颜色的可能性高。
红色感的评价是根据在以下的式中表示的R分量比例(Rrate)而判断。
Rrate=R/ (R+G+B )
其中(KR、 G、 BS255
另夕卜，可使用与在后述的校正单元19中的校正处理相同的步骤，执行对
13基于皮肤校正颜色的眼睛的外部周围区域的校正处理。
判断单元18基于通过眼睛检测单元15所输出的眼睛区域信息，确定表 示在输入图像中的眼睛的各个像素的颜色，并判断有无红眼或黄眼等的异常 的产生，即是否需要校正。具体地说，比较眼睛区域的各个像素和眼睛校正
基准颜色，求出红色感(R分量比例)的大小。在相比眼睛校正基准颜色的
红色感，输入图像的红色感高的像素的比例为一定以上的情况下，判断为产
生红眼等的异常，需要校正。当然，这样设置判断单元18而每次判定是否需 要校正在本发明中并不是必需的，也可以无需判定是否需要有关校正而校正 全部的眼睛颜色。
校正单元19基于判断单元18的判断结果进行校正处理。即，校正单元 19在根据判断单元18而判断为在输入图像的眼睛的图像中产生异常的情况 下，进行校正处理。校正单元19基于通过校正基准颜色决定单元17所决定 的眼睛校正基准颜色，对通过眼睛检测单元15所检测的眼睛区域内的像素的 颜色进行校正。
具体的校正处理为如下所述。校正单元19对成为校正对象的像素的颜色 区分色感和亮度进行处理。首先，色感是根据眼睛校正基准颜色而决定。即， 维持亮度同时置换为眼睛校正基准颜色(皮肤校正颜色或者原眼睛颜色)。在 这里，校正单元19对成为校正对象的像素基于如下的式，取得其亮度Y。
Y=0.299R+0.587G+0.114B
另外，R、 G、 B的各个值设为0至255的整数值。而且，校正单元19 在维持眼睛校正基准颜色的R、 G、 B的各个值的比率的同时取得可得到与成 为校正对象的像素的亮度Y相同的亮度的RGB值(以下，设为Nr、 Ng、 Nb )。 这是为了维持摄影光线(catch light)效果。校正单元19通过将这样得到的 Nr、 Ng、 Nb的值赋给成为校正对象的像素，从而进行对于色感的校正处理。
另外，在上述中，维持R、 G、 B的比率地决定校正颜色，但并不限定于 此，基于眼睛校正基准颜色而决定R、 G、 B的比率(色感)的方法即可。
另一方面，对于亮度的校正是，基于像素的值而估计红眼发生之前的亮 度值。有关亮度值的估计是基于G/B值而执行。这是因为，考虑到通过红眼 现象上升的亮度值的增加量主要是由于红色光。因此，由于从眼睛校正基准 颜色决定RGB的各个颜色的最佳的比率，所以若决定G和B的值，则可估 计红眼发生之前的亮度值。另外，红眼的反射光并不仅是单纯的R分量，G和B值多少也上升，但与R的上升量相比可以忽略。
然后，采用眼睛校正基准颜色的亮度与从像素的值所估计的亮度相匹配
的颜色置换像素。具体地说，维持眼睛校正基准颜色的RGB值的比率的同时 变换为校正后的颜色的GB亮度值与校正对象像素的GB亮度值相等，从而 设为校正之后的像素的值。这里，通过以下的式子计算GB亮度Lgb。 Lgb-0.857G+0.114B
根据本实施方式，眼睛颜色校正装置IO基于判断单元18的判定处理的 判定结果而判断是否需要对于输入图像的眼睛部分的校正处理。然后，根据 该判断结果，进行使用了基于肤色所估计的皮肤校正颜色或者原眼睛颜色的 任一个所组成的眼睛校正基准颜色的校正处理。因此，能够对产生红眼现象 等异常的图像，将被摄体人物的眼睛的颜色校正为正常的颜色，而无需麻烦 用户的手。
此外，在眼睛颜色校正装置10中，在实施校正处理时，维持成为输入图 像的校正对象的像素的GB亮度的同时决定基于眼睛校正基准颜色的颜色。 即，维持原来的每个像素的GB亮度的同时进行颜色的置换。因此，与单纯 地被一色地置换为皮肤校正颜色或原眼睛颜色的情况(所谓的平底涂满(《 夕塗^))的情况)不同，可进行更加自然的校正处理。具体地说，不会失去 所谓的摄影光线等的在眼睛表面产生的自然现象的效果，在校正后的眼睛的 图像中自然地表现眼球的球型或眼球表面的湿润感。这是因为，摄影光线等 的映入中GB亮度非常高，所以其颜色通过校正也不会被损失。因此，本实 施方式的眼睛颜色校正装置可实现高质量的图像校正。
此外，在上述的实施方式中，设眼睛校正基准颜色是基于皮肤校正颜色 和原眼睛颜色的任一个而决定，但本发明并不限定于此，也可以如专利文献况。
图4是表示眼睛颜色校正装置10的动作例子的流程图。使用图4说明眼 睛颜色校正装置10的动作例子。眼睛颜色校正装置IO将得到的图像数据存 储在存储单元11 (SIO)。接着，面部检测单元12执行从成为处理对象的图 像中检测被摄体人物的面部的面部检测处理(S11 )。即，面部检测单元12从 成为处理对象的图像中检测面部矩形20,并取得面部矩形信息。
接着，肤色确定单元13和皮肤校正颜色计算单元14执行肤色统计处理，
15并基于肤色，计算所估计的眼睛的颜色的皮肤校正值(S12)。即，肤色确定
单元13基于通过面部检测单元12所取得的面部矩形信息进行肤色统计处理， 并确定肤色的代表值。接着，皮肤校正颜色计算单元14使用通过肤色确定单 元13所求出的肤色的代表值和预先取得的近似式，估计通过面部检测单元 12检测出面部的人物的眼睛颜色并求出皮肤校正颜色。然后，皮肤校正颜色 计算单元14输出估计的皮肤校正颜色。
眼睛检测单元15检测眼睛区域(S13)。接着，原眼睛颜色计算单元16 求出通过眼睛检测单元15所检测的眼睛区域的估计眼睛直径，计算该眼睛的 外部周围区域的代表颜色，求出原眼睛颜色(S14)。
校正基准颜色决定单元17取得原眼睛颜色计算单元16求出的原眼睛颜 色(眼睛的外部周围区域的代表颜色)、和基于皮肤校正颜色计算单元14求 出的皮肤校正颜色(基于肤色所估计的眼睛的颜色)对眼睛的外部周围区域 进行校正的眼睛颜色，比较两者，并决定红色感少的颜色为眼睛校正基准颜 色(S15)。
接着，判定单元18基于校正基准颜色决定单元17所决定的眼睛校正基 准颜色和眼睛检测单元15所检测的眼睛区域内的各个像素的颜色，对输入图 像的眼睛判定是否产生了红眼等的异常(S16)。
在判定结果不需要校正的情况下，直接结束处理。在判定结果需要校正 的情况下，校正单元19基于眼睛校正基准颜色和眼睛区域的各个像素，实施 校正处理(S17)。即，校正单元19区分色感和亮度进行处理，对色感使用根 据肤色或者眼睛的颜色所决定的眼睛校正基准颜色进行校正，对亮度使用GB 亮度而估计产生红眼现象之前的亮度，并校正以使其相符合。
在眼睛颜色校正装置中，基于预先取得的近似式，从输入图像的被摄体 人物的肤色估计该人物的眼睛的正常的颜色，即应该在图像中表现的眼睛的 颜色。因此，即使在输入图像中产生了红眼或黄眼等的问题的情况下，也能 够从这样的红眼或黄眼的眼睛的异常的颜色独立地估计祐::慑体人物的眼睛的 正常的颜色。因此，用户能够基于这样估计的皮肤校正颜色，判断是否应该 对输入图像的眼睛部分进行校正。即，用户通过比较输入图像的眼睛的颜色 和皮肤校正颜色，从而能够容易判断是否应该对该输入图像的眼睛部分进行 校正。此外，用户可基于这样估计的皮肤校正颜色对输入图像的眼睛部分进 行校正，可得到具有无不适感的正常颜色的眼睛的图像。
16此外，由于求出眼睛外部周围区域的原眼睛颜色，判断原眼睛颜色和皮 肤校正颜色的哪个颜色适合眼睛校正基准颜色，所以能够进行更高精度的校 正。即，在眼睛的中央等的眼睛的一部分产生红眼，在眼睛外部周围区域残 留了该被摄体本身具有的眼睛的颜色的情况下，基于该残留的眼睛的颜色(原 眼睛颜色)进行红眼校正能够校正为更加自然的眼睛的颜色。
此外，用户可基于这样估计的眼睛校正基准颜色，判断是否应该对输入 图像的眼睛部分进行校正。即，用户通过比较输入图像的眼睛的颜色和皮肤 校正颜色眼睛校正基准颜色，从而能够容易判断是否应该对该输入图像的眼 睛部分进行校正。此外，用户可基于这样估计的皮肤校正颜色对输入图像的 眼睛部分进行校正，可得到具有无不适感的正常颜色的眼睛的图像。
此外，在冬实施方式中，通过估计产生眼睛颜色异常现象之前的亮度， 校正眼睛颜色以再现该亮度，从而防止瞳孔被校正为白，能够实现更加高质 量的才交正。
这样的眼睛颜色校正装置10例如也可适用于数字静态/视频照相机等的
摄像装置或包括这样的摄像装置的信息处理装置等。通过适用眼睛颜色校正 装置，摄像装置等可基于输出的眼睛校正基准颜色，判断在被拍摄的图像中 是否产生红眼或黄眼等的异常。同样地，通过适用眼睛颜色校正装置，可得 到应该对眼睛的图像校正的颜色(即，皮肤校正颜色/原眼睛颜色)。因此，
户提示皮肤校正颜色等。
判断单元18可以构成为，对被#_体人物的左右各个眼睛独立地实施判 断，对各个眼睛输出判定结果。当然，由于被摄体人物的左右眼睛基本上是
在输入图像中检测出多个被摄体人物的面部等的情况下，眼睛颜色校正装置 可以对全部人员进行判定处理等，也可以只对满足规定的条件的被摄体人物 (例如，面部矩形的大小为规定的大小以上的人物，位于画面中央附近的人 物、面部认证的结果判断的规定的人物)进行判定处理等。此外，也可以不 进行是否需要校正的判断，对所有的图像进行眼睛颜色校正处理。
眼睛颜色校正装置可以通过专用装置或者在个人计算机中安装应用程序 而独立地实现，也可以安装在数字静态照相机或数字摄像机等的摄像装置或 小型实验机或其他的图像处理装置中。
权利要求
1.一种眼睛颜色校正装置，其特征在于，包括肤色确定部件，确定被输入的图像中的被摄体人物的肤色；皮肤校正颜色计算部件，基于通过所述肤色确定部件所确定的肤色，求出应在所述图像中表现的该人物的眼睛的颜色的皮肤校正颜色；亮度估计部件，根据所述被摄体人物的眼睛部分的像素值，估计产生该像素的红眼等的色调异常之前的亮度；以及校正单元，根据基于所述皮肤校正颜色的校正基准颜色和所述估计的亮度，对所述被摄体人物的眼睛的颜色进行校正。
2. —种眼睛颜色校正装置，其特征在于，包括肤色确定部件，确定被输入的图像中的被摄体人物的肤色；皮肤校正颜色计算部件，基于通过所述肤色确定部件所确定的肤色，求 出应在所述图像中表现的该人物的眼睛的颜色的皮肤校正颜色；原眼睛颜色计算部件，根据在所述被摄体人物的眼睛的外周区域中包含 的像素的颜色，求出作为该外周区域的代表颜色的原眼晴颜色；校正基准颜色决定部件，根据所述求出的皮肤校正颜色和原眼睛颜色的 任一个颜色，决定校正基准颜色；亮度估计部件，根据所述被摄体人物的眼睛部分的像素值，估计产生该 像素的红眼等的色调异常之前的亮度；以及校正单元，根据所述校正基准颜色和所述估计的亮度，对所述被摄体人 物的眼睛的颜色进行校正。
3. 如权利要求1或2所述的眼睛颜色校正装置，其特征在于， 还包括面部检测部件，检测包含所输入的图像中的被摄体人物的面部的一部分 或者整体的面部区域；以及的 一部分或者整体的眼睛区域，所述肤色确定部件是，基于所述面部检测部件所检测的面部区域中包含 的像素的颜色来确定肤色的部件。
4. 如权利要求3所述的眼睛颜色校正装置，其特征在于，还包括判断部件，对通过所述皮肤校正颜色计算部件所求出的皮肤校正颜色和 通过所述眼睛检测部件检测的眼睛区域中所确定的颜色进行比较，从而判断 在所述图像中的该人物的眼睛的颜色是否产生异常，在判断部件判定为异常的情况下，所述校正部件执行校正处理。
5. 如权利要求4所述的眼睛颜色校正装置，其特征在于，所述判断部件对通过所述眼睛颜色估计部件所估计的眼睛的颜色中的红 色和通过所述眼睛检测部件检测的眼睛区域所确定的颜色中的红色进行比 较，从而判断在所述图像中的该人物的眼睛部分是否成为红眼。
6. 如权利要求1至5的任一项所述的眼睛颜色校正装置，其特征在于， 所述亮度估计部件包括计算GB亮度的功能，该GB亮度是在构成像素的颜色的R、 G、 B中，基于G和B的值而决定的亮度。
7. 如权利要求6所述的眼睛颜色校正装置，其特征在于， 所述校正部件是以校正基准颜色的R、 G、 B的值为基准，变换为校正基准颜色的所述GB亮度的值与校正对象像素的GB亮度值相等。
8. —种程序，使计算机作为如下部件起作用肤色确定部件，确定被输入的图像中的被摄体人物的肤色； 皮肤校正颜色计算部件，基于通过所述肤色确定部件所确定的肤色，求 出应在所述图像中表现的该人物的眼睛的颜色的皮肤校正颜色；亮度估计部件，根据所述被摄体人物的眼睛部分的像素值，估计产生该像素的红眼等的色调异常之前的亮度；以及校正单元，根据基于所述皮肤校正颜色的校正基准颜色和所述估计的亮 度，对所述被摄体人物的眼睛的颜色进行校正。
全文摘要
提供一种眼睛颜色校正装置，在眼睛颜色的校正中，估计在发生眼睛颜色异常的现象之前的亮度，校正眼睛颜色以再现该亮度，从而防止瞳孔被校正为白，能够进行没有不适感的高质量的校正。其包括肤色确定单元(13)，确定被输入的图像中的被摄体人物的肤色；皮肤校正颜色计算单元(14)，求出作为基于通过肤色确定单元所确定的肤色而估计的人物的眼睛的颜色的皮肤校正颜色；以及校正单元(19)，基于通过皮肤校正颜色所决定的眼睛校正基准颜色，对被摄体人物的眼睛的颜色进行校正。校正单元根据被摄体人物的眼睛部分的像素的G值和B值，估计产生该像素的红眼等的色调异常之前的亮度，根据基于皮肤校正颜色的眼睛校正基准颜色和估计的亮度，对被摄体人物的眼睛的颜色进行校正。
文档编号G06T1/00GK101542521SQ20088000046
公开日2009年9月23日 申请日期2008年3月12日 优先权日2007年3月15日
发明者垣内崇 申请人:欧姆龙株式会社