眼睛颜色校正装置以及程序的制作方法

专利名称：眼睛颜色校正装置以及程序的制作方法
技术领域：
本发明涉及眼睛颜色校正装置以及程序，涉及适用于拍摄图像(特别是， 拍摄了人的面部的图像)的摄像装置、或处理图像的信息处理装置或输出装 置、软件等的有效的技术。
背景技术：
不论数字照相机/银盐方式照相机，在使用闪光进行拍摄的情况下，存在 产生眼睛的瞳孔部分或者眼睛整体成为红色的红眼现象的问题。作为同样的 问题，还存在人物的瞳孔乃至眼睛整体被拍摄为黄色的黄眼现象。这样的红 眼/黄眼现象(以下，以红眼现象为例进行说明)是从眼睛的瞳孔部分入射到 眼球内的闪光通过视网膜反射所引起的现象。由于照相机的小型化进步并且 照相机的光轴和闪光之间的距离接近，所以以往红眼现象的产生率提高，再 次成为问题。
作为在拍摄时防止/减轻这样的红眼现象的技术，提出了红眼防止闪光。 这是在拍摄之前使闪光的发光弱，之后，重新使闪光发光的技术。根据这个 技术，通过最初的发光，被拍摄者的瞳孔被收缩，防止/减轻了之后的闪光造 成的红眼现象的产生。
但是，在产生了红眼现象的情况下，只要不能重新拍摄，就需要对红眼 进行图像校正。作为这样的图像校正的技术，提出了指定产生红眼现象的像
素，通过改变该像素的颜色而进行校正的方法(参照特许第2634511号公报 (专利文献l))。
但在产生了红眼现象的眼睛的图像中，丧失了原来的眼睛的颜色。因此， 难以从产生了红眼现象的眼睛的图像中估计原来的眼睛的颜色。若不能估计 原来的眼睛的颜色，则即使通过使用在专利文献1中公开的技术来执行校正 也难以生成自然的图像是理所当然的。
因此，本发明人开发了一种校正方法，即不论是否产生红眼现象或黄眼 现象等的异常，从输入图像确定被摄体人物的肤色，通过将该肤色代入基于预先实施的统计结果的近似式，从而从被摄体人物的肤色估计正常的眼睛的
颜色分量(特开2005-148033号公报(专利文献2))。 专利文献1:特许第2634511号公报 专利文献2:特开2005-148033号公报

发明内容
发明要解决的课题
在该专利文献2中公开的发明中，虽然可实现符合肤色的自然且无不适 感的眼睛颜色，但由于不是被摄体的人物所具有的原来的眼睛颜色，所以在 知道这个人物的眼睛颜色的人看到的情况下会留下不适感。表示一个例子， 若用蓝眼的人物的眼睛校正在周围残留蓝色的状态的红眼图像，则产生还包 含蓝色的部分而成为茶色的现象。
此外，例如在只有瞳孔变色，且原来的眼睛颜色没有完全消失而残留的 情况下，若只校正瞳孔，则存在与基于其原来的眼睛颜色和皮肤而生成的眼 睛颜色不一致，会带来不适感的问题。
本发明的目的在于，提供一种眼睛颜色校正装置以及程序，其能够估计 在被认为拍摄的人物图像中没有产生红眼现象等在眼睛部分的图像中可产生 的异常的情况中的该人物的眼睛的颜色(被拍摄的图像中的原来的眼睛的颜 色)。
用于解决课题的手段
为了达到上述的目的，本发明的眼睛颜色校正装置，其特征在于，包 括肤色确定部件，确定被输入的图像中的被摄体人物的肤色；皮肤校正颜 色计算部件，基于通过所述肤色确定部件所确定的肤色，求出应在所述图像
中表现的该人物的眼睛的颜色的皮肤校正颜色；原眼睛颜色计算部件，根据 在所述被摄体人物的眼睛的外周区域中包含的像素的颜色，求出作为该外周 区域的代表颜色的原眼睛颜色；校正基准颜色决定部件，取得所述求出的皮 肤校正颜色和原眼睛颜色，决定为校正任一颜色时的校正基准颜色；以及校 正部件，基于所述校正基准颜色，校正所述被摄体人物的眼睛的颜色。
在本发明中，肤色确定部件可以构成为，通过用户手动确定肤色，也可 以构成为将通过用户根据输入图像而指定的颜色、通过用户指定的图像中的 像素的颜色(即，根据用户所指定的部位的实际测量值)等确定作为该人物
5的肤色，也可以如实施方式中表示的那样，自动地检测面部区域的同时基于 属于该区域的像素来求出。
同样地，在原眼睛颜色计算部件中的求出原眼睛颜色的处理也可以是基 于用户的手动而求出，也可以如实施方式中表示的那样，自动地检测眼睛区 域的同时检测外周区域，并基于属于该外周区域的像素来求出。
在图像的眼睛部分中产生的异常是，例如红眼现象或黄眼现象等，是对 眼睛部分的一部分或者全部的颜色所产生的异常。
在本发明中，从输入的图像中确定被摄体人物的肤色，基于该肤色而估 计该人物的眼睛的颜色。因此，可估计对在该图像中的肤色考虑了色彩对比 的、自然且无不适感的眼睛的颜色。因此，可以从产生了红眼现象或黄眼现 象等而丧失了原来的眼睛的颜色的图像中，估计原来的眼睛的颜色(被认为 在没有产生异常的情况下所表现(输出)的眼睛的颜色)。此外，在本发明 中，还可求出眼睛的外周区域的原眼睛颜色，并基于该原眼睛颜色而校正眼 睛颜色。而且，基于哪个颜色(皮肤校正颜色/原眼睛颜色)进行校正是通过 校正基准颜色决定部件决定。因此，在眼睛的外周区域残留了被摄体人物的 眼睛的颜色的情况下，通过基于原眼睛颜色进行校正，从而可基于该人本身 具有的眼睛的颜色来进行眼睛颜色的校正，可再现进一步无不适感的眼睛颜 色。而且，假设即使在眼睛整体成为红眼等的异常，眼睛的外周区域也没有 残留原来的眼睛颜色的情况下，也能够进行基于肤色的眼睛颜色的校正处理。
此外，可以包括面部检测部件，检测包含所输入的图像中的被摄体人
物的面部的一部分或者整体的面部区域；以及眼睛检测部件，检测包含通过
所述面部一企测部件所4企测的该人物的眼睛的一部分或者整体的眼睛区域，所 述肤色确定部件可基于所述面部检测部件所检测的面部区域中包含的像素的 颜色来确定肤色，所述原眼睛颜色计算部件可基于所述眼睛检测部件所检测 的眼睛的外周区域中包含的像素的颜色来求出原眼睛颜色。"眼睛区域"是 包含被摄体人物的眼睛的一部分或者整体的区域。
在本发明中，可以从用户的输入独立地(即，在肤色的确定处理时，即 使用户没有指定颜色或者用于确定颜色的图像中的区域)，自动地进行眼睛 颜色的校正处理。因此，在本发明中能够给用户省事。
此外，进一步包括判断部件，对通过所述皮肤校正颜色计算部件所求 出的皮肤校正颜色和通过所述眼睛检测部件检测的眼睛区域中所确定的颜色进行比较，从而判断在所述图像中的该人物的眼睛的颜色是否产生异常，在 也可以在判断部件判定为异常的情况下，所述校正部件执行校正处理。此外， 在判断部件中的判断处理算法可适用各种算法，例如可通过对所述眼睛颜色 估计部件所估计的眼睛的颜色中的红色和所述眼睛检测部件检测的眼睛区域 中所确定的颜色中的红色进行比较，从而判断在所述图像中的该人物的眼睛 部分是否成为红眼。
这样，由于在需要校正的情况下进行校正处理，所以不需要的校正处理 的执行被削减，装置的负荷被减轻。当然，在本发明中，也可以对全部的图 像进行校正处理，而不进行对于是否需要有关校正的判断。这样的话，即使 产生了通过判断部件不能检测的异常的情况下，也能够正确地校正眼睛颜色。
的像素，维持该像素的亮度的同时进行校正。
本发明的程序，使计算机作为如下部件起作用肤色确定部件，确定被 输入的图像中的被摄体人物的肤色；皮肤校正颜色计算部件，基于通过所述 肤色确定部件所确定的肤色，求出应在所述图像中表现的该人物的眼睛的颜 色的皮肤校正颜色；原眼睛颜色计算部件，根据在所述被摄体人物的眼睛的 外周区域中包含的像素的颜色，求出作为该外周区域的代表颜色的原眼睛颜 色；校正基准颜色决定部件，取得所述求出的皮肤校正颜色和原眼睛颜色， 决定为校正任一颜色时的校正基准颜色；以及校正部件，基于所述校正基准 颜色，校正所述被摄体人物的眼睛的颜色。
发明效果
本发明能够估计在被认为拍摄的人物图像中没有产生红眼现象等在眼睛 部分的图像中可产生的异常的情况中的该人物的眼睛的颜色(被拍摄的图像 中的原来的眼睛的颜色)。


图1是表示眼睛颜色校正装置的第 一实施方式的功能方框的例子的图。 图2是表示而部矩飛以及在肷俱缺多,的化差#时硇
图3是表示眼睛的外周区域的例子的图。
图4是表示眼睛颜色校正装置的动作例子的流程图
7标号说明
10眼睛颜色校正装置 11存储单元
12面部4企测单元
13肤色确定单元
14皮肤校正颜色计算单元
15眼睛检测单元
16原眼睛颜色计算单元
17校正基准颜色决定单元
18判断单元
19校正单元
具体实施例方式
图1表示眼睛颜色校正装置的优选的一实施方式。眼睛颜色校正装置IO 在硬件方面，包括通过总线连接的CPU(中央运算处理装置)、主存储装置 (RAM)、辅助存储装置等。辅助存储装置是使用非易失性存储装置而构成。 这里所指的非易失性存储装置是指，所谓的ROM(包含EPROM、 EEPROM、 掩模ROM等)，FRAM、硬盘等。该眼睛颜色校正装置IO可以在个人计算机 中安装规定的应用程序而构成，也可以由专用的装置而构成。
如图1所示，本实施方式的眼睛颜色校正装置IO通过在辅助存储装置中 存储的各种程序(OS、应用等)被加载到主存储装置并通过CPU执行，从 而作为包含存储单元11、面部检测单元12、肤色确定单元13、皮肤校正颜 色计算单元14、眼睛检测单元15、原眼睛颜色检测单元16、校正基准颜色 决定单元17、判断单元18以及校正单元19等的装置起作用。
面部^^测单元12、肤色确定单元13、皮月夫校正颜色计算单元14、眼睛 检测单元15、原眼睛颜色沖企测单元16、校正基准颜色决定单元17、判断单 元18以及校正单元19是应用软件的程序通过由CPU执行而实现。此外，各 个处理单元可以是各自作为专用的芯片而构成。此外，根据通过各个处理单 元所实施的处理内容，存在硬件/软件中的适合不适合。因此，这些可作为硬 件/软件的混合而安装。以下，说明眼睛颜色校正装置10所具有的各个功能 单元。
8存储单元11存储被输入到眼睛颜色校正装置10的图像。存储单元11可
使用所谓的RAM而构成，也可以使用所谓的ROM而构成。被输入的图像数 据有在数字照相机的内置存储器、外部存储装置、各种记录媒体等中存储的 已拍摄的图像数据等。来自数字照相机的内置存储器的图像数据的传送是， 利用通信电缆或红外线通信等进行。还可以是外部存储装置或各种存储媒体 本身构成存储单元11。此外，还有在存储单元11中存储的图像数据是从信息 处理装置通过接口而传输的图像的情况。
面部检测单元12在存储单元11中存储的图像中对成为眼睛颜色校正装 置10的处理对象的图像实施面部检测处理。在面部检测处理中，面部检测单 元12从存储单元11中读出成为处理的对象的图像，并乂人所读出的图像中^企 测面部矩形20。图2是表示面部矩形的例子(面部矩形20)的图。面部矩形 20是包含被摄体人物的面部部分的矩形。
面部检测单元12若检测出面部矩形20，则输出面部矩形信息。面部矩 形信息是指，表示面部矩形20的大小或位置的信息。例如，面部矩形信息表 示面部矩形20的宽度和左上角的坐标。通过该面部矩形信息，其他的处理单 元确定在处理对象的图像中的被摄体人物的面部的位置。在本实施方式中， 由于将面部矩形20的纵横比设为预先设定的固定值，从而根据由面部矩形 20的宽度和左上角的坐标所构成的面部矩形信息，可确定由面部矩形20划 分的区域。
面部纟企测单元12的面部^r测处理也可以构成为，例如通过^吏用了与面部 整体的轮廓对应的基准模板的模板匹配而检测面部。此外，面部检测处理也 可以构成为，通过基于面部的构成要素(眼睛、鼻子、耳朵等)的模板匹配 而检测面部。此外，面部检测处理也可以构成为，通过色度键而检测头发的 顶点，并基于该顶点而检测面部。此外，面部检测单元12也可以构成为，检 测接近肤色的区域，并将该区域作为面部而检测。此外，面部才企测单元12也 可以构成为，使用神经元网络进行通过老师信号的学习，并将像面部的区域 检测作为面部。面部检测单元12的面部检测处理并不限定于在上述的例示中 举例的处理，也可以通过其他的现有的任何方法实现。
肤色确定单元13从通过面部4全测单元12所检测的面部矩形20的区域 中，取得被摄体人物的肤色的代表值。以后，将该处理称为肤色确定处理。 肤色确定单元13在肤色确定处理中，例如取得在面部矩形20中包含的像素的彩色值的统计值作为代表值。作为优选的方式，肤色确定单元13构成为，
在面部矩形20中包含的像素中，取得规定像素的彩色值的统计值。
"规定像素"是指，例如根据面部矩形20的面部矩形信息所确定的区域 中包含的像素。作为更具体的例子，例如可以是根据面部矩形20的面部矩形 信息而几何学地确定的区域内的像素。图2作为这样的区域的例子，确定将 面部矩形20的宽度的3/4设为直径，将面部矩形20的中心(在图2中的"p") 设为中心的圆内的区域。
此外，"规定像素"例如可以是在面部矩形20中包含的像素中排除了成 为肤色测量的噪声主要原因的像素的剩余的像素。作为这样的成为噪声主要 原因的像素的例子，有面部的像素(例如眉毛、眼球、嘴唇、鼻孔)或皮 肤的油光部分等的像素。此外，"规定像素"例如也可以是在面部矩形20中 包含的像素中、通过边缘提取等的处理而确定的面部轮廓的内侧中包含的像 素。此外，上述的"规定像素"的确定方法可根据需要进行组合。
肤色确定单元13基于"规定像素，，进行统计处理，并取得被摄体人物的 肤色的代表值。统计处理也可以是中间值、平均值、最频值等的简单的处理。 此外，在统计处理中，也可以进一步进行例如通过3a等的方法而从直方图划 分范围，从而排除噪声主要原因的处理。
肤色确定单元13也可以构成为，在进行肤色统计处理时，通过与上述的 方法不同的方法来取得被摄体人物的肤色的代表值。表示一个例子，则肤色 确定单元13也可以构成为，取得在面部矩形20内的特定的像素的彩色值作 为代表值。
皮肤校正颜色计算单元14基于通过肤色确定单元13所取得的肤色的代 表值，计算基于该被摄体人物的皮肤而估计的眼睛的颜色。以下，将通过皮 肤校正颜色计算单元14所估计的眼睛的颜色称为"皮肤校正颜色"。皮肤校 正颜色计算单元14基于RGB的各个颜色的变换函数(近似式)而取得皮肤 校正颜色。该近似式表示在被摄体人物的图像中的肤色和被认为没有产生红 眼等的异常的图像中的眼睛的颜色之间的相关。该近似式是作为前处理而预 先取得的式。该近似式可根据以下的步骤求出。
首先，收集多个对红眼或黄眼等的眼睛的图像认为没有产生异常的图像 (换言之，"无不适感的图像"、"被认为被摄体人物的眼睛正常地拍摄的图 像")作为样本图像。通过对这些样本图像进行统计处理，从而得到在被摄体人物的图像中的肤色和被认为没有产生异常的图像中的眼睛的颜色之间的相 关。具体地说，首先，取得在各个样本图像中的被摄体人物的肤色的代表值
Sn (Srn、 Sgn、 Sbn)和该人物的眼睛的正常颜色的代表值En (Ern、 Egn、 Ebn)。这些代表值，例如可通过与由肤色确定单元13所进行的统计处理相同 的方法而取得。当然，这些代表值也可以通过其他任何方法而求出。
接着，假设例如各个颜色的变换函数可以以一次方程式近似。即，假设 通过以下的式(1 )表示各个颜色的变换函数。
Ec=Ac-Sc+Bc……(1 )
这里，"c"表示rgb的任一个。此外，"A"、 "B"表示系数。在前处理 中，基于在各个样本图像中的肤色的代表值Sn和眼睛的正常的颜色的代表值 En，通过最小二乘法而决定系数"A"以及"B"的值。这样，在前处理中， 求出对于RGB的各个颜色的近似式，即用于从肤色估计眼睛的正常的颜色的 三个近似式。
皮肤校正颜色计算单元14保有有关的三个近似式。因此，皮肤校正颜色 计算单元14对预先取得的近似式代入通过肤色确定单元13所取得的肤色的 代表值，计算基于对应被摄体的肤色所估计的正常的颜色(即，皮肤校正颜 色)。
另外，在上述的说明中，说明了在前处理中取得一次方程式的近似式的 情况，但也可以基于一次方程式以外的近似式进行前处理以及皮肤校正颜色 计算单元14的处理。
眼睛检测单元15对在存储单元11中存储的图像中成为眼睛颜色校正装 置10的处理对象的图像进行眼睛检测处理。在眼睛检测处理中，眼睛检测单 元15从存储单元2中读出在成为处理对象的图像中通过面部检测单元12所 检测的面部矩形20内的图像，并从读出的图像中检测眼晴区域。眼睛区域是 包含通过面部检测单元12而检测出面部的被摄体人物的眼睛的图像。
眼睛检测单元15的眼睛检测处理也可以构成为，通过使用了与眼睛的形 状对应的基准模板的模板匹配而检测眼睛。此时，眼睛检测单元15也可以构 成为，选择与根据面部检测单元12检测的面部矩形20的大小所估计的眼睛 直径对应的模板而进行眼睛检测处理。此外，眼睛检测单元15也可以构成为， 通过根据检测的面部矩形20的位置而估计大致的眼睛位置，从而限定进行模 板匹配的区域。此外，目艮睛检测单元15的眼睛检测处理也可以通过模板匹配
li以外的任何方法来实现。例如，眼睛检测单元15也可以构成为，通过对输入 图像提取边缘之后跟踪眼睛的轮廓，从而检测眼睛。眼睛检测单元15若通过 眼睛检测处理而检测出眼睛，则输出表示眼睛的区域的信息(以下，称为"眼 睛区域信息")。
原眼睛颜色检测单元16求出通过眼睛检测单元15所确定的被摄体的眼
睛的外周区域的颜色。即，如图3所示，在通过眼睛4企测单元15所求出的眼 睛区域R中，将与该眼睛区域同心并且将通过眼睛检测单元15所求出的眼睛 直径的3/4设为直径的圆C的外侧的区域Rl设为被:慑体的眼睛的外周区域， 测量在其外周区域中存在的各个像素的平均颜色，并将求出的颜色设为原眼
睛颜色。
校正基准颜色决定单元17决定成为在进行红眼校正时的基准颜色的眼 睛校正基准颜色。具体地说，校正基准颜色决定单元17取得皮肤校正颜色计 算单元14对同一个被摄体求出的皮肤校正颜色、和通过原眼睛颜色检测单元 16所求出的原眼睛颜色，并基于皮肤校正颜色而校正眼睛的外周区域，与该 校正的眼睛颜色和原眼睛颜色进行比较。然后，校正基准颜色决定单元17判 断校正的眼睛颜色是否比原眼睛颜色增加了红色感，在红色感增加的情况下， 将原眼睛颜色决定为眼睛校正基准颜色，在红色感减少的情况下，将皮肤校 正颜色决定为眼睛校正基准颜色。
即，在基于肤色所校正的眼睛的颜色比校正前的原眼睛颜色增加了红色 感的情况下，可判断为眼睛的外周区域没有产生红眼现象。因此，由于该外 周区域成为残留被摄体本身的眼睛颜色，所以可通过将原眼睛颜色设为眼睛 校正基准颜色，从而进行高质量的校正。相反地，在红色感减少的情况下， 可估计为眼睛的外周区域也产生红眼现象，在眼睛整体中失去了原眼睛颜色，
够进行符合肤色的校正，可得到与在专利文献2中公开的发明相等的效果。 在红色感相等的情况下，将哪个设为眼睛校正基准颜色都可以，但在本
实施方式中，将原眼睛颜色决定为眼睛校正基准颜色。这是因为，通过使用
被摄体本身具有的眼睛颜色的原眼睛颜色，能够校正为更加符合该被摄体的
自然的眼睛颜色的可能性高。
红色感的评价是根据在以下的式中表示的R分量比例(Rrate)而判断。 Rrate=R/ (R+G+B )
12其中(KR、 G、 BS255
另夕卜，可使用与在后述的校正单元19中的校正处理相同的步骤，执行对 基于皮肤校正颜色的眼睛的外周区域的校正处理。
判断单元18基于通过眼睛检测单元15所输出的眼睛区域信息，确定表 示在输入图像中的眼睛的各个像素的颜色，并判断有无红眼或黄眼等的异常 的产生，即是否需要校正。具体地说，比较眼睛区域的各个像素和眼睛校正 基准颜色，求出红色感(R分量比例)的大小。在相比眼睛校正基准颜色的 红色感，输入图像的红色感高的像素的比例为一定以上的情况下，判断为产 生红眼等的异常，需要校正。当然，这样设置判断单元18而每次判定是否需 要校正在本发明中并不是必需的，也可以无需判定是否需要有关校正而校正 全部的眼睛颜色。
校正单元19基于判断单元18的判断结果实施校正处理。即，校正单元 19在根据判断单元18而判断为在输入图像的眼睛的图像中产生异常的情况 下，进行校正处理。校正单元19基于通过校正基准颜色决定单元17所决定 的眼睛校正基准颜色，对通过眼睛检测单元15所检测的眼睛区域内的像素的 颜色进4亍才交正。
具体的校正处理为如下所述。校正单元19对成为校正对象的像素的颜 色，维持其亮度的同时置换为皮肤校正颜色眼睛校正基准颜色(皮肤校正颜 色或者原眼睛颜色)。在这里，校正单元19对成为校正对象的像素基于如下 的式，取得其亮度Y。
Y=0.299R+0.587G+0.114B
另外，R、 G、 B的各个值设为0至255的整数值。而且，校正单元19 在维持眼睛校正基准颜色的R、 G、 B的各个值的比率的同时取得可得到与成 为校正对象的像素的亮度Y相同的亮度的RGB值(以下，设为Nr、Ng、Nb)。 这是为了维持摄影光线(catch light)的效果。校正单元19通过将这样得到的 Nr、 Ng、 Nb的值赋给成为校正对象的像素，从而进行校正处理。
另外，在上述中，维持R、 G、 B的比率地决定校正颜色，但并不限定于 此，基于眼睛校正基准颜色而决定R、 G、 B的比率(色感)的方法即可。
根据本实施方式，眼睛颜色校正装置IO基于判断单元18的判定处理的 判定结果而判断是否需要对于输入图像的眼睛部分的校正处理。然后，根据 该判断结果，进行使用了基于肤色所估计的皮肤校正颜色或者原眼睛颜色的
13任一个所组成的眼睛校正基准颜色的校正处理。因此，能够对产生红眼现象 等异常的图像，将被摄体人物的眼睛的颜色校正为正常的颜色，而无需麻烦 用户的手。
此外，在眼睛颜色校正装置10中，在实施校正处理时，维持成为输入图 像的校正对象的像素的亮度的同时决定基于眼睛校正基准颜色的颜色。即， 维持原来的每个像素的亮度的同时进行颜色的置换。因此，与单纯地被一色 地置换为皮肤校正颜色或原眼睛颜色的情况(所谓的平底涂满(^夕塗D ) 的情况)不同，可进行更加自然的校正处理。具体地说，不会失去所谓的摄 影光线等的在眼睛表面产生的自然现象的效果，在校正后的眼睛的图像中自 然地表现眼球的球型或眼球表面的湿润感。因此，能够实现高质量的图像校 正。
图4是表示眼睛颜色校正装置10的动作例子的流程图。使用图4说明眼 睛颜色校正装置10的动作例子。眼睛颜色校正装置IO将得到的图像数据存 储在存储单元11 (SIO)。接着，面部检测单元12执行从成为处理对象的图 像中检测被摄体人物的面部的面部检测处理(S11 )。即，面部检测单元12从 成为处理对象的图像中检测面部矩形20，并取得面部矩形信息。
接着，肤色确定单元13和皮肤校正颜色计算单元14执行肤色统计处理， 并计算基于肤色所估计的眼睛的颜色的皮肤校正值(S12)。即，肤色确定单 元13基于通过面部检测单元12所取得的面部矩形信息进行肤色统计处理， 并确定肤色的代表值。接着，皮肤校正颜色计算单元14使用通过肤色确定单 元13所求出的肤色的代表值和预先取得的近似式，估计通过面部;f企测单元 12检测出面部的人物的眼睛颜色并求出皮肤校正颜色。然后，皮肤校正颜色 计算单元14输出估计的皮肤校正颜色。
眼睛检测单元15检测眼睛区域(S13)。接着，原眼睛颜色计算单元16 求出通过眼睛检测单元15所检测的眼睛区域的估计眼睛直径，计算该眼睛的 外周区域的代表颜色，求出原眼睛颜色(S14)。
校正基准颜色决定单元17取得原眼睛颜色计算单元16求出的原眼睛颜 色(眼睛的外周区域的代表颜色)、和基于皮肤校正颜色计算单元14求出的 皮肤校正颜色(基于肤色所估计的眼睛的颜色)对眼睛的外周区域进行校正 的眼睛颜色，比较两者，并决定红色感少的颜色为眼睛校正基准颜色(S15)。
接着，判定单元18基于校正基准颜色决定单元17所决定的眼睛校正基准颜色和眼睛检测单元15所检测的眼睛区域内的各个像素的颜色，判定对输 入图像的眼睛是否产生了红眼等的异常(S16)。
在判定结果不需要校正的情况下，直接结束处理。在判定结果需要校正
的情况下，校正单元19基于眼睛校正基准颜色和眼睛区域的各个像素，实施 校正处理(S17)。
在眼睛颜色校正装置中，基于预先取得的近似式，从输入图像的被摄体 人物的肤色估计该人物的眼睛的正常的颜色，即应该在图像中表现的眼睛的 颜色。因此，即使在输入图像中产生了红眼或黄眼等的问题的情况下，也能 够从这样的红眼或黄眼的眼睛的异常的颜色独立地估计被摄体人物的眼睛的 正常的颜色。
此外，本实施方式的眼睛颜色校正装置由于求出眼睛外周区域的原眼睛 颜色，判断原眼睛颜色和皮肤校正颜色的哪个颜色适合眼睛校正基准颜色， 所以能够进行更高精度的校正。即，因为在眼睛的中央等的眼睛的一部分产
生红眼，在眼睛外周区域残留了该被:摄体本身具有的眼睛的颜色的情况下， 基于该残留的眼睛的颜色(原眼睛颜色)进行红眼校正能够校正为更加自然 的眼睛的颜色。
此外，用户可基于这样估计的眼睛校正基准颜色，判断是否应该对输入 图像的眼睛部分进行校正。即，用户通过比较输入图像的眼睛的颜色和眼睛 校正基准颜色，从而能够容易判断是否应该对该输入图像的眼睛部分进行校 正。此外，用户可基于这样估计的皮肤校正颜色对输入图像的眼睛部分进行 校正，可得到具有无不适感的正常颜色的眼睛的图像。
这样的眼睛颜色校正装置10例如可适用于数字静态/视频照相机等的摄
像装置或包括这样的摄像装置的信息处理装置等。通过适用眼睛颜色校正装 置，摄像装置等可基于输出的眼睛校正基准颜色，判断在被拍摄的图像中是 否产生红眼或黄眼等的异常。同样地，通过适用眼睛颜色校正装置，可得到 应该对眼睛的图像校正的颜色(即，皮肤校正颜色/原眼睛颜色)。因此，这
提示皮肤校正颜色等。
判断单元18可以构成为，对被摄体人物的左右各个眼睛独立地实施判
断，对各个眼睛输出判定结果。当然，由于被摄体人物的左右眼睛基本上是 相同的颜色，所以构成为校正颜色也使用左右相同的颜色是合理的。此外，
15在输入图像中检测出多个被摄体人物的面部等的情况下，眼睛颜色校正装置 可以对全部人员进行判定处理等，也可以只对满足规定的条件的被摄体人物 (例如，面部矩形的大小为规定的大小以上的人物，位于画面中央附近的人 物、面部认证的结果判断的规定的人物)进行判定处理等。此外，也可以不 进行是否需要校正的判断，对所有的图像进行眼睛颜色校正处理。
眼睛颜色校正装置可以通过专用装置或者在个人计算机中安装应用程序 而独立地实现，也可以安装在数字静态照相机或数字摄像机等的摄像装置或 小型实验机或其他的图像处理装置中。
权利要求
1.一种眼睛颜色校正装置，其特征在于，包括肤色确定部件，确定被输入的图像中的被摄体人物的肤色；皮肤校正颜色计算部件，基于通过所述肤色确定部件所确定的肤色，求出应在所述图像中表现的该人物的眼睛的颜色的皮肤校正颜色；原眼睛颜色计算部件，根据在所述被摄体人物的眼睛的外周区域中包含的像素的颜色，求出作为该外周区域的代表颜色的原眼睛颜色；校正基准颜色决定部件，取得所述求出的皮肤校正颜色和原眼睛颜色，决定为校正任一颜色时的校正基准颜色；以及校正部件，基于所述校正基准颜色，校正所述被摄体人物的眼睛的颜色。
2. 如权利要求1所述的眼睛颜色校正装置，其特征在于，包括 面部检测部件，检测包含所输入的图像中的被摄体人物的面部的一部分或者整体的面部区域；以及眼睛检测部件，检测包含通过所述面部检测部件所检测的该人物的眼睛 的一部分或者整体的眼睛区域，素的颜色来确定肤色，所述原眼睛颜色计算部件是，基于所述眼睛检测部件所检测的眼睛的外 周区域中包含的像素的颜色而求出原眼睛颜色的部件。
3. 如权利要求2所述的眼睛颜色校正装置，其特征在于， 还包括判断部件，对通过所述校正基准颜色决定部件所决定的校正基准颜色和在所述图像中的该人物的眼睛的颜色是否产生异常，在判断部件判定为异常的情况下，所述校正部件执行校正处理。
4. 如权利要求3所述的眼睛颜色校正装置，其特征在于， 所述判断部件对通过所述校正基准颜色决定部件所决定的校正基准颜色中的红色和通过所述眼睛才企测部件所4企测的眼睛区域所确定的颜色中的红色 进行比较，从而判断在所述图像中的该人物的眼睛部分是否成为红眼。
5. 如权利要求2至4的任一项所述的眼睛颜色校正装置，其特征在于，所述校正部件是，对通过所述眼睛检测部件所检测的眼睛区域的像素， 维持该像素的亮度的同时进行校正的部件。
6. —种程序，使计算机作为如下部件起作用 肤色确定部件，确定被输入的图像中的被摄体人物的肤色； 皮肤校正颜色计算部件，基于通过所述肤色确定部件所确定的肤色，求出应在所述图像中表现的该人物的眼睛的颜色的皮肤校正颜色；原眼睛颜色计算部件，根据在所述被摄体人物的眼睛的外周区域中包含的像素的颜色，求出作为该外周区域的代表颜色的原眼睛颜色；校正基准颜色决定部件，取得所述求出的皮肤校正颜色和原眼睛颜色，决定为校正任一颜色时的校正基准颜色；以及校正部件，基于所述校正基准颜色，校正所述被摄体人物的眼睛的颜色。
全文摘要
提供一种眼睛颜色校正装置，在拍摄的人物图像中产生红眼现象等在眼睛部分的图像中可产生的异常，并且被认为人物原来的眼睛颜色没有因相同现象而安全失去的情况下，能够校正该人物的眼睛的颜色。该装置包括肤色确定单元(13)，确定在输入的图像中的被摄体人物的肤色；皮肤校正颜色计算单元(14)，求出基于由肤色确定单元所确定的肤色而估计的人物的眼睛的颜色即皮肤校正颜色；原眼睛颜色计算单元(16)，从在人物的眼睛的外周区域中包含的像素的颜色求出其外周区域的代表颜色即原眼睛颜色；校正基准颜色决定单元(17)，取得那些求出的皮肤校正颜色和原眼睛颜色，决定为校正任一颜色时的眼睛校正基准颜色；校正单元(19)，基于校正基准颜色，校正被摄体人物的眼睛的颜色。
文档编号H04N1/46GK101542522SQ200880000468
公开日2009年9月23日 申请日期2008年3月12日 优先权日2007年3月15日
发明者垣内崇 申请人:欧姆龙株式会社