图像处理设备及其方法

专利名称：图像处理设备及其方法
技术领域：
本发明涉及脸部图像区域的图像处理。
背景技术：
用于改善肖像图像质量的技术正引起越来越多的关注。例
如，可使用的寺支术包括在日本特开2002-247596中公开的红 眼校正技术，以及在日本特开平11-250227中公开的校正肖4象 以使皮肤看起来光滑的技术等。
为了改善肖像的印象，不仅眼部和皮肤的图像质量改善而 且嘴部的图像质量改善都具有很大的影响。例如，将泛黄的或 染色的牙齿校正为白色，以使这些牙齿看起来干净健康，从而 改善整个肖像的印象。日本特开2006-059162^^开了如下发明 从脸部图像区域(下文中称为脸部图像)检测牙齿图像区域(下 文中称为牙齿图像)，并根据预定目标值将所检测到的牙齿图 像校正为白色。
然而，人们对脸部图像的图像质量的感觉是很敏感的。给 定器官和其他器官的颜色之间需要平衡，如果给定器官的颜色
与其他器官的颜色相差很大，则人们会感到不自然。例如，当 牙齿图像经过白色校正时，如果该牙齿图像的色度水平 (chroma level)相对于该牙齿图像周围的色度水平太低，则 在脸部图像中只有牙齿突出，导致不自然的脸部图像。
特别地，整体上具有高色度水平的脸部图像的牙齿周围的 颜色的色度水平高。如果以与整体上具有低色度水平的脸部图 像相同的方式对这样的牙齿图像进行白色校正，则形成牙齿非 常突出的脸部图像。换而言之，必须考虑整个脸部图像的色度水平，来确定校正牙齿图像所需的目标值。

发明内容
在一个方面中， 一种图像处理设备，包括第一检测器， 用于从图像检测与牙齿相对应的第一图像区域；第二检测器， 用于从所述图 <象检测与所述牙齿以外的脸部部位相对应的第 二图像区域；以及校正器，用于基于所述第一图像区域的颜色 的特征量和所述第二图像区域的颜色的特征量，来校正所述第 一图像区域的颜色。
在另一方面中， 一种图像处理方法，包括从图像检测与 牙齿相对应的第 一 图像区域；从所述图像检测与所述牙齿以外 的脸部部位相对应的第二图像区域；以及基于所述第 一 图像区 域的颜色的特征量和所述第二图像区域的颜色的特征量，来校 正所述第一图像区域的颜色。
根据这些方面，可以校正牙齿图像区域的颜色，而不会形 成不自然的脸部图像。
通过下面参考附图对示例性实施例的说明，本发明的其他 特征将变得显而易见。


图l是示出图像处理设备的布置的框图； 图2是用于说明图像处理的流程图； 图3是用于说明牙齿图像的检测的流程图； 图4示出脸部图像的例子；
图5是用于说明接触嘴部图像的边缘的线段的图； 图6示出嘴部的候选矩形和外接矩形之间的关系； 图7是用于说明嘴唇图像的检测的图8示出嘴唇图像的直方图的例子；
图9是用于说明牙齿图像的平均色度值的计算方法的流程
图IO示出嘴部的外接矩形；
图11示出牙齿区域的二值化掩模图像；
图12是用于说明眼白图像的检测的流程图13示出眼部候选矩形；
图14示出眼部的候选矩形和外接矩形之间的关系； 图15是用于说明眼部图像的检测的图； 图16是用于说明眼白图像的检测方法的流程图； 图17是用于说明眼白图像的检测方法的图； 图18示出眼部图像和所获取的像素的亮度值之间的关系 的例子；
图19是用于说明种子的确定的图20是用于说明眼白图像的检测方法的图21示出作为区域生长结果的生长区域；
图22是用于说明眼白图像的平均色度值的计算的图23示出眼部区域的二值化掩模图像；
图24示出牙齿区域的混合掩模图像；
图25是用于说明牙齿图像的校正的流程图26是用于说明校正图像的生成的流程图27示出相对于整个图像有倾斜的脸部图像；
图28是用于说明根据第二实施例的图像处理的流程图；以
及
图29是用于说明基于皮肤区域来计算校正参数的流程图。
具体实施例方式
以下将参考附图来详细说明根据本发明实施例的图像处理。
第 一 实施例 概述
第一实施例将说明在对牙齿图像应用白色校正时，通过分 析眼白图像区域(下文称为眼白图像)的色度水平来确定校正 目标值的方法。
如上所述，在校正牙齿图像的颜色时，除非保持牙齿与整 个脸部图像的颜色的平衡，否则在脸部图像中只有牙齿突出， 导致不自然的脸部图像。因此，在第一实施例中，分析最接近 脸部图像中除牙齿以外的非彩色颜色的脸部部位(例如，眼白 图像)的色度水平，以确定校正目标值，该校正目标值使牙齿 图像具有与牙齿以外的脸部部位的色度水平相应的色度水平。
设备布置
图l是示出根据第 一 实施例的图像处理设备的布置的框图。
微处理器(CPU) 104通过使用随机存取存储器(RAM) 106作为工作存储器，执行存储在只读存储器(ROM) 105和 硬盘驱动器(HDD) 102中的程序，来执行包括稍后要说明的 处理的各种处理，以通过系统总线109控制稍后要说明的各个组件。
输入单元101包括键盘、定点装置等。用户通过输入单元 IOI向图像处理设备输入数据，并指示CPU 104执行各种操作。 HDD 102存储各种二进制数据和元数据。另外，HDD 102存储 C P U 10 4实现稍后要说明的处理所需的控制程序和处理程序。
显示单元103包括阴极射线管(CRT)、液晶平板显示器 (LCD)等。CPU 104在显示单元103上显示用户界面、处理
的进度和结果等。接口 (I/F) 107包括例如诸如USB (通用串 行总线)、IEEE 1394等的串行总线接口 。 CPU104可以从连接 到I/F 107的数字照相才几或存储卡读取器加载图^^数据，并可以 将它们存储在HDD 102中。CPU 104可以通过I/F 107将存储在 HDD 102中的图像数据等输出到外部设备。 图像处理
图2是用于说明由CPU 104执行的图像处理的流程图。 CPU 104将要校正的图像数据加载到RAM 106的预定区 域上(S3001 ),并从所加载的图像数据检测脸部图像(S3002 )。 可以使用例如在"使用皮肤颜色和动作的脸部和特征检测 (Face and Feature Detection Using Skin Color and Motion )，， (IIitoshi Hongo和Kazuhiko Yamamoto， 图像信息和电视工程 师十办会其月子'j ( The journal of the Institute of Image Information and Television Engineers),图^f象信息和电 一见工程师协会(the Institute of Image Information and Television Engineers )， 1998 年12月，第52巻，第12期，第86页-第93页)中所述的方法， 来检测脸部图像。可选地，可以使用日本特开平7-141506中公 开的使用皮肤颜色的方法以及使用模式匹配的方法等。
CPU 104从所检测到的脸部图像检测牙齿图像(S3003 ), 并计算所检测到的牙齿图像的平均色度aveTS ( S3004 )。 CPU 104从所检测到的脸部图像检测眼白图像(S3005 )，并计算所 检测到的眼白图像的平均色度aveES ( S3006 )。稍后将说明牙 齿图像的检测方法、牙齿图像的平均色度的计算方法、眼白图 像的检测方法和眼白图像的平均色度aveES的计算方法。
然后，CPU 104判断牙齿图像是否具有需要校正处理的颜 色(S3007 )。进行该判断步骤，从而如果牙齿图像原来就是白 色的而不需要校正为白色，则跳过牙齿图像的校正处理。在标
准脸部图像中，如果牙齿图像的色度相对眼白图像的色度高出 一定程度，则人们会感觉到牙齿图像有颜色。因此，作为判断
方法，CPU 104判断牙齿图像的平均色度aveTS和眼白图像的 平均色度aveES是否满足
aveTS/aveES > thl…(l)
其中，thl是根据经验定义的阔值(thl>l )。
即，如果不等式(1)成立，则CPU 104使处理进入步骤 S3008，以执行牙齿图像的校正处理；否则，跳过牙齿图像的 校正处理，/人而结束处理。
在执行牙齿图像的校正处理时，CPU 104计算牙齿图像校 正的校正参数P ( S3008 ),并使用该校正参数P来校正包括在 牙齿图像中的像素值(S3009 )。注意，CPU 104将校正后的(或 未校正的)图像数据存储在HDD 102的预定区域中，并根据用 户的指令，将图像数据输出到外部设备或在显示单元103上显 示该图像数据所代表的图像。
牙齿图^f象的4全测(S3003 )
图3是用于说明牙齿图像的检测的流程图。
CPU 104在步骤S3002中检测到的脸部图像10上设置如图 4所示的围绕嘴部图像区域(下文中称为嘴部图像)的矩形区 域(称为嘴部候选矩形)11 ( S3101 )。基于脸部图像的检测结 果，来预先统计计算嘴部图像的位置，并基于统计计算得到的 嘴部图像的位置，来设置嘴部候选矩形ll。
在步骤S 3101中设置的嘴部候选矩形11只围绕嘴部图像的 统计位置，而不是外接于脸部图像10上的嘴部图像的矩形区 域。因此，CPU 104在后续处理中检测外接于嘴部图像的矩形 区域(下文中称为嘴部外接矩形)。
为了检测嘴部外接矩形，CPU 104生成嘴部候选矩形ll中的边缘图像(S3 102 )。通过使用亮度、色度和色调值(hue value ) 中的至少一个作为特征量检测边缘，来生成该边缘图像。
CPU 104通过分析所生成的边缘图像，来检测嘴部外接矩 形(S3103 )。
图5是用于说明获得接触嘴部图像边缘的线段的方法的 图。注意，图5所示的嘴部图像与嘴部候选矩形11中的边缘图 像相对应。
如图5所示，在嘴部图像的外侧上边缘数量很小，而与牙 齿、嘴唇等相对应的大量边缘存在于嘴部图像的内侧。因此， 可以通过从嘴部候选矩形ll中的边缘图像检测包括大量边缘 的区域，来^f企测嘴部外接矩形。
图5中所示的线段C D将嘴部候选矩形11等分成左右区域。 CPU 104对线段CD上的形成边缘的像素数Ecd进行计数。注意， 在下文中，形成边缘的像素将被称为"边缘像素"，而边缘像素 数将被称为"边缘数"。接着，CPU 104在垂直方向上从嘴部候 选矩形11的左上角的点E到左下角的点F对边缘数Eef进行计 数。然后，CPU 104判断边缘数Eef和Ecd是否满足
Eef/Ecd>th2 ...(2)
其中，th2是预定阈值(0 <th2 < 1 )。
如果不等式(2)不成立，则CPU 104将在点C方向上A/v点 E移动 一 个坐标的点E+l设置为边缘数的计数开始点。同样， CPU 104将在点D方向上从点F移动一个坐标( 一个像素)的点 F+H殳置为计数结束点。CPU 104在垂直方向上^/v点E十l到点 F+l对边缘数Eef重新进行计数。CPU 104重复计数开始和结束 点的向右移动和重新计数，直到不等式(2)成立。
如果不等式(2)成立，则CPU 104将此时的计数开始和 结束点E+n和F+n设置为嘴部外接矩形的左侧(面向图像)端
点，换而言之，嘴部外接矩形的左侧位置。
接着，CPU 104在垂直方向上从嘴部候选矩形ll的右上角 的点G到点H对边缘数Egh进行计数。然后，CPU104判断边缘 数Egh和Ecd是否满足
Egh/Ecd>th2 ...(3) C P U 10 4重复计It开始和结束点的向左移动和重新计|史，直到 不等式(3)成立。如果不等式(3)成立，则CPU104将此时 的计数开始和结束点G-n和H-n设置为嘴部外接矩形的右侧端 点，换而言之，嘴部外接矩形的右侧位置。
CPU 104以类似的方式获得嘴部外接矩形的上下侧。即， CPU 104对将嘴部候选矩形ll等分成上下区域的线段IJ上的边 缘数Eij进行计数。接着，CPU 104在水平方向上从嘴部候选矩 形].l的点E到右上角的点G对边缘数Eeg进行计数，并判断边缘 数Eeg和Eij是否满足
Eeg/Eij〉th3 ...(4) 其中，th3是预定阈值(0 < th3 < 1 )。
CPU 104重复计数开始和结束点的向下移动和重新计数， 直到不等式(4)成立。如果不等式(4)成立，则CPU104将 此时的计数开始和结束点E+n和G+n设置为嘴部外接矩形的上 侧端点，即，嘴部外接矩形的上侧位置。
然后，CPU 104在水平方向上从嘴部候选矩形ll的右下角 的点F到点H对边缘数Efh进行计数，并判断边缘数Efh和Eij是 否满足
Efh/Eij〉th3…(5)
CPU 104重复计数开始和结束点的向上移动和重新计数，直到 不等式(5)成立。如果不等式(5)成立，则CPU104将此时 的计数开始和结束点F-n和II-n设置为嘴部外接矩形的下侧端
点，即，嘴部外接矩形的下侧位置。
在对以上例子的说明中，与线段CD和IJ上的边缘数进行 比较。例如，可以使用靠近线段CD和IJ的多条线的平均边缘数。
图6示出嘴部候选矩形ll和嘴部外接矩形12之间的关系。 接着，CPU 104检测牙齿图像。可以根据嘴部外接矩形12 中的像素的颜色信息来检测牙齿图像，但是，通过仅使用颜色 信息的简单检测，可能会不期望地包括靠近嘴部外接矩形12 的四个角的皮肤部分。因此，CPU 104检测嘴唇图像区域(下 文中称为嘴唇图像)的图像区域特征点，以检测概略的嘴唇图 像(S3104)。然后，CPU 104使用颜色信息来检测被嘴唇图像 包围的牙齿图像。
为了检测嘴唇图像，CPU 104获得嘴唇图像的特征点。CPU 104获得例如图7所示的六个点P1至P6。然后，CPU104才全观J通 过连接这些点而形成的六边形(在图7中以虛线表示)，作为嘴 唇图像。
图7所示的特征点P1是通过在垂直方向上从嘴部外接矩形 12的左上角的点a到点b检测边缘像素而首先检测到的边缘像 素。同样，特征点P2是通过在垂直方向上从点c到点d检测边缘 像素而首先检测到的边缘像素。
特征点P3是通过在水平方向上从点a到点c检测边缘像素 而首先检测到的边缘像素。特征点P4是在水平方向上从点c到 点a检测边缘像素而首先检测到的边缘像素。特征点P 5是在水 平方向上从点b到点d检测边缘像素而首先检测到的边缘像素。 特征点P 6是在水平方向上从点d到点b才企测边缘像素而首先检 测到的边缘{象素。在这种情况下，CPU 1044全测通过以P1、 P3、 P4、 P2、 P6、 P5和P1的顺序连接这些特征点而形成的六边形，
作为概略的嘴唇图像。
在对以上例子的说明中，将首先检测到的边缘像素定义为 嘴唇图像的特征点。可选地，当连续检测到预定数量的边缘像 素时，可以将这些边缘像素中的一个定义为特征点。
CPU 104检测包括在嘴唇图像中的牙齿图像的像素(下文 中称为牙齿像素)，并将检测到的牙齿像素组定义为牙齿图像 (S3105)。例如，CPU 104通过分析嘴唇图像中的像素的色调 直方图来检测牙齿像素。
图8示出嘴唇图像的直方图例子。在图8中，纵坐标标出像 素数，而横坐标标出以0。 ( 360。)代表蓝色、以180。代表黄色 的色调角。
由于嘴唇图像仅包括嘴唇图像和牙齿图像，通常在嘴唇图 像的色调直方图中一定会出现两个峰值。考虑到嘴唇图像和牙 齿图像的色调，两个峰值中较接近红色的峰值一定是由嘴唇图 像的像素(下文中称为嘴唇像素)形成的，而另 一个峰值一定 是由牙齿像素形成的。因此，在图8的例子中，接近红色的色 调范围13与嘴唇像素相对应，而另 一个色调范围14与牙齿像素 相对应。
即，生成嘴唇图像的色调直方图，并以出现频率递减的顺 序选择两个峰值，从而基于这两个峰值的位置(色调)和色调 范围，来获得包括嘴唇像素的色调范围和包括牙齿像素的色调范围。
因此，CPU 104从嘴唇图像;险测包括在牙齿l象素的色调范 围内的像素，以将检测到的牙齿像素组定义为牙齿图像。
在对以上例子的说明中，作为识别的例子，集中在色调水 平上，并使用色调直方图来检测嘴唇图像中的牙齿像素。然而， 可以集中在色度水平上，以检测低色度像素作为牙齿像素。 牙齿图像的平均色度的计算(S3004 )
图9是用于说明牙齿图像的平均色度的计算方法的流程图。
CPU 104将在步骤S3103中检测到的嘴部外接矩形12的左 上坐标(mSX， mSY)设置在表示图像上的坐标的变量(i, j) 中。CPU 104将表示色度值总和的变量SumTS和代表牙齿像素 的计凄史l直的变量countPix复位到O( S3301 )。注意，坐标(mSX, mSY)是以原始图像的左上角为原点的坐标系的坐标值。图10 示出以坐标(mSX， mSY)作为点M、宽度二mW^象素并且高度 :二mtl像素的嘴部外接矩形12 。
然后，CPU 104判断坐标(i, j)处的l象素(下文中称为 像素(i， j ))是不是在步骤S3003中检测到的牙齿像素(S3302 )。 通过基于步骤S3003中的牙齿图像的检测结果，生成图ll所示 的代表检测结果的二值化掩模图像，并参考该二值化掩模图像 的像素(i, j)的值，来实现该判断步骤。在图ll所示的例子 中，CPU 104判断为白色的像素是牙齿像素，而黑色的像素不 是牙齿像素。如果CPU 104判断为像素(i, j)是牙齿像素， 则处理进入步骤S3303;否则，处理跳至步骤S3305。
如果像素(i， j )是牙齿像素，则CPU 104基于像素(i, j)的RGB值，根据下面的式子，计算色度tS ( S3303 ): Cb = -0.1687 x R - 0.3316 x G + 0.5000 x B Cr= <formula>formula see original document page 14</formula>6)
CPU 104将色度tS累加到变量SumTS上，并使变量countPix 力口l ( S3304 )。
CPU 104使变量i加l，以使基准位置在水平方向上移动一 个像素(S3305 )，并比较变量i和嘴部外接矩形12的右侧
mSX+mW ( S3306 )。如果i《mSX + mW，则处理返回步骤 S3302。如果i〉mSX + mW,则CPU 104判断为基准位置落在 嘴部外接矩形12之外，处理进入步骤S3307。
CPU 104将变量i设置为mSX，并使变量j加l，以使基准位 置在垂直方向上移动一个像素(S3307 )，并比较变量j和嘴部 外接矩形12的下侧mSY+mH ( S3308 )。如果j^mSY + mH,则 处理返回步骤S3302。如果j〉mSY + mH,则CPU104判断为 基准位置落在嘴部外接矩形12之外，处理进入步骤S3309。
然后，CPU 104基于变量SumTS和countPix,通过下面的 式子，计算牙齿图像的平均色度aveTS ( S3309 ):
<formula>formula see original document page 15</formula>
目艮白图像的检测(S3005 )
接着，下面将说明检测脸部图像的左侧(面对时)上的眼 睛的眼白图像的方法。另外，通过相同的方法检测右侧眼睛的 眼白图像。
图12是用于说明眼白图像的检测的流程图。 CPU 104在步骤S3002中检测到的脸部图像10上设置如图 H所示的围绕眼部图像区域(下文中称为眼部图像)的矩形区 域(下文中称为眼部候选矩形)15 ( S3201 )。如嘴部候选矩形 一样，基于脸部图像的检测结果，来预先统计计算眼部图像的 位置，并基于统计计算得到的眼部图像的位置，来设置眼部候 选矩形15。
步骤S 3 2 01中设置的眼部候选矩形15只围绕眼部图像的统 计位置，而不是外接于脸部图像10上的眼部图像的矩形区域。 因此，CPU 104通过下列处理来检测外接于眼部图像的矩形区 域(下文中称为眼部外接矩形)。
为了检测眼部外接矩形，CPU 104生成眼部候选矩形15中
的边缘图像(S3202 )。由于检测眼部外接矩形的方法与在步骤 S3102和S3103中所述的^f佥测嘴部外-接矩形12的方法相同，因 此将不再重复对其的详细说明。
图14示出眼部候选矩形15和眼部外4妻矩形16之间的关系。
接着，CPU 104检测眼白图像。可以根据眼部外4妄矩形16 中的像素的颜色信息来检测眼白图像，但是，通过只使用颜色 信息的简单检测，可能会包括靠近眼部外接矩形16的四个角的 皮肤部分。因此，CPU 104检测眼部图像的特征点来检测概略 的眼部图像(S3204 )。由于眼部图像的检测方法与在步骤 S3104中所述的嘴唇图像的检测方法相同，所以将不再重复对 其的详细i兌明。
图15是用于说明眼部图像的检测的图。如嘴唇图像一样， CPU 104将眼部图像作为通过以E1、 E3、 E4、 E2、 E6、 E5和 E1的顺序连接特征点而形成的六边形进行检测。
CPU 104检测包括在眼部图像中的眼白图像的像素(下文 中称为眼白像素)，并将检测到的眼白像素组定义为眼白图像 (S3205 )。
图16是用于说明眼白图像的检测方法的流程图。在本实施 例中，作为从眼部图像检测眼白图像的方法，将说明使用已知 的区域生长法的方法。
CPU 104对眼部图像中在水平方向上排列的像素的亮度 值进行采样(S3401 )。例如，如图17所示，CPU104设置将眼 部外接矩形16等分成上下区域的线段ST,并获取从点S到点T 的各像素的亮度值。图18示出眼部图像和所获取的各像素的亮 度值之间的关系的例子。当然，采样并不限于一条线，而是可 以对靠近线段ST的多条线进行采样。然后，CPU 104根据所获取的各像素的亮度值，检测虹膜
图像区域(下文中称为虹膜图像)17的左右端(S3402 )。由于 如图18所示，所获取的各像素的亮度值在眼白图像部分中较
高，而在虹膜图像部分中较低，所以检测亮度值突变的位置(图
18中的位置B1和B2 )，作为眼白图像和虹膜图像17的边界。
CPU 104以如下方式4全测位置B1和B2。例如，当线I爻ST 上的像素的平均亮度值为aveY时，CPU 104将从如图18所示的 点S到点T扫描的亮度值Y( x )满足如下条件的位置x设置为B1:
并将从点T到点S扫描的亮度值Y ( x)满足如下条件的位置x 设置为B2:
然后，CPU 104基于虹膜图像17的左右端点B1和B2以及在 步骤S3204中获得的眼部两端处的特征点E1和E2 ，确定区域生 长的开始点(种子)(S3403 )。
图19是用于说明种子的确定的图。CPU 104计算线段E1B1 的中点Co,并将其定义为种子。同样，CPU 104将线段E2B2 的中点Cc定义为种子。
CPU 104从所确定的各个种子执行区域生长，以4全测眼白 图像(S3404 )。当眼白图像的颜色接近靠近眼部的皮肤图像区 域的颜色时，如图20所示，生长区域18可能进入皮肤图像区域。 因此，CPU 104将在步骤S3204中检测到的眼部图像内的图像 定义为区域生长范围。图21示出作为在这样的条件下的区域生 长的结果的生长区域19。当然，CPU 104相似地执行中点Cc侧 的区域生长，以才全测眼白图像。
眼白图像的平均色度的计算(S3006 )
CPU 104将在步骤S3203中计算得到的眼部外接矩形16的 左上角的点E的坐标设置为(eSX, eSY)，并将眼部外接矩形
Y(x+1) 〉 Y(x)且Y(x) < aveY…(9)。
16的宽度设置为eW像素，高度设置为eH像素。如图10和图11 所示的牙齿图像一样，CPU 104通过与步骤S3004中牙齿图像 的平均色度aveTS的计算方法相同的方法，4吏用图23所示的代 表眼白图像的检测结果的二值化掩模图像，来计算眼白图像的 平均色度aveES。
然而，与牙齿图像不同的是，由于通常4全测到左右一对眼 白图像，因此在计算各眼白图像的平均色度值aveES之后，将 这些平均值的平均值定义为眼白图像的平均色度aveES。
校正参数的计算(S3008 )
令aimTS为牙齿图像的目标色度。然后，通过下面的式子 将目标色度aimTS表示为与眼白图像的平均色度aveES相关的 值
aimTS = a x aveES ..《10) 其中，a是系数(a>l )。
系数a代表相对于眼白图像增白牙齿图像的程度，并且， 系数a越接近于l，牙齿图像的白色变得越接近眼白图像的白 色。然而，当将适合浅色脸部图像的系数a应用于深色或暗色 的脸部图像时，牙齿图像趋向过白。因此，定义下列等式，以 为暗色脸部图像设置相对于浅色脸部图像较大的系数a:
a = b x aveES + c ...(ll)
其中，b和c是根据经验定义的常量。
根据等式(10)和(11 ),将牙齿图像的目标色度aimTS 表示为
aimTS = (b x aveES + c) x aveES…(12) 通过下面的式子，基于牙齿图像的目标色度aimTS和平均 色度aveTS,来定义才交正参数P:
P = aimTS/aveTS ...(13)
因此，通过组合等式(12)和(13 ),利用下面的式子给
出校正参数P:
P = (b x aveES + c) x aveES/aveTS ".(14) 牙齿图像的校正(S3009 )
图像和嘴唇图像之间的边界附近的已校正的像素与未校正的 像素之间的颜色变化不能变得平滑，导致不自然的图像。为了 解决这个问题，CPU 104使用图24所示的混合率从边界附近向 夕卜侧逐渐减小的混合掩模图像，来对原始图像和通过校正嘴部 外接矩形12内的图像而得到的图像进行阿尔法混合 (alpha-blend )。
图25是用于说明牙齿图像的校正的流程图。 CPU 104使用在步骤S3008中计算得到的校正参数P，来校 正嘴部外接矩形12中的像素，以生成校正后的图像(S3501 )。 稍后将说明步骤S3501中的处理的细节。
然后，CPU 104生成在对校正后的图像和原始图像进行阿 尔法混合时所使用的图24所示的混合掩模图像(S3502 )。通过 将模糊滤波处理应用于例如图ll所示的二值化掩模图像，来生 成混合掩模图像。图24所示的混合掩模图像代表混合率从牙齿 图像的边界向外侧逐渐减小的混合掩模。即，混合掩模图像的 混合率对于白色区域是100%，对于黑色区域是0%，对于灰色 区域落入从0%到100%的范围(不包括0%和100%)内。另夕卜， 模糊滤波器可以是已知的滤波器，例如，可以使用高斯模糊滤 波器等。
CPU 104使用混合掩模图像，对校正后的图像和原始图像 进行阿尔法混合(S3503 )。当混合率等于100%时，进行阿尔 法混合，以100%混合校正后的图像，从而混合4交正后的图像
和原始图像，使得校正强度(校正参数P)从牙齿图像的边界 向外侧逐渐减弱。结果，可以获得自然的校正后的图像。
图26是用于说明校正后的图像的生成的流程图(S3501 )。 CPU 104将在步骤S3103中获得的嘴部外接矩形12的左上 坐标(mSX， mSY)设置在代表图像上的坐标的变量(i, j) 中(S3601 )。注意，坐标(mSX, mSY )是以原始图l象的左上 角为原点的坐标系的坐标值。如图10所示，嘴部外接矩形12 的宽度和高度分别是mW像素和mH像素。
CPU 104通过下面的式子，基于像素(i, j)的RGB值， 计算亮度值tY以及色度值tCb和tCr ( S3602 ):
tY = 0.2990 x R - 0.5870 x G + 0.1140 x B tCb = -0.1687 x R - 0.3312 x G + 0.5000 x B tCr = 0.5000 x R - 0.4187 x G - 0.0813 x B ...(15) CPU 104通过下面的式子，使用校正参数P，校正像素(i， j )的色度值tCb和tCr ( S3603 ):
tCb' = tCb x P tCr'二tCrxP…(16) 其中，tCb'和tCr'是校正后的色度值。
CPU 104通过使用下面的式子，根据亮度值tY以及校正后 的色度值tCb'和tCr',计算校正后的R'G'B'值，来设置像素(i, j)的校正后的色度值(S3604 ):
R' = tY+ 1.402 xtCr' G' = tY - 0.344 x tCb' - 0.714 x tCr' B' = tY+ 1.772 xtCb'...(17) CPU 104使变量i加l，以使基准位置在水平方向上移动一 个像素(S3605 )，并比较变量i和嘴部外_接矩形12的右侧 mSX+mW ( S3606 )。如果i S mSX + mW,则处理返回步骤S3602。如果i〉mSX + mW，则CPU 104判断为基准位置落在 嘴部外接矩形12之外，处理进入步骤S3607。
CPU 104将变量i重新设置为mSX,使变量j加l,以使基准 位置在垂直方向上移动一个像素(S3607 ),并比较变量j和嘴 部外接矩形12的下侧mSY+mH ( S3608 )。如果j S mSY + mH, 则处理返回步一骤S3602。如果j〉mSY + mH，贝'JCPU104判断 为基准位置落在嘴部外接矩形12之外，从而结束处理。
如上所述，基于眼白图像的色度，来确定校正牙齿图像所 需的目标值(校正强度)。因此，可以防止将色度水平整体较 高的脸部图像校正为只有牙齿图像突出的图像，而是可以将其 校正为具有自然白色的牙齿图像的图像。
变形例
在对以上例子的说明中，计算牙齿图像和眼白图像的色度 值的平均值，以设置校正目标值作为特征量。然而，可以使用 色度值的模式值(mode value)或中值，来代替平均值。
在对以上例子的说明中，对牙齿图像的色度进行校正。然 而，当如果只校正色度，则牙齿图像变黑时，可以除色度之外 还校正亮度。在这种情况下，计算牙齿图像的代表亮度tY和眼 白图像的代表亮度eY，如果tY/eY^th4,则可以计算校正参数， 以校正牙齿图像的亮度。注意，阈值th4是根据经验定义的值 (0<th4<l )。在这种情况下，利用由等式(11 )至等式(14) 给出的方法来设置校正参数，使得牙齿图像的亮度tY随着眼白 图像的亮度eY增大而增大。
基于根据眼白图像的平均色度aveES而计算得到的目标色 度aimTS和牙齿图像的平均色度aveTS,来计算参数P。可选地， 可以仅使用眼白图像的平均色度aveES来简单计算校正参数。 在这种情况下，如下所述，将降低牙齿图像的平均色度aveTS
的比率定义为校正参数P:
P = gxaveES + f...(18) 其中，g和f是根据经验定义的常量。
当设置常量g和f以使校正参数P的值落入从O.O到l.O的范
围内时，降低牙齿图像色度的比率可以随着眼白图像的平均色
度aveES增大而减小，并且可以实现效果与第 一 实施例中的校 正处理相同的校正处理。在这种情况下，由于在校正参数P的 计算中没有使用牙齿图像的平均色度aveTS,所以可以省略计 算牙齿图像的平均色度aveTS的处理。
可以提供用于检测牙齿图像和眼白图像的用户界面，并且 在用户设置分别围绕牙齿图像和眼白图像的嘴部候选矩形11 和眼部候选矩形15之后，可以通过上述方法来检测嘴部外接矩 形12和眼部外^l妻矩形16。
当脸部图像21相对于整个图像20具有倾斜时，如图27所 示，在步骤S3002中检测脸部图像21之后，生成倾斜校正后的
部图像或嘴唇图像的特征点。
此后，通过在相反方向上旋转眼部或嘴唇图像的坐标值 (通过对它们进行反向校正)，来获得原始图像上的特征点的 坐标值。使用原始图像上的特征点的坐标值和原始图像，执行 步骤S3105或S3202中的处理，从而检测眼部或嘴唇图像。对 所检测到的眼部或嘴唇图像执行步骤S3004和步骤S3006至步 -骤S3009中的处理。
通过校正图像的倾斜来生成图像的方法如下。 如图27所示，假定当围绕脸部图像21的矩形相对于图像20 的垂直轴有角度为e的倾斜时，围绕脸部图像21的矩形的左上
坐标为Bl(BXl, BY1 )。然后，倾斜校正后的脸部图像22的 坐标系(X, Y)和原始图像的坐标系(x, y)之间的关系如 下所示
X = (x - BXl)cos9 - (y - BYl)sine + BX1
Y = (x - BXl)sine + (y - BYl)cosQ + BY1 ...(19)
反向变换如下所示
x = (X - BXl)cos9 + (Y - BYl)sine + BY1 y = (Y - BYl)cose - (X - BXl)sin9 + BY1…(20) 可以通过使用等式(20),计算与倾斜校正后的脸部图像 22的坐标值相对应的原始图像的坐标值，来校正倾斜的脸部图 像21。
第二实施例
下文中将说明根据第二实施例的图像处理。注意，第二实 施例中相同的附图标记表示与第 一 实施例中的组件相同的组 件，并且将不再重复对它们的详细说明。
非常狭窄时，不能检测到眼白图像。在这样的情况下，基于脸 部图像的皮肤图像区域(下文中称为皮肤区域)的色度来校正 牙齿图像。第二实施例将说明通过分析皮肤区域的色度来确定 校正牙齿图像所需的目标值的方法。
图28是用于说明由CPU 104执行的第二实施例的图像处 理的流程图。
CPU 104判断是否可以检测到眼白图像(S3701 )。例如， CPU 104比较在步骤S3203中检测到的眼部外接矩形16的高度 eH和预定阈值thE ，如果eH < thE ，则判断为不能#r测到眼白 图像。可选地，CPU 104比较通过步骤S3404中的区域生长处 理而检测到的眼白图像的面积Se和预定阈值thS，如果Se <
thS,则判断为不能检测到眼白图像。注意，眼白图像包括四 个区域，即，左右眼睛内侧(鼻侧)的区域和外侧的区域，并 且，如果可以^佥测到这些区域中的至少一个，则可以判断为对全 测到眼白图像。
如果可以检测到眼白图像，则CPU 104使处理进入步骤
S3006。如果不能检测到眼白图像，则CPU 104基于皮肤区域 来计算才吏正参凄tP( S3702 )。 CPU 104判断才交正参凄tP( S3703 ), 如果p^0，则CPU 104使处理进入步骤S3009,以执行牙齿图 像的校正处理；如果P = 0，则跳过牙齿图1象的4交正处理，从 而结束处理。
图29是用于说明基于皮肤区域来计算校正参数P ( S3702 )
的流程图。
CPU104检测皮肤区域(S3801 )。关于皮肤区域的检测， 由于已经提出了诸如在例如日本特开2004-173328和日本特开 2006-011685等中所述的使用颜色差和亮度的方法的多种方 法，因此可以使用这些技术。
CPU 104计算所检测到的皮肤区域的平均色度aveFS (S3802 )。如果用皮肤区域代替牙齿图像，则可以通过与步骤 S3004中的处理的方法相同的方法来计算皮肤区域的平均色度 avel'，S 。
CPU 104比较牙齿图像的平均色度aveTS和皮肤区域的平 均色度aveFS,并使用下面的式子，来判断牙齿图像是否具有 需要校正处理的颜色(S3803 ):
aveTS/aveFS > th5 ...(21) 其中，th5是根据经验定义的阈值(th5<l )。 即，如果不等式(21)成立，则CPU 104使处理进入步骤 S3804,以执行牙齿图像的校正处理；否则，设置校正参数P二
0(S3805 ),以跳过牙齿图像的校正处理。
然后，CPU 104计算校正参数P ( S3804 )。令aimTS为牙齿 图像的目标色度。然后，通过下面的式子，将目标色度aimTS 表示为与皮肤区域的平均色度aveFS相关的值
aimTS = af x aveES…(22) 其中，af是系数(0<af< 1 )。
系数af代表相对于皮肤区域增白牙齿图像的程度，并且， 系数af越接近l，牙齿图像的白色变得越接近皮肤区域的白色。 然而，当将适合浅色脸部图像的系数af应用于暗色脸部图像 时，牙齿图像趋向过白。因此，定义下列等式，以为暗色脸部 图像设置相对于浅色脸部图像较大的系数af。
af=bfxaveFS + cf...(23) 其中，bf和cf是根据经验定义的常量。
根据等式(22)和(23)，利用下面的式子，来表示牙齿 图像的目标色度aimTS:
aimTS = (bf x aveES + ci) x aveFS ...(24) 通过下面的式子，基于牙齿图像的目标色度aimTS和平均 色度aveTS,来定义校正参数P:
P = aimTS/aveTS…(25) 因此，通过组合等式(24)和(25)，利用下面的式子给 出校正参数P:
P = (bf x aveFS + cc) x aveFS/aveTS ...(26) 在对以上例子的说明中，当不能检测到眼白图像时，检测 皮月夫区域以确定才交正参凄tP。可选地，可以才全测皮月夫区域，而 不检测任何眼白图4象。 示例性实施例
本发明可以应用于由多个装置(例如，主计算机、接口、 读出器、打印机)组成的系统或包括单个装置(例如，复印机、 传真机)的设备。
另外，本发明可以向计算机系统或设备(例如，个人计算
过该计算机系统或设备的CPU或MPU从该存储介质读取该程
序代码，然后扭j于该程序。 例的功能。
另外，可以使用诸如软盘、硬盘、光盘、》兹光盘、CD-ROM、 CD-R、磁带、非易失性类型的存储卡和ROM的存储介质来提 供该程序代码。
而且，除了可以通过^L行由计算^L读if又的程序代码来实现 根据以上实施例的上述功能外，本发明还包括如下情况在计 算机上运行的OS (操作系统)等根据程序代码的指示来执行 部分或全部处理，并实现根据以上实施例的功能。
另外，本发明还包括这样的情况在将从存储介质读取的 程序代码写入插入到计算机中的功能扩展卡中或连接到计算 机的功能扩展单元中所设置的存储器中之后，包含在功能扩展 卡或单元中的CPU等根据程序代码的指示执行部分或全部处 理，并实现以上实施例的功能。
在将本发明应用到前述存储介质的情况下，存储介质存储 与实施例中所述的流程图相对应的程序代码。
虽然已经参考示例性实施例对本发明进行了说明，但是应 当理解，本发明并不限于所公开的示例性实施例。所附权利要 求的范围符合最宽的解释，以包括所有这样的修改以及等同结 构和功能。
权利要求
1.一种图像处理设备，包括第一检测器，用于从图像检测与牙齿相对应的第一图像区域；第二检测器，用于从所述图像检测与所述牙齿以外的脸部部位相对应的第二图像区域；以及校正器，用于基于所述第一图像区域的颜色的特征量和所述第二图像区域的颜色的特征量，来校正所述第一图像区域的颜色。
2. 根据权利要求l所述的图像处理设备，其特征在于，所述校正器基于所述第一和第二图像区域的色度值，来校正所述第一图像区域的色度值。
3. 根据权利要求l所述的图像处理设备，其特征在于，所述校正器基于所述第一和第二图像区域的亮度和色度值，来校正所述第一图像区域的亮度和色度值。
4. 根据权利要求l所述的图像处理设备，其特征在于，所述第二图像区域是眼白部分。
5. 根据权利要求4所述的图像处理设备，其特征在于，所述校正器将所述第一图像区域的色度值校正为接近所述眼白部分的色度值。
6. 根据权利要求l所述的图像处理设备，其特征在于，所述第二图像区域是皮肤部分。
7. 根据权利要求l所述的图像处理设备，其特征在于，还包括判断器，用于基于所述第一图像区域的颜色的所述特征量和所述第二图像区域的颜色的所述特征量，来判断是否执行所述校正器的处理。
8. —种图像处理方法，包括以下步骤从图像检测与牙齿相对应的第一图像区域；从所述图傳j全测与所述牙齿以外的脸部部位相对应的第 二图像区域；以及基于所述第 一 图像区域的颜色的特征量和所述第二图像 区域的颜色的特征量，来校正所述第一图像区域的颜色。
全文摘要
本发明提供了一种图像处理设备及其方法。校正牙齿图像区域的颜色，以使不形成不自然的脸部图像。为此目的，从图像检测与牙齿相对应的第一图像区域。从该图像检测与牙齿以外的脸部部位相对应的第二图像区域。然后，基于第一和第二图像区域的颜色的特征量，来校正第一图像区域的颜色。
文档编号G06T5/00GK101206761SQ200710161070
公开日2008年6月25日 申请日期2007年12月24日 优先权日2006年12月22日
发明者佐川直嗣 申请人:佳能株式会社