化妆模拟系统、化妆模拟装置、化妆模拟方法以及化妆模拟程序的制作方法

专利名称：化妆模拟系统、化妆模拟装置、化妆模拟方法以及化妆模拟程序的制作方法
技术领域：
本发明涉及一种化妆模拟系统、化妆模拟装置、化妆模拟方法以及化妆模拟程序，
特别地，涉及一种对包含在动态图像内的用户脸部进行化妆的化妆模拟系统、化妆模拟装 置、化妆模拟方法以及化妆模拟程序。
背景技术：
目前为止，为了销售用于化妆的商品等，已经有了一种众所周知的技术，S卩不对 脸部进行真化妆，而是在计算机上对化妆后的脸部进行模拟(例如，参考专利文献l)。但 是，在专利文献l中，因为模拟结果是通过静态图像来显示的，所以，当用户表情发生变化 时，很难对化妆后的脸部进行确认。因此，已经开发一种在能够获得用户表情变化的动态图 像内对化妆进行模拟的技术(例如，参考专利文献2)。
但是，专利文献2所公开的化妆模拟装置是在与嘴部和双眼部相对应的像素区域
内对用户表情的变化进行指定，并通过使用模板匹配法对该像素区域进行跟踪，来算出实
施脸部化妆的化妆区域(例如，参考专利文献2的第
段)。这样，在与嘴部和双眼部
相对应的像素区域内对用户表情的变化进行跟踪不仅增大了计算机的处理负担，而且还存
在着难以正确应对闭眼等情况的问题。 专利文献1 :(日本)特开2001-346627号公报 专利文献2 :(日本)特开2003-44837号公报

发明内容
本发明想要解决的课题如下 本发明是鉴于上述问题而提出的，其课题在于，提供一种能够以较小的处理负荷
对包含在动态图像内的用户脸部进行正确化妆的化妆模拟系统、化妆模拟装置、化妆模拟
方法以及化妆模拟程序。
解决上述课题的技术手段如下 为了解决上述课题，本发明提供一种在对用户脸部进行了摄影的动态图像内实施 化妆的化妆模拟系统，该化妆模拟系统的特征在于，具有摄影单元，用于对用户脸部进行 摄影并输出动态图像；控制单元，用于接收从所述摄影单元所输出的动态图像，并对所述动 态图像进行图像处理，然后将其输出；显示单元，用于显示从所述控制单元所输出的动态图 像。其中，所述控制单元具有脸部识别处理单元，用于根据预定的跟踪点从所述动态图像 中识别用户脸部；化妆处理单元，用于根据所述预定的跟踪点对包含在所述动态图像内的 用户脸部进行化妆，然后将其输出至所述显示单元。所述化妆处理单元包含口红处理单元， 该口红处理单元根据包含在所述跟踪点内的上嘴唇的唇峰和唇谷的位置、嘴部的左右端、 下嘴唇的下端、以及、下嘴唇上的从左端到嘴部宽度的1/3的位置以及下嘴唇上的从右端 到嘴部宽度的1/3的位置，对包含在所述动态图像内的用户脸部进行口红处理。
在本发明中，通过具有用于根据预定的跟踪点从动态图像中识别出用户脸部的脸
部识别处理单元、以及、用于根据跟踪点对包含在动态图像内的用户脸部进行预定的化妆
然后将其输出至显示单元的化妆处理单元，能够以较少的处理负荷根据跟踪点从动态图像
中识别出用户脸部，并根据所述跟踪点对包含在动态图像内的用户脸部进行正确的化妆。 这里，需要说明的是，通过将本发明的构成要素、表现或者构成要素的任意组合应
用到其他方法、装置、系统、计算机程序、存储介质、数据结构等中所得到的各种变化形式，
仍属于本发明所涉及的范围。 本发明的效果如下 根据本发明，可以提供一种能够以较小的处理负荷对包含在动态图像内的用户脸部进行正确化妆的化妆模拟系统、化妆模拟装置、化妆模拟方法以及化妆模拟程序。


图1是本发明的化妆模拟装置的第一实施例的外观图。 图2是化妆模拟装置的第一实施例的截面图。 图3是本发明的化妆模拟装置的第二实施例的外观图。 图4是化妆模拟装置的第二实施例的截面图。 图5是本发明的化妆模拟装置的第三实施例的外观图。 图6是化妆模拟装置的第三实施例的截面图。 图7是本发明的化妆模拟装置的第四实施例的外观图。 图8是化妆模拟装置的第四实施例的截面图。 图9是本发明的化妆模拟装置的第五实施例的外观图。 图10是化妆模拟装置的第五实施例的截面图。 图11是化妆模拟装置的第五实施例的硬件构成图。 图12是表示化妆模拟装置所进行的处理的概要的流程图。 图13是显示器上所显示的主画面以及操作面板上所显示的操作画面的一个例子的示意图。 图14是表示化妆模拟装置所进行的除了化妆模拟以外的处理的示意图。 图15是本发明的化妆模拟系统的一个实施例的系统构成图。 图16是表示模拟器主应用程序所执行的处理的画面示意图。 图17是包含在化妆前图像内的用户脸部的图像。 图18是表示跟踪点的一个例子的示意图。 图19是化妆处理参数文件的一个例子的构成图。 图20是表示口红处理所参照的跟踪点的示意图。 图21是表示口红处理的一个例子的流程图。 图22是表示轮廓提取处理的一个例子的示意图。 图23是轮廓提取用图像600的跟踪点(唇部8个点以及鼻部3个点)和根据这些跟踪点进行再检索而提取出的轮廓提出用图像601的点的比较图。 图24是表示根据跟踪点(唇部8个点以及鼻部3个点)计算缺省点的处理的一个例子的示意图。
6
图25是表示根据缺省点或点生成轮廓的处理的示意图。 图26是表示颜色涂敷地图生成处理的一个例子的示意图。 图27是表示基于颜色涂敷地图的颜色涂敷处理的一个例子的示意图。 图28是表示眼影处理所参照的跟踪点的示意图。 图29是表示眼影处理的一个例子的流程图。 图30是表示基本轮廓生成处理的一个例子的示意图。 图31是表示颜色涂敷轮廓生成处理的一个例子的示意图。 图32是表示没有进行晕映处理(即弄淡处理)的颜色涂敷地图以及进行了晕映
处理的颜色涂敷地图的一个例子的示意图。 图33是表示脸颊处理所参照的跟踪点的示意图。 图34是表示脸颊处理的一个例子的流程图。 图35是表示颜色涂敷轮廓的一个例子的示意图。 图36是表示眉部处理所参照的跟踪点的示意图。 图37是表示眉部处理的一个例子的流程图。 图38是表示眉部轮廓提取处理的一个例子的示意图。 图39是表示对应于变形指定的指示曲线生成处理的一个例子的示意图。 图40是表示粉底处理所参照的跟踪点的示意图。 图41是表示粉底处理的一个例子的流程图。 图42是表示轮廓的一个例子的示意图像。 图43是表示晕映处理前的原图像以及晕映处理后的原图像的一个例子的示意图。 图44是口红处理(唇笔描绘处理)的一个实施例的流程图。 图45是口红处理(唇笔描绘处理)的一个实施例的流程图。 图46是围绕嘴部的矩形区域的脸部图像的一个例子的示意图。 图47是表示描绘图像的图。 图48是表示补偿(offset)曲线的图。 图49是表示为了掌握嘴唇的形态特征而预先设定的多个点的位置的一个例子的示意图。 图50是眼线检索处理的一个实施例的流程图。 图51是眼线描绘处理的一个实施例的流程图。 图52是表示眼线描绘模式的图。 图53是表示眼线描绘模式的图。 图54是表示眼线描绘模式的图。 图55是表示眼线描绘模式的图。 图56是眼影涂敷处理的一个实施例的流程图。 图57是用于说明眼影涂敷区域的设定的图。 图58是表示眼影涂敷区域的上限的图。 图59是用于说明眼影涂敷的图。 图60是表示进行喷笔(airbrush)处理时从中心开始的距离与浓度之间的关系
7图。 图61是表示标准平衡的眼部形态的正面图。 图62是腮红涂敷处理(脸颊处理)的一个实施例的流程图。 图63是用于说明化妆模式为"甜美"(sweet)时的腮红涂敷处理的图。 图64是用于说明化妆模式为"扮酷"(cool)时的腮红涂敷处理的图。 图65是用于说明化妆模式为"可爱"(cute)时的腮红涂敷处理的图。 图66是用于说明化妆模式为"清新"(fresh)时的腮红涂敷处理的图。 图67是表示进行喷笔处理时从中心开始的距离与浓度之间的关系图。 图68是用于说明基于被化妆者脸颊形态特征的脸颊化妆的一个例子的图。 图69是用于说明理想眉形的说明图。 图70是用于说明眉形位置的状态的说明图。 图71是表示作为前处理的皮肤颜色评价处理步骤的一个例子的流程图。
图72是表示特征点和分割区域的一个例子的图。 图73是表示与上述图72相对应的109个特征点的脸部内部的位置关系的一个例子的图。 图74是表示构成与上述图72相对应的各区域的特征点的组合的一个例子的图。
图75是表示各组的颜色特征以及构成各组的区域编号的一个例子的图。
图76是表示"平均脸"(average face)图像(或立体感)分析结果的一个例子的图。
标号说明 1 :化妆模拟装置；2 :摄影机；3 :半透明镜(halfmirror) ;4 :操作面板；5 :打印机；6 :照明；7 :显示器；8 :控制部；9 :透明板；10 :计算处理装置；11 :内存装置；12 :驱动装置；13 :辅助内存装置；14 :存储介质；15 :触摸式面板显示器；16 :陈列橱；17 :IC标签读写器；25 :静态图像系统；27 :共享存储器；28 :模拟器主应用程序；29 :界面主应用程序；33 :脸部识别处理部；34 :跟踪点；35 :化妆处理部；36 :粉底处理部；37 :眉部处理部；38 :眼影处理部；39 :口红处理部；40 :脸颊处理部；41 :商品信息。
最佳实施方式 以下参考

本发明的最佳实施方式。 图1是本发明的化妆模拟装置的第一实施例的外观图。化妆模拟装置1是包含摄影机2、操作面板4、打印机5、照明6以及显示器7的构成。 摄影机2对站立在化妆模拟装置1前方的用户进行摄影，然后输出动态图像。操作面板4不仅用来显示操作图像，而且还用来接收来自用户的操作，然后输出操作信息。打印机5对显示在显示器上的图像(例如，化妆后的形象图像等)和信息(例如，化妆成形象图像那样的形象时所用的商品信息等)进行打印。照明6例如在开始实施化妆模拟后进行调光。 图2是化妆模拟装置的第一实施例的截面图。化妆模拟装置1是包含摄影机2、操作面板4、打印机5、显示器7以及控制部8的构成。 摄影机2将拍摄到的动态图像输出至控制部8。操作面板4不仅用来显示从控制部8所输出的操作图像，而且还用来接收来自用户的操作，然后将操作信息输出至控制部
8制部8所输出的图像和信息进行打印。显示器7对从控制部8所输出的动态图像(主图像)进行显示。控制部8接收从摄影机2所输出的动态图像，并通过对该动态图像进行图像处理(如后所述)，来对包含在动态图像内的用户面部进行化妆，然后将其输出至显示器7。 图1和图2的化妆模拟装置1以化妆时必不可少的镜子这一物件为构想，具有可与用户进行互动的功能。也就是说，化妆模拟装置1具有如下特征，即可使用户产生一种一边看着镜子里的自己一边自然地进行化妆的感觉。 在化妆模拟装置1中，控制部8对从摄影机2所输出的动态图像进行图像处理，并对包含在动态图像内的用户脸部进行化妆，然后将其输出至数字镜子(digital mirror)即显示器7。化妆模拟装置1可将各种各样的商品信息、美容信息、以及、对用户脸部进行了化妆后的形象图像显示在显示器7上。 另外，图3是本发明的化妆模拟装置的第二实施例的外观图。这里，需要说明的是，图3中与图1相同的部分被赋予了相同的符号。 图3的化妆模拟装置1是包含操作面板4、打印机5、照明6以及透明板9的构成。透明板9不仅可使来自化妆模拟装置1外侧的光线透过，而且还可使来自化妆模拟装置1内侧的光线透过。 图4是化妆模拟装置的第二实施例的截面图。这里，需要说明的是，图4中与图2相同的部分被赋予了相同的符号。图4的化妆模拟装置1是包含摄影机2、半透明镜3、操作面板4、打印机5、显示器7、控制部8以及透明板9的构成。 半透明镜(half mirror) 3不仅使入射的光线反射，而且还使入射的光线的一部分透过。摄影机2设置在经由半透明镜3和透明板9可对站立在化妆模拟装置1前方的用户进行摄影的位置。摄影机2被设置在用户视线的高度。摄影机2经由半透明镜3和透明板9对站立在化妆模拟装置1前方的用户进行摄影，然后输出动态图像。 显示器7设置在可被站立在化妆模拟装置1前方的用户经由半透明镜3和透明板9所能看到的位置。从显示器7输出的光线被半透明镜3反射，经由透明板9被输出至化妆模拟装置1的外侧。因此，用户从化妆模拟装置1的外侧可以看到显示在显示器7上的动态图像。 图3和图4的化妆模拟装置1以化妆时必不可少的镜子这一物件为构想，具有可与用户进行互动的功能。也就是说，化妆模拟装置1具有如下特征，即可使用户产生一种一边看着镜子里的自己一边自然地进行化妆的感觉。 在化妆模拟装置1中，因为摄影机2被设置在用户视线的高度，因此，与第一实施例的摄影机2的设置位置相比，可以更自然地对站立在化妆模拟装置1前方的用户脸部进行摄影。 在化妆模拟装置1中，控制部8对从摄影机2输出的动态图像进行图像处理，并对包含在动态图像内的用户脸部进行化妆，然后将其输出至数字镜子即显示器7。化妆模拟装置1可将各种各样的商品信息、美容信息、以及、对用户的脸部进行了化妆后的形象图像显示在显示器7上。 另外，图5是本发明的化妆模拟装置的第三实施例的外观图。这里，需要说明的是，图5中与前图相同的部分被赋予了相同的符号。图5的化妆模拟装置1是包含摄影机
92、半透明镜3、操作面板4、打印机5以及照明6的构成。 半透明镜3不仅可使来自亮处的光线的一部分透过，而且还可使来自亮处的光线的剩余的部分(例如，50%)反射至面前。因为暗处没有光线，因此，对于暗处来说，半透明镜3既不使光线透过，也不使光线反射。 化妆模拟开始后，照明6进行调光，以使半透明镜3的显示器7 —侧变亮。因此，在化妆模拟开始前，设置在显示器7的显示方向一侧的半透明镜3被用作为反射镜，对来自用户一侧(化妆模拟装置1的外侧)的光线进行反射。 在化妆模拟开始后，半透明镜3被用作为玻璃，使来自显示器7 —侧(化妆模拟装置l的内侧)的光线透过。因此，用户经由半透明镜3可以看到显示在显示器7上的动态图像。 图6是化妆模拟装置的第三实施例的截面图。图6的化妆模拟装置1是包含摄影机2、半透明镜3、操作面板4、打印机5、显示器7以及控制部8的构成。这里，需要说明的是，图6中与前图相同的部分被赋予了相同的符号。显示在显示器7上的动态图像透过被用作为玻璃的半透明镜3。这样，用户在化妆模拟装置1的外侧可以看到显示在显示装置7上的动态图像。 图5和图6的化妆模拟装置1以化妆时必不可少的镜子这一物件为构想，具有可与用户进行互动的功能。也就是说，化妆模拟装置1具有如下特征，即可使用户产生一种一边看着镜子里的自己一边自然地进行化妆的感觉。 在化妆模拟装置1中，控制部8对从摄影机2输出的动态图像进行图像处理，并对包含在动态图像内的用户脸部进行化妆，然后将其输出至数字镜子即显示器7。化妆模拟装置1可将各种各样的商品信息、美容信息、以及、对用户脸部进行了化妆后的形象图像显示在显示器7上。 另外，图7是本发明的化妆模拟装置的第四实施例的外观图。图8是化妆模拟装置的第四实施例的截面图。这里，需要说明的是，图7和图8中与前图相同的部分被赋予了相同的符号。化妆模拟装置1是包含摄影机2、打印机5、照明6以及触摸式面板显示器15的构成。 图7和图8的化妆模拟装置1与图1和图2的化妆模拟装置1的不同之处在于，图7和图8的化妆模拟装置1包含触摸式面板显示器15，其代替了图1和图2的化妆模拟装置1中的操作面板4和显示器7。这里，触摸式面板显示器15被用作为操作面板4和显示器7。 触摸式面板显示器15不仅用来显示操作图像，而且还用来接收来自用户的操作，然后输出操作信息。另外，触摸式面板显示器15不仅用来显示从控制部8输出的操作图像，而且还用来接收来自用户的操作，然后将操作信息输出至控制部8。触摸式面板显示器15对从控制部8输出的动态图像(主图像)进行显示。控制部8接收从摄影机2输出的动态图像，并通过对该动态图像进行图像处理(如后所述)，来对包含在动态图像内的用户面部进行化妆，然后将其输出至触摸式面板显示器15。 图7和图8的化妆模拟装置1以化妆时必不可少的镜子这一物件为构想，具有可与用户进行互动的功能。也就是说，化妆模拟装置1具有如下特征，即可使用户产生一种一边看着镜子里的自己一边自然地进行化妆的感觉。
10
在化妆模拟装置1中，控制部8对从摄影机2输出的动态图像进行图像处理，并对 包含在动态图像内的用户脸部进行化妆，然后将其输出至触摸式面板显示器15。化妆模拟 装置1可将各种各样的商品信息、美容信息、以及、对用户脸部进行了化妆后的形象图像显 示在触摸式面板显示器15上。 第四实施例的化妆模拟装置1例如还可以具有如图9和图10所示的陈列橱，这 样，就作为开架销售用的箱体来使用，其中，所述陈列橱用来陈列供用户试用的试用商品 (以下简称"试用品")。 图9是本发明的化妆模拟装置的第五实施例的外观图。图10是化妆模拟装置的 第五实施例的截面图。这里，需要说明的是，图9和图IO中与前图相同的部分被赋予了相 同的符号。 化妆模拟装置1是包含摄影机2、打印机5、照明6、触摸式面板显示器15、陈列橱 16以及IC标签读写器17的构成。图9和图10的化妆模拟装置1与图7和图8的化妆模 拟装置1的不同之处在于，图9和图10的化妆模拟装置1包含陈列橱16和IC标签读写器 17。 陈列橱16用于陈列多个试用品。这里，需要说明的是，试用品中具有IC(RFID)标 签。试用品中的IC标签用于保存可识别试用品的识别信息。用户从陈列橱16中取出试用 品，然后将其靠近IC标签读写器17时，IC标签读写器17会从IC标签中读取试用品的识 别信息。 IC标签读写器17将从IC标签中读取的试用品的识别信息发送至控制部8。控制 部8接收从摄影机2输出的动态图像，并对该动态图像进行如后所述的图像处理，这样，就 可以使用与从IC标签中读取的识别信息相对应的试用品，对包含在动态图像中的用户脸 部进行化妆，并将化妆后的形象图像输出至触摸式面板显示器15。 这里，需要说明的是，试用品和识别信息之间的对应关系的对应表可以保存在化 妆模拟装置1中，也可以保存在从化妆模拟装置1经由网络能够取得到的其他装置中。
另外，在图9和图10的化妆模拟装置1中，尽管示出了使用IC标签对试用品进行 识别的例子，但是，也可以使用条形码、二维码或者标签(label)等对试用品进行识别。再 有，在图9和图10的化妆模拟装置1中，也可以在陈列橱16中事先设置可知道哪个试用品 被取出的技术手段(例如，使用了光传感器等传感器的位置识别等)，并从陈列橱16向控制 部8进行通知。 图9和图10的化妆模拟装置1以化妆时必不可少的镜子这一物件为构想，具有可 与用户进行互动的功能。也就是说，化妆模拟装置1具有如下特征，即可使用户产生一种 一边看着镜子里的自己一边自然地进行化妆的感觉。 在化妆模拟装置1中，控制部8对从摄影机2输出的动态图像等进行图像处理，并 使用用户从陈列橱16中选择的试用品对包含在动态图像内的用户脸部进行化妆，然后将 化妆后的形象图像输出至触摸式面板显示器15。化妆模拟装置1可将各种各样的商品信 息、美容信息、以及、对用户脸部进行了化妆后的形象图像显示在触摸式面板显示器15上。 另外，通过获取用户从陈列橱16中选择的试用品的记录(log)，化妆模拟装置1还可以获得 用户的嗜好等数据。 这里，需要说明的是，化妆模拟装置1只要具有不仅用来陈列试用品而且还可以用来陈列商品的货架，通过将显示在触摸式显示器15上的商品事先陈列在货架上，化妆模 拟装置1就可以被有效地用作为开架销售用箱体。 下面，以第一实施例的化妆模拟装置1为例进行说明。图11是化妆模拟装置的一 个实施例的硬件构成图。这里，需要说明的是，图11中与图l和图2相同的部分被赋予了 相同的符号。 图11的化妆模拟装置1由分别通过总线B相互连接的摄影机2、操作面板4、打印 机5、显示器7、计算处理装置10、内存装置11、驱动装置12以及辅助内存装置13构成。这 里，需要说明的是，图11的计算处理装置10、内存装置11、驱动装置12以及辅助内存装置 13构成图2的控制部8。 本发明的化妆模拟程序是用于控制化妆模拟装置1的各种程序中的至少一部分。 化妆模拟程序例如可以通过散发存储介质14等来提供。 这里，需要说明的是，用于记录化妆模拟程序的存储介质1 4可为CD-R0M、软盘或 光磁盘等使用光、电或磁来进行记录的存储介质、或者、ROM或闪存等使用电来进行记录的 半导体存储器等各种各样的存储介质。 另外，记录了化妆模拟程序的存储介质14被放进驱动装置12后，化妆模拟程序就 被从存储介质14经由驱动装置12安装至辅助内存装置13。辅助内存装置13不仅用于保 存被安装的化妆模拟程序，而且还用于保存所需的文件和数据等。起动时，内存装置11从 辅助内存装置13读出化妆模拟程序并对其进行保存。然后，计算处理装置10根据内存装 置11中所保存的化妆模拟程序实现后述的各种处理。 图12是表示化妆模拟装置所进行的处理的概要的流程图。图13是显示器上所 显示的主画面以及操作面板上所显示的操作画面的一个例子的示意图。图13的画面图像 100 111是显示器7所显示的主画面的图像。画面图像200 210是操作面板所显示的 操作画面的图像。 控制部8连续地接收摄影机2所拍摄的动态图像。此时，控制部8在显示器7上 显示画面图像100，在操作面板4上显示画面图像200。画面图像100和200是显示屏幕保 护(screen server)的例子。 进入步骤Sl，控制部8连续地对所接收到的动态图像内是否包含用户脸部进行判 定。至控制部8识别出动态图像内包含了用户脸部为止，反复进行步骤S1的处理(Sl中的 NO)。 识别出动态图像内包含了用户脸部后(Sl中的YES)，控制部8进入步骤S2，起动 包含用于进行化妆模拟的化妆模拟程序的软件。此时，控制部8在显示器7上显示画面图 像101，在操作面板4上显示画面图像201。 画面图像101是摄影机2所拍摄到的用户脸部的动态图像的例子。画面图像201 是显示横向移动的欢迎语的例子。 进入S3，控制部8根据步骤S2所起动的软件开始进行化妆模拟。此时，控制部8 在显示器7上显示画面图像102，在操作面板4上显示画面图像202。画面图像102是正在 摄影机2所拍摄到的用户脸部的动态图像内进行魔镜效果处理并进行显示的例子。画面图 像202与画面图像201相同，是显示横向移动的欢迎语的例子。进入步骤S4，控制部8进行如后所述的化妆模拟。此时，控制部8在显示器7上依次显示画面图像103 106，在操作面板4上显示画面图像203 206。 画面图像103 106是显示由化妆模拟所进行的四个化妆模式(形象)的用户脸
部的例子。画面图像203 206是此时的显示器7上所显示的画面图像103 106的化妆
内容(例如，名称等)的例子。至预定时间结束或用户触摸操作面板4为止，控制部8在显
示器上依次显示画面图像103 106，在操作面板上显示画面图像203 206。 预定时间结束或者用户触摸操作面板后，进入步骤S5，控制部8在显示器7上显示
画面图像107，在操作面板4上显示画面图像207。画面图像107与画面图像101相同，是
显示摄影机2所拍摄的用户脸部的动态图像的例子。画面图像207是显示可从四个化妆模
式(形象)中选择其中一个形象的形象选择画面的例子。通过对操作面板进行操作，用户
可从形象选择画面中选择其中的一个形象。 进入步骤S6，至形象选择画面中的一个形象被选择为止，反复进行步骤S6的处理 (S6中的NO)。用户从形象选择画面中选择一个形象后，操作面板4接收来自用户的操作， 然后将操作信息输出至控制部8。 当判定用户已经从形象选择画面中选择了一个形象后(S6中的YES)，进入步骤 S7，控制部8将被选择的形象的图像画面显示在显示器7和操作面板4上。此时，控制部8 在显示器7上显示画面图像108，在操作面板4上显示画面图像208。 画面图像108是正在依次显示根据从形象选择画面所选择的一个形象进行了不 同模式的化妆后的用户脸部的形象图像、以及、用于进行该形象图像那样的化妆时所需的 商品信息的例子。画面图像208是显示从形象选择画面中被选择的一个形象的内容、以及、 此时显示器7上所显示的用于进行画面图像108的形象图像那样的化妆时所需的商品信息 的例子。 这里，需要说明的是，用户也可以通过对操作面板4进行操作，以发出打印的指 示。接收到来自用户的打印指示后，控制部8将画面图像109显示在显示器7上，并将画面 图像209显示在操作面板4上。画面109是显示打印的形象图像的例子。画面图像209是 显示打印进行中的提示的例子。控制部8通过控制打印机5将显示在显示器7中的形象图 像打印出来。 另外，用户通过对操作面板4进行操作，还可以发出显示由化妆前和化妆后的形 象图像所组成的比较画面并进行打印的指示。接收到来自用户的显示比较画面的指示后， 控制部8将画面图像110显示在显示器7上。画面图像110是显示由化妆前和化妆后的形 象图像所组成的比较画面的例子。在显示比较画面的状态下，接收到来自用户的打印指示 后，控制部8通过控制打印机5将显示在显示器7中的形象图像打印出来。
用户的化妆模拟结束后，控制部8将作为屏幕保护的画面图像111和210显示在 显示器7和操作面板14上，然后，结束处理。 这里，需要说明的是，在图12和图13的例子中，通过化妆模拟显示了四个图像，但 是，也可以显示这四个图像之外的图像。另外，对于化妆模拟装置l，尽管示出了对摄影机 2输出的动态图像内所包含的用户脸部进行化妆的例子，但是，也可以将预先摄制的动态图 像作为动画文件事先保存在辅助内存装置13等中，然后，对所述动画文件中包含的用户脸 部进行化妆。 化妆模拟装置1还可以被用来进行除了对摄影机2输出的动态图像进行化妆模拟之外的处理。图14是表示化妆模拟装置所进行的除了化妆模拟以外的处理的示意图。
画面图像300是显示由摄影机2所拍摄的用户脸部的例子。化妆模拟装置1对包 含在动态图像内的用户脸部进行识别，并生成用户脸部的静态画面301。
化妆模拟装置1根据容貌分析方法和皮肤分析方法对静态图像301进行容貌诊断 和皮肤颜色诊断，并将表示其结果的画面图像302显示在显示器7上。这里，需要说明的 是，根据容貌分析方法和皮肤分析方法对静态图像301所进行的容貌诊断和皮肤颜色诊断 的处理，如日本专利文献"特开2001-346627"所述，是一种公知技术。 另外，化妆模拟装置1还可以通过将诸如画面图像303那样的项目(course)选择 画面303显示在显示器7上，使用户对各项目(例如，"流行"、"传统"、"自由"等项目)进 行选择。化妆模拟装置1通过将基于用户所选择的项目的画面图像304 309显示在显示 器7上，进行模拟以及提供建议。 画面图像304 306是显示各项目的模拟画面的例子。画面图像307 309是显 示各项目的建议画面的例子。 例如，"传统"项目是指，根据容貌诊断和皮肤颜色诊断的结果，对最合适的化妆技 术进行模拟以及提供建议。"流行"项目是指，对最新的流行化妆进行模拟以及提供建议。 另外，"自由"化妆项目是指，分别对与眼部、嘴部、脸颊、眉部等相对应的各部位进行模拟以 及提供建议。 在显示模拟画面或建议画面的状态下，接收到来自用户的打印指示后，控制部8 也可以通过控制打印机5将显示在显示器7上的模拟画面或建议画面打印出来。
下面，对用于实现如上所述的化妆模拟装置1的化妆模拟系统进行详细的说明。 图15是本发明的化妆模拟系统的一个实施例的系统构成图。 图15的化妆模拟系统20是包含模拟(analog)摄影机21、USB捕获装置22、动画 文件23、化妆摄影机24、静态图像系统25、动画文件26、共享存储器27、模拟器主应用程序 28以及界面应用程序29的构成。 模拟摄影机21经由USB捕获装置22输出所拍摄到的例如NTSC制式的动态图像。 使用例如作为API (application programming interface)的一个例子的DirectX31，将从 USB捕获装置22所输出的动态图像输入至模拟器主应用程序28。另外，动画文件23也通 过使用DirectX31被输入至模拟器主应用程序28。 化妆摄影机24经由作为串联界面的一个例子的IEEE1394输出所拍摄到的动态图 像。从化妆摄影机24所输出的动态图像通过使用专用API32被输入至模拟器主应用程序 28。模拟器主应用程序28根据通过使用专用API32而被输入的动态图像，获得动态图像用 分辨率的原图像和静态图像用分辨率的静态图像。 模拟器主应用程序28将通过使用DirectX31而被输入的动态图像和动画文件、以 及、根据通过使用专用API32而被输入的动态图像所得到的动态图像用分辨率的动态图像 作为原图像，并对原图像进行修剪和縮小处理。 模拟器主应用程序28通过对原图像进行修剪得到化妆前图像。另外，模拟器主应 用程序28通过对原图像进行縮小处理，得到脸部识别处理用图像。脸部识别处理部33应 用FFT(高速傅立叶变换)得到后述的、用于根据脸部识别处理用图像来识别用户脸部的跟 踪点34。
14
化妆处理部35根据跟踪点34通过对包含在化妆前图像中的用户脸部进行由粉
底、眉部、眼影、口红、脸颊所组成的化妆，得到化妆后图像。化妆处理部35是包含粉底处理
部36、眉部处理部37、眼影处理部38、 口红处理部39、脸颊处理部40的构成。 这里，需要说明的是，化妆处理部35可以如化妆后图像那样，将用于化妆的商品
信息包含在化妆后图像内。动画服务器42不仅可将化妆前图像和化妆后图像写入共享存
储器27，而且还可以将化妆前图像和化妆后图像作为动画文件26进行输出。 界面应用程序29是包含使用ActiveX控件50和ActiveX浏览器(viwer)的动画
控制目标(object) 52、动画显示目标(object) 53以及其他控件54的构成。这里，需要说明
的是，界面应用程序29和模拟器主应用程序28之间是基于ActiveX和Socket来连接的。 界面应用程序29可以通过使用ActiveX浏览器51，将被写入共享存储器27内的
化妆前图像和化妆后图像显示在上述显示器7上。 模拟器主应用程序28对根据通过使用专用API32而被输入的动态图像所得到的 静态图像用分辨率的静态图像进行修剪和縮小处理。模拟器主应用程序28首先对静态图 像用分辨率的静态图像进行修剪处理。然后，模拟器主应用程序28通过对静态图像用分辨 率的静态图像进行縮小处理，得到脸部识别处理用图像。脸部识别处理部43得到后述的、 用于根据脸部识别处理用图像来识别用户脸部的跟踪点44。 模拟器主应用程序28根据跟踪点44从进行了修剪的动态图像中所包含的用户脸 部提取具体部位，并根据该具体部位得到用于进行容貌诊断和皮肤颜色诊断的类型、皮肤 颜色等附加信息，然后，将在跟踪点44内附加了附加信息的跟踪点45、以及、根据通过使用 专用API32而被输入的动态图像所得到的静态图像用分辨率的静态图像输出至静态图像 系统25。 静态图像系统25使用跟踪点45根据上述容貌分析方法和皮肤颜色分析方法对静 态图像301进行容貌诊断和皮肤颜色诊断，并可将表示其结果的画面图像302显示在显示 器7上。另外，静态图像系统25还可以将画面图像303 309显示在显示器7上。
图16是表示模拟器主应用程序所执行的处理的画面示意图。画面图像400是显 示化妆前图像的例子。画面图像401是将从脸部识别处理用图像中所得到的跟踪点34重 叠地显示在化妆前图像上的例子。另外，画面图像402是显示根据跟踪点34对包含在化妆 前图像内的用户脸部进行了化妆的化妆后图像的例子。 下面，参照附图，对模拟器主应用程序28所进行的处理中的脸部识别处理和化妆 处理依次进行详细说明。这里，需要说明的是，在本实施例中，作为化妆处理的一个例子，尽 管对由粉底处理、眉部处理、眼影处理、口红处理以及脸颊处理所组成的化妆处理进行了说 明，但是，本发明也适用于其他的组合方式。
(脸部识别处理) 图17是包含在化妆前图像内的用户脸部的示意图。图18是表示跟踪点的一个例 子的示意图。模拟器主应用程序28的脸部识别处理部33从如图1 7所示的图像中得到用 于识别用户脸部的如图18所示的45个跟踪点34。图18的跟踪点只是一个例子，也可以根 据控制部8的处理能力或显示器的分辨率对其进行调整。 这样，通过从包含在化妆处理前图像中得到跟踪点34，化妆处理部35就可以将与 跟踪点34建立了关连的化妆方法或颜色设定到如图19所示的化妆处理参数文件中。
图19是化妆处理参数文件的一个例子的构成图。在图19的化妆处理参数文件中，
设定了分别按眼部、嘴部、脸颊等与跟踪点34建立了关连的化妆方法或颜色。 化妆处理参数文件按每个化妆模式(形象)来进行设定。图19的化妆处理参数
文件是表示"雅致"模式的例子。这里，需要说明的是，上述四个化妆模式(形象)只是一
个例子，还可为其他化妆模式(形象)。 实施例l (口红处理) 如图20所示，包含在模拟器主应用程序28内的口红处理部39参照由唇部8个点和鼻部3个点组成的跟踪点进行口红处理。图20是表示口红处理所参照的跟踪点的示意图。 图21是表示口红处理的一个例子的流程图。大致而言，口红处理由步骤S10的前准备处理和步骤S20的颜色涂敷处理构成。前准备处理由步骤Sll的切出和旋转处理、步骤S12的轮廓提取用图像的生成处理、步骤S13的轮廓提取处理、步骤S14的样条曲线处理以及步骤S15的旋转返回处理、步骤S16的颜色涂敷地图生成处理构成。颜色涂敷处理由步骤S21的基于颜色涂敷地图的颜色涂敷处理和步骤S22的除错和设计用描绘处理构成。
进入步骤Sll的切出和旋转处理，口红处理部39从脸部识别处理用图像中切出包含用户脸部中的唇部的部分图像500，并通过将该部分图像500旋转至处理用姿势，进而得到部分图像501。 进入步骤S12的轮廓提取用图像的生成处理，口红处理部39根据部分图像501生成轮廓提取用图像。进入步骤S13的轮廓提取处理，如部分图像502所示，口红处理部39根据轮廓提取用图像，使用点来提取出唇部的轮廓。 图22是表示轮廓提取处理的一个例子的示意图。在轮廓提取用图像600中，唇部的8个跟踪点和鼻部的3个跟踪点被重复显示。口红处理部39通过对唇部的8个跟踪点和鼻部的3个跟踪点再次进行检索，提取出轮廓提取用图像601的点。
图23是轮廓提取用图像600的跟踪点(唇部8个点、鼻部3个点)以及根据这些跟踪点再次进行检索而提取出的轮廓提出用图像601的跟踪点的比较图。这里，需要说明的是，如果上述的再次检索失败，则采用如图24所示的根据轮廓提取用图像600的跟踪点(唇部8个点、鼻部3个点)所计算出的缺省点。 图24是表示根据跟踪点(唇部8个点、鼻部3个点)计算缺省点的处理的一个例子的示意图。口红处理部39参照鼻部的3个跟踪点，对唇部上部的5个点求出缺省点。
进入步骤S14的样条曲线生成处理，口红处理部39对轮廓提取用图像601的点或者如图24所示的缺省点进行2次样条插值，得到如图25所示的轮廓。图25是表示根据点或缺省点生成轮廓的处理的示意图。如部分图像503所示，生成唇部的轮廓后，口红处理部39进入步骤S15，进行使在步骤Sll的切出和旋转处理中所进行的旋转返回至原样的旋转返回处理。 进入步骤S16的颜色涂敷地图生成处理，口红处理部39根据部分图像700的亮度和彩度生成用来决定颜色涂敷强度的颜色涂敷地图。图26是表示颜色涂敷地图生成处理的一个例子的示意图。具体而言，口红处理部39根据亮度和彩度生成用来表示颜色涂敷强度的灰度等级图像701。 口红处理部39从灰度等级图像701中仅将被步骤S14的样条曲线生成处理所生成的唇部轮廓所包围的部分图像702作为颜色涂敷地图504而切出。
进入步骤S21的基于颜色涂敷地图的颜色涂敷处理，口红处理部39根据步骤S16的颜色涂敷处理所生成的颜色涂敷地图504以及设定在如图19所示的化妆处理参数文件中的化妆方法和指定颜色，来对化妆前图像进行涂色。 图27是表示基于颜色涂敷地图的颜色涂敷处理的一个例子的示意图。口红处理部39根据设定在如图19所示的化妆处理参数文件801中的化妆方法和指定颜色以及步骤S16的颜色涂敷地图生成处理所生成的颜色涂敷地图802，来对化妆前图像803进行涂色，并得到化妆后图像804。之后，进入步骤S22的除错和设计用描绘处理，口红处理部39完成除错和设计用
描绘处理后，结束口红处理。(眼影处理) 如图28所示，包含在模拟器主应用程序28内的眼影处理部38参照分别位于左右两侧的眼部的3个跟踪点和眉部的1个跟踪点34进行眼影处理。图28是表示眼影处理所参照的跟踪点的示意图。 图29是表示眼影处理的一个例子的流程图。大致而言，眼影处理由步骤S30的前准备处理和步骤S40的颜色涂敷处理构成。前准备处理由步骤S31的基本轮廓生成处理构成。 颜色涂敷处理由重复进行的、步骤S41的颜色涂敷轮廓生成处理、步骤S42的颜色涂敷中心生成处理、步骤S43的颜色涂敷地图生成处理、步骤S44的基于颜色涂敷地图的颜色涂敷处理、以及、步骤S45的除错和设计用描绘处理构成，其中，重复进行的次数为颜色涂敷模式的个数。 进入步骤S31的基本轮廓生成处理，如部分图像900所示，眼影处理部38从脸部识别处理用图像中得到用户脸部的眼部形状。图30是表示基本轮廓生成处理的一个例子的示意图。 为了生成作为颜色涂敷轮廓的基本轮廓，如部分图像1001所示，眼影处理部38从眼部中心开始沿上下方向进行检索，识别出眼部轮廓的两个点(上边的边界和下边的边界)。如部分图像1002所示，眼影处理部38生成根据样条插值所得到的4个点，这4个点与所述识别出的眼部轮廓的2个点以及眼首(内眼角处，也称"眼头")和眼尾(外眼角处)的2个点即合计8个点构成多边形。 进入步骤S41的颜色涂敷轮廓生成处理，如部分图像901所示，眼影处理部38生成颜色涂敷轮廓。图31是表示颜色涂敷轮廓处理的一个例子的示意图。为了生成颜色涂敷轮廓，如部分图像1101所示，眼影处理部38以眼尾和眼首为基准生成颜色涂敷轮廓。这里，需要说明的是，关于轮廓的扩张、顶点的移动等，可通过在GUI上进行参数的指定来实现。 进入步骤S42的颜色涂敷中心生成处理，如部分图像902的"參"所示，眼影处理
部38生成颜色涂敷中心位置。进入步骤S43的颜色涂敷地图生成处理，如部分图像903所示，眼影处理部38生成用于确定颜色涂敷强度的颜色涂敷地图。 具体而言，颜色涂敷地图生成处理与颜色涂敷中心至多边形的边的距离相对应地确定涂敷的强度。例如，眼影处理部38可将颜色涂敷地图确定为，越接近多边形的边的位
17置，其涂敷强度越弱。这里，需要说明的是，颜色涂敷地图生成处理是以从颜色涂敷轮廓中 除去基本轮廓的部分为对象。 如图32所示，眼影处理部38对所生成的颜色涂敷地图进行晕映处理(即弄淡处 理)，这样，就可以生成更自然的色调。图32是表示没有进行晕映处理的涂色地图以及进行 了晕映处理的涂色地图的一个例子的示意图。 进入步骤S44的基于颜色涂敷地图的颜色涂敷处理，眼影处理部38根据步骤S43
的颜色涂敷地图生成处理所生成的颜色涂敷地图903、以及、设定在如图19所示的化妆处
理参数文件中的化妆方法和指定颜色，对化妆前图像进行涂色，并得到化妆后图像。 然后，进入步骤S45的除错和设计用描绘处理，眼影处理部38完成除错和设计用
描绘处理后，结束眼影处理。这里，需要说明的是，眼影处理部38通过根据颜色涂敷模式的
个数重复进行步骤S41 S45的处理，也可以实现多颜色的涂敷。(脸颊处理) 如图33所示，包含在模拟器主应用程序28内的脸颊处理部40参照眼首和嘴角 (左右两侧)、以及、眼部中间和鼻部中心(用于稳定)的跟踪点进行脸颊处理。图33是表 示脸颊处理所参照的跟踪点的示意图。 图34是表示脸颊处理的一个例子的流程图。脸颊处理由步骤S50的颜色涂敷轮 廓生成处理、步骤S51的颜色涂敷处理、以及、步骤S52的除错和设计用描绘处理构成。
进入步骤S50的颜色涂敷轮廓生成处理，在该步骤中，为了生成颜色涂敷轮廓，以 眼尾和嘴角为基准，生成作为颜色涂敷轮廓的轮廓多边形。图35是表示涂色轮廓的一个例 子的示意图。这里，关于轮廓多边形的点数、大小、形状或位置等，可通过在GUI上进行参数 的指定来确定。 进入步骤S51的颜色涂敷处理，在该步骤中，脸颊处理部40与从颜色涂敷中心开 始至轮廓多边形的边的距离相对应地确定涂敷强度。这里，需要说明的是，如果确定涂敷强 度时的处理负担过大，则也可以先(通过在GUI上进行参数的指定)降低分辨率(即间拔 成马赛克状)，然后再确定涂敷强度。脸颊处理部40根据所确定的涂敷强度、以及、设定在 如图19所示的化妆处理参数文件中的化妆方法或指定颜色，对化妆前图像进行涂色，并得 到化妆后图像。 然后，进入步骤S52的除错和设计用描绘处理，在该步骤中，脸颊处理部40完成除 错和设计用描绘处理后，结束脸颊处理。
(眉部处理) 如图36所示，包含在模拟器主应用程序28中的眉部处理部37左右分别地参照眼 尾、眼部中心以及眉部的2个跟踪点34，进行眉部处理。图36是表示眉部处理所参照的跟 踪点的示意图。 图37是表示眉部处理的一个例子的流程图。大致而言，眉部处理由步骤S60的眉 部轮廓提取处理、步骤S70的原眉部区域消去处理、步骤S80的眉部形状变形处理、以及、步 骤S90的变形眉部粘贴处理构成。 原眉部区域消去处理由步骤S71的区域扩大处理、以及、步骤S72的眉部消去处理 构成。眉部形状变形处理由步骤S81的对应于变形指定的指示曲线生成处理、以及、步骤 S82的变形眉部生成处理构成。
18
进入步骤S60的眉部轮廓提取处理，在该步骤中，如部分图像2001所示，眉部处理 部37从脸部识别处理用图像中得到用户脸部的眉部形状。图38是表示眉部轮廓提取处理 的一个例子的示意图。为了提取眉部轮廓，如部分图像2001所示，眉部处理部37以眉尾 (实际上是眉部中心附近)为中心向左右对眉部进行搜索。如部分图像2102所示，眉部处 理部37根据搜索结果识别眉部的轮廓形状。 进入步骤S71的区域扩大处理，在该步骤中，眉部处理部37使表示所识别出的眉 部轮廓形状的区域扩大。进入步骤S72的眉部消去处理，在该步骤中，眉部处理部37使用 附近的皮肤颜色，通过涂抹来消去扩大了的区域。另外，眉部处理部37还对扩大了的区域 的边界部分进行融合处理。 进入步骤S81的对应于变形指定的指示曲线生成处理，在该步骤中，眉部处理部 37根据指定使表示所识别出的眉部轮廓形状的区域(骨架(Skeleton))变形。图39是表 示对应于变形指定的指示曲线生成处理的一个例子的示意图。 如部分图像2201所示，眉部处理部37将表示所识别出的眉部轮廓形状的区域变 换成由横方向的轴线和纵方向的多个长方块所组成的骨架2202，通过改变轴线形状和长方 块的高度，例如，可进行如骨架2203所示的变形处理。 进入步骤S82的变形眉部生成处理，在该步骤中，眉部处理部37根据骨架2203生 成变形眉部。进入步骤S90的变形眉部粘贴处理，在该步骤中，眉部处理部37对化妆前图 像进行变形眉部的粘贴，并得到变形后图像。
(粉底处理) 如图40所示，包含在模拟器主应用程序28内的粉底处理部36左右分别地参照眼 尾、眼首以及眉部的l个跟踪点、眼部中间以及鼻部中心的跟踪点34，进行粉底处理。图40 是表示粉底处理所参照的跟踪点的示意图。 图41是表示粉底处理的一个例子的流程图。粉底处理由步骤S101的轮廓生成处 理、步骤S102的对象图像晕映处理、以及、步骤S103的图像粘贴处理构成。这里，需要说明 的是，步骤SIOI S103的处理重复进行，所重复的次数为对象区域的个数(即由对象的 区域所决定)。 进入步骤S101的轮廓生成处理，在该步骤中，如图42的图像所示，粉底处理部36 生成额部、鼻部、脸颊(左右)这三个种类(4个位置)的轮廓。图42是表示轮廓的一个例 子的示意图。这里，需要说明的是，各轮廓的大小、位置等可在GUI上通过参数的指定来设 定。 进入步骤S102的对象图像晕映处理，在该步骤中，如图43所示，粉底处理部36对 与所生成的轮廓相对应的对象图像进行晕映处理。图43是表示晕映处理前的原图像以及 晕映处理后的原图像的一个例子的示意图。通过向对象图像进行晕映处理，粉底处理部36 可以使皮肤的细小褶皱等变为平滑。 进入步骤S103的图像粘贴处理，在该步骤中，粉底处理部36将晕映处理后的对象 图像粘贴到化妆前图像的额部、鼻部、脸颊(左右)这三个种类(4个位置)的轮廓上，并得 到化妆后图像。
实施例2 在实施例2中，对口红处理、眼影处理、脸颊处理、眉部处理以及粉底处理的其他
19例子进行说明。
(口红处理) 如下所述，包含在模拟器主应用程序28内的口红处理部39参照跟踪点34进行口红处理。 图44和图45是口红处理(唇笔描绘处理)的一个实施例的流程图。在图44中，首先，在步骤S301中，取得围绕嘴部的矩形区域的脸部图像，同时，取得嘴部轮廓数据。该嘴部轮廓数据是根据跟踪点(特征点)34所得到的。 在下一个步骤S302中，用户根据所选择的化妆模式设定曲线描绘区间和直线描
绘区间。图46是围绕嘴部的矩形区域的脸部图像的一个例子的示意图。 在该图中，分别表示了嘴部(上唇部)的上端M2、M4、嘴部的左右端M1、M5、嘴部
(下唇部)的下端M6这些特征点(跟踪点)，另外，还表示了从嘴部(下唇部)的左端M1
开始的嘴部宽度(Ml和M5之间的距离)的三分之一处的点M7、以及、从嘴部(下唇部)下
缘的右端M5开始的嘴部宽度(Ml和M5之间的距离)的三分之一处的点M8。 如果所选择的化妆模式为"清新"，则口红处理部39分别以曲线来描绘区间Ml
M2、区间M4 M5，并分别以直线来描绘区间M2 M3、区间M3 M4。这样，如图47(A)的描
绘图像所示，进行了使上唇部呈圆形的唇笔描绘，但是，对于下唇部，并不进行唇笔描绘。 如果所选择的化妆模式为"甜美"，则口红处理部39分别以曲线来描绘区间Ml
M2、区间M4 M5、以及、区间Ml M6 M5，并分别以直线来描绘区间M2 M3以及区间
M3 M4。这样，如图47(B)的描绘图像所示，进行了使上唇部和下唇部都呈圆形的唇笔描绘。 如果所选择的化妆模式为"可爱"，则口红处理部39分别以直线来描绘区间Ml M7、区间M7 M8、以及、区间M8 M5。这样，如图47(C)的描绘图像所示，进行了使下唇部成为直线的唇笔描绘，但是，对于上唇部，并不进行唇笔描绘。 如果所选择的化妆模式为"扮酷"，则口红处理部39以曲线来描绘区间M2 M4，分别以直线来描绘区间Ml M2、区间M4 M5、区间Ml M7、区间M7 M8、区间M8 M5。这样，如图47(D)的描绘图像所示，进行了使上唇部和下唇部都呈直线的唇笔描绘。
在下一个步骤S303的循环处理中，口红处理部39使x坐标值从0(嘴部左端的Ml位置)开始以像素为单位依次增加至最大值(嘴部右端的M5位置)。这里，需要说明的是，x坐标被设定为，在图46所示的围绕嘴部的矩形区域中向右侧增加；y坐标被设定为，向上侧增加。在该循环内的步骤S304中，口红处理部39对是否为曲线描绘区间进行判别，如果不是曲线描绘区间，则返回步骤S303，使x坐标值增加。 如果是曲线描绘区间，则进入步骤S305，在该步骤中，口红处理部39通过使用x坐标值对图48所示的补偿曲线进行参照，求出与该x坐标值相对应的补偿值。图48中所示的补偿的目的为，通过向上(鼻部侧)提起上唇部的上缘，使嘴部看上去较大；对于下唇部的下缘，补偿值被设定为"补偿值=0"。 下面，口红处理部39进行步骤S306的循环处理。这里，口红处理部39将y坐标值从"嘴部轮廓数据的y坐标+补偿值-P "开始以像素为单位依次增加至"嘴部轮廓数据的y坐标+补偿值+P"为止，进行以下的处理。其中的P为唇笔的笔宽的1/2(例如，相当于数毫米(mm))。
在步骤S306的循环内的步骤S307中，根据与该x、y坐标相对应的像素的RGB值，口红处理部39使用预定的公式分别计算彩度(S)、色相(H)以及亮度(V)。
然后，在步骤S308中，口红处理部39根据嘴部轮廓数据的y坐标和该y坐标的差值(最大为"补偿值+ P ")进行补正，以将唇笔颜色的HSV值与所述差值成比例地进行减小(即颜色逐渐变淡)，并进行分等级后，将其与步骤S307中得到的与该x、y坐标相对应的像素的HSV值进行合计。 之后，在步骤S309中，口红处理部39将与上述该x、y坐标相对应的像素的HSV值变换成RGB值，然后，在步骤S310中，通过使用所述RGB值对与该x、y坐标相对应的像素进行覆盖和更新，实行唇笔的描绘。 这里，需要说明的是，在步骤S306中，因为图47(A)的描绘图像中的曲线描绘区间只为上唇部的上缘，所以，仅实行了 1次，但是，因为图47(B)的描绘图像中的曲线描绘区间为上唇部的上缘和下唇部的下缘，所以，实行了2次。在描绘下唇部的下缘时，将图48的补偿值作为负值。步骤S303的循环处理结束后，口红处理部39进入步骤S311，求出各直线描绘区间的直线函数。在下一个步骤S312的循环处理中，口红处理部39将x坐标值从0(嘴部的左端的Ml位置)开始以像素为单位依次增加至最大值(嘴部的右端的M5位置)。
在这个循环内的步骤S313中，口红处理部39对是否为直线描绘区间进行判别，如果不为直线描绘区间，则返回步骤S312，使x坐标值增加。如果为直线描绘区间，则进入步骤S314， 口红处理部39通过使用直线函数，求出与该x坐标相对应的直线的y坐标Y(L)。
接下来，口红处理部39执行步骤S315的循环处理。这里，口红处理部39通过将y坐标值从"Y(L)-e "开始以像素为单位依次增加至"Y(L) + e "，进行以下的处理。其中的P为唇笔的笔宽的1/2(相当于数毫米(mm))。 在步骤S315的循环内的步骤S316中，根据与该x、y坐标相对应的像素的RGB值，口红处理部39应用预定的公式，分别计算出彩度(S)、色相(H)、亮度(V)。然后，在步骤S317中，口红处理部39根据Y(L)和该y坐标的差值(最大为P )进行补正，以使唇笔颜色的HSV值与所述差值成比例地进行减小(即颜色逐渐变淡)，并进行分等级后，将其与步骤S316中得到的与该x、 y坐标相对应的像素的HSV值进行合计。 之后，在步骤S318中，口红处理部39将与上述该x、y坐标相对应的像素的HSV值变换为RGB值，然后，在步骤S319中，通过使用所述RGB值，对与该x、 y坐标相对应的像素进行覆盖和更新，实行唇笔的描绘。 这里，需要说明的是，在步骤S315中，因为图47(C)的描绘图像中的曲线描绘区间只为下唇部的下缘，所以，仅实行1次；但是，因为图47(D)的描绘图像中的曲线描绘区间为上唇部的上缘和下唇部的下缘，所以，实行了 2次。步骤S312的循环处理结束后，口红处理部39结束口红处理。 这样，当从多个化妆模式中选择了想要的模式后，口红处理部39根据所选择的化妆模式对唇笔的描绘(颜色涂敷处理)形状进行设定，并在所设定的形状内进行唇笔的描绘，因此，通过只选择想要的模式，就可以根据所选择的化妆模式用唇笔对嘴部轮廓附近进行描绘和显示。 另外，因为口红处理部39对唇笔的颜色所进行的分等级处理为，从嘴部轮廓开始的纵方向的距离越大，唇笔的颜色越淡，因此，所描绘的唇笔的颜色可与脸部图像的皮肤颜
21色相融合，并且没有不协调的感觉。 另外，包含在模拟器28内的口红处理部39也可以根据跟踪点34计算出如下的 点，然后，参照这些点，进行实施例1或实施例2的口红处理。 可以根据跟踪点34计算出为了掌握唇部的形态特征而预先设定的多个点的位 置。图49是表示为了掌握嘴唇的形态特征而预先设定的多个点的位置的一个例子的示意 图。图49显示了以下的14个点。 图49所示的14个点为鼻部两侧的位置(2个点)、鼻孔的中心位置(2个点)、上唇 部的唇峰的位置(2个点)、上唇部的唇谷的位置、唇部的中心位置、嘴角的位置(2个点)、 下唇部的下端的中心位置、颌部的中心位置、以及、颌部的两侧的位置(2个点)这14个点。 这里，需要说明的是，对这些点的位置和数量并无特别的限定，只要能够掌握唇部的形态特 征，并且，适于生成化妆信息，也可以对位置或数量进行适当的变更。 口红处理部39在以下5个项目上对根据14个点的位置所分析的平面特征进行判 定，以掌握对象者(用户)整个唇部的平衡。口红处理部39通过将所掌握的对象者(用 户)整个唇部的平衡与作为基准的最佳平衡进行对比，测定其差异，然后，对与基准不同的 部分进行修正。这里，需要说明的是，作为基准的唇部平衡是以被评价为"漂亮"的唇部的 比例(proportion)为依据的。 用来判定唇部形态的平衡的5个项目分别为嘴角的位置、上唇部的位置、下唇部 的位置、上唇部的唇峰的位置、以及、上唇部的唇峰与唇谷的角度。最佳平衡中的5个项目 的基准分别为嘴角的位置在黑眼球内侧的正下面的位置、上唇部的位置在从鼻部下部至 唇部中心位置的距离的1/3的位置、下唇部的位置在从颌部中心位置至唇部中心位置的距 离的1/3的位置、上唇部的唇峰位置在鼻孔中心的正下面的位置、以及、上唇部的唇峰与唇 谷的角度为从唇峰向唇谷下降10度的角度。 根据上述最佳唇部的基准平衡，口红处理部39通过比较作为化妆对象的唇部的 平衡来把握两者的差异，并将作为对象的唇部修正为基准平衡。这里，对修正的方法进行说 明。首先，口红处理部39从唇部中心画水平线，然后，对嘴角的位置是位于水平线的上面还 是下面进行测定。如果嘴角的位置位于水平线的上面，则口红处理部39并不进行特别的修 正。如果位于水平线的下面，则因为唇部松弛、看起来有些散漫，所以，口红处理部39进行 补妆，以2mm为限度将嘴角的位置向上进行修正。 这里，将调整限度设为2mm的理由是为了避免调整后的效果看起来不自然。例如，
美容专家在商店门口等处就唇部的化妆向顾客提供建议时，所建议的接近标准唇部的化妆 法通常都是在大约2mm左右的范围内变动。换言之，如果修正范围超过2mm，则修正的幅度 过大，这样，化妆后看起来不自然，不令人满意。这里，需要说明的是，如果最初的嘴角的点 的位置发生了偏离，则最佳平衡的点也会发生偏离，所以，需要人工调整嘴角的点。另外，这 里所说的修正范围2mm，在其他部分也都相同。 接下来，口红处理部39对上唇部的唇峰和唇谷的形状进行调整。口红处理部39 以从鼻部下部到唇部中心位置的距离的1/3的位置、以及、鼻孔中心的正下方位置为基准， 计算出上唇部的唇峰的位置并进行设定，然后，在画面上设定用于化妆的点，以使上唇部的 唇峰位于所述计算出的位置上。 之后，口红处理部39以从唇峰向唇谷下降10度的角度为基准，设定上唇部的唇谷
22的位置。关于这个角度，例如可将其设定在10 15度的范围，这里，将其预设为10度。但 是，需要说明的是，这个角度并非被限定为只是10度，也可以将其任意地设定在10 15度 的范围。 接下来，口红处理部39将下唇部的位置设定在从唇部中心线到颌部中心位置的 距离的1/3的位置，然后，通过对下颌部的中心位置和其两侧这3个点的位置用圆弧进行连 接来描绘下颌部的线，并将下唇部的线描绘成与该下颌部的圆弧形状相似的形状。关于这 个下颌部的线的描绘，在计算机画面上，可通过模仿下颌部的线使基本曲线进行变形的方 式，来进行自然的描绘。 因此，口红处理部39通过根据5个项目的基准将对象者(用户)的整个唇部的平 衡与最佳平衡进行对比来掌握它们之间的差异，就可以求出用于修正为最优平衡的线。
(眼影处理) 包含在模拟器主应用程序28内的眼影处理部38参照如下所述的跟踪点34进行 眼影处理。这里，需要说明的是，眼影处理按照眼线检索处理、眼线描绘处理、以及、眼影涂 敷处理的顺序来进行。 图50是眼线检索处理的一个实施例的流程图。在该图中，首先，在步骤S401中取 得围绕眼部以及眉部的矩形区域的脸部图像，并在步骤S402中将保持2值图像的区域存储 在内存装置11等中。然后，在步骤S403的循环处理中，按预定的增量依次将阈值TH从最 低值增加到最大值，并在循环内的步骤S404中，使用阈值TH对围绕眼部以及眉部的矩形区 域的脸部图像的进行2值化处理。这里，需要说明的是，通过改变阈值TH来进行2值化处 理是为了正确地检测出眼线。 在下一个步骤S405中，对由2值化处理所得到的边缘图像(edgeimage)通过使用 中值滤波器除掉其中的噪点(noize)。该处理是为了除掉由睫毛等产生的噪点。然后，在 步骤S406中，对边缘图像中是否存在沿眼部宽度方向(矩形区域的y方向)连续延伸排列 的多个边缘像素(即轮廓线形成像素)进行判定。如果不存在上述的轮廓线形成像素，则 使阈值TH增加预定量，然后返回步骤S404。如果存在上述的轮廓线形成像素，则进入步骤 S407。 在步骤S407中，从上述的2值图像中提取出轮廓线。接下来，在步骤S408中，眼 部处理部38对提取出的轮廓线中的不连续的部分进行直线插值(或者曲线插值)，然后，在 步骤S409中，对于经过了插值的轮廓线，通过使用中值过滤处理除掉其中的噪点，并结束 该处理。 图51是眼线描绘处理的一个实施例的流程图。该处理是对连接眼首EL4、 ER4和 眼尾EL1、ER1的上眼睑轮廓线的上侧(眉部侧)的上眼睑区域进行的处理。
在图51中，首先，在步骤S410中，对眼线描绘模式进行设定。如果化妆模式被选择 为"扮酷"模式，则如图52所示，眼线描绘模式被设定为，在上眼脸的眼首到眼尾的宽度的 眼线的附上了斜线的区域Ia内，沿x方向向眼尾侧对眼线进行晕映处理的眼线描绘模式。
另外，如果化妆模式被选择为"清新"模式，则如图53所示，眼线描绘模式被设定 为，在上眼脸的中央(眼首和眼尾之间的中间点)到眼尾的宽度的眼线的附上了斜线的区 域Ib内，沿x方向向眼尾侧对眼线进行晕映处理的眼线描绘模式。 如果化妆模式被选择为"甜美"的模式，则如图54所示，眼线描绘模式被设定为，对上眼脸的眼首到眼尾的宽度的眼线不进行晕映处理的眼线描绘模式。 如果化妆模式被选择为"可爱"的模式，则如图55所示，眼线描绘模式被设定为，
在上眼脸的眼首到眼尾的宽度的眼线的附上了斜线的领域Id内，沿y方向向眉部侧对眼线
进行晕映处理的眼线描绘模式。 与上述化妆模式相对应的眼线处理模式可为不触摸眼线选择框时的缺省值，也可
为触摸眼线选择框时从显示的4个眼线描绘模式中所选择的想要的模式。 接下来，在步骤S411的循环处理中，以像素为单位依次将x坐标值从0(眼首位
置)增加到最大值(眼尾位置)。在这个循环中，按每个x坐标值来进行步骤S412的循环
处理。这里，以像素为单位依次将y坐标值从O(轮廓线的y坐标)增加到最大值(眼部的
高度方向的宽度上眼脸和下眼脸之间的最大间隔距离)，并进行以下的处理。 在步骤S413中，计算由上述x坐标以及y坐标所表示的像素的亮度，然后，在步骤
S414中，对该像素的亮度是否与眼线的亮度相同进行判别。这里，如果不相同，则增加y坐
标值，然后，返回步骤S413。 如果上述像素的亮度和眼线的亮度相同，则进入步骤S415，在该步骤中，使该像素 的亮度比现在的亮度降低预定的值。这样，因为轮廓线上的像素的亮度下降，进而变浓，所 以可以使眼线变得更明显。然后，在步骤S416中，根据x坐标和y坐标，对是否为图52的 区域Ia("甜美"模式)或图53的区域Ib("扮酷"模式)进行判别，如果是上述区域Ia、 Ib，则在步骤S417中，沿x方向向眼尾侧进行眼线的晕映处理。 接下来，在步骤S418中，根据x坐标和y坐标，对是否为图55的区域Id("清新" 模式)进行判别，如果是上述区域Id，则在步骤S419中，沿y方向向眉部侧进行眼线的晕映 处理。之后，在上述步骤S411、S412的循环处理结束后，眼影处理部38结束眼线检索处理。
图56是眼影涂敷处理的一个实施例的流程图。在该图中，首先，在步骤S430中设 定眼影涂敷区域。这里，求出图57所示的、从上眼脸轮廓线到眉部轮廓线的沿y方向的最大 距离Ymax，并求出最大涂敷距离My = Ymax/a 。这里，需要说明的是，如果化妆模式为"甜 美"或"可爱"模式，则a =2，如果为"扮酷"模式，则a =3，如果为"清新"模式，则a = 6。 另外，使用如图58(A)、 (B)所示的曲线，求出每个化妆模式的眼影涂敷区域的上 限(眉部侧)。此时，通过使用所述最大涂敷距离My来求得。这里，如果化妆模式为"甜 美"、"扮酷"或"可爱"模式，则使用如图58(A)所示的从眼首到眼尾的曲线；如果为"清新" 模式，则使用如图58(B)所示的、离开了眼首预定距离的上眼脸轮廓线上的一个点至眼尾 的曲线。另外，眼影涂敷区域的下限作为上眼脸的轮廓线。 另外，在步骤S431中，设定开始点的移动轨迹，在步骤S432中，设定眼影涂敷开始 点的涂敷距离。图59表示与图58(A)相对应的眼影涂敷区域，但是，将眼影涂敷区域的下 限(上眼脸的轮廓线)的大致中央位置PO作为眼影涂敷的开始点。另外，以开始点为圆 心，将与眼影涂敷区域上限相切的圆的半径作为涂敷距离，然后，再将与眼影涂敷区域的下 限重叠显示的箭头A1以及A2作为开始点的移动轨迹。 接下来，在步骤S433中，根据用户的皮肤颜色数据和所选择的眼影的颜色，使用 预定的公式计算开始点的眼影的浓度，并将得到的眼影的颜色涂敷在开始点上。然后，在步 骤S434中，在以开始点为圆心、以涂敷距离为半径的圆内，进行将涂敷在开始点上的眼影的颜色浓度与从开始点开始的距离成比例地变薄(晕映)的喷笔(airbrush)处理，并通过将由这种方式所得到的各像素位置的浓度的眼影颜色与该位置的像素的皮肤颜色相加，求出眼影和皮肤重叠了的各像素的颜色，并用其来更新各像素的颜色。 这里，需要说明的是，在上述喷笔处理中，处理的对象仅为眼影涂敷区域的将涂敷距离作为半径的圆内，从眼影涂敷区域的下限往下的半圆部分内不进行处理。图60是表示喷笔(airbrush)处理时从中心开始的距离与浓度的关系的图。另外，对于进行喷笔处理时的从中心开始的距离与浓度之间的关系而言，如果化妆模式为"可爱"或"清新"模式，则如图60(A)所示，使用浓度与从中心开始的距离成比例地变薄的特性；如果为"甜美"或"扮酷"模式，则如图60 (B)所示，使用从中心开始的距离较小时浓度变薄的程度较大、从中心开始的距离较大时浓度变薄的程度较小的特性。 之后，在步骤S435中，根据箭头Al、A2所示的开始点的移动轨迹，将开始点移动预定的距离。这里，需要说明的是，当反复进行开始点从位置P0开始沿箭头A1方向移动预定距离的处理时，如果移动后的开始点位于眼影涂敷区域的外侧，则返回位置P0，沿箭头A2方向移动预定的距离。该移动距离例如为涂敷距离的百分之几十。 另外，在步骤S436中计算新的涂敷距离。随着开始点从位置PO沿箭头Al、 A2方向的移动，新的涂敷距离以百分之几 百分之几十的程度减小。 接下来，在步骤S437中，对是否为眼影涂敷的终点进行判定。如果不为终点，则反复执行步骤S433 步骤S436的处理；如果为终点，则眼影处理部38结束眼影涂敷处理。眼影涂敷终点的判定处理将开始点沿箭头A2方向移动并位于眼影涂敷区域外时作为眼影涂敷的终点。 这样，从多个化妆模式中选择想要的类型后，可以根据所选择的化妆模式来设定脸部图像的眼部的眼影涂敷区域，并通过将眼影涂敷区域的脸部图像的颜色与眼影的颜色相加来涂敷眼影，因此，仅通过选择想要的类型，就可以根据所选择的化妆模式对脸部图像的眼部的眼影进行涂敷并显示。 另外，因为可以根据所选择的化妆模式对通过检测眼部轮廓而检测出的眼部轮廓及其附近进行描绘，因此，仅通过选择想要的类型，就可以根据所选择的化妆模式对脸部图像的眼部的眼线进行描绘并显示。 另外，因为可以使用从眼影涂敫区域内的涂敷开始点开始逐渐减小眼影浓度的方式来进行晕映处理，因此，涂敷后的眼影可以与脸部图像的皮肤颜色相融合，并可以显示出很自然的眼影；再有，因为可以在眼影涂敷区域内依次移动涂敷开始点，因此，不管脸部图像的眼影涂敷区域是什么形状，涂敷后的眼影都可以与脸部图像的皮肤颜色相融合，并可以显示出很自然的眼影。 包含在模拟器主应用程序28内的眼影处理部38也可以通过将被分类并被掌握了的被化妆对象者的眼部形态与标准平衡的眼部形态进行对比来进行眼部的化妆，这样，不仅可以使化妆后的眼部状态接近标准平衡的眼部状态，使眼部看上去较大，而且还可以使化妆后的眼部整齐匀称，使眼部看上去更具有魅力。 眼部的形态特征可以通过将4个要素作为指标来进行分类，这4个要素分别为表示眼部的张开形状的框轴(frame axis)、表示眼部的凹凸形状的形轴(form axis)、表示眼部的角度形态的角度轴、以及、标准平衡的眼部形态。眼部的张开形状是由以睫毛根处的边
25缘为基准的上下眼脸所形成的眼部张开的轮廓形状。框轴是按照眼部张开时的上下直径和 左右直径的比率而排列在轴上的轴。框轴例如可设为垂直轴。后述的标准平衡的眼部形态 为配置在框轴的中央。在框轴的一侧(即上侧)，配置了与眼部张开时上下直径和左右直 径的比率为l : 3的标准平衡的眼部相比，上下直径较长、左右直径较短的眼部形态。在轴 的另一侧(即下侧)，配置了上下直径较短、左右直径较长的眼部形态。 另外，表示眼部的凹凸形状的形状形态例如通过眼脸沟和上下眼脸的隆起的凹凸 形状来掌握。形轴被构成为与上述框轴正交的水平方向的轴。在形轴的中心，配置了标准 平衡的眼部形态。在形轴的一侧(即左侧)，配置了与标准平衡的眼部形态相比，上眼脸 的隆起较平(单眼皮或内双眼皮中一般的眼脸的薄厚程度较好的隆起形状)、下眼脸的厚 度较薄、眼球的曲面不那么突出的眼部形态。在轴的另一侧(即右侧)，配置了上眼脸的 隆起比较立体(双眼皮或三眼皮中常见的棱角分明的状态。在与眉弓骨之间的眼窝的边界 处有一凹部，眼球的隆起可被明显地看到)、下眼脸中呈现出眼球的明显的曲面或者由于眼 窝脂肪的膨大而呈现立体的眼部形态。 另外，眼部的角度形态是经过眼首的水平线与连接眼首和眼尾的对角线所形成的 角度。标准平衡的眼部的角度形态为大于9度小于11度的角度，最好为10度的角度。眼 影处理部38将这个标准平衡的眼部角度形态作为基准，如果角度为9度以上11度以下，则 判断为标准，如果9度以下，则判断为眼尾下降，如果11度以上，则判断为眼尾上升。当将 所述框轴、形轴投影到平面上时，用来表示眼部角度形态的上下的角度轴被表现为，个别地 存在于由两个轴所分割的4个象限内。 标准平衡的眼部形态特征如图61所示，即a.具有眼部张开时的上下直径(经过 虹膜中心的垂线)与左右直径的比率为1 : 3的框状形态；b.具有从脸部侧面看时上下 眼脸的形状没有明显凹凸，从眉弓骨(眉毛下而的稍微隆起的骨头)至颊骨的曲线比较平 缓的形状(form)形态；c.经过眼首的水平线与连接眼首和眼尾的直线所形成的角度为10 度；d.眼脸沟为双眼皮和内双眼皮的中间的形状，眼首侧的沟狭小，眼尾侧的沟比眼首侧 的宽；e.眼部张开时的上下直径的宽度以及眼部张开时的上缘至眉部的宽度具有1比1的 平衡的形状形态。图61是表示处于标准平衡状态的眼部的正面图。
(脸颊处理) 包含在模拟器主应用程序28内的脸颊处理部40参照如下所述的跟踪点34进行 脸颊处理。 图62是腮红涂敷处理(脸颊处理)的一个实施例的流程图。在该图中，首先，在 步骤S510中设定腮红涂敷区域和开始点，在步骤S502中设定开始点的移动轨迹，在步骤 S503中设定腮红涂敷开始点的涂敷大小(涂敷距离)。在上述步骤中，处理随用户所选择 的化妆模式的不同而不同。 如果化妆模式为"甜美"模式，则如图63所示，在脸部区域内，将眼尾EL1、ER1的特 征点的y坐标设为yl，鼻部的左、右端Nl、 N3的特征点的y坐标设为y2，将嘴部的左、右端 Ml、 M5的特征点的y坐标设为y3，眼首EL4、 ER4的特征点的x坐标设为xl、眼尾EL1、 ER1 的特征点的x坐标设为x3时，将y坐标位于(yl+y2)/2至(y2+y3)/2的范围、并且、x坐标 位于xl至x3的范围作为腮红涂敷区域，将这个区域的大约中心的位置PO作为腮红涂敷的 开始点。另外，将这个区域的纵向宽度的1/2作为涂敷距离，然后，再将箭头A1和A2作为
26开始点的移动轨迹。 如果化妆模式为"扮酷"模式，则如图64所示，在脸部区域内，将眼尾EL1、 ER1的 特征点的y坐标设为yl，嘴部的左、右端M1、M5的特征点的y坐标设为y3，瞳孔PL、PR的特 征点的x坐标设为x2，眼尾EL1、 ER1的特征点的x坐标设为x2， y坐标与眼尾EL1、 ER1相 同的脸部轮廓上的特征点F6、 F7的x坐标设为x4时，将连接点(x2， y3)和点(x4， yl)的 直线、y = y3的直线以及脸部的轮廓所围成的范围作为腮红涂敷区域，并将这个区域内的 位置P0作为腮红涂敷的开始点。另外，将以位置P0为中心在腮红涂敷区域内内切的圆的 半径作为涂敷距离，然后，再将箭头Al和A2作为开始点的移动轨迹。 如果化妆模式为"可爱"模式，则如图65所示，在脸部区域内，将眼尾EL1、 ER1的 特征点的y坐标设为yl，将鼻部的左、右端Nl、 N3的特征点的y坐标设为y2，将嘴部的左、 右端M1、M5的特征点的y坐标设为y3，将瞳孔PL、PR的特征点的x坐标设为x2，眼尾EL1、 ER1的特征点的x坐标设为x2， y坐标与眼尾EL1、 ER1相同的脸部轮廓上的特征点F6、 F7 的x坐标设为x4， y坐标与嘴部左右端M1、M5相同的脸部轮廓上的特征点F10、F11的x坐 标设为x5时，将连接点(x2，y2)和点(x4，yl)的直线、连接点(x2，y2)和点(x5，y3)的直 线以及脸部轮廓所围成的范围作为腮红涂敷范围，并将这个区域内的位置P0作为腮红涂 敷的开始点。另外，将以位置PO为中心在腮红涂敷区域内内切的圆的半径设为涂敷距离， 然后，再将箭头A1和A2设为开始点的移动轨迹。 如果化妆模式为"清新"模式，则如图66所示，在脸部区域内，将眼尾EL1、ER1的 特征点的y坐标设为yl，嘴部左、右端Ml、 M5的特征点的y坐标设为y3，眼首EL4、 ER4的 特征点的x坐标设为xl时，将y坐标位于y3至(yl+y3)/2的范围、并且、x坐标位于xl至 脸部轮廓的范围设为腮红涂敷区域，并将这个范围内的位置PO作为腮红涂敷的起始点。另 外，将这个区域的纵向宽度的1/2作为涂敷距离，然后，再将箭头A1和A2设为开始点的移 动轨迹。 接下来，进行腮红的涂敷。这里，首先，在步骤S504中，使用预定的公式，根据用户 的皮肤颜色数据和所选择的腮红颜色计算开始点的腮红浓度，并将所得到的腮红颜色涂敷 在开始点上。然后，在步骤S505中，以开始点为圆心，在以涂敷距离为半径的圆内，进行将 开始点处所涂敷的腮红颜色浓度与从开始点的距离成比例地变淡(晕映)的喷笔处理，然 后，将所得到的各像素位置的浓度的腮红颜色与该位置上的像素的皮肤颜色相加，求得皮 肤与腮红重叠后的各像素的颜色，并据此来更新各像素的颜色。图67是表示进行上述喷笔 处理时从中心开始的距离与浓度之间的关系图。 之后，在步骤S506中，按照箭头Al、A2所示的开始点的移动轨迹，将开始点移动预 定距离。这里，需要说明的是，当对开始点重复进行从位置P0开始沿箭头A1方向移动预定 距离的操作时，一旦移动后的开始点位于腮红涂敷区域之外，则返回位置P0，沿箭头A2方 向移动预定的距离。这个移动距离例如可为涂敷距离的百分之几十。然后，在步骤S507中， 计算新的涂敷距离。如果化妆模式为"甜美"或"清新"模式，则新的涂敷距离与上一次相 同，但是，如果化妆模式为"扮酷"或"可爱"模式，则随着开始点从位置PO开始沿箭头Al、 A2方向的移动，新的涂敷距离以百分之几 百分之几十的程度来减少。
接下来，在步骤S508中判断是否为腮红涂敷的终点，如果不为终点，则反复进行 上述步骤S504 S507的处理；如果为终点，则结束腮红处理。对腮红涂敷终点进行判定
27时，如果开始点沿箭头A2方向移动并位于腮红涂敷区域之外，则将其判定是终点。 因此，从多个化妆模式中选择想要的类型后，根据所选择的化妆模式设定脸部图
像中的腮红涂敷区域，将腮红涂敷区域内的脸部图像颜色与腮红颜色相叠加，并使用叠加
后的颜色来进行腮红的涂敷，这样，仅通过选择想要的化妆模式，就可以根据所选择的化妆
模式对脸部图像的脸颊部分进行腮红的涂敷和显示。 另外，因为从腮红涂敷领域内的涂敷开始点开始逐渐降低腮红的浓度并进行晕映 处理，所以，涂敷后的腮红与脸部图像的皮肤颜色相融合，看上去很自然；再有，因为是在腮 红涂敷区域内依次移动涂敷的开始点，所以，不管脸部图像的腮红涂敷区域是什么形状，涂 敷后的腮红与脸部图像的皮肤颜色都很协调，并且，看上去也很自然。 包含在模拟器主应用程序28内的脸颊处理部40也可以根据进行了分类并被掌握 了的被化妆对象者的脸颊形态特征进行脸颊的化妆。 一般来说，在脸颊处理中，根据想要展 现的形象，所采用的实施方法各不相同。这里，在本发明中，以"气色的展现"为例进行研讨。
另外，需要说明的是，这里，着眼于"气色"的理由有以下三点。首先，第一点为，如 果气色是一种健康的状态，则其原本是任何人都具有的要素，所以，将每个人所具有的原本 的健康美开发出来，非常自然和合理。 另外，作为气色良好的脸颊的一个例子，例如，幼儿的脸颊就是一个最好的例子。
在能够被感觉到是"气色良好"的例子中，气色往往出现在眼部、鼻部、嘴部以及耳部所组成
的区域内。所以，着眼于"气色"的理由的第二点为，将眼部、鼻部、嘴部以及耳部作为标准是
人们共通的法则，所以，据此来导出脸颊化妆的实施位置也非常合理。再有，着眼于"气色"
的理由的第三点为，大多数人对脸颊进行化妆的目的都是为了展现气色，并且，气色的展现
也是脸颊美感的一个要素，所以，着眼于"气色"也与大多数人的要求相符合。 另外，关于对脸颊进行化妆的目的，以平时进行脸颊化妆的二十年龄段和三十年
龄段的68名女性为对象进行了调查。其结果为，大多数人都选择了"为了使气色看起来更
好"的选项。另外，关于具有美感的脸颊，以平时进行脸颊化妆的二十年龄段的40名女性为
对象进行了调查。按回答数多的顺序来排列，其结果为，"有紧绷感"、"有适当的弹性"、"气
色良好"。 另外，在进行化妆时，一般使用化妆用粉底霜等来调整皮肤颜色的不均匀。此时，
皮肤上的自然气色几乎都被抹消了。因此，通过对脸颊进行化妆来增加气色，可以说是恢复 原本所具有的气色的一种自然的展现方法。 —般来说，美容师等所做的脸颊化妆要比普通人自己所做的脸颊化妆要漂亮很 多。这是因为美容师等可以能够根据经验和专业知识来捕捉每个脸部的特征，并掌握了可 以根据每个脸部的特征进行不同的化妆以使其漂亮的化妆方法。因此，通过分析美容师等 所采用的脸颊化妆方法，可以总结出了 一般的规律。 首先，使用脸颊特征各不相同的10名模特的脸部照片，对27名美容师进行了 "如
果想通过脸颊化妆来表现自然气色，以何处为中心至何处进行晕映？"的调查。并且，让这
些美容师将实施脸颊化妆时的中心位置和范围直接画在打印有各脸部的纸上。 图68是用于说明基于被化妆者的脸颊形态特征的脸颊化妆的一个例子的图。图
68中示出了对某模特(模特A)进行脸颊化妆时，用于导出脸颊化妆中心的线。 首先，用于表现气色的脸颊化妆的中心位置为由眼部、鼻部、嘴部以及耳部所连接
28的区域的中心附近。之后，对根据脸部上的容易指定的要素为基准导出该位置进行了研讨。
从研讨的结果可知，如图68所示，如果从鼻尖开始向耳郭前部的大致中央处(如果将耳部
前面切来，则为向内凹陷的位置)画线2500，再从经过眼部中央处的水平线2501与脸部轮
廓的交点向嘴角画线2502，则线2500和线2502的交点与美容师的回答相符合。 其次，对脸颊化妆的晕映范围进行说明。脸颊化妆的晕映范围位于由眼部、鼻部、
嘴部以及耳部所连接的区域之中。另外，该范围还位于使用导出的上述脸颊化妆中心的线
所描绘出的平行四边形之中。 具体而言，首先，从导出上述脸颊化妆中心时所画的经过眼部中央处的水平线2501与脸部轮廓的交点向鼻尖画线2503 (第一线)，将该第一线向下平行移动至嘴角，得到线2504 (第二线)，然后，从嘴角向上引垂线2505 (第三线)，再将该第三线平行移动至线2501与脸部轮廓的交点，得到线2506(第四线)。在图68中，由这些线2503 2506构成平行四边形。另外，从上述研讨的结果还可以知道，美容师所画的脸颊化妆的晕映范围完全被包含在这个平行四边形中。 由上述可知，对于所有的脸部都可以采用相同的方法，根据决定脸部空间的三大
要素之眼部、嘴部、鼻部，来导出实施脸颊化妆的起点位置以及晕映范围的大致区域。这里，
需要说明的是，在以下的说明中，将实施脸颊化妆的起点位置称为"基点"。 也就是说，用于展现气色的脸颊化妆的起点为，"从鼻尖至耳郭前部的大致中央处
的连线"与"从经过眼部中心的水平线和脸部轮廓的交点至嘴角的连线"的交点。另外，晕映
范围为，以基点为标准所描绘的平行四边形。具体而言，首先，从经过眼部中心的水平线和
脸部轮廓的交点向鼻尖引直线，然后，将该直线向下平行移动至嘴角，接下来，从嘴角向上
画垂线，之后，将该垂线平行移动至经过眼部中心的水平线与脸部轮廓的交点位置，这样，
就形成了一个平行四边形。 由此可知，不管是什么类型的脸部，都可以采用相同的方法来导出用于对其进行脸颊化妆的起点(基点)和晕映范围。 根据美容师的经验可以预测到，通过考虑脸颊的特征来实施脸颊化妆，可以得到适于每个被化妆者的化妆效果。但是，实际上，尽管满足了所导出的用于实施脸颊化妆的起点和晕映范围的条件，也有不令人满意的情况。 因此，这里提出了一个理论，即根据脸颊的形态特征来考虑调整方向，并使脸颊化妆的形状依照这个方向性进行改变。具体而言，即将脸颊短的人的脸颊调整为看起来较长，将脸颊长的人的脸颊调整为看起来较短，另外，将脸颊瘦弱的人的脸颊调整为看起来较丰满，将脸颊臃肿的人的脸颊调整为看起来较清瘦。 这里，为了验证上述理论，进行了调查。在调查中，对脸颊形态特征各不相同的四名模特实施了两种类型的脸颊化妆。一种类型的脸颊化妆是采用基点和晕映范围的大致规律，然后，再按照脸颊的特征改变晕映形状的"OK脸颊化妆"。另一种类型的脸颊化妆是不考虑晕映形状的"NG脸颊化妆"。关于这两种类型的脸颊化妆，在事先对"OK"和"NG"的类型信息进行了保密的情况下，获得了 ( 二十年龄段的40名)普通女性的评价结果。
具体而言，让她们一张一张地看照片，然后，对每个脸颊化妆的效果使用五个等级来进行评价。另外，评价的项目有"自然——不自然"、"适合——不适合"等。之后，计算对4名模特所进行的评价结果的平均值并进行研讨。
29
通过对评价结果进行统计分析可知，"OK脸颊化妆"比"NG脸颊化妆"看起来效果自然，立体感均一，并富有弹性。因此，这也与上述作为脸颊美感的要素之"有紧凑感、有适当的弹性"相符合。另外，还可以知道，通过进行这样的脸颊化妆，脸部的整体平衡看上去也很完美。也就是说，采用上述"OK脸颊化妆"，不仅可以使化妆后的脸颊看上去具有立体感并富有弹性，而且还可以恢复脸颊原本所具有的那种自然、健康的气色。另外，气色的展现
不仅可以自然地展现各自的美感，而且还可以调整平衡。这里，需要说明的是，在上述调查中，对各模特所进行的脸颊化妆的形状是根据对脸颊长度以及度弱 臃肿的表现方法进行调整的理论来确定的。 图68表示基于脸颊形态特征的脸颊化妆的形状和范围。在图68中，对应于标准脸部的脸颊形状为，与作为基准的平行四边形内切的内切椭圆2507。 这里，在图68的内切椭圆2507中，将连接晕映基准平行四边形的纵边中点2508-1和2508-2的直线作为长轴A，将与长轴A的中点2509正交、并与平行四边形的上下边相交的直线作为短轴B。另外，如果将各轴A、 B的一半的长度设为a、 b，则该内切椭圆可用(x7a2) + (y7b2)来表示。另外，如果为"平均脸"(average face)，则具有a : b =1 : 0. 55±0. 02的关系。 这里，需要说明的是，对于脸颊化妆的晕映方法，基本来说，实际上可以进行这样的涂敷，即首先对起点进行较浓的涂敷，然后，向晕映形状的边界进行逐渐变淡的涂敷，最后，在边界部分使涂敷的颜色与皮肤的颜色自然地融为一体。
(眉部处理) 包含在模拟器主应用程序28内的眉部处理部37根据以下的美容理论实行实施例1中的步骤S80的眉部形状的变形处理，这样，就可以对每个用户脸部的眉部进行变形，使之变得更漂亮。 —般而言，形状良好的眉形由以下几个要素构成。1.眉头(也称"眉首")位于眼
首的正上方。2.眉尾位于鼻翅和眼尾的连线的延长线上。3.眉峰位于从眉头开始的2/3
处。这样的眉形被称为形状良好的眉形。下面，参照图69对这些要素进行更详细的说明。 图69是说明理想眉形的说明图。在图69中，眉头位于从眼首3001垂直向上的
眼首线3002上，眉尾3007位于从鼻翅3004向眼尾3005倾斜的鼻翅眉尾线3006上，眉峰
3010位于连接眉头3003和眉尾3007的眉基线3008的、从眉头3003向眉尾3007的方向上
的大约2/3处(与眉尾侧的白眼球的端部基本一致)的垂直眉峰线3009上。 尽管这样的眉形是形状良好的眉形，但是，根据本发明的发明人的最近研究可知，
将该形状良好的眉形描绘在用户脸部时，整体上看起来并不合适的例子也很多，另外，良好
的眉形还与其他要素有关。这样，通过再加进这些新的要素，就可以根据每个人的脸型对眉
部进行变形，进而得到漂亮的眉形。 这些新的要素为4.位于整个脸部的眉峰3010的位置；5.从眉头3003开始形成眉峰3010的角度。通过追加这些新的要素，就可以将眉形变形为漂亮的眉形。
这里，尽管使用了眉头3003、眉峰3010等部位的名称，但是，眉部处理部37使用了上述跟踪点34中的与眉头3003对应的特征点(BR1)、与眉峰3010对应的特征点(BR2)。
下面，对和脸部具有良好的平衡的、漂亮的眉形的位置进行说明。对于和脸部具有良好的平衡的眉形而言，"4.位于整个脸部的眉峰3010的位置"、以及、"5.从眉头3003开
30始形成眉峰3010的角度"是非常重要的。对于这些要素，参照图70进行说明。图70是说明眉形位置的说明图。 图70的(A) 、 (B)以及(C)分别表示眉部相对于整个脸部所占据的位置。由图70的(A)、(B)以及(C)上所画的实线所表示的虚拟横线H是表示从正面观察脸部时的脸部最大宽度的直线，该直线通常为与下眼脸相交的直线。纵线V是从颌部的下部将用来表示脸部最大宽度的上述横线H立起时的虚拟直线。横线H和纵线V在脸部的大约中央的位置相交成直角，通过由a、 b、 c、 d这四个线段所表示的边来包围横线H和纵线V的端部，形成虚拟正方形。 这里，观察图70(A)的眉部位置后可知，眉部的眉峰3010与上述虚拟正方形的边a相切，此时，从整个脸部来看，眉部位于漂亮的位置，并且，具有良好的平衡感。另外，在图70(B)中，眉部的眉峰3010位于从虚拟正方形的边a向下偏离的位置，此时，从整个脸部来看，眼部、鼻部以及眉部相互靠近，脸部看上去较短，没有良好的平衡感。另外，在图70(C)中，眉部的眉峰3010越过了虚拟正方形的边a，此时，从整个脸部来看，脸部看上去较长，整体上没有良好的平衡感。 —般而言，脸部整体较圆的人的眉峰如图70(B)所示，容易位于虚拟正方形的边a的下方，脸部整体较长的人的眉峰如图70(C)所示，容易越过虚拟正方形的边a，位于其上方。眉形的描绘方法导致这些不好的倾向更严重的例子随处可见。 这里，仔细观察图70 (A)的状态后可知，从眉头3003开始形成眉峰3010的角度相对于连接眉头3003和眉尾3007的眉基线3008大约为10度，并且，眉峰3010与虚拟正方形的边a相交。另外，在图70(B)中，从眉头3003开始形成眉峰3010的角度相对于连接眉头3003和眉尾3007的眉基线3008大约为5度，并且，眉峰3010位于从虚拟正方形的边a向下偏离的位置。 另外，在图70 (C)中，从眉头3003开始形成眉峰3010的角度相对于连接眉头3003和眉尾3007的眉基线3008大约为20度，并且，眉峰3010向上越过了虚拟正方形的边a。因此可知，通过将图70(B)和图70(C)所示状态的眉形尽可能地描绘成图70(A)所示的状态，就可以得到和脸部具有良好平衡的漂亮的眉形。 关于描绘眉形的方法，参照图69和图70进行更详细的说明。首先，测定被化妆者的脸部正面的最大横向宽度(一般为通过下眼脸的直线)，并沿脸部的下眼脸做成具有所述最大横向宽度的虚拟横线H。然后，将具有与横线H相同长度的直线从颌部的最下端开始直立起来，并将其做为纵线V。接下来，在脸部正面使横线H和纵线V正交，并由分别经过了横线H和纵线V的端部的虚拟线段a、b、c、d(即4个边)形成虚拟正方形。之后，通过将由上述方法做成的边a与被化妆者的眉峰3010的位置进行比较，来判断眉峰3010与虚拟正方形的边a之间的位置关系，即眉峰3010与正方形的边a —致、眉峰3010位于正方形的边a的下面、或者、眉峰3010位于正方形的边a的上面。 如图70(A)所示，如果眉峰3010与虚拟正方形的边a—致，则因为大多数情况下眉部的角度相对于眉基线3008都为10度左右，所以，可以设定从眉头3003至眉尾3010的基准线。基准线可以使用眉笔以点来表示眉头3003和眉峰3010这两个点，也可以画出一条浅线。另外，基准线可以设定在眉部的下侧，也可以设定在眉部的中心或眉部的上侧。但是，不管是这些情况中的哪种情况，描眉时都要使眉峰3010位于眉峰线3009上，眉峰3010
31的上缘与虚拟正方形的边a相交。描眉时，沿基准线并以一定的宽度描绘至眉峰3010，对于眉峰3010至眉尾3007的部分，可以根据被化妆者的喜好来描绘适当的曲线，这样，就完成了描眉的操作。 接下来，如图70(B)所示，如果眉峰3010位于比虚拟正方形的边a低的位置，则描眉时尽可能地使眉峰3010的位置靠近边a。此时，在图70(B)中，因为从眉头3003开始至眉峰3010的角度小至5度，所以，为了使眉峰3010靠近边a，使用具有15度角的描绘部的眉部比例尺(scale)，设定从眉头3003至眉峰3010的基准线。但是，如果将基准线的角度设定得过大，远远地偏离了被化妆者的本来的眉峰的位置，则因为大多数的被化妆者都会感到不自然，所以，最好在从本来的眉峰3010的位置开始最大2mm的范围内，在眉峰线3009的上方设定新的眉峰3010。如果在将眉毛全部剔掉的状态下描绘新的眉部，也可以不设定这样的限制条件。用眉笔轻轻地描绘基准线，然后，沿基准线从眉头3003开始描绘至眉峰3010，再描绘至眉尾3007，这样，就完成了理想眉部的描绘操作。如果没有剔掉眉毛，则在原来的眉毛处进行如上所述的描绘，另外，对于露在区域外面的眉毛，可以通过修剪(剔除)使其变得整齐。 另外，如图70(C)所示，如果眉峰3010位于比虚拟正方形的边a高的位置，则描眉时尽可能地使眉峰3010的位置回到边a处。在图70(C)中，因为从眉头3003开始至眉峰3010的角度高达20度，所以，以8度的角度来设定从眉头3003至眉峰3010的基准线。在这种情况下，如果从被化妆者的原来的眉峰3010的位置偏离得太远，则因为大多数被化妆者都会感到不自然，所以，最好在从原来的眉峰3010的位置开始最大2mm的范围内，在眉峰线3009的下方设定新的眉峰3010。然后，按与上述方法同样的方法来进行描眉，这样，就可以得到平衡感良好的漂亮眉形。 通过使用连接眉头3003和眉峰3010的眉部描绘方法，可以调整脸部的形象。例如，如果将眉部描绘得较粗，则看上去"成熟"，如果将眉部描绘得较细，则看上去"可爱"，如果将眉部描绘成直线，则看上去"精神"，如果将眉部描绘成曲线，则看上去"雅致"等，根据被化妆者的要求，可以通过选择来分别进行各种描绘。 这样，包含在模拟器主应用程序28内的眉部处理部37通过根据上述美容理论来进行实施例1的步骤S80的眉形变形处理，就可以将各用户脸部的眉部变形为漂亮的眉部。
(粉底处理) 包含在模拟器主应用程序28内的粉底处理部36也可以进行如下所述的处理。
下面，对作为粉底处理的前处理的皮肤颜色评价处理的步骤进行说明。图71是表示作为前处理的皮肤颜色评价处理步骤的一个例子的流程图。 在图71所示的皮肤颜色评价处理中，首先，输入评价对象图像，该评价对象图像包含由摄像机等摄像单元所拍摄到的脸部(S601)，然后，将输入的脸部图像按照预定的分割方法分割成预定的数量(S602)。这里，需要说明的是，由步骤S601所得到的图像可以使用由数码相机等摄影装置对脸部进行拍摄而得到的图像，其中，脸部被进行了整体上均匀的照明。 具体而言，使用用来在相同条件下获取脸部图像的照明箱，为了在照明箱内对脸部进行均匀的照明，在照明箱的前面设置了多个卤化灯泡，由TV摄像机对脸部进行摄像，获得拍摄后的脸部图像。这里，需要说明的是，对于本发明内所使用的图像并没有特别的限定，例如，也可以使用在萤光灯等普通照明的环境下所拍摄到的图像。 接下来，根据分割至每个预定区域内的图像生成皮肤颜色分布(S603)，另外，使用预先存储的各种数据生成例如用做比较的比较用皮肤颜色分布(S604)。另外，通过使用由S603的处理所得到的个人皮肤颜色分布与由S604的处理所得到的比较用皮肤颜色分布对皮肤颜色等进行比较(S605)，进行基于皮肤颜色分布图(profile)的评价(S606)。另外，根据由S606的处理所得到的评价结果生成用于向用户等进行显示的画面等(S607)，然后，输出所生成的画面(评价结果的内容等)(S608)。 这里，对是否继续进行皮肤颜色评价(S609)进行判断，如果判断为继续进行皮肤颜色评价(S609中的YES)，则返回S602的处理，例如，使用与前次不同的方法进行分割，实施下述的处理。在S609的处理中，如果判断为不继续进行皮肤颜色评价(S609中的NO)，则结束处理。下而，对上述的皮肤颜色处理进行详细的说明。
〈脸部分割处理S602> 下面，对上述的脸部分割处理进行详细的说明。脸部分割处理是对输入的含有脸部的数码图像进行预定的分割。图72是表示特征点和分割区域的一个例子的图。在图72中，作为一个例子，将整个脸部分割成93个区域，计算分割后的各领域的平均皮肤颜色，使用93个皮肤颜色数据来生成脸部的皮肤颜色分布，并根据该分布等进行皮肤颜色的评价。
通过对作为现有方法的优点的一定部位获得较多的数据，例如，可以计算出该部位的日本人女性(这里，需要说明的是，可以是外国人(其他人种)，另外，也可以是男性)的分布范围和平均值，所以，通过将个人的皮肤颜色数据与这些指标进行比较，可以进行评价。另外，例如，也可以进行同一人物的使用化妆品前、后的皮肤颜色的比较，或者，进行与其他人之间的皮肤颜色的比较。 这里，作为一个例子，图72所示的分割方法中具有109个特征点。另外，作为一个例子，图72所示的分割区域是具有由3个或4个特征点所构成的3角形或4边形形状的93个区域(例如，在图72中，用编号1 93来表示的区域)。 另夕卜，图73是表示与上述图72相对应的109个特征点的脸部内部的位置关系的一个例子的图。另外，图74是表示构成与上述图72相对应的各区域的特征点的组合的一个例子的图。这里，需要说明的是，图73所示的各特征点的"No."、"名称"、图74所示的各区域的"区域No."、"构成点"的名称与上述图72所示的内容相对应。 这里，设定分割内容时，脸部分割处理例如将图73所示的特征点中的最开始的No.l 37的特征点(例如，在图72中用"參"所表示的点)设定为第l特征点。这里，需要说明的是，这37个特征点最好为，例如在脸部整个区域中，额头部分设定5个点、左右眼部附近设定10个点、鼻部设定7个点、嘴部设定9个点、眼部下面的脸线上设定6个点。
接下来，脸部分割处理将上述37个特征点(第l特征点)作为基准，例如，将图73所示的No. 38 109的特征点(例如，在图72中由"A"所表示的点)设定为第2特征点。
例如，如图73所示，由No. 1 37的预先定义的特征点1 37、根据通过这些特征点中的至少2个特征点之间的多条直线的交点而求出的点38 49、将2点之间的线段按预定的比例进行内分而得到的点50 57、67 109、以及、位于通过2个特征点之间的直线上的与某特定点具有相同纵坐标或横坐标的点58 66等，得到合计109个点。
另外，如图74所示，将脸部分割成由第1和第2特征点(109个点)中的至少3个点作为构成点所围成区域。这里，需要说明的是，构成区域的点的数量如图74所示，可以是3个点或4个点，也可以是5个点以上。 这里，图72所示的各区域(区域No. 1 93)被设定为，使对大多数的皮肤颜色进行观察的经验变成具有生理学意义的分割。也就是说，通过进行如图72所示的设定，容易发生颜色不均的部分被分割成狭小的区域，而不容易发生颜色不均的部分被分割成较宽的领域。 具体而言，在图72 74所示的分割例子中，例如，额头部分被设定为分割区域较宽，眼部周围、嘴部、脸颊等部分被设定为分割区域较窄。这样，对于那些需要重点进行皮肤颜色评价的部分(区域)来说，通过将其分割领域设定为较窄，可以更详细地进行高精度的评价。 另外，需要说明的是，对于分割领域来说，可以事先根据以前的数据等来判断每个区域容易呈现哪种皮肤颜色，并以其颜色的程度等为基准进行汇集(分组)。这样，就可以容易地对每个组进行评价。 这里，还需要说明的是，在上述图72 图74的例子中，将预先定义的特征点设定
为37个(No. 1 37)，但是，本发明并不限定于此，例如，通过设定至少25个特征点(第1
特征点)，也可以进行同样的分割。〈脸部的分割以及皮肤颜色分布图的生成> 下面，对在分割后的脸部上生成脸部皮肤颜色分布进行具体的说明。这里，需要说明的是，对于向整个脸部进行均匀照明的照明装置以及使用了数码相机的摄影装置，尽管以对使用非专利文献"舛田等，使用了图像分析的斑痕 雀斑的定量化系统的开发，日本化妆品技术者会干U (Jo證alof Society of Cosmetic Chemists of Japan), V28， N2， 1994"等所取得的脸部图像进行皮肤颜色分布图的生成为例进行了说明，但是，对本发明中所使用的数字图像的摄影方法来说，并不特别地限定于此。 通过对被安排在预定位置上的被试验者进行摄影，并按照上述脸部分割处理来指定例如37个第1特征点，可以计算出合计109个特征点。另外，脸部分割处理根据109个特征点按照上述图74所示的设定，将脸部分割成93个区域。这里，需要说明的是，对于每个区域，该皮肤颜色分布使用LW表色系统中的l/、^、lACalAhab、XYZ表色系统中的三剌激值X、 Y、 Z、 RGB的各值、色相H、亮度V、彩度C、黑色素量、以及、血红蛋白量中的至少一个值通过计算平均值来生成。另外，在这种情况下，使用LW表色系统、XYZ表色系统、以及、色相H、亮度V、彩度C的三要素生成图像。 因为整个区域的外部以及区域内部的并非皮肤颜色的部分不是评价的对象，所以，使用例如与皮肤颜色具有很大差别的青色等特定的颜色来进行着色。另外，皮肤的详细信息消失了，这样，就容易掌握皮肤颜色的分布，所以，可以知道例如模特A的"眼部周围的皮肤颜色较浓"的特征。这里，需要说明的是，在皮肤颜色评价处理中，因为所拍摄的脸部周边部的照明的均匀性较低，所以，在皮肤颜色评价处理中，可以将周边部的数据除掉。
另外，使用同样的方法将"平均脸"分割成区域，然后根据所得到的模特A的93个皮肤颜色对各区域进行着色，可以掌握除了模特的脸部形状信息之外的纯粹的颜色信息。
通过实行上述处理，因为能够以分割后的区域为基准进行评价，所以，可以除掉人物的脸部形状信息，这样，就可以容易地对脸部形状不同的人的皮肤颜色分布进行比较。所以，灵活地使用该特征，也可以进行通过例如将模特A的皮肤颜色分布与同年龄段的平均值进行比较的评价。〈用于比较的脸部皮肤颜色分布的生成例子S604> 下面，对皮肤颜色分布评价处理中的用于比较的脸部皮肤颜色的生成例子进行说明。将对各年龄段的人物进行摄影后所得到的脸部图像进行区域分割，然后，使用例如L*a*b*表色系统中的L*、 a*、 b*、 Cab*、 hab、 XYZ表色系统中的三剌激值X、 Y、 Z、 RGB的各值、色相H、亮度V、彩度C、黑色素量、以及、血红蛋白量中的至少一个值计算基于平均值的皮肤颜色分布，再计算出每个年龄段的平均值，求出平均皮肤颜色分布，并将该平均皮肤颜色分布作为每个年龄段的平均皮肤颜色分布。 这里，需要说明的是，使用所求出的二十年龄段至六十年龄段的各年龄段的日本女性的平均皮肤颜色分布的数据对"平均脸"的各区域进行着色。这样，通过着色并进行显示，可以生成每个年龄段的平均皮肤颜色分布，另外，通过与该数据进行比较，可以对评价对象图像进行高精度的皮肤颜色评价。
〈皮肤颜色分布的比较〉 下面，对皮肤颜色分布的比较例进行具体的说明。皮肤颜色分布评价处理通过取得差值来进行皮肤颜色分布的比较。通过将脸部图像分割成预定的区域，可以掌握脸部皮肤颜色的分布，另外，通过将其颜色置换成"平均脸"等的标准脸部的颜色，可以得到仅包括除掉了脸部形状信息的颜色信息的、简单易懂的表现。因为能够获得属于某个类别(按年龄段、职业、性别分类)的人的平均值数据、演员等的理想的人的数据、个人的过去数据、其他人的数据等的二者之间的差值，所以，可以有助于化妆品销售时的咨询辅导等。
〈皮肤颜色分布的汇集(分组)以及皮肤颜色分布图的生成例>
这里，在本实施方式中，皮肤颜色分布评价处理可以在皮肤颜色的区域内，通过对过去的数据等进行主成分分析，求出主成分，来将颜色的倾向趋于一致的区域进行汇集(分组)。这样，就可以容易地按每个组来进行评价。图75是表示各组的颜色特征以及构成各组的区域编号的一个例子的图。另外，需要说明的是，构成图75所示的区域的特征点与上述图72 图74相对应。 在图75所示的例子中，分成了六个组，S卩部位(1)脸颊下部、(2)脸颊正面、(3)眼脸*深邃部位、(4)额部、(5)鼻部周围、以及、(6)嘴部周围。另外，作为颜色的特征，"(l)脸颊下部"为高亮度，"(2)脸颊正面"为从红色开始且稍微高亮度，"(3)眼脸 深邃部位"为从黄色开始且稍微低亮度，"(4)额部"为从黄色开始且稍微高亮度，"(5)鼻部周围"为从红色开始且稍微低亮度，"(6)嘴部周围"为从红色开始且低亮度。 这里，作为一个例子，对20 67岁的59个人的、除了唇部4个区域之外的57个有效区域进行了色相H的主成分分析，从分析的结果可知，使用6个主成分，能够对57个数据中的90. 1%进行说明。 因此，根据上述主成分，将57个区域分成以下6个种类，S卩(l)脸颊下部、(2)脸颊正面、(3)眼脸 深邃部位、(4)额部、(5)鼻部周围、以及、(6)嘴部周围。另外，根据主成分值的平衡(即皮肤颜色图)，也可以对皮肤颜色进行评价。 下面，对作为粉底处理的前处理的脸部分类处理步骤进行说明。这里，为了得到用来调整立体感以展现美丽的方法，对具体什么样的立体感可被评价为漂亮进行研讨。研讨时，使用以下几种类型的脸部，即(a)不施加任何化妆的脸部，(b)施加了将脸部皮肤颜色的不均匀自然地调整为均匀的本色派基础化妆的脸部，以及(c)施加了对立体感进行调整以使整个脸部看起来具有"平均脸"的平衡的蛋圆形(椭圆形)基础化妆的脸部。
这里，对具有不同的脸部特征的6名模特进行了上述(a) (c)三个种类的化妆，然后，使用对这6名模特进行摄影所得到的脸部照片，以20名二十年龄段的女性为对象，进行了调查。 具体而言，根据与脸部的展现方法相关的8个项目(额部的展现、额部的立体感、
鼻梁的笔直状态、脸颊的薄厚、脸颊的长度、面纹(Face Line，即脸的轮廓)、颌部的突出状
态、以及、目艮鼻部的平衡)、以及、与整个脸部的"立体感"、"漂亮"、"满意"相关的3个项目来
进行评价。另外，对于脸部的展现方法，还进行了"适当不适当"的调查。 从调查的结果可知，通过实施基础化妆，眼鼻部的平衡被调整，看起来具有立体
感。另外，有关"漂亮"和"满意"的评价也很高。其中，对于蛋圆形基础化妆的评价为最高。
另外，在进行蛋圆形基础化妆时调整立体感，可以得到比"不施加任何化妆"或"施加了本色
派基础化妆"时更高的评价。再有，通过对蛋圆形基础化妆进行详细分析可知，施加基础化
妆，可以使与"平均脸"的轮廓形状相似的椭圆浮现在经过眉尾的脸部的内侧。〈基于标准平衡的脸部的研讨> 作为一般的"美人脸"的条件，有"蛋圆形的面纹"和"黄金平衡"。在这个黄金平衡中，例如，眼部的位置位于头部整个高度的大约1/2处，从头发根部的边际开始至下颌尖部的、从头发根部的边际开始的1/3处为眉头，从头发根部的边际开始的2/3处为鼻翼。
这里，一般来说，通过使用现有的图像合成技术等对多个脸部照片的大小信息和色彩信息进行平均化而得到的"平均脸"的平衡接近于上述黄金平衡的数据，此为众所周知的事项。另外，作成"平均脸"时，如果使用IO个人的照片，则根据不同的IO个人的脸部照片所得到的"平均脸"也几乎都相同，这已经被非专利文献例如"西谷美和等，'探索平均脸的特征'，日本心理学学会第63届大会论文集，1999年8月"等所揭示。因此，使用40名女性的脸部照片而作成的"平均脸"满足上述的黄金平衡。在下面的叙述中，将此黄金平衡称为标准平衡。 另外，通过参照从"平均脸"(去掉了皮肤颜色信息)中去掉了纵深信息和骨骼胖瘦信息后而得到的脸部照片可知，纵深信息和骨骼胖瘦信息对脸部的印象影响很大。另外，通过使用上述图像分析(黑白化色阶变更处理)对"平均脸"进行分析后可知，在面纹的内侧也能提取出与面纹相似的蛋圆形状。 这里，图76是表示"平均脸"(average face)图像(或立体感)分析结果的一个例子的图。从图76所示可知，在与脸部的面纹(即轮廓)相对应的外侧轮廓(outerface line)4000的内侧也存在着与外侧轮廓4000相似且縮小了的内侧轮廓(inner faceline)4001。由此也可知，使脸部内侧的立体感看起来为"蛋圆形"是一种展现美感的新方法。〈立体感的调整——最佳椭圆(best oval)调整法> 下面，在提出将面纹内侧的立体感(即内侧轮廓)调整为"蛋圆形"的美容方法之前，首先建立调整理论。这里，将根据"平均脸"所得到的外侧轮廓和内侧轮廓的形状定义为"最佳椭圆"。外侧轮廓为横向宽度与纵向宽度的比大约是l : 1.4的蛋圆形状(标准外侧轮廓)。"平均脸"的内侧轮廓与所述标准外侧轮廓相似，是按照预定的比率对其进行縮小了的形状，横向宽度与纵向宽度的比也大约是l : 1.4。 如上所述，外侧轮廓4000是依据"脸部的横向宽度纵向宽度=1 : 1.4"的关系所得到的形状。这里，需要说明的是，外侧轮廓的平衡是看清整个脸部空间的调整方向性的要点。另外，将内侧轮廓4001嵌入每个脸部时，如图76所示，首先，将每个脸部的左右颊骨的横向宽度设定为1。然后，以所述横向宽度为基准，描绘纵向宽度大约为1.4的标准内侧椭圆(即最佳椭圆)，并将其置于与每个脸部的眉尾(位于从鼻翼旁边开始经过眼尾的延长线上)相交的位置。这里，需要说明的是，内侧轮廓平衡为基于骨骼*胖瘦的立体感和空间的调整范围。 另外，外侧轮廓4000和内侧轮廓4001之间是用于赋予自然纵深感的范围(图76的斜线部分)4002。另外，这个范围4002不仅是呈现纵深感的范围，同时也是用于展现外侧轮廓4002和内侧轮廓4001的形状的纵深的调整范围。
上述粉底处理的前处理，可以用于进行基础化妆。 如上所述，由本发明可知，本发明可以对包含于动态图像内的用户脸部以较少的处理负荷来进行正确的化妆。这里，需要说明的是，权利要求书内记载的摄影单元相当于摄影机2，控制单元相当于控制部8，显示单元相当于显示器7，脸部识别处理单元相当于脸部识别处理部33，化状处理单元相当于化妆处理部35，操作单元相当于操作面板4，半透明单元相当于半透明镜3，打印单元相当于打印机5。 另外，本发明并不局限于上述具体实施例，只要不脱离权利要求书的范围，亦可采用其他变化形式代替，但那些变化形式仍属于本发明所涉及的范围。 本发明的化妆模拟装置1实施实时模拟，所以，其与基于静态图像的化妆模拟装置或现有的化妆模拟装置不同，可以瞬时地识别脸部的跟踪点，并根据这些跟踪点进行模拟，因此，本发明的化妆模拟装置1可以实现如下所述的、目前为止还没有实现的效果。
本发明的化妆模拟装置1可以进行实时模拟。本发明的化妆模拟装置1不仅可以进行如目前已有的脸部正面的模拟，而且还可以进行脸部侧面的模拟，因此，能够容易地对腮红等的模拟效果和化妆技巧进行确认。 本发明的化妆模拟装置1实施实时模拟，这样，不仅可以实现目前已有的平面表现，而且还可以实现对立体脸部的分析、立体感以及质感的表现。 另外，因为本发明的化妆模拟装置l可以同时识别多人的面部，所以，可以同时对多人的面部进行实时模拟。另外，因为本发明的化妆模拟装置1具有优越的脸部识别功能，所以，可以针对每个脸部的容貌进行化妆，或者，自动地对男性和女性进行分类，然后针对分类后的结果和容貌进行化妆。例如，本发明的化妆模拟装置1可以分别地对一对情侣进行化妆模拟。 本申请主张2007年8月10日申请的日本专利发明申请2007-208809号、以及、2008年8月5日申请的日本专利发明申请2008-202449号的优先权，并在本申请内引用2007-208809号以及2008-202449号申请的全部内容。
3权利要求
一种化妆模拟系统，用于对拍摄了用户脸部的动态图像实施化妆，所述化妆模拟系统的特征在于，具有摄影单元，用于对用户脸部进行摄影并输出动态图像，控制单元，用于接收从所述摄影单元输出的动态图像，并对所述动态图像进行图像处理和输出，显示单元，用于显示从所述控制单元输出的动态图像；所述控制单元具有脸部识别处理单元，用于根据预定的跟踪点从所述动态图像中识别用户脸部，化妆处理单元，用于根据所述跟踪点对包含在所述动态图像内的用户脸部实施预定的化妆，并将其输出至所述显示单元；其中，包含在所述化妆处理单元内的口红处理单元根据包含在所述跟踪点内的上唇部的唇峰和唇谷的位置、嘴部的左右端、下唇部的下端、从下唇部的左端开始至嘴部宽度的1/3的位置、以及、从下唇部的右端开始至嘴部宽度的1/3的位置，对包含在所述动态图像内的用户脸部实施口红处理。
2. 根据权利要求1所述的化妆模拟系统，其特征在于，包含在所述化妆处理单元内的眼影处理单元根据包含在所述跟踪点内的眼首的位置、 眼尾的位置、以及、从包含在所述动态图像内的用户脸部的眼部中检测出的眼部轮廓，对包 含在所述动态图像内的用户脸部实施眼影处理。
3. 根据权利要求2所述的化妆模拟系统，其特征在于， 所述眼影处理单元具有轮廓检测单元，用于从包含在所述动态图像内的用户脸部的眼部中检测出眼部轮廓， 眼线描绘单元，用于对检测出的所述眼部轮廓及其附近进行描绘。
4. 根据权利要求3所述的化妆模拟系统，其特征在于，所述眼线描绘单元使离开所述眼线或眼影涂敷区域内的涂敷开始点的距离越远的眼 影的浓度越低。
5. 根据权利要求1所述的化妆模拟系统，其特征在于，包含在所述化妆处理单元内的脸颊处理单元根据包含在所述跟踪点内的眼首的位置、 眼尾的位置、鼻部的左右端、嘴部的左右端、以及、瞳孔的位置，对包含在所述动态图像内的 用户脸部实施脸颊处理。
6. 根据权利要求5所述的化妆模拟系统，其特征在于，所述脸颊处理为涂敷腮红，所述脸颊处理单元使离开腮红涂敷区域内的涂敷开始点的 距离越远的腮红的浓度越低。
7. 根据权利要求1所述的化妆模拟系统，其特征在于，包含在所述化妆处理单元内的眉部处理单元根据包含在所述跟踪点内的眼首的位置、 眼尾的位置、鼻翼的位置、眉头的位置、眉尾的位置、眉峰的位置、颌部的下部、以及、下眼睑 的下端，对包含在所述动态图像内的用户脸部实施眉部处理。
8. 根据权利要求7所述的化妆模拟系统，其特征在于， 在所述眉部处理单元中，设定虚拟正方形，该正方形由与一横线和一纵线的端部相交的边构成，所述横线为表 示包含在所述动态图像内的用户脸部的最大宽度的横线，所述纵线为与所述横线具有相同 长度的、并从颌部的最下点开始竖立设置的纵线，判断眉峰相对于所述正方形的上边的位置，根据所述判断的结果设定从眉头到眉峰的基准线，根据所述基准线实施眉部处理。
9. 根据权利要求8所述的化妆模拟系统，其特征在于，在所述眉部处理单元中，根据眉峰位于所述正方形的上边的上部的判断结果，以与连 接眉头下部和眉尾的眉基线相交10度的角度设定基准线。
10. —种化妆模拟装置，用于对拍摄了用户脸部的动态图像实施化妆，所述化妆模拟装 置的特征在于，具有摄影单元，用于对用户脸部进行摄影并输出动态图像，控制单元，用于接收从所述摄影单元输出的动态图像，并对所述动态图像进行图像处 理和输出，显示单元，用于显示从所述控制单元输出的动态图像； 所述控制单元具有脸部识别处理单元，用于根据预定的跟踪点从所述动态图像中识别用户脸部， 化妆处理单元，用于根据所述跟踪点对包含在所述动态图像内的用户脸部实施预定的 化妆，并将其输出至所述显示单元； 其中，包含在所述化妆处理单元内的口红处理单元根据包含在所述跟踪点内的上唇部的唇 峰和唇谷的位置、嘴部的左右端、下唇部的下端、从下唇部的左端开始至嘴部宽度的1/3的 位置、以及、从下唇部的右端开始至嘴部宽度的1/3的位置，对包含在所述动态图像内的用 户脸部实施口红处理。
11. 一种化妆模拟系统的化妆模拟方法，所述化妆模拟系统用于对拍摄了用户脸部的 动态图像实施化妆，所述化妆模拟方法的特征在于，具有开始步骤，在该步骤中，控制单元从摄影单元所拍摄到的动态图像中识别用户脸部，并 开始进行化妆模拟，识别步骤，在该步骤中，所述控制单元根据预定的跟踪点对包含在所述动态图像内的 用户脸部进行识别，输出步骤，在该步骤中，所述控制单元根据所述跟踪点对包含在所述动态图像内的用 户脸部实施预定的化妆； 其中，所述控制单元根据包含在所述跟踪点内的上唇部的唇峰和唇谷的位置、嘴部的左右 端、下唇部的下端、从下唇部的左端开始至嘴部宽度的1/3的位置、以及、从下唇部的右端 开始至嘴部宽度的1/3的位置，对包含在所述动态图像内的用户脸部实施口红处理。
12. —种化妆模拟程序，其在至少具有演算处理装置、存储装置以及输出装置的计算机 中，对拍摄了用户脸部的动态图像实施化妆，所述化妆模拟程序的特征在于，使所述演算处理装置执行下述步骤开始步骤，在该步骤中，从摄影单元所拍摄到的动态图像中识别用户脸部，并开始进行 化妆模拟，识别步骤，在该步骤中，根据预定的跟踪点对包含在所述动态图像内的用户脸部进行 识别，输出步骤，在该步骤中，根据所述跟踪点对包含在所述动态图像内的用户脸部实施预 定的化妆； 其中，使所述演算处理装置执行根据包含在所述跟踪点内的上唇部的唇峰和唇谷的位置、嘴 部的左右端、下唇部的下端、从下唇部的左端开始至嘴部宽度的1/3的位置、以及、从下唇 部的右端开始至嘴部宽度的1/3的位置，对包含在所述动态图像内的用户脸部所实施的口 红处理。
全文摘要
本发明提供一种对包含在动态图像内的用户脸部实施化妆的化妆模拟系统、化妆模拟装置、化妆模拟方法以及化妆模拟程序，其特征在于，具有输出所拍摄的动态图像的摄影单元，对所输出的动态图像进行图像处理和输出的控制单元，对从控制单元输出的动态图像进行显示的显示单元；其中，控制单元具有根据预定的跟踪点从动态图像中识别用户脸部的脸部识别处理单元，根据跟踪点对包含在动态图像内的用户脸部实施预定的化妆并将其输出至显示单元的化妆处理单元。
文档编号G06T1/00GK101779218SQ200880102848
公开日2010年7月14日 申请日期2008年8月7日 优先权日2007年8月10日
发明者后藤康男 申请人:株式会社资生堂