况下（眼 影、眼线、腮红等），能够提取其变化。特别是，Gabor特征量在使得原本边缘存在的部位的 边缘更加明显的情况（眼线、嘴唇等）、由于粉底而面部整体的亮度值变化的情况下，也能 够提取该变化。
[0122] 通过这些操作，将各种图像从亮度向量变换成特征量向量，并绘制到图6所示的 特征量空间。此外，特征量空间没有反映在后面说明的基于人的感性的评价项目。然而，特 征量空间经由上述的特征量来表示整体的外观，也可以称为"外观的空间"。因此，在特征量 空间中，绘制了从2个图像中提取到的特征量的坐标相接近的情况无非是2个图像的外观 相似。
[0123] 此外，在第1实施方式中，将合成面部图像如上所述地归一化为100 X 100像素，从 该归一化图像中得到Gabor特征量或者LBP特征量。
[0124]图7是说明在本发明的第1实施方式的美容辅助装置1中将特征量投影到部分空 间的过程的说明图，图8是示出基于人的感性的评价项目的内容（感觉上的特性）的表。
[0125] 下面，使用图2、图7、图8来继续进行说明。在步骤ST110中，将上述的特征量向 量投影到与基于人的感性的评价项目对应的部分空间。
[0126] 此处，如图8所示，在第1实施方式中，例如，关于~20岁的女性，将"女性化"、"可 爱"、"孩子气"设定为评价项目。然后，关于20岁~30岁的女性，将"女性化"、"可爱"、"时 髦（chic) "、"妩媚（coquette) "、"性感"这5种设定为评价项目。
[0127] 下面，详细说明图7所示的与"女性化"、"可爱"等对应的部分空间的制作方法。首 先，通过统计上的学习方法，来预先求出与作为评价项目的"可爱"等对应的部分空间。例 如，在生成"可爱"的部分空间的情况下，预先针对M个学习用面部图像提取上述的Gabor特 征量、或者LBP特征量，另一方面，根据人的主观，预先赋予"可爱"的值y (标签信息。例如 是1~10那样的等级值，表示数值越大则"可爱"的程度越大）。
[0128] 此处，如果预先从M个学习用面部图像中提取与上述的特征量相同的特征量向 量，则得到学习向量?标签的集合（式1)。
[0129][式1]
[0130] { (X;，y;)，i = 1，? ? ?，M} ? ? ? (1)
[0131] 此处，将特征量向量x的维数设为N。
[0132] -般来说，特征量向量x为高维度的向量，所以需要进行从维数N中仅取舍选择有 用的轴的操作（降维）。在特征量向量x不具有标签信息的情况下，一般广泛使用主成分分 析（PCA 〖Principle Component Analysis)，但如上所述，在特征量向量x如"可爱"值y那 样具有标签信息的情况下，费舍尔线形判别分析（FDA:Fisher Discriminant Analysis)、 局部费舍尔线形判别分析（LFDA:Local Fisher Discriminant Analysis)等是有用的。
[0133] 此处，线形判别分析是指基于标签信息来将特征量向量x进行分类归并、并且投 影到各群集的类内方差变小并且类间方差变大那样的低维空间的方法。将该低维空间称为 维数N的空间的部分空间。
[0134] 根据向量?标签的集合（式1)，使用线形判别分析来计算投影矩阵W，将该投影矩 阵W预先储存到存储部4的投影矩阵/回归模型存储部4e中。对全部的评价项目执行该 操作。即，生成基于人的感性的评价项目的个数的投影矩阵W。然后，在步骤ST110中，在将 从合成面部图像中得到的特征量投影到与各评价项目对应的部分空间时使用该投影矩阵 W。通过将特征量投影到部分空间，特征量被绘制到部分空间的坐标。
[0135] 以上，关于程序P1，说明了步骤ST101~步骤ST110,在下面，为了方便说明，说明 图3所示的程序P3的处理。程序P3进行输入目标面部图像并取得其特征量的处理。
[0136] 在程序P3中，设想使用具有图像传感器的未图示的摄像部来取得目标面部图像， 首先从作为摄像部的目标面部图像输入部20输入目标面部图像（步骤ST301)。接下来， 从所输入的图像中检测面部并判断面部检测是否成功（步骤ST302)。如果面部检测不成 功（步骤ST302中的"否"），则进行参数调整（步骤ST303)，再次进行目标面部图像的摄 影（步骤ST301)。此外，步骤ST301~步骤ST303的过程与程序P1的步骤ST101~步骤 ST103相同，例如进行这些步骤中说明的参数调整即可。
[0137] 接下来，将所取得的目标面部图像保存在未图示的存储器中（步骤ST304)，对目 标面部图像提取特征量，并将其保存（步骤ST305)。然后，将该特征量作为向量来处理，并 投影到与已经说明的评价项目对应的部分空间，并将其保存（步骤ST306)。但是，在执行 ST306时，需要评价项目是确定的，所以，等待在程序P2的ST204中决定评价项目后，进行 ST306的执行。关于此处提取的特征量以及评价项目、部分空间，与在程序P1的步骤ST109、 步骤ST110中说明的完全相同，所以省略说明。通过以上所述，程序P3的处理结束，处理通 过连接符号A交接到程序P1。
[0138] 此外，如上所述，关于目标面部图像的输入源，允许所有的来源，认为各个目标面 部图像的摄像时的照明条件不同的情况较多。对此，在第1实施方式中使用的Gabor特征 量、LBP特征量是局部的统计量，所以能够减小照明的影响。
[0139] 下面，回到图2的程序P1，说明步骤ST111以后的处理。此外，在说明时参照图7。
[0140] 通过上述的步骤ST305来取得目标面部图像的特征量空间中的坐标（即，特征量 向量自身），通过步骤ST306来取得将目标面部图像的特征量向量投影（绘制）到与各评价 项目对应的部分空间的坐标。
[0141] 在步骤ST111中，对于作为评价项目之一的例如"可爱"的部分空间，欧氏距离计 算部29取出将被化妆者的1张合成面部图像的特征量向量投影到部分空间而得到的向量 P以及将目标面部图像的特征量向量投影到部分空间而得到的向量Q，使用（式2)来进行 计算它们的欧氏距离d(P，Q)。
[0142][式 2]
[0143]
[0144] 此外，在（式2)中，n表示部分空间的维数，^表示向量P的第i轴的值， Xl表示 向量Q的第i轴的值。
[0145] 即，如图7所示，在"可爱"的部分空间中，计算合成面部图像1的坐标位置与目标 面部图像的坐标位置的距离。距离越近，则2个图像在"可爱"部分空间中越类似。然后， 在步骤ST111中，在与各评价项目、即"女性化"、"性感"、"妩媚"这样的其他评价项目对应 的部分空间中，也同样地求出合成面部图像1与目标面部图像的坐标间距离。通过该处理， 针对一个合成面部图像对预先确定的多个评价项目计算相似度。
[0146] 此外，相似度也可以直接使用欧氏距离，在这种情况下，两者越类似，则相似度的 值越小。但是，如果这样处理的话，与人的感觉相反，所以例如如果在欧氏距离=0时预先 进行相似度为100那样的数值变换，则能够实现与人的感觉的一致性。此外，在下面的说明 中，也将欧氏距离小的情况表现为相似度高。
[0147] 这样，计算对于全部的评价项目的相似度，而对于合成面部图像与目标面部图像 的"综合的相似度"，例如可以使用各评价项目的相似度的平均值。即，在第1实施方式中， 对基于人的感性的评价项目的各评价项目进行图像间的相似，综合各评价项目的相似度地 判定相似度。
[0148] 接下来，在步骤ST112中，评价是否对于全部的合成面部图像完成了上述的处理， 如果没完成（步骤ST112中的"否"），则回到步骤ST109,从合成面部图像存储部4d取得 接下来的合成面部图像并重复上述的处理。由此，对全部的评价项目，计算全部的合成面部 图像与目标面部图像的相似度。在对全部的合成面部图像完成相似度（综合的相似度）的 计算的情况下（步骤ST112中的"是"），妆扮方法提取部24确定在相对于目标面部图像生 成综合的相似度最高的合成面部图像时使用的妆扮方法（下面，称为"最佳的妆扮方法"）， 对妆扮方法存储部4c进行访问而取出妆扮方法的具体的内容（使用的化妆品、化妆的顺序 等），将其保存在规定的存储器区域中（步骤ST113)。到此，程序P1的处理结束。
[0149] 下面，说明程序P2的处理。在第1实施方式中，上述的基于人的感性的评价项目 根据推测被化妆者的性别与年龄的结果来决定。
[0150] 程序P2在至少在程序P1中面部检测成功（步骤ST102中的"是"）的时机以后起 动。此外，被化妆者的面部图像已经被归一化。首先，从被化妆者的面部图像中提取特征量 (步骤ST201)。性别、年龄能够着眼于例如眼睛、嘴、面部的轮廓、皱纹等来推测，作为特征 量，能够利用例如4方向面特征。
[0151] 接下来，对属性推测模型存储部4a进行访问而读入属性推测模型（步骤ST202)。 下面，说明属性推测模型的制作方法，但为了简单起见，仅说明性别的推测。首先，通过统计 上的学习方法来预先求出与"性别"对应的属性推测模型。在学习"性别"的属性推测模型 的情况下，如先前作为部分空间的制作方法说明的那样，预先对M个学习用面部图像提取 已经说明的Gabor特征量、或者LBP特征量等，另一方面，根据人的主观，赋予表示"性别"即 "男性"或者"女性"的值y (标签信息）。
[0152] 其后，学习针对输入x的输出y (性别）的属性判定模型。作为学习方法，公知例 如线形判别分析、SVM(Support Vector Machine)、AdaBoost 等。
[0153] 此外，作为属性推测模型的学习中使用的面部数据库，例如，公知NIST (National Institute of Standards and Technology)、FERET (The Facial Recognition Technology)。特别是在将日本女性的面部设为推测的对象的情况下，能够利用 JAFFE (Japanese Female Facial Expression)面部数据库。
[0154] 接下来，执行年龄、性别推测（步骤ST203)。具体来说，使用从所检测到的被化妆 者的面部图像中提取到的特征量（特征量向量）来对属性推测模型进行访问，从而直接地 输出年龄、性别。此外，一般来说，属性推测模型是函数的一种，将"性别""年龄"等值与属 性推测模型定义的空间的坐标对应起来。由此，通过将特征量向量输入到属性推测模型，能 够立即得到性别、年龄。
[0155] 然后，根据对属性推测模型进行访问而得到的年龄、性别，来访问评价项目存储部 4b，决定相似度判定等中使用的评价项目，并保存在规定的存储器区域中（步骤ST204)。此 外，可以使用用户界面6,由被化妆者任意地确定相似度判定中使用的评价项目，另外，也可 以是能够任意地选择输出后述的等级值的评价项目。到此，程序P2的处理结束。然后，所 保存的评价项目在已经说明的步骤ST110中被参照，在与之对应的部分空间中进行相似度 的计算。
[0156] 此外，以上说明的属性推测模型根据所输入的面部图像推测人的性别与年龄，但 除此之外，还可以判别例如人种（高加索人种、蒙古人种、黑色人种）。然后，也可以根据这 样的人种的属性来决定评价项目。
[0157] 此外，在此前的说明中，说明了用于判定对被化妆者的面部图像应用各种妆扮方 法而得到的合成面部图像与目标面部图像的相似度的结构以及处理。另一方面，对于被化 妆者来说，如果能够与相似度独立地实时判定例如关于"可爱"这样的评价项目的目标面部 图像的等级值与化妆前的等级值、以及进行化妆的被化妆者的等级值，则使用便利性提高。
[0158] 图9是说明在美容辅助装置1中向被化妆者显示等级值的过程的流程图。该流程 图所示的程序P4既可以在例如使用图2来说明的程序P1结束的时间点起动，也可以由被 化妆者任意地起动。
[0159] 下面，使用图9与图1来说明针对各评价项目实时地显示等级值、妆扮方法、目标 面部图像、被化妆者的面部图像的过程。此外，等级值通过评价部40来赋予。
[0160] 首先，取出在程序P1的步骤ST113中保存的最佳的妆扮方法的具体的内容（步骤 ST401)。接下来，读入在程序P2的步骤ST204中保存的评价项目、或者被化妆者任意地选 择的评价项目（步骤ST402)。接下来，对投影矩阵/回归模型存储部4e进行访问，读入预 先在投影矩阵/回归模型存储部4e中存储的各评价项目的回归模型（步骤ST403)。
[0161] 下面，说明回归模型的制作方法。首先，通过统计上的学习方法，来预先求出图8 所示的与各评价项目（"女性化"、"性感"、"可爱"等）对应的部分空间中的回归模型。例 如，在学习"可爱"的回归模型的情况下，如先前作为部分空间的制作方法说明的那样，预先 对M个学习用面部图像提取已经说明的Gabor特征量、或者LBP特征量等，另一方面，根据 人的主观，预先赋予"可爱"的值y (标签信息）。
[0162] 其后，在通过上述的线形判别分析求出评价项目"可爱"的投影矩阵J之后，在投 影了特征量向量之后的低维空间中，学习针对输入x的输出y (等级值）的回归模型。作为 学习方法，公知例如线形回归、贝叶斯线形回归、SVR(Support Vector Regression，支持向 量回归）等。这样，通过使用回归模型，