图像以及所述目标面部图像，关于规定的评价项目而输出等级值，所述信息终端 经由网络向所述服务器发送所述使用者的面部图像以及所述目标面部图像，并从所述服务 器取得对由所述相似度判定单元判断为相似度高的所述合成面部图像应用的美容方法与 所述等级值并进行显示。
[0043] 由此，使用者通过从智能手机、平板终端等信息终端访问到服务器，能够简单地获 取准确的与美容方法相关的信息，并将其显示在信息终端。
[0044] 另外，本发明涉及一种美容辅助方法，对使用者的面部图像进行摄像，输入目标面 部图像，生成对所述使用者的面部图像应用相互不同的美容方法而得到的多个合成面部图 像，判定所述目标面部图像与所述多个合成面部图像的相似度，提取对判断为所述相似度 高的所述合成面部图像应用的美容方法。
[0045] 由此，根据对使用者的面部图像应用相互不同的美容方法而得到的合成面部图像 与目标面部图像的相似度，能够提供更准确的美容方法。
[0046] 另外，本发明涉及一种美容辅助方法，对使用者的面部图像进行摄像，输入目标面 部图像，生成对所述使用者的面部图像应用相互不同的美容方法而得到的多个合成面部图 像，判定所述目标面部图像与所述多个合成面部图像的相似度，针对所述使用者的面部图 像与所述目标面部图像，关于规定的评价项目而输出等级值，显示对判断为所述相似度高 的所述合成面部图像应用的美容方法以及所述等级值。
[0047] 由此，根据对使用者的面部图像应用相互不同的妆扮方法而得到的合成面部图像 与目标面部图像的相似度，能够提供更接近于目标面部图像的妆扮方法，并且能够作为基 于人的感性的评价项目而用具体的数值显示使用者的面部图像与目标面部图像的不同。 [0048]另外，本发明涉及一种美容辅助程序，输入使用者的面部图像与目标面部图像，生 成对所述使用者的面部图像应用相互不同的美容方法而得到的多个合成面部图像，判定所 述目标面部图像与所述多个合成面部图像的相似度，提取对判断为所述相似度高的所述合 成面部图像应用的美容方法。
[0049]由此，在安装了美容辅助程序的专用机、客户端服务器系统的终端、智能手机、平 板终端等中，根据对使用者的面部图像应用相互不同的美容方法而得到的合成面部图像与 目标面部图像的相似度，能够提供更准确的美容方法。
[0050] 另外，本发明涉及一种美容辅助程序，输入使用者的面部图像与目标面部图像，生 成对所述使用者的面部图像应用相互不同的美容方法而得到的多个合成面部图像，判定所 述目标面部图像与所述多个合成面部图像的相似度，针对所述使用者的面部图像与所述目 标面部图像，关于规定的评价项目而输出等级值，显示对判断为所述相似度高的所述合成 面部图像应用的美容方法以及所述等级值。
[0051] 由此，在安装了美容辅助程序的专用机、客户端服务器系统的终端、智能手机、平 板终端等中，根据对使用者的面部图像应用相互不同的妆扮方法而得到的合成面部图像与 目标面部图像的相似度，能够提供更接近于目标面部图像的妆扮方法，并且能够将使用者 的面部图像与目标面部图像的不同作为基于人的感性的评价项目而用具体的数值显示。
[0052] 发明效果
[0053] 根据本发明，能够根据对使用者的面部图像应用相互不同的妆扮方法而得到的合 成面部图像与目标面部图像的相似度来提供更接近于目标面部图像的妆扮方法，并且能够 将使用者的面部图像与目标面部图像的不同作为基于人的感性的评价项目而用具体的数 值显示。
【附图说明】
[0054] 图1是示出本发明的第1实施方式的美容辅助装置的结构的结构框图。
[0055] 图2是说明在本发明的第1实施方式的美容辅助装置中判定相似度的过程的流程 图。
[0056]图3是说明在本发明的第1实施方式的美容辅助装置中判定相似度的过程的流程 图。
[0057] 图4是说明生成合成面部图像时的图像处理对象的说明图。
[0058] 图5是说明在本发明的第1实施方式的美容辅助装置中生成合成面部图像的过程 的说明图。
[0059] 图6是说明本发明的第1实施方式的美容辅助装置中在特征量空间中绘制特征量 的过程的说明图。
[0060]图7是说明在本发明的第1实施方式的美容辅助装置中将特征量投影到部分空间 的过程的说明图。
[0061]图8是示出基于人的感性的评价项目的内容（感觉上的特性）的表。
[0062]图9是说明美容辅助装置中向被化妆者显示等级值的过程的流程图。
[0063] 图10(a)~（c)是示出与基于人的感性的评价项目对应的部分空间与回归模型的 关系的说明图，图10(d)是说明在雷达图中显示了关于各评价项目的等级值的状态的说明 图。
[0064] 图11是说明显示部中的显示内容的例子的说明图。
[0065]图12是说明在本发明的第2实施方式的美容辅助装置中判定相似度的过程的流 程图。
[0066] 图13是示出本发明的第3实施方式的美容辅助装置的结构的结构框图。
[0067] 图14是示出本发明的第4实施方式的美容辅助装置的结构的结构框图。
【具体实施方式】
[0068] (第1实施方式）
[0069] 图1是示出本发明的第1实施方式的美容辅助装置1的结构的结构框图。下面， 使用图1，关于第1实施方式的美容辅助装置1，首先说明结构以及功能。此外，在本实施方 式中，以自己进行化妆的被化妆者作为使用者来利用本装置的情况为例进行说明，但在化 妆以外的美容方法中也能够采用同样的结构。
[0070] 在图1中，美容辅助装置1由摄像部（摄像单元）2、目标面部图像输入部（输入单 元）20、图像处理部3、存储部4、显示部（显示单元）5以及用户界面6构成。
[0071] 摄像部 2 具备例如由 CCD(Charge Coupled Device Image Sensor)、 CMOS(Complementary Metal Oxide Semiconductor)构成的摄像元件，例如以 15fps(Frames Per Second)的周期对图像进行摄像而输出图像数据。例如在摄像部2中内 置的图像处理电路（未图示）对由摄像部2进行摄像而得到的图像数据实施去马赛克、颜 色校正、白平衡校正、T校正等公知的图像处理来作为前处理。
[0072] 其后，针对前处理后的图像数据，参照在存储部4中储存的数据，通过图像处理部 3来执行各种处理。此外，成为图像处理的对象的图像数据可以在由图像处理部3的各结构 要素实施了规定的处理之后，暂时储存到未图示的存储器中，起动接下来的结构要素，也可 以以各结构要素作为管线进行动作的方式构成硬件、软件。
[0073] 此外，在图1中记载了 2个显示部5,但这是因为记载上的制约，实际上被设为1 个。
[0074] 在存储部4中，作为数据库，构筑了属性推测模型存储部4a、评价项目存储部4b、 妆扮方法存储部4c、合成面部图像存储部4d、投影矩阵/回归模型存储部4e。此外，在投影 矩阵/回归模型存储部4e中存储的投影矩阵与回归模型是分别不同的数据。
[0075] 其中，妆扮方法存储部4c以及合成面部图像存储部4d是可重写型的，在这一点上 与其他数据库不同。其他的是预先存储所使用的数据的读取专用的数据库。如在后面说明 的那样，合成面部图像通过合成面部图像生成部（合成面部图像生成单元）12参照在妆扮 方法存储部4c中储存的数据来生成，所生成的合成面部图像被存储在合成面部图像存储 部4d中。根据生成合成面部图像的模式，存在被化妆者的合成面部图像的数据量变大的情 况。
[0076] 另外，如后面所述，在合成面部图像与目标面部图像之间，进行相似度的判定，在 得到最佳的妆扮方法时，可以删除合成面部图像，也可以将暂时生成的合成面部图像转用 到以后。即，在同一被化妆者判定与其他目标面部图像的相似度的情况下，如果预先保存所 生成的合成面部图像，则不需要每次都生成合成面部图像。
[0077] 据此，需要使合成面部图像存储部4d的数据容量大于其他数据库。因此，合成面 部图像存储部4d由作为所谓的大容量存储装置的硬盘驱动器构成，在装置结构上，在处理 多个被化妆者的数据的情况下，通过由多台构成并且实现了可靠性、数据转送的高速化的 RAID(Redundant Arrays of Inexpensive Disks，磁盘冗余阵列）来构成硬盘驱动器即可。
[0078] 此外，在下面的说明中，在合成面部图像存储部4d中储存了合成面部图像来作为 图像数据，但作为代替，也可以储存通过在后面说明的特征量提取部25提取到的特征量。
[0079] 下面，说明图像处理部3的结构。如果清楚地说明第1实施方式的美容辅助装置 1的图像处理部3的功能，则针对在由摄像部2进行摄像而得到的图像中包括的被化妆者 的面部图像，由合成面部图像生成部12生成应用（即，模拟）各种妆扮方法而得到的图像 (下面，称为"合成面部图像"），由相似度判定部22判定与目标面部图像的相似度，由妆扮 方法提取部24提取在生成相似度最高的合成面部图像时使用的妆扮方法，并将该妆扮方 法显示在显示部5中。下面，进行详细说明。
[0080] 在面部检测部10中，从由摄像部2进行摄像而得到的图像中检测面部图像，在包 括面部图像的情况下，将其切出并输出到面部部分检测部11。面部部分检测部11从面部图 像中检测眼睛、鼻子、嘴这样的面部部分。
[0081] 由面部检测部10切出的面部图像也被送出到属性推测部（属性推测单元）27。在 属性推测部27中，根据在属性推测模型存储部4a中存储的属性推测模型，从面部图像推测 年龄、性别、人种等属性。将该推测结果发送到评价项目决定部28。然后，评价项目决定部 28根据推测结果，来决定在根据评价项目存储部4b中存储的"基于人的感性的分别不同的 评价项目"来判定相似度时使用的评价项目。此外，在下面的说明中，将"基于人的感性的 分别不同的评价项目"称为"基于人的感性的评价项目"，或者简称为"评价项目"。
[0082] 目标面部图像输入部20用于被化妆者在化妆之前输入"想要通过化妆来变成这 样的面部"这样的目标面部图像。该目标面部图像可以由被化妆者用数码相机等来第三者 的面部进行摄影并经由移动性存储介质等引入，也可以是通过因特网检索女演员等的面部 照片而得到的图像，也可以是捕捉通过摄像部2直接进行摄影得到的动态图像而得到的图 像。这样，第1实施方式的美容辅助装置1由于作为图像的输入源而允许所有的来源，所以 在被引入到目标面部图像输入部20的时间点的图像中，还包括对上述的相似度的判定完 全没有贡献而应该从最开始排除的部分。因此，通过目标面部图像输入部20引入的图像被 送到面部检测部21并进行面部检测而仅提取面部部分。此外，在图1中，面部检测部21与 面部检测部10分别独立地设置，但它们也可以构成为1个。
[0083] 接下来，说明相似度判定部（相似度判定单元）22的结构。相似度判定部22 由特征量提取部（特征量提取单元）25、部分空间投影部（投影单元）26以及欧氏距离 (Euclidian distance)计算部29构成，上述的在合成面部图像存储部4d中储存的合成面 部图像以及由面部检测部21切出的目标面部图像被输入到相似度判定部22的特征量提取 部25。
[0084] 特征量提取部25从所输入的合成面部图像中提取Gabor特征或者LBP(Local Binary Pattern)这样的局部的特征量。另外，特征量提取部25关于目标面部图像，也同样 地提取局部的特征量。这样提取到的特征量通常构成高维（N维）向量。
[0085] 由特征量提取部25提取到的特征量通过部分空间投影部26被投影到规定的部分 空间。此处所说的部分空间是指维度比特征量构成的N维向量小的向量空间，在第1实施 方式中，是与上述的基于人的感性的评价项目直接对应的向量空间。通过使用该部分空间， 能够单独地求出部分空间中的合成面部图像与目标面部图像的相似度、合成面部图像、目 标面部图像的等级值（分数）。关于部分空间的制作方法等，在后面说明。
[0086] 另外，部分空间投影部26将合成面部图像以及目标面部图像的特征量投影到与 由评价项目决定部28根据通过属性推测部27推测到的性别/年龄等决定的评价项目对应 的部分空间。其结果，决定部分空间中的合成面部图像以及目标面部图像的坐标值。此外， 投影是生成构成特征量的N维向量中的比之更少的维度的向量的操作，例如在将投影后的 维数设为N1的情况下，相当于对N维向量乘以具有N1 XN的矩阵尺寸的矩阵。
[0087] 欧氏距离计算部29根据被投影到部分空间的合成面部图像以及目标面部图像的 坐标值，来计算坐标间的距离。然后，妆扮方法提取部（妆扮方法提取单元）24根据欧氏距 离计算部29的输出，来选择多种妆扮方法中的能够得到最接近目标面部图像的合成面部 图像的方法，并显示在显示部5中。
[0088] 接下来，说明评价部（评价单元）40的结构。评价部40由特征量提取部25、部分 空间投影部26以及等级推测部（等级推测单元）41构成。特征量提取部25以及部分空间 投影部26与已经说明的相同，所以省略说明。等级推测部41访问到投影矩阵/回归模型 存储部4e，根据合成面部图像或者目标面部图像的特征量，使用评价项目回归模型来取得 各评价项目中的它们的等级值，并显示在显示部5中。
[0089] 接下来，说明整体控制部7。美容辅助装置1作为控制上