美容辅助装置、美容辅助系统、美容辅助方法以及美容辅助程序的制作方法
【技术领域】
[0001] 本发明涉及针对被化妆者等使用者进行与美容方法相关的建议的美容辅助装置、 美容辅助系统、美容辅助方法以及美容辅助程序。
【背景技术】
[0002] 近年来，化妆品的种类、用途涉及多方面。化妆品本身除了作为以往的销售系统的 面对面销售之外，还通过超市、便利店等来大量地销售，被化妆者能够更加简易并且大量获 得各种化妆品。针对这样的多品种的化妆品，被化妆者从附加于化妆品的产品信息、时尚 杂志、因特网等获得与化妆品、妆扮方法相关的信息，在自己进行化妆时进行有效利用。但 是，仅通过这样的信息，无法适当地判断实际实施的化妆与被化妆者设为目标的形象是否 接近。
[0003] 对此，例如在专利文献1中公开了如下技术：根据对被化妆者所期望的面部进行 摄影而得到的样本图像来确定化妆方法，将所确定的化妆方法应用于被化妆者的面部图 像，从而生成样板化妆面部图像，针对每个化妆步骤，进行被化妆者的面部图像与样板化妆 面部图像的评价，根据评价结果来提示化妆建议。
[0004] 另外，在专利文献2中公开了如下技术：从面部图像中提取2个独立的特征量（构 成面部的眼睛、鼻子这样的面部部分的配置是离心的还是向心的、以及面部部分的形状是 曲线的还是直线的指标），根据在2维的评价轴上绘制的评价轴上的4个象限，按特征或者 按印象地对面部进行分类。
[0005] 现有技术文献
[0006] 专利文献
[0007] 专利文献1 :日本专利第3408524号公报 [0008] 专利文献2 :日本专利第3614783号公报
【发明内容】
[0009] 发明所要解决的课题
[0010] 在专利文献1公开的技术中，在被化妆者的面部与设为化妆目标的样本图像中显 现的面部图像（下面，称为"目标面部图像"）的整体的形态、构成面部的眼睛、鼻子这样的 部分（下面，称为"面部部分"）的形态、相对的位置关系相似的情况下（作为极端的例子，在 同卵双胞胎那样的情况下），通过实施根据目标面部图像确定的化妆方法，作为结果，认为 被化妆者的面部与目标面部图像接近。然而，在被化妆者与目标面部图像的形态不同的情 况下，通常，即使实施相同的化妆，两者的印象也不相同的情况较多。即，未进行基于人的感 性的评价，所以存在即使进行在形状上、测色上完全相同的化妆，两者的气氛也不同（作为 人的感觉，两者的相似度低）这样的课题。而且，难以直观地掌握气氛不同的程度，其结果， 被化妆者在想要得到目标面部图像所具备的例如"可爱"这样的感觉上的特性的情况下，需 要反复试验。
[0011] 另外，在专利文献1中，能够根据目标面部图像来确定妆扮方法是前提。然而，如 上所述，化妆品的种类涉及多方面，存在实际上难以仅根据图像信息来确定妆扮方法这样 的课题。
[0012] 另一方面，在专利文献2公开的技术中，虽然按特征或者按印象来对被化妆者进 行分类，但仅仅停留于确认化妆的方向性。与这样的化妆的方向性相关的信息对于能够根 据被化妆者的面部的形态而自如地应用各种妆扮方法的美容师等来说，被认为是有用的。 然而，存在即使针对一般的被化妆者提供了"为了看起来更女性化，向心地配置面部部分， 将各部分的形状设为曲线状即可"这样的信息，也难以掌握例如"看起来女性化"这样的感 性上的项目是否通过化妆而达到了以及在多大程度上达到了等这样的课题。
[0013] 另外，在专利文献2中，将面部的特征分类成4个象限，在每个象限中规定给人的 印象，其结果，各象限中包含的印象非常广泛。因此，将专利文献2的技术应用于机械学习， 即使作为针对化妆的评价项目来学习各象限具有的印象，在该学习中也会包含对被化妆者 来说不需要的评价项目。具体来说，例如即使被化妆者想要针对"可爱"这样的评价项目 来评价化妆结果，在包括"可爱"的象限中也包括了 "朴素"那样的实质上不同的评价项目。 因此，作为机械学习的结果，即使是被判断为类似的面部图像，在被化妆者的感觉上也不类 似，即存在在学习结果与被化妆者的认识之间产生背离这样的课题。
[0014] 本发明是为了解决这样的现有技术的课题而提出的，其主要目的在于，提供一种 美容辅助装置、美容辅助系统、美容辅助方法以及美容辅助程序，能够可靠地提取用于使使 用者的面部更接近于目标面部图像的美容方法，并且将使用者的面部图像与目标面部图像 的差异显示为基于人的感觉的评价项目的等级值，在使用者实施美容方法之后能够直观地 识别在多大程度上接近于目标面部图像。
[0015] 用于解决课题的技术方案
[0016] 本发明涉及一种美容辅助装置，具有：摄像单元，对使用者的面部图像进行摄像； 输入单元，输入目标面部图像；合成面部图像生成单元，生成对所述使用者的面部图像应用 相互不同的美容方法而得到的多个合成面部图像；相似度判定单元，判定所述目标面部图 像与所述多个合成面部图像的相似度；以及美容方法提取单元，提取对由所述相似度判定 单元判断为相似度高的所述合成面部图像应用的美容方法。
[0017] 由此，根据对使用者的面部图像应用相互不同的美容方法而得到的合成面部图像 与目标面部图像的相似度，能够提供更准确的美容方法。
[0018] 另外，本发明一种美容辅助装置，具备：摄像单元，对使用者的面部图像进行摄像； 输入单元，输入目标面部图像；合成面部图像生成单元，生成对所述使用者的面部图像应用 相互不同的美容方法而得到的多个合成面部图像；相似度判定单元，判定所述目标面部图 像与所述多个合成面部图像的相似度；评价单元，针对所述使用者的面部图像与所述目标 面部图像，关于规定的评价项目而输出等级值；以及显示单元，显示对由所述相似度判定单 元判断为相似度高的所述合成面部图像应用的美容方法以及所述等级值。
[0019] 由此，根据对使用者的面部图像应用相互不同的妆扮方法而得到的合成面部图像 与目标面部图像的相似度，能够提供更接近于目标面部图像的妆扮方法，并且能够将使用 者的面部图像与目标面部图像的不同作为基于人的感性的评价项目而用具体的数值显示。
[0020] 另外，在本发明中，所述相似度判定单元具备：特征量提取单元，从所述目标面部 图像与所述多个合成面部图像中提取规定的特征量；以及投影单元，将所述特征量投影到 与基于人的感性的分别不同的评价项目对应起来的部分空间中，根据将从所述目标面部图 像与所述合成面部图像中得到的所述特征量投影到所述部分空间而得到的坐标间的欧氏 距离，来判定所述部分空间中的相似度，进而，根据与分别不同的评价项目对应起来的所述 部分空间中的相似度，来判定所述目标面部图像与所述合成面部图像的相似度。
[0021] 由此，在相似度的判定中使用基于人的感性的评价项目，所以，在使用者的面部与 目标面部图像的形态不同的情况下，也能够可靠地判定相似度。
[0022] 另外，在本发明中，所述评价单元具有：特征量提取单元，从所述目标面部图像与 所述多个合成面部图像中提取规定的特征量；投影单元，将所述特征量投影到与基于人的 感性的分别不同的评价项目对应起来的部分空间中；以及等级推测单元，根据在所述多个 部分空间中通过所述投影单元进行投影而得到的所述特征量的坐标，来针对每个所述规定 的评价项目而推测所述等级值。
[0023]由此，将基于人的感性的分别不同的评价项目判定为等级值，所以，在使用者的面 部图像与目标面部图像之间，例如关于"可爱"这样的感性上的项目，能够作为数值来进行 评价。
[0024]另外，在本发明中，所述摄像单元在规定的时机下对所述使用者的面部图像重复 进行摄像并更新，所述评价单元针对被更新的所述使用者的面部图像，输出所述等级值，所 述显示单元显示被更新的所述使用者的面部图像与所述等级值。
[0025] 由此，随着使用者执行美容方法，更新使用者的面部图像与等级值，能够直观地判 断相对于目标面部图像而当前的美容方法的状况有多大程度的进展。
[0026] 另外，在本发明中，所述显示单元在具有与所述规定的评价项目对应的轴的雷达 图上，显示所述等级值。
[0027] 由此，关于多个评价项目，同时显示使用者的面部图像与目标面部图像的等级值， 从而能够更直观地掌握两者的关系。
[0028] 另外，本发明构成为还具备属性推测单元，该属性推测单元根据所述使用者的面 部图像，推测年龄和性别中的至少一方，所述相似度判定单元依照所述属性推测单元的推 测结果，决定投影所述特征量的所述部分空间。
[0029] 由此，根据由属性推测单元推测到的年龄、性别的差异来选择基于人的感性的评 价项目，所以能够实现仅使用对使用者来说有用的评价项目的相似度的判定。
[0030]另外，在本发明中，将所述规定的特征量设为N维向量，将所述部分空间设为维数 比所述N维小的空间。
[0031] 由此，在维数更小的部分空间中，从维数N的特征量空间中仅对有用的轴进行取 舍选择，关于特定的评价项目的判别能力（分辨率）在实际上提尚，所以，能够实质上提尚 相似度的精度。
[0032]另外，本发明具备妆扮方法存储部，该妆扮方法存储部存储所述相互不同的美容 方法，所述妆扮方法存储部由可重写型的数据库构成。
[0033] 由此，能够根据反映了最新的流行、季节的化妆品信息来生成合成面部图像。
[0034] 另外，本发明具备合成面部图像存储部，该合成面部图像存储部存储通过所述合 成面部图像生成单元生成的多个合成面部图像，所述合成面部图像生成单元在所述妆扮方 法存储部的内容被更新时，对成为图像合成时的基础的基本面部图像应用被更新的妆扮方 法而生成所述合成面部图像，并存储到所述合成面部图像存储部中。
[0035] 由此，能够据反映了最新的流行、季节的化妆品信息来生成合成面部图像，并且在 同一被化妆者想要在与不同的目标面部图像之间判定相似度的情况下，能够再利用暂时制 作的合成面部图像。
[0036] 另外，本发明涉及一种美容辅助系统，具有：摄像单元，对使用者的面部图像进行 摄像；输入单元，输入目标面部图像；数据库，储存有美容方法以及与所述美容方法对应的 图像调整参数；合成面部图像生成单元，对所述数据库进行访问而取得所述美容方法以及 所述图像调整参数，并且参照所述图像调整参数，生成对所述使用者的面部图像应用相互 不同的美容方法而得到的多个合成面部图像；相似度判定单元，判定所述目标面部图像与 所述多个合成面部图像的相似度；以及美容方法提取单元，从所述数据库提取对由所述相 似度判定单元判断为相似度高的所述合成面部图像应用的美容方法。
[0037] 由此，根据对使用者的面部图像应用相互不同的美容方法而得到的合成面部图像 与目标面部图像的相似度，能够提供更准确的美容方法。
[0038] 另外，本发明涉及一种美容辅助系统，包括：信息终端，具备对使用者的面部图像 进行摄像的摄像单元以及输入目标面部图像的输入单元；以及服务器，具备数据库、合成面 部图像生成单元以及相似度判定单元，其中所述数据库储存有美容方法以及与所述美容方 法对应的图像调整参数，所述合成面部图像生成单元对所述数据库进行访问而取得所述美 容方法以及所述图像调整参数，并且参照所述图像调整参数生成对所述使用者的面部图像 应用相互不同的美容方法而得到的多个合成面部图像，所述相似度判定单元判定所述多个 合成面部图像相对于所述目标面部图像的相似度，所述信息终端经由网络向所述服务器发 送所述使用者的面部图像以及所述目标面部图像，并从所述服务器取得对由所述相似度判 定单元判断为相似度高的所述合成面部图像应用的美容方法。
[0039] 由此，使用者通过从智能手机、平板终端等信息终端访问到服务器，能够简单地获 取准确的与美容方法相关的信息。
[0040] 另外，本发明涉及一种美容辅助系统，具备：摄像单元，对使用者的面部图像进行 摄像；输入单元，输入目标面部图像；数据库，储存有美容方法以及与所述美容方法对应的 图像调整参数；合成面部图像生成单元，对所述数据库进行访问而取得所述美容方法以及 所述图像调整参数，并且参照所述图像调整参数，生成对所述使用者的面部图像应用相互 不同的美容方法而得到的多个合成面部图像；相似度判定单元，判定所述目标面部图像与 所述多个合成面部图像的相似度；评价单元，针对所述使用者的面部图像以及所述目标面 部图像，关于规定的评价项目而输出等级值；以及显示单元，显示对由所述相似度判定单元 判断为相似度高的所述合成面部图像应用的美容方法与所述等级值。
[0041] 由此，根据对使用者的面部图像应用相互不同的妆扮方法而得到的合成面部图像 与目标面部图像的相似度，能够提供更接近于目标面部图像的妆扮方法，并且能够将使用 者的面部图像与目标面部图像的不同作为基于人的感性的评价项目而用具体的数值显示。
[0042] 另外，本发明涉及一种美容辅助系统，包括：信息终端，具备对使用者的面部图像 进行摄像的摄像单元以及输入目标面部图像的输入单元；以及服务器，具备数据库、合成面 部图像生成单元、相似度判定单元以及评价单元，其中所述数据库储存有美容方法以及与 所述美容方法对应的图像调整参数，所述合成面部图像生成单元对所述数据库进行访问而 取得所述美容方法以及所述图像调整参数，并且参照所述图像调整参数生成对所述使用者 的面部图像应用相互不同的美容方法而得到的多个合成面部图像，所述相似度判定单元判 定所述多个合成面部图像相对于所述目标面部图像的相似度，所述评价单元针对所述使用 者的面部