本公开涉及化妆模拟辅助装置、化妆模拟辅助方法和化妆模拟辅助程序。
背景技术：
制造销售作为与化妆(makeup)相关的商品的一例的化妆品的制造商常常利用如下销售方式：在百货店或超市等中开设独自的化妆品销售店(店内)，通过所谓的面对面销售，一边与顾客对话一边进行销售。在化妆品的面对面销售中，例如化妆品销售店的美容职员(ba)观察顾客的皮肤等，并基于该观察结果进行建议，选定认为对顾客最好的化妆品。
以往，在化妆品销售店中，利用了辅助由美容职员进行的面对面销售的各种工具。作为辅助由美容职员进行的面对面销售的工具的一例，提出了不实际对顾客的面部实施化妆，而在计算机上模拟化妆后的顾客的面部的技术(例如参照专利文献1)。
在专利文献1所记载的技术中，根据拍摄到的用户的面部的图像，进行用户面部的面部特征分析和肤色分析，基于面部特征分析和肤色分析的结果，显示适合用户面部的面部特征和肤色的商品的信息，并且，对使用该商品虚拟地实施了化妆的用户的面部进行模拟并显示。
现有技术文献
专利文献1:日本特开2011-22733号公报
技术实现要素：
如专利文献1中记载的技术那样，辅助面对面销售的各种工具是为了最终引发化妆品销售而开发的。但是，即使利用了辅助面对面销售的各种工具，如果实际没有激发顾客对化妆的潜在意愿、对化妆的不满，不提供顾客想要的信息，则存在不能引发化妆品销售这样的问题。实际上，对于是否激发顾客对化妆的潜在意愿而高效地引发化妆品的销售，与美容职员的经验、能力有很有关系。进一步讲，为了激发顾客对化妆的潜在意愿，也可考虑店员询问顾客这样的应对，但正在接待顾客的店员没有足够的时间，难以进行那样的应对。对此，虽然提出了在销售化妆品时灵活运用虚拟地实施化妆的模拟，但也只是显示该描绘结果，检测顾客的真实意愿仍取决于店员的技巧。
另外，该课题不限于美容职员(ba)面对面地进行销售的情形。在化妆品的销售中，顾客独自判断并购入化妆品的风格的网点或基于互联网等的通信销售(以下，称作无店员销售)的比重在升高，认为不仅仅是通过装置/程序简单地实施化妆的模拟，对掌握顾客的潜在意愿进行辅助或判断的要求也在升高。
本公开的一个方式，提供对面对面销售和无店员销售进行辅助以使得高效地引发与化妆相关的商品销售的化妆模拟辅助装置、化妆模拟辅助方法和化妆模拟辅助程序。
本公开的化妆模拟辅助装置具有：模拟图像生成部，其生成在由拍摄用户面部的图像来作为面部图像的拍摄部拍摄到的所述面部图像上重叠化妆图像而得到的模拟图像，所述化妆图像表示对所述面部的面部器官实施了化妆时的化妆状态；模拟图像输出部，其输出所生成的所述模拟图像；兴趣程度检测部，其基于在所述模拟图像被输出时拍摄到的面部图像，检测所述用户对所述化妆图像的兴趣程度；以及兴趣程度信息输出部，其输出表示所检测出的所述兴趣程度的兴趣程度信息。
此外，这些概括性或具体方式可以由系统、装置、方法、集成电路、计算机程序、或记录介质实现，也可以由系统、装置、方法、集成电路、计算机程序和记录介质的任意组合实现。
根据本公开，能够辅助面对面销售和无店员销售，使得高效地引发与化妆相关的商品销售。
附图说明
图1是示出本实施方式中的面对面销售涉及的化妆模拟系统的功能结构的框图。
图2是示出化妆模拟时的用户画面和店员画面的显示例的图。
图3是示出本实施方式中的兴趣信息的图。
图4是示出本实施方式中的化妆候选决定表的图。
图5是示出本实施方式中的用户信息的图。
图6是示出本实施方式中的店员侧终端装置的工作的流程图。
图7是示出面对面销售开始时的用户画面和店员画面的显示例的图。
图8是示出本实施方式中的无店员销售涉及的化妆模拟系统的功能结构的框图。
具体实施方式
以下，基于附图，详细说明本实施方式。图1是示出本公开的实施方式的化妆模拟系统10的功能结构的框图。化妆模拟系统10例如在化妆品销售店中，作为对由美容职员(以下称作“店员”)进行的面对面销售、即一边与顾客(对应于本公开的“用户”，以下称作“用户”)对话一边销售的销售方式进行辅助的工具来利用。
化妆模拟系统10构成为具有经由通信线路彼此连接的顾客侧终端装置100(平板终端)和店员侧终端装置200(带笔平板终端)。顾客侧终端装置100例如朝用户竖立设置，显示使用用户的面部而进行化妆之后的面部的模拟图像。店员侧终端装置200在通过顾客侧终端装置100显示了模拟图像时，辅助面对面销售，使得高效地引发与化妆相关的商品(化妆品)的销售。此外，顾客侧终端装置100不限于平板终端，也可以固定在化妆品销售店的柜台。
顾客侧终端装置100(对应于本公开的“化妆模拟辅助装置”)具有拍摄部110和第1显示部120。
此外，虽然没有图示，但顾客侧终端装置100具有作为照明单元的照明部、作为闪光单元的闪光部和作为麦克风单元的麦克风部。另外，虽然没有图示，但顾客侧终端装置100例如具有作为处理器的cpu(centralprocessingunit：中央处理器)、保存有控制程序的rom(readonlymemory：只读存储器)等存储介质、ram(randomaccessmemory：随机存取存储器)等作业用存储器和通信电路。在该情况下，上述各部的功能通过cpu执行控制程序来实现。
拍摄部110拍摄用户面部的图像来作为面部图像。拍摄部110是cmos(complementarymetal-oxidesemiconductor：互补金属氧化半导体)摄像头或ccd(chargecoupleddevice：电荷耦合器件)摄像头等。拍摄部110将拍摄到的面部图像输出到店员侧终端装置200。
第1显示部120具有能够等倍地显示用户面部的大小的液晶显示器或有机el(organicelectroluminescence:有机电致发光)显示器等，显示从顾客侧终端装置100输出的模拟图像。图2a是示出包含模拟图像400的用户画面的显示例的图。如图2a所示，模拟图像400包含由拍摄部110拍摄到的面部图像410和能够选择对化妆对象的部位(以下，称作“面部器官”，例如眼、口)的妆容(在图2a的例子中为口红)的颜色的表格图像420。430是表示当前由用户选择的化妆的颜色的颜色图像。
第1显示部120为了受理用户或店员对顾客侧终端装置100的操作，以覆盖画面的方式配置有触摸屏，从而成为触摸屏显示器。此外，受理用户或店员的操作的方式不限于触摸屏显示器，也可以另外设置操作部。
店员侧终端装置200具有模拟图像生成部210、模拟图像输出部220、兴趣程度检测部230、兴趣程度信息输出部240、化妆候选信息输出部250、第2显示部260、面部器官位置信息存储部270、面部位置检测部280、面部器官确定部290、判定部300、兴趣程度历史信息记录部310和兴趣程度历史信息存储部320。
此外，虽然没有图示，但店员侧终端装置200例如具有作为处理器的cpu(centralprocessingunit：中央处理器)、保存有控制程序(对应于本公开的“化妆模拟辅助程序”)的rom(readonlymemory：只读存储器)等存储介质、ram(randomaccessmemory：随机存取存储器)等作业用存储器和通信电路。在该情况下，上述各部的功能通过cpu执行控制程序来实现。
模拟图像生成部210根据用户或店员对顾客侧终端装置100的操作，生成在从顾客侧终端装置100的拍摄部110输出的面部图像上重叠化妆图像(妆容图像)而得到的模拟图像，所述化妆图像表示对该面部图像所包含的面部的面部器官实施了化妆时的化妆状态。
模拟图像输出部220将由模拟图像生成部210生成的模拟图像输出到顾客侧终端装置100的第1显示部120。
兴趣程度检测部230在通过模拟图像输出部220输出了模拟图像时，基于由拍摄部110拍摄到的面部图像，检测用户感兴趣的面部器官和与该模拟图像中包含的化妆图像对应的面部器官的一致程度，由此检测用户对该化妆图像的兴趣程度。
此处，用户感兴趣的面部器官和与该模拟图像中包含的化妆图像对应的面部器官的一致程度，是指与各自的面部器官的类别(眼、口等)是否一致有关的程度。与模拟器图像中包含的化妆图像对应的面部器官，是指与对面部图像实施的化妆项目(以下，称作“局部妆容”，例如口红、眼影、腮红等)的关联较强的面部器官。例如，如果是口红，则口(唇)是关联较强的面部器官，如果是眼影，则眼是关联较强的面部器官。另外，在存在多个与该模拟图像中包含的化妆图像对应的面部器官的情况下，可以基于与在模拟图像中显示面部器官的时刻或变更显示的时刻之间的时间关联性，来判定与一部分面部器官的一致度。此外，面部器官包括眼(左右)、眉(左右)、睫毛(左右)、口、唇(上下)、齿、鼻、面颊(左右)、耳(左右)、轮廓、鬓角、头发等，也可以进一步细分为口角、嘴形、眼睛等，另外，并不限于这些。
具体而言，兴趣程度检测部230检测对模拟图像中包含的面部图像的各面部器官的兴趣程度。例如，兴趣程度检测部230使用公知的手段，检测位于用户视线所朝向的方向上的面部器官，视线所朝向的累计时间越长，则检测到对该面部器官的兴趣程度越高。图3表示兴趣程度检测部230检测到位于用户视线所朝向的方向上的面部器官时暂时生成的兴趣信息，兴趣信息具有用户的来店日、面部器官和兴趣程度作为项目。对于项目“兴趣程度”的值，将用户视线所朝向的累计时间与预定阈值进行比较，在相对较长的情况下设定为“高”。另一方面，将用户视线所朝向的累计时间与预定阈值进行比较，在相对较短的情况下设定为“低”。在图3所示的例子中，用户对眼的兴趣程度较高，另一方面，用户对作为其他面部器官的鼻、面颊和唇等的兴趣程度较低。即，能够推测用户在口红的化妆模拟执行中好像潜在对眼感兴趣。此外，关于兴趣程度，可以不是“高”、“低”这样的二值判定，而是根据累计时间的长度，在时间较长的情况下设定更高的连续值或不连续值。
此外，兴趣程度检测部230也可以使用公知的手段，检测用户正面朝向拍摄部110的面部的面部器官，正面朝向拍摄部110的累计时间越长，则检测到对该面部器官的兴趣程度越高。另外，兴趣程度检测部230还可以使用公知的手段，检测用户的面部器官的变形情况，该变形情况越高，则检测到对该面部器官的兴趣程度越高。例如，在执行针对多个面部器官(例如眼、口)的化妆模拟的情况下，如果口周的变形情况较高，则推定为用户对作为口的局部妆容的口红的化妆模拟感兴趣。此处，关于面部器官的变形，在眼的情况下，包含眼睑的开闭、视线的移动、眉间的皱纹等，在口的情况下，包含开闭、收缩、口角上扬(笑脸)、口角下垂、舐唇、噘嘴等，此外，还可以包含将手指抵碰该面部器官等的动作。另外，也不限于这些。
另外，兴趣程度检测部230使用用户面部的特征的解析结果，与对模拟图像中包含的面部图像的各面部器官的兴趣程度进行关联，由此，能够更高精度地预测自卑感(劣等感)等用户感兴趣的部分。
另外，兴趣程度检测部230检测用户对执行中的化妆模拟(化妆图像)的满意程度。例如，兴趣程度检测部230检测在刚显示模拟图像之后(例如10秒以内等，在经过了预测会反射性地表现出用户反应的预定时间之后或在此期间内，以后相同)的用户反应，根据该检测结果，检测用户的满意程度，更具体而言，检测在兴趣程度上考虑了用户的评价(高评价、低评价)而得到的结果。兴趣程度检测部230按时间序列记录所检测出的用户反应。
用户反应包含用户的表情参数(视线/面部)的角度/变形量、习惯动作、声音/对话内容、血压/心跳等活体信号。例如，兴趣程度检测部230在掌握了店员所坐的位置的状态下，检测在店员与用户之间，视线是否一致。另外，兴趣程度检测部230检测用户面部的角度，检测用户是否低头。另外，兴趣程度检测部230检测该用户是否将手抵碰面部而沉思来作为用户的习惯动作。
兴趣程度信息输出部240将表示由兴趣程度检测部230检测出的兴趣程度(包含满意程度)的兴趣程度信息输出到第2显示部260。
化妆候选信息输出部250基于由兴趣程度检测部230检测出的兴趣程度，将表示推荐接下来实施的候选化妆的化妆候选信息输出到第2显示部260。在本实施方式中，化妆候选信息输出部250在用户对模拟图像中包含的化妆图像的兴趣程度较高的情况下，将针对与该化妆图像对应的面部器官的、和与化妆图像对应的化妆不同的化妆决定为候选，另一方面，在该用户的兴趣程度较低的情况下，将和与该化妆图像对应的面部器官不同的面部器官的化妆决定为候选。
具体而言，化妆候选信息输出部250根据表示模拟图像的生成处理是基于谁的希望的主体者(根据判定部300的判定结果来确定)、由兴趣程度检测部230检测出兴趣程度较高的面部器官(以下，也称作“兴趣部分”)、由兴趣程度检测部230检测出的用户对执行中的化妆模拟的满意程度，来决定推荐接下来施的候选化妆。化妆候选信息输出部250按照图4所示的化妆候选决定表，来决定推荐接下来实施的候选化妆。
图4是示出本实施方式中的化妆候选决定表的图。如图4所示，化妆候选信息输出部250在主体者为用户、兴趣部分为化妆部分(与化妆图像对应的面部器官)且满意程度高的情况下，除了针对该化妆部分的化妆之外，还将与该化妆不同的化妆决定为候选。此外，希望的是，化妆候选信息输出部250在主体者为用户、兴趣部分为化妆部分且满意程度高的情况下，作为与对该化妆部分的化妆不同的化妆，决定与对该化妆部分的化妆相似的颜色的化妆等、与主体者为店员时相比变化较小的化妆来作为候选。
另外，化妆候选信息输出部250在主体者为用户、兴趣部分为化妆部分且满意程度低的情况下，替代对该化妆部分的化妆，而决定与该化妆不同的化妆来作为候选。
另外，化妆候选信息输出部250在主体者为用户、兴趣部分为非化妆部分(和与化妆图像对应的面部器官不同的面部器官)且满意程度高的情况下，除了对执行中的化妆部分的化妆之外，还决定对与兴趣部分对应的面部器官的化妆来作为候选。
另外，化妆候选信息输出部250在主体者为用户、兴趣部分为非化妆部分且满意程度低的情况下，替代对执行中的化妆部分的化妆，而决定对与兴趣部分对应的面部器官的化妆来作为候选。
另外，化妆候选信息输出部250在主体者为店员、兴趣部分为化妆部分且满意程度高的情况下，除了对该化妆部分的化妆之外，还决定与该化妆不同的化妆来作为候选。
另外，化妆候选信息输出部250在主体者为店员、兴趣部分为化妆部分且满意程度低的情况下，替代对该化妆部分的化妆，而决定与该化妆不同的化妆来作为候选。
另外，化妆候选信息输出部250在主体者为店员、兴趣部分为非化妆部分且满意程度高的情况下，除了对执行中的化妆部分的化妆之外，还决定对与兴趣部分对应的面部器官的化妆来作为候选。
另外，化妆候选信息输出部250在主体者为店员、兴趣部分为非化妆部分且满意程度低的情况下，替代对执行中的化妆部分的化妆，而决定对与兴趣部分对应的面部器官的化妆来作为候选。
第2显示部260是液晶显示器或有机el(organicelectroluminescence)显示器等。第2显示部260显示店员画面，该店员画面包含与从兴趣程度信息输出部240输出的兴趣程度信息对应的兴趣程度信息图像和/或与从化妆候选信息输出部250输出的化妆候选信息对应的化妆候选信息图像。图2b是示出包含兴趣程度信息图像520和化妆候选信息图像540的店员画面500的显示例的图。如图2b所示，除了兴趣程度信息图像520和化妆候选信息图像540以外，店员画面500还包含表示用户的属性信息(姓名、年龄等)的属性信息图像510、作为与图2a所示的模拟图像400同样的内容的模拟图像530。模拟图像400和模拟图像530实时且同步地更新显示。
兴趣程度信息图像520包含由拍摄部110拍摄到的面部图像522和对由兴趣程度检测部230检测出兴趣程度较高的面部器官进行强调的热图图像524。另外，兴趣程度信息图像520包含和与模拟图像530中包含的化妆图像对应的面部器官(在图2b的例子中为唇)的特征相关的信息(在图2b的例子中，为嘴唇薄这样的不满信息)。与面部器官的特征相关的信息是根据由面部器官确定部290确定的特征而生成的。另外，兴趣程度信息图像520包含由兴趣程度检测部230检测出的、与用户对执行中的化妆模拟的满意程度的变化相关的信息(在图2b的例子中，为3→2)。根据兴趣程度信息图像520中包含的信息，店员能够容易地掌握到：用户对执行中的化妆模拟的满意程度下降，用户感兴趣的部分从化妆部分(唇)转移到非化妆部分(眼)。
化妆候选信息图像540包含由拍摄部110拍摄并由化妆候选信息输出部250强调显示了推荐接下来实施的候选化妆(在图2b的例子中，为对眼的化妆)的面部图像542。另外，在本实施方式中，化妆候选信息图像540包含表示预测适合于推荐接下来实施的化妆的预测合适商品的信息(在图2b的例子中，为预测合适商品○○○)。此外，化妆候选信息图像540也可以包含能够解决兴趣程度信息图像520中包含的不满信息的不满的、与化妆相关的信息。另外，化妆候选信息图像540还可以包含预测合适商品的库存信息(例如有无库存、预定交货期、是否为战略商品等)。根据化妆候选信息图像540中包含的信息，店员能够容易地掌握推荐接下来实施的候选化妆。
第2显示部260为了受理店员对店员侧终端装置200的操作，以覆盖画面的方式配置有触摸屏，从而成为触摸屏显示器。
在本实施方式中，作为受理店员操作的方式，不限于触摸屏显示器，可以另外设置触摸笔(操作部)。触摸笔设置有识别按钮，该识别按钮用于识别由模拟图像生成部210进行的模拟图像的生成处理是否为基于用户希望的生成处理或是否为基于店员希望(劝导)的生成处理。例如，在由模拟图像生成部210进行的模拟图像的生成处理是基于用户希望的生成处理的情况下，店员按下设置于触摸笔的识别按钮。
面部器官位置信息存储部270存储面部器官位置信息，该面部器官位置信息表示平均的面部器官在面部中的位置等。
面部位置检测部280基于由顾客侧终端装置100的拍摄部110拍摄到的面部图像，检测用户的面部器官在面部中的位置。
面部器官确定部290基于面部器官位置信息存储部270所存储的面部器官位置信息和面部位置检测部280的检测结果，确定作为用户面部的特征的面部器官。例如，可能存在如下方法等：针对面部器官，根据面部中的位置、与其它面部器官的位置关系、形状、大小、颜色等进行数值化，同样，根据与数值化得到的一定数值以上的面部器官的平均值之间的比较，将检测出超过预定阈值的差异的面部器官确定为具有特征的面部器官。不过，不限于这些。进而，化妆候选信息输出部250将化妆候选信息输出到第2显示部260，其中，化妆候选信息将针对由面部器官确定部290确定的面部器官的化妆作为推荐接下来实施的候选化妆来表示。
判定部300根据有无按下设置于触摸笔的识别按钮，判定由模拟图像生成部210进行的模拟图像的生成处理是否为基于用户希望的生成处理。此外，判定部300也可以基于用户和店员的对话内容的解析结果，判定由模拟图像生成部210进行的模拟图像的生成处理是否为基于用户希望的生成处理。
兴趣程度历史信息记录部310在由判定部300判定为模拟图像的生成处理不是基于用户希望的生成处理(即是基于店员劝导的生成处理)的情况下，在本次的化妆模拟中，使将与模拟图像中包含的化妆图像对应的面部器官和由兴趣程度检测部230检测出的兴趣程度彼此关联而得到的兴趣程度历史信息存储于兴趣程度历史信息存储部320。
图5a是示出本实施方式中的兴趣程度历史信息的图。如图5a所示，兴趣程度历史信息包含来店日、与化妆图像对应的面部器官的局部妆容、该局部妆容的颜色、用户对与该化妆图像对应的化妆的满意程度以及与该局部妆容对应的化妆品的最终购买结果来作为项目。在本实施方式中，项目“满意程度”的值设定为1～5中的某一整数值。另外，项目“购买结果”的值设定为表示购买的“○”或表示不买的“×”。此外，如图5b所示，兴趣程度历史信息记录部310也可以与由判定部300进行的模拟图像的生成处理是否为基于用户希望的生成处理无关地，将本次的化妆模拟中的兴趣程度历史信息存储到兴趣程度历史信息存储部320。
如图5a、5b所示，根据与主体者“店员”相关的兴趣程度历史信息，关于腮红，与其它局部妆容“口红”相比，满意程度较高，故而能够推测为用户听从了店员的劝导。另外，如图5b所示，根据与局部妆容“口红”相关的兴趣程度历史信息，关于主体者“用户”，与其它主体者“店员”相比，满意程度较高，故而能够推测到用户关于口红偏好较强，好像特别喜欢粉红。另外，如图5b所示，根据与局部妆容“口红”、主体者“用户”、满意程度“5”和购买结果“×”相关的兴趣程度历史信息，能够推测出：在用户下次来店时如果说出口红的话，则推荐“粉红”颜色的话效果较好。如上所述，通过分析兴趣程度历史信息，能够掌握用户对局部妆容的顺从度(针对店员的劝导，是听从还是固执)是高还是低。另外，能够掌握用户对局部妆容的颜色的顺从度是高还是低。此外，也可以按每个局部妆容和每个颜色，分析用户听从店员所劝导的化妆的概率(用户顺从度)，并使第2显示部260显示该分析结果。另外，在上次未购买的情况下，可以使第2显示部260将该意思与分析结果一同显示。
图6是示出本实施方式中的店员侧终端装置200的工作(对应于本公开的“化妆模拟辅助方法”)的流程图。图6中的处理是根据产生了化妆模拟的执行请求这一情况而开始的，其中，所述化妆模拟的执行请求是基于用户或店员对顾客侧终端装置100的操作的。
首先，模拟图像生成部210取得从顾客侧终端装置100的拍摄部110输出的面部图像(步骤s100)。接下来，模拟图像生成部210生成对所取得的面部图像中包含的面部的面部器官重叠化妆图像而得到的模拟图像，所述化妆图像表示实施了化妆时的化妆状态(步骤s120)。
接下来，模拟图像输出部220将由模拟图像生成部210生成的模拟图像输出到顾客侧终端装置100的第1显示部120(步骤s140)。第1显示部120显示从顾客侧终端装置100输出的模拟图像。
接下来，在通过模拟图像输出部220输出了模拟图像时，兴趣程度检测部230基于由拍摄部110拍摄到的面部图像，检测用户对该模拟图像中包含的化妆图像的兴趣程度(步骤s160)。
接下来，兴趣程度信息输出部240将表示由兴趣程度检测部230检测出的兴趣程度的兴趣程度信息输出到第2显示部260(步骤s180)。接下来，化妆候选信息输出部250基于由兴趣程度检测部230检测出的所述兴趣程度，将表示推荐接下来实施的候选化妆的化妆候选信息输出到第2显示部260(步骤s200)。第2显示部260显示从兴趣程度信息输出部240输出的兴趣程度信息和/或从化妆候选信息输出部250输出的化妆候选信息。
最后，店员侧终端装置200判定是否产生了基于用户或店员的操作的化妆模拟的结束请求(步骤s220)。在判定的结果是没有产生化妆模拟的结束请求的情况下(步骤s220：否)，处理返回到步骤s100之前。另一方面，在产生了化妆模拟的结束请求的情况下(步骤s220：是)，店员侧终端装置200结束图6中的处理。
如以上的详细说明，本实施方式中的店员侧终端装置200(化妆模拟辅助装置)具有：模拟图像生成部210，其生成在由拍摄用户面部的图像来作为面部图像的拍摄部110拍摄到的面部图像上重叠化妆图像而得到的模拟图像，所述化妆图像表示对面部的面部器官实施了化妆时的化妆状态；模拟图像输出部220，其输出所生成的模拟图像；兴趣程度检测部230，其基于在模拟图像被输出时由摄像部110拍摄到的面部图像，检测用户对化妆图像的兴趣程度；以及兴趣程度信息输出部240，其输出表示所检测出的兴趣程度的兴趣程度信息。
根据这样构成的本实施方式，在通过顾客侧终端装置100显示了模拟图像时，能够激发用户(顾客)对化妆的潜在意愿、例如隐藏的真实意愿或自卑感(劣等感)，在提供用户真实想要的信息的基础上，向店员提供有帮助的信息(兴趣程度信息)。因此，能够辅助面对面销售，使得高效地引发与化妆相关的商品(化妆品)的销售。
此外，在上述实施方式中，对顾客侧终端装置100和店员侧终端装置200分体化的例子进行了说明，但也可以通过一个装置而一体化。在该情况下，第1显示部120和第2显示部260可以是一个显示部，作为处理器的cpu也可以是一个。在cpu为两个的情况下，可以在模拟图像的生成/显示和兴趣程度检测等分析中分开使用cpu。
另外，在上述实施方式中，顾客侧终端装置100可以具有店员侧终端装置200所具有的结构中的除第2显示部260以外的结构。在该情况下，顾客侧终端装置100对应于本公开的“化妆模拟辅助装置”。
另外，在上述实施方式中，化妆候选信息图像540基于兴趣程度历史信息存储部320中存储的兴趣程度历史信息等，可以包含与适合于用户面部的特征的候选化妆相关的信息(例如强调眼睛)和/或表示过去用户的偏好的信息(例如关于颜色，对○○兴趣强烈)。
另外，在上述实施方式中，在面对面销售开始时，可以使第2显示部260显示与兴趣程度历史信息存储部320中存储的兴趣程度历史信息对应的用户的解析结果。图7a是示出面对面销售开始时的用户画面600的显示例的图。如图7a所示，用户画面例如显示有与化妆品相关的一般广告、或认识用户而显示该用户的兴趣可能高的化妆品的信息。
图7b是示出面对面销售开始时的店员画面700的显示例的图。如图7b所示，店员画面显示有：表示用户的属性信息(姓名、年龄、上次来店的店名、负责店员等)的属性信息图像710、表示上次的化妆模拟的结果的上次模拟结果图像720、以及表示上次的化妆模拟中的用户兴趣的上次兴趣信息图像730。
关于属性信息图像710中显示的属性信息，希望是使用由拍摄部110拍摄到的面部图像而检索出的信息。这是因为，在面对面销售开始时，如果从一开始店员就向用户详细询问顾客信息(姓名、年龄等)，则印象不好。
上次模拟结果图像720包含在上次化妆模拟中根据购买结果为不买的局部妆容(在图7b的例子中，为口红)进行了化妆的用户的面部图像724以及根据购买结果为购买的局部妆容(在图7b的例子中，为腮红)进行了化妆的用户的面部图像722。面部图像722包含对由局部妆容进行的化妆进行强调的强调图像726。另外，上次模拟结果图像720还包含与不买原因相关的信息(在图7b的例子中，对口红颜色的偏好强)和/或表示所购买的具体商品名的信息(在图7b的例子中，为○)。
上次兴趣信息图像730包含用户的面部图像732和表示对该面部器官的兴趣程度较高之意的信息(在图7b的例子中，对眼睛部分有兴趣)，其中，面部图像732包含强调用户的兴趣程度高的面部器官的强调图像734。
店员在面对面销售开始时通过观察店员画面700，为了高效地引发化妆品的销售，在实际开始化妆模拟之前，能够掌握在本次化妆模拟中应该注意的点。尤其是，即使在上次和本次中进行化妆模拟的负责店员例如从熟练程度高的店员替换为经验少的店员的情况下，也能够进行反映了上次的化妆模拟结果的化妆模拟。
另外，在上述实施方式中，可以针对每个用户，学习在刚显示模拟图像之后的用户反应与购买结果之间的相关关系，并使第2显示部260显示与该学习结果对应的解析结果。也可以针对每个店员，学习用户反应与购买结果之间的相关关系。
具体而言，兴趣程度检测部230检测并记录刚显示模拟图像的之后的用户反应。进而，兴趣程度检测部230在用户过去来店时存在多个购买机会的情况下，在执行与引发购买的化妆品相关的化妆模拟时和执行与未能引发购买的化妆品相关的化妆模拟时之间检测用户差异，提取与引发了购买的情况的相关性较高的用户反应来作为高评价检测基准。兴趣程度检测部230在当前执行的化妆模拟中也检测出所提取的高评价检测基准的情况下，向化妆候选信息输出部250通知该意思。进而，使第2显示部260显示与高评价检测基准对应的用户反应(面部器官的变形)、即成为店员关注点的部分(更具体而言，在兴趣程度信息图像520中包含的面部图像522上以虚线状的框线进行显示)。此外，也可以在店员画面直接显示高评价检测基准。另外，关于与引发了购买的情况相关性较高的用户反应，例如可以是经过数秒后用户的视线对准方式是否引发了购买等、根据显示了模拟图像后的经过时间来取得相关性。另外，关于与引发了购买的情况相关性较高的用户反应，可以在具有相似的面部特征的多个用户内取得相关性。
在上述实施方式中，关于使用了顾客侧终端装置100的化妆模拟，可以在进行面对面销售的化妆品销售店进行，也可以在顾客独自决定购买的化妆品销售店进行，还可以在用户自家进行。图8示出后两者的情况下(无店员销售)的系统结构。与图1的情况不同，由于不存在店员，故而没有第2显示部(店员画面)，接下来应该执行的化妆模拟不是由店员最终判断，而是由化妆候选信息输出部250决定，并传达给模拟图像生成部210。希望在反映顾客的兴趣程度检测的状况的同时，例如以15秒左右的感觉来更新化妆模拟的内容，但如果存在顾客在意的化妆模拟，也可以通过触摸等顾客操作来暂时停止更新，此外，顾客也可以变更颜色等模拟的内容。在判定部300中，判断此后执行的化妆模拟的内容是基于本实施方式的系统10的内容还是基于顾客意愿的内容。该信息可以与在面对面销售中通过图5和图6来识别主体者是“用户”还是“店员”同样地，灵活运用于识别主体者是否是“用户”，可以如上述那样应用于顾客的喜好或用户顺从度的判断。
另外，在该情况下，可以是，预测到根据使用了顾客侧终端装置100的化妆模拟是在化妆品销售店中进行还是在用户家中进行而用户对化妆模拟的反应不同，考虑该情况而变更由兴趣程度检测部230进行的用户的兴趣程度的检测方法。另外，也可以是，根据是否在用户的潜在意愿(本心)容易表现在表情上的时间段(例如夜间、就寝前等)进行了化妆模拟，来变更由兴趣程度检测部230进行的用户的兴趣程度的检测方法。
另外，在上述实施方式中，可以在第1显示部120不仅显示用户的面部而显示全身，在衣服或发型位于用户视线所朝向的方向上的情况下，可以使兴趣程度信息图像520包含表示该意思的信息。此外，在上述实施方式中，仅将虚拟地进行化妆的妆容作为模拟对象，但也可以是包含发型和/或服装等来虚拟地协调的模拟。模拟的对象越广泛，掌握顾客的兴趣和反应、决定接下来的行动就越重要。
另外，在上述实施方式中，可以按每个面部器官计测化妆模拟，并记录与每个面部器官的购买结果之间的相关关系(例如尽管长时间地进行了化妆模拟，却未购买等)。另外，可以记录如下信息：通过提取与购买结果存在相关关系的时间段，由此能够检索出用户容易坦率地(短时间地)表达真实意愿的店员。
另外，可以按每个化妆模拟拍摄多个面部图像(例如笑脸图像、美人面部等)，使得能够在店员侧选择在化妆模拟之后显示的购买候选提示画面中包含的面部图像。
另外，在上述实施方式中，对化妆模拟系统10用于激发并取得用户对化妆的兴趣(潜在意愿)的例子进行了说明，但本公开不限于此。例如，化妆模拟系统10也可以用于在化妆中使用的化妆品的分析。更具体而言，也可以用于分析是任何用户均期待购买的化妆品，还是店员如果推荐则与面部特征、顺从度无关地超过期待而进行了购买等。另外，化妆模拟系统10也可以在店员的分析中使用。更具体而言，可以用于分析通过化妆模拟而引起用户兴趣的技巧是高还是低，或者用于分析是否为虽然用户的兴趣不高但通过店员的沟通能力而在弥补化妆模拟时的低评价的情形下实现了购买等。
另外，上述实施方式均不过是表示用于实施本公开的具体化的一例，并不因此而限定性地解释本公开的技术范围。即，在不脱离本发明主旨或其主要特征的前提下，能够以各种方式实施。
本公开的化妆模拟辅助装置具有：
模拟图像生成部，其生成在由拍摄用户面部的图像来作为面部图像的拍摄部拍摄到的所述面部图像上重叠化妆图像而得到的模拟图像，所述化妆图像表示对所述面部的面部器官实施了化妆时的化妆状态；
模拟图像输出部，其输出所生成的所述模拟图像；
兴趣程度检测部，其基于在所述模拟图像被输出时拍摄到的面部图像，检测所述用户对所述化妆图像的兴趣程度；以及
兴趣程度信息输出部，其输出表示所检测出的所述兴趣程度的兴趣程度信息。
在上述化妆模拟辅助装置中，可以是，
所述兴趣程度检测部基于在所述模拟图像被输出时拍摄到的面部图像，检测所述用户感兴趣的面部器官和与所述化妆图像对应的面部器官的一致程度，由此检测所述用户的兴趣程度。
在上述化妆模拟辅助装置中，可以是，
所述兴趣程度包含所述用户对所述化妆图像的满意程度。
在上述化妆模拟辅助装置中，可以是，
所述化妆模拟辅助装置具有基于检测出的所述兴趣程度来输出化妆候选信息的化妆候选信息输出部，所述化妆候选信息表示推荐接下来实施的化妆的候选。
在上述化妆模拟辅助装置中，可以是，
所述化妆候选信息输出部在所述兴趣程度高的情况下，输出将针对所述面部器官的、和与所述化妆图像对应的化妆不同的化妆作为所述候选来表示的化妆候选信息，另一方面，在所述兴趣程度低的情况下，输出将针对与所述面部器官不同的面部器官的化妆作为所述候选来表示的化妆候选信息。
在上述化妆模拟辅助装置中，可以具有：
面部器官位置信息存储部，其存储表示平均的面部器官在面部中的位置的面部器官位置信息；
面部器官检测部，其基于拍摄到的所述面部图像，检测所述用户的面部器官在面部中的位置；以及
面部器官确定部，其基于所述面部器官位置信息和所述面部器官检测部的检测结果，确定作为所述用户的面部的特征的面部器官，
所述化妆候选信息输出部输出将针对所确定出的所述面部器官的化妆作为所述候选来表示的化妆候选信息。
在上述化妆模拟辅助装置中，可以是，
所述兴趣程度信息输出部向与所述模拟图像被输出的第1显示部不同的第2显示部输出所述兴趣程度信息。
在上述化妆模拟辅助装置中，可以是，
所述兴趣程度检测部检测所述用户正面朝向所述拍摄部的所述面部的面部器官，并基于该检测结果来检测所述兴趣程度。
在上述化妆模拟辅助装置中，可以是，
所述兴趣程度检测部检测所述模拟图像所显示的所述面部的面部器官中的、位于所述用户的视线所朝向的方向上的面部器官，并基于该检测结果来检测所述兴趣程度。
在上述化妆模拟辅助装置中，可以具有：
判定部，其判定由所述模拟图像生成部进行的所述模拟图像的生成处理是否是基于所述用户希望的处理；以及
兴趣程度历史信息记录部，其在判定为不是基于所述用户希望的处理的情况下，使将与所述化妆图像对应的面部器官和检测出的所述兴趣程度彼此关联而得到的兴趣程度历史信息存储于兴趣程度历史信息存储部。
在上述化妆模拟辅助装置中，可以是，
所述判定部基于所述兴趣程度历史信息和购买结果来判定用户顺从度，所述用户顺从度是用户听从他人劝导的概率，
所述兴趣程度信息输出部输出与所述用户顺从度相关的判定结果。
在上述化妆模拟辅助装置中，可以是，
所述兴趣程度检测部基于所述拍摄到的面部图像，提取与面部器官的变形相关的信息，取得在由所述模拟图像输出部输出了所述模拟图像后经过预定时间之后的与所述提取出的面部器官的变形相关的信息和购买结果之间的相关性，基于与所述取得的购买结果之间的相关性，将与购买或不买之间的相关性为预定值以上的所述面部器官的变形分别作为高评价检测基准或低评价检测基准进行提取。
本公开的化妆模拟辅助方法可以包括如下步骤：
生成在由拍摄用户面部的图像来作为面部图像的摄像部拍摄到的所述面部图像上重叠化妆图像而得到的模拟图像的步骤，所述化妆图像表示对所述面部的面部器官实施了化妆时的化妆状态；
输出所生成的所述模拟图像的步骤；
基于在所述模拟图像被显示时拍摄到的面部图像，检测所述用户对所述化妆图像的兴趣程度的步骤；以及
输出表示所检测出的所述兴趣程度的兴趣程度信息的步骤。
本公开的化妆模拟辅助程序使计算机执行如下处理：
生成在由拍摄用户面部的图像来作为面部图像的摄像部拍摄到的所述面部图像上重叠化妆图像而得到的模拟图像的处理，所述化妆图像表示对所述面部的面部器官实施了化妆时的化妆状态；
输出所生成的所述模拟图像的处理；
基于在所述模拟图像被显示时拍摄到的面部图像，检测所述用户对所述化妆图像的兴趣程度的处理；以及
输出表示所检测出的所述兴趣程度的兴趣程度信息的处理。
产业上的可利用性
本公开作为辅助对面对面销售以使得高效地引发与化妆相关的商品销售的化妆模拟辅助装置、化妆模拟辅助方法和化妆模拟辅助程序是有用的。
标号说明
10化妆模拟系统
100顾客侧终端装置
110拍摄部
120第1显示部
200店员侧终端装置
210模拟图像生成部
220模拟图像输出部
230兴趣程度检测部
240兴趣程度信息输出部
250化妆候选信息输出部
260第2显示部
270面部器官位置信息存储部
280面部器官位置检测部
290面部器官确定部
300判定部
310兴趣程度历史信息记录部
320兴趣程度历史信息存储部