肌肤分析装置、肌肤分析方法、以及记录介质与流程

本公开涉及肌肤分析装置、肌肤分析方法、以及记录介质。

背景技术：

以往，基于拍摄用户的脸部得到的脸部图像，分析脸部的肌肤的状态，对分析结果进行可视化以及定量化。专利文献1中公开了一种装置，即，根据脸部图像自动识别脸部部位的位置，基于该识别出的脸部部位的位置，自动设定肌肤的分析对象的区域(以下称为“肌肤分析区域”)。

现有技术文献

专利文献1：国际公开第2015/015793号

技术实现要素：

但是，在如专利文献1那样根据脸部图像自动地识别眼、鼻以及口等的脸部部位的位置的情况下，也存在其识别结果不正确的情况。在这样的情况下，专利文献1的装置无法容易地修正脸部部位的识别结果。

本公开的非限定性的实施例有助于提供一种能够容易地修正对脸部图像的脸部部位的识别的肌肤分析装置、肌肤分析方法、以及记录介质。

本公开的一技术方案的肌肤分析装置，具备：脸部部位识别部，根据摄像头拍摄到的用户的脸部图像识别脸部部位；ui部，使在所述脸部图像配置有表示所述脸部部位的脸部部位标记的ui(userinterface：用户界面)显示于显示器，受理对所述脸部部位标记的操作；分析区域设定部，基于所述操作的脸部部位标记的位置，对所述脸部图像设定肌肤分析区域；以及肌肤分析执行部，对所设定的所述肌肤分析区域执行肌肤分析。

此外，这些总括的或具体的技术方案也可以由系统、方法、集成电路、计算机程序或记录介质实现，也可以由系统、装置、方法、集成电路、计算机程序以及记录介质的任意组合实现。

根据本公开的一技术方案，能够容易地修正对脸部图像的脸部部位的识别。

根据说明书以及附图可以清楚本公开的一技术方案的进一步的优点和效果。该优点和/或效果通过几个实施方式以及说明书和附图所记载的特征分别提供，但是无需为了得到1个或1个以上的同一特征而提供全部优点和/或效果。

附图说明

图1是表示一实施方式的肌肤分析装置的利用例的图。

图2是表示一实施方式的肌肤分析装置的动作概要的流程图。

图3是表示一实施方式的肌肤分析装置的构成例的图。

图4是表示通过一实施方式的肌肤分析装置拍摄到的正面脸部的脸部图像例的图。

图5是表示通过一实施方式的肌肤分析装置拍摄到的右侧侧脸的脸部图像例的图。

图6是表示通过一实施方式的肌肤分析装置拍摄到的左侧侧脸的脸部图像例的图。

图7是表示一实施方式的脸部部位识别部的处理例的流程图。

图8是表示一实施方式的正面脸部的识别结果确认用ui例的图。

图9是表示一实施方式的左侧侧脸的识别结果确认用ui例的图。

图10是表示一实施方式的右侧侧脸的识别结果确认用ui例的图。

图11是表示一实施方式的脸部部位标记的修正用ui的第1例的图。

图12是表示一实施方式的脸部部位标记的修正用ui的第2例的图。

图13是表示一实施方式的脸部部位标记的设定用ui例的图。

图14是表示一实施方式的将脸部部位标记的形状变形为脸部部位的形状例的图。

图15是表示一实施方式的脸部部位标记的变形模式例的图。

图16是表示一实施方式的使用脸部部位标记设定脸部部位的特征点例的图。

图17是表示一实施方式的肌肤分析区域的确认画面例的图。

图18是表示本公开的实施方式的硬件构成例的图。

标号说明

10肌肤分析装置

20数据库

101摄像头

102显示器

103输入i/f

104存储部

105控制部

201拍摄处理部

202脸部部位识别部

203脸部部位标记ui部

204分析区域设定部

205肌肤分析执行部

300、400、500脸部部位标记的ui

700肌肤分析区域的ui

具体实施方式

以下，适当参照附图，针对本公开的实施方式进行详细说明。其中，有时省略过于详细的说明。例如，有时省略对已经公知的事项的详细说明和/或实质上同一构成的重复说明。其原因在于，避免以下的说明变得不必要地冗长，使本领域技术人员容易理解。

(一实施方式)

＜肌肤分析装置的概要＞

图1表示肌肤分析装置的利用例。图2的流程图表示肌肤分析装置的动作概要的一例。接着，参照图1以及图2，对肌肤分析装置的概要进行说明。

如图1所示，用户2在肌肤分析装置10的前方坐下，对肌肤分析装置10指示肌肤分析的开始。肌肤分析装置10接受该开始的指示，开始接下来的动作。

肌肤分析装置10利用摄像头101拍摄用户2的脸部(s11)。以下，将通过摄像头101拍摄到的用户2的脸部的图像表达为“脸部图像”。

肌肤分析装置10根据通过s11拍摄到的脸部图像，识别脸部部位(s12)。脸部部位例如是脸部的轮廓、眼、鼻、口、眉、以及头发的发际线等脸部上特征性的部分。此外，脸部部位也可以表达为脸部部位、脸部器官、或脸部特征部分等。

肌肤分析装置10基于由s12识别出的脸部部位的位置等，在脸部图像设定进行肌肤分析的区域(以下成为“肌肤分析区域”)(s13)。

肌肤分析装置10对由s13设定的各肌肤分析区域执行肌肤分析(s14)。

肌肤分析装置10将由s14执行的肌肤分析的结果显示于显示器102(s15)。

如上所述，用户2通过利用肌肤分析装置10，能够简单地接受肌肤分析。以下，进行详细说明。

＜肌肤分析装置的构成＞

接着，参照图3，说明肌肤分析装置10的构成。

肌肤分析装置10例如具备：摄像头101、显示器102、输入i/f103、存储部104、以及控制部105。另外，肌肤分析装置10也可以与数据库20连接。

摄像头101拍摄用户2的脸部。此外，在图1中，摄像头101内置于肌肤分析装置10，但是摄像头101也可以是与肌肤分析装置10不同的装置。该情况下，摄像头101通过预定的有线通信或无线通信，将拍摄到的脸部图像向肌肤分析装置10发送。

显示器102显示图像以及信息等。此外，在图1中，显示器102内置于肌肤分析装置10，但是显示器102也可以是与肌肤分析装置10不同的装置。该情况下，肌肤分析装置10将显示用的数据通过预定的有线通信或无线通信向显示器102发送。

输入i/f103受理来自用户2的指示。此外，肌肤分析装置10也可以具备多个输入i/f103。例如，肌肤分析装置10也可以具备触摸面板、鼠标、键盘、拍摄指示用的按钮、以及声音输入用的麦克风等来作为输入i/f103。另外，输入i/f103也可以是与肌肤分析装置10不同的装置。该情况下，输入i/f103将所输入的数据通过预定的有线通信或无线通信，向肌肤分析装置10发送。

存储部104存储控制部105所使用的数据。存储部104可以是dram(dynamicrandomaccessmemory：动态随机存取存储器)等的易失性存储器，也可以是ssd(solidstatedrive：固态硬盘)等的非易失性存储器。或者，存储部104也可以是它们的组合。

控制部105例如是cpu(centralprocessingunit)，实现肌肤分析装置10具有的功能。例如，控制部105通过执行存储部104所存储的计算机程序，实现与后述的拍摄处理部201、脸部部位识别部202、脸部部位标记ui部203、分析区域设定部204以及肌肤分析执行部205相关的功能。

拍摄处理部201控制摄像头101来拍摄用户2的脸部，生成脸部图像。此外，拍摄处理部201也可以将由摄像头101拍摄中的脸部图像实时地显示于显示器102。由此，用户2能够一边观察显示器102，一边调整脸部的位置以及朝向等以使得正确拍摄自己的脸部。

另外，拍摄处理部201也可以拍摄用户2的正面脸部、左侧侧脸、以及右侧侧脸。为了适当地拍摄左侧侧脸以及右侧侧脸，如图1所示，肌肤分析装置10也可以在从用户2向前与摄像头101相比靠左侧具备镜子11a，在从用户2向前与摄像头101相比靠右侧具备镜子11b。左侧的镜子11a的朝向(角度)可以是，在用户2将脸部朝向该左侧的镜子11a以使得正面脸部映出时，摄像头101能够拍摄用户2的适当的右侧侧脸的朝向(角度)。右侧的镜子11b的朝向(角度)可以是，在用户2将脸部朝向该右侧的镜子11b以使得正面脸部映出时，摄像头101能够拍摄用户2的适当的左侧侧脸的朝向(角度)。

另外，拍摄处理部201也可以在拍摄时，向用户2发出指示以使其朝向正面，由摄像头101拍摄正面脸部。图4是拍摄用户2的正面脸部得到的脸部图像250a的一例。接着，拍摄处理部201也可以指示用户2将脸部朝向左侧的镜子11a以使得正面脸部映出，由摄像头101拍摄右侧侧脸。图5是拍摄用户2的右侧侧脸得到的脸部图像250b的一例。最后，拍摄处理部201也可以指示用户2将脸部朝向右侧的镜子11b以使得正面脸部映出，由摄像头101拍摄左侧侧脸。图6是拍摄用户2的左侧侧脸得到的脸部图像250c的一例。以下，在不区分正面脸部、左侧侧脸以及右侧侧脸的情况下，表达为脸部图像250。

脸部部位识别部202例如通过接下来的处理识别脸部部位。即，首先，脸部部位识别部202利用公知的图像处理技术，从脸部图像250提取特征点。接着，脸部部位识别部202根据该提取出的特征点，识别脸部的轮廓、眼、鼻、口、眉、以及头发的发际线等的脸部部位。

但是，在特征点的提取精度低等情况下，脸部部位识别部202有时会在脸部部位的识别中失败。另外，即使脸部部位识别部202判定为脸部部位的识别成功，也存在实际上脸部部位的位置等没有被正确识别的情况。本实施方式的肌肤分析装置10能够在这样的情况下，有效修正脸部部位的识别。

脸部部位标记ui部203使在脸部图像配置有脸部部位标记的脸部部位标记的ui显示于显示器，受理对脸部部位标记的操作。脸部部位标记如后述的图8等所示是表示各脸部部位的标记(图示：illustration)。例如，表示脸部部位“眼”的脸部部位标记是眼的标记(图示)，表示脸部部位“口”的脸部部位标记301是口的标记(图示)。

此外，脸部部位标记ui部203也可以在脸部部位识别部202判断为在脸部部位的识别中成功了的情况下，在该识别出的脸部部位的位置配置表示该脸部部位的脸部部位标记。

另外，脸部部位标记ui部203也可以在脸部部位识别部202判定为在脸部部位的识别中失败了的情况下，在预定的位置配置脸部部位标记。或者，脸部部位标记ui部203也可以在脸部部位识别部202判定为在脸部部位的识别中失败了的情况下，将在用户2的其他脸部图像(例如过去的脸部图像)中识别成功时的脸部部位标记配置于脸部图像。或者，脸部部位标记ui部203也可以在脸部部位识别部202判定为在脸部部位的识别中失败了的情况下，将通过操作对用户2的其他脸部图像(例如过去的脸部图像)配置的脸部部位标记配置于脸部图像。此外，针对脸部部位标记ui部203的详细内容稍后说明。

分析区域设定部204基于通过脸部部位标记ui部203配置的脸部部位标记的位置，在脸部图像设定至少1个肌肤分析区域。此外，分析区域设定部204也可以基于通过脸部部位识别部202识别出的各脸部部位的位置，在脸部图像设定肌肤分析区域。此外，分析区域设定部204的详细内容稍后说明。

肌肤分析执行部205对通过分析区域设定部204在脸部图像设定的各肌肤分析区域，执行肌肤分析。例如，肌肤分析执行部205对脸部图像中的肌肤分析区域内适用公知的图像处理，对皱纹、斑和/或毛孔等的量进行分析。

数据库20将各用户2的脸部图像和该脸部图像的肌肤分析结果进行关联并管理。此外，在图3中，数据库20是与肌肤分析装置10不同的装置，但是数据库20也可以内置于肌肤分析装置10。

＜脸部部位标记ui部的详细内容＞

接着，参照图7所示的流程图，对脸部部位标记ui部203的详细内容进行说明。此外，在拍摄正面脸部、左侧侧脸以及右侧侧脸这3个脸部图像250a、250b、250c的情况下，脸部部位识别部202也可以针对脸部图像250a、250b、250c的每一个执行该流程图。

脸部部位识别部202利用公知的图像处理技术，从脸部图像250识别脸部部位(s101)。然后，脸部部位识别部202判定在脸部部位的识别中是否成功(s102)。例如，脸部部位识别部202在识别出脸部的轮廓、眼、鼻、口、眉、以及、头发的发际线等的全部脸部部位的情况下，判定为识别成功。或者，脸部部位识别部202也可以在识别出它们中的至少1个脸部部位的情况下，判定为识别成功。或者，脸部部位识别部202也可以对正面脸部的脸部图像250a、右侧侧脸的脸部图像250b以及左侧侧脸的脸部图像250c进行比较，在至少2个中脸部的尺寸为预定以上不同的情况下，判定为识别失败。

在s101中脸部部位识别部202判定为脸部部位的识别失败的情况下(s102：否)，脸部部位标记ui部203将在默认的位置配置有脸部部位标记的脸部部位标记的ui500(参照图13)显示于显示器102，受理来自用户2的操作(s103)。用户2对脸部部位标记的ui500进行人工(手动)操作，在脸部图像的各脸部部位的正确的位置配置表示该脸部部位的脸部部位标记301(参照图8)(s104)。

脸部部位标记ui部203在受领来自用户2的完成指示时，确定用户2进行了再配置后的脸部部位标记301的位置(s105)。然后，本流程结束。

在s101中脸部部位识别部202判定为脸部部位的识别成功的情况下(s102：是)，脸部部位标记ui部203将在脸部部位识别部202识别出的位置配置有脸部部位标记301的脸部部位标记的ui300(参照图8、图9以及图10)显示于显示器102(s106)，受理来自用户2的操作。

用户2观察脸部部位标记的ui300，判断在脸部图像的各脸部部位的位置是否正确配置有表示该脸部部位的脸部部位标记301(s107)。

在用户2判断为脸部部位标记301被正确配置了的情况下(s107：是)，脸部部位标记ui部203确定该配置的脸部部位标记301的位置(s108)。然后，本流程结束。

在用户2判断为脸部部位标记301没有被正确配置的情况下(s107：否)，脸部部位标记ui部203将在脸部部位识别部202识别出的位置配置有脸部部位标记301的脸部部位标记的ui400(参照图11以及图12)显示于显示器102，受理来自用户2的操作(s109)。用户2对脸部部位标记的ui400进行人工(手动)操作，在脸部图像的各脸部部位的正确的位置对表示该脸部部位的脸部部位标记301进行再配置(修正)(s110)。

脸部部位标记ui部203在受领来自用户2的完成指示时，确定用户2进行了再配置后的脸部部位标记301的位置(s111)。然后，本流程结束。

＜脸部部位标记的ui的例＞

图8、图9以及图10是在图7的s106中显示的脸部部位标记的ui300的一例。此外，图8、图9以及图10是在脸部部位的识别中成功、且脸部部位标记301被正确配置的例子。另外，图8是正面脸部的脸部部位标记的ui300的例，图9是右侧侧脸的脸部部位标记的ui300的例，图10是左侧侧脸的脸部部位标记的ui300的例。

如图8、图9以及图10所示，在脸部部位的识别中成功了的情况下，脸部部位标记ui部203生成在脸部图像的识别出的脸部部位的位置配置有表示该脸部部位的脸部部位标记301的脸部部位标记的ui300，并将其显示于显示器102。

在图8、图9以及图10中，眼的脸部部位标记301a被正确配置于脸部图像的眼的位置上。另外，鼻的脸部部位标记301b被正确配置在脸部图像的鼻的位置上。另外，口的脸部部位标记301c被正确配置在脸部图像的口的位置上。另外，眉的脸部部位标记301d被正确配置在脸部图像的眉的位置上。脸部轮廓的脸部部位标记301e被正确配置在脸部图像的从下巴到耳的轮廓的位置上。另外，发际线的脸部部位标记301f被正确配置在脸部图像的发际线的位置上。

用户2在全部脸部部位标记301被正确地配置在脸部图像的脸部部位的情况下，按下ok按钮311。该情况下，图7的s107的判定结果为“是”。

用户2在至少1个脸部部位标记301没有被正确地配置在脸部图像的脸部部位的情况下，按下要调整按钮312。该情况下，图7的s107的判定结果为“否”，在图7的s109中，显示脸部部位标记的ui400。此外，用户2也可以针对图8、图9以及图10所示的各个脸部图像，选择ok按钮311或要调整按钮312。该情况下，脸部部位标记ui部203也可以仅针对要调整按钮312被按下了的脸部图像显示脸部部位标记的ui400。

另外，也可以在用户2按下了图8、图9以及图10所示的再拍摄按钮313的情况下，图7所示的流程从s107返回至s101，进行脸部的再拍摄(图7中未图示)。该情况下，拍摄处理部201也可以仅针对再拍摄按钮313被按下了的脸部图像所对应的脸部的朝向进行再拍摄。

图11以及图12分别是在图7的s109中显示的脸部部位标记的ui400的一例。如上所述，脸部部位标记的ui400在虽然脸部部位的识别中成功但是需要进行脸部部位标记的修正的情况下使用。

脸部部位标记的ui400具有用于汇总修正全部脸部部位标记301的整个脸按钮401、和用于个别地修正脸部部位标记301的按部位按钮402。另外，脸部部位标记的ui400与图8～图10同样地，在脸部部位识别部202识别(误识别)出的脸部部位的位置配置有表示该脸部部位的脸部部位标记301。

如图11所示，用户2也可以在脸部部位标记301的位置和/或大小整体上发生了错位这样情况下，按下整个脸按钮401。当按下整个脸按钮401时，在脸部部位标记的ui400中，如虚线420所示，全部脸部部位标记301成为被选择的状态。由此，用户2能够一下子修正全部脸部部位标记301。该修正包括移动、旋转、扩大、缩小、以及、纵横长宽比的变更中的至少1个。

如图12所示，用户2也可以在各个脸部部位标记301的位置和/或大小错位这样的情况下，按下按部位按钮402。当按部位按钮402被按下时，在脸部部位标记的ui400中，成为能够选择各脸部部位标记301的状态。如虚线430所示，用户2能够选择想修正的脸部部位标记301，来修正该选择出的脸部部位标记301。该修正包括移动、旋转、扩大、缩小、以及、纵横长宽比的变更中的至少1个。

例如，在图12的情况下，由于眼的脸部部位标记301a的大小比脸部图像的眼的大小小，所以用户2可以选择眼的脸部部位标记301a，并扩大眼的脸部部位标记301a以使得符合脸部图像的眼的大小。另外，由于眉的脸部部位标记301d的角度比脸部图像的眉的角度倾斜程度大，所以用户2可以选择眉的脸部部位标记301d，并使眉的脸部部位标记301d旋转以使得符合脸部图像的眉的角度。另外，由于鼻的脸部部位标记301b的纵向长度比脸部图像的鼻的长度短，所以用户2可以选择鼻的脸部部位标记301b，变更鼻的脸部部位标记301b的长宽比以使得符合脸部图像上的鼻的纵向长度。

另外，脸部部位标记ui部203也可以在脸部部位标记的位置与该脸部部位标记所对应的脸部部位的位置小于预定距离时，使该脸部部位标记301自动地瞬间移动(snap)到该脸部部位的位置。该情况下，脸部部位标记ui部203可以对脸部部位标记301的附近的脸部图像进行部分模式匹配，识别该脸部部位标记所对应的脸部部位(也即是再识别)，使脸部部位标记瞬间移动到该识别出的脸部部位的位置。由此，由于用户2节省了对脸部部位标记进行微调整的工夫，所以提高了脸部部位标记301的修正作业的效率。

此外，脸部部位标记ui部203也可以将在位置关系上关联性高的脸部的构成部位所对应的脸部部位标记301彼此汇总为1个组。位置关系上关联性高的脸部的构成部位例如是，眼和眉、或、鼻和口这样所在的位置的距离比较近的脸部的构成部位，或者是通过肌肉或骨骼彼此连动的脸部的构成部位。脸部部位标记ui部203也可以以组为单位汇总地使脸部部位标记301移动。在以组移动的情况下或者不以组为单位而使1个脸部部位标记301移动的情况下的脸部部位标记的ui中，可以另行配置与整个脸按钮401、按部位按钮402同样的按钮。另外，也可以向键盘和/或鼠标等的操作设备的按钮等分配特定的功能。

图13是在图7的s103中显示的脸部部位标记的ui500的一例。如上所述，脸部部位标记的ui500在脸部部位的识别中失败了的情况下使用。

脸部部位标记的ui500与图11以及图12同样，具有整个脸按钮401和按部位按钮402。此外，由于脸部部位识别部202在脸部部位的识别中失败，脸部部位的位置不明确，所以在脸部部位标记301的ui500中，可以在默认(预先登记完成)的位置配置默认的形状的脸部部位标记301。

用户2与图11或图12的情况同样，对脸部部位标记的ui500进行操作，将脸部部位标记301再配置(修正)于该脸部部位标记所对应的脸部部位的位置上。

在脸部检测中失败了的情况下，在配置脸部部位标记301时，脸部部位标记的ui500可以让用户指定脸部图像上的眼的位置，将其他脸部部位标记301按照默认设定自动地配置于相对于该指定的眼的位置的相对位置上。其原因在于，在脸部的部位配置中，最具有特征性的部位就是眼。

此外，在脸部部位的识别中失败了情况下的脸部部位标记301的修正的顺序可以预先确定。例如，可以如从接下来的(a1)到(a3)中的任一个那样，确定预先修正的顺序。

(a1)脸部部位标记ui部203在脸部部位标记的ui500中，首先，显示用于修正对于整个脸的脸部部位标记301的ui(例如图11)，接着，显示用于按脸部部位修正脸部部位标记301的ui(例如图12)。由于根据该a1能够不会使用户2困扰地修正脸部部位标记301，所以提高了脸部部位标记301的修正作业的效率。

(a2)脸部部位标记ui部203在数据库20中存在针对同一用户2过去成功识别了的脸部部位标记301的情况下，将该脸部部位标记301用作默认的脸部部位标记301。同一用户2的过去的脸部部位标记301，与默认的脸部部位标记301相比，与该用户2相类似的可能性更高。因此，根据该a2，能够减少脸部部位标记的修正的工夫。

(a3)脸部部位标记ui部203使用多次拍摄到的同一用户2的脸部图像，对脸部部位标记301进行类推。例如，在左侧侧脸中脸部部位的识别中成功、而在右侧侧脸中脸部部位的识别中失败了的情况下，脸部部位标记ui部203将使在识别中成功了的左侧侧脸所对应的脸部部位标记(例如图9)301左右反转得到的脸部部位标记用作在识别中失败了的右侧侧脸中的默认的脸部部位标记301。从同一用户2的脸部图像类推得到的脸部部位标记301，与默认的脸部部位标记301相比与该用户2相类似的可能性更高。因此，根据该a3，能够减少脸部部位标记的修正的工夫。

接着，参照图14～图16，说明脸部图像的特征点与脸部部位标记301的关系。

如上所述，脸部部位识别部202从脸部图像提取脸部部位601的特征点610。另外，脸部部位标记602如图14所示，具有构成脸部部位601所对应的形状的点(以下称为“构成点”)620。

脸部部位标记ui部203可以在脸部部位识别部202在脸部部位601的识别中成功了的情况下，使默认的脸部部位标记602的形状变形为在该识别中成功了的脸部部位601的形状。此外，形状的变形可以是，将默认的脸部部位标记602的多个构成点620的相对位置变形为使得其与识别出的脸部部位601的多个特征点610的相对位置相适合。

例如，如图14所示，脸部部位标记ui部203将眼的脸部部位标记602的构成点620的相对位置变形为使得其与从脸部图像的眼的部分提取出的特征点610的相对位置相适合。该变形如图15(a)～(e)所例示，可以包括扩大、缩小、旋转、以及长宽比变更中的至少1个。由此，由于能够生成与用户2的脸部部位601相适的脸部部位标记620，所以能够减少脸部部位标记620的修正的工夫。

另外，可以将识别出的脸部部位601的特征点610与该脸部部位601所对应的脸部部位标记620的构成点620进行关联。该情况下，在脸部部位标记的修正用ui400中，当修正脸部部位标记602时，脸部部位标记ui部203可以修正该脸部部位标记602的构成点620所关联着的特征点610。即，脸部部位标记的ui400也可以说是能够容易修正识别出的脸部部位601的特征点610的ui。

另外，在脸部部位标记的ui500中，当配置脸部部位标记602时，脸部部位标记ui部203可以将该配置的脸部部位标记602的构成点620作为该脸部部位标记602所对应的脸部部位601的特征点610而设定于脸部图像。

例如，首先，如图16(a)、(b)所示，用户2在脸部部位标记的ui500中，使眼的脸部部位标记602变形为以使得其与脸部部位“眼”601相适合，并配置在脸部部位“眼”601的位置上。接着，如图16(c)所示，脸部部位标记ui203将配置的脸部部位标记601的构成点620作为脸部部位“眼”601的特征点610而设定于脸部图像。

由此，即使在脸部部位的识别中失败了的情况，也能够容易地设定脸部部位601的特征点610。即，脸部部位标记的ui500也可以说是能够容易设定脸部部位601的特征点610的ui。

＜分析区域设定部的详细＞

图17表示肌肤分析区域的ui700的一例。接着，参照图17，针对肌肤分析区域部204进行详细说明。

分析区域设定部204基于各脸部部位标记301的位置，对脸部图像设定肌肤分析区域。或者，分析区域设定部204也可以基于脸部部位的特征点，对脸部图像设定肌肤分析区域。此外，该脸部部位的特征点也可以是通过脸部部位标记的ui400修正后的特征点。

分析区域设定部204如图17所例示，可以将发际线的脸部部位标记301f与眉的脸部部位标记301d之间设定为额头的肌肤分析区域701a。另外，分析区域设定部204可以将眼的脸部部位标记301a的下方的预定区域设定为眼周的肌肤分析区域701b。另外，分析区域设定部204可以将鼻的脸部部位标记301b的重叠区域设定为鼻的肌肤分析区域701c。另外，分析区域设定部204可以将口的脸部部位标记301c的左右的预定区域设定为唇周的肌肤分析区域701d。另外，分析区域设定部204可以将脸部的轮廓线的脸部部位标记301e、眼的脸部部位标记301a、鼻的脸部部位标记301b以及口的脸部部位标记301c所包围的预定区域设定为脸颊的肌肤分析区域701e。

此外，脸部部位标记ui部203如图17所示，可以生成包含由分析区域设定部204设定的肌肤分析区域、脸部图像以及脸部部位标记的肌肤分析区域的ui700，并显示于显示器102。由此，用户2能够判断肌肤分析区域是否被正确地设定。

另外，脸部部位标记ui部203可以与脸部部位标记的ui400一起显示由分析区域设定部204设定的肌肤分析区域。该情况下，分析区域设定部204可以根据脸部部位标记的修正，实时地对肌肤分析区域进行再设定。而且，脸部部位标记ui部203也可以将该再设定的肌肤分析区域实时地显示于脸部部位标记的ui400。由此，用户2能够修正脸部部位标记，以使得正确设定肌肤分析区域。

另外，肌肤分析执行部205可以对如上所述设定的各肌肤分析区域适用公知的图像处理技术，进行肌肤分析。肌肤分析执行部205可以对不同的肌肤分析区域执行不同的肌肤分析。例如，肌肤分析执行部205可以对额头的肌肤分析区域701a、眼周的肌肤分析区域701b、以及唇周的肌肤分析区域701d分析皱纹的量。另外，肌肤分析执行部205可以对鼻的肌肤分析区域701c分析毛孔的量。另外，肌肤分析执行部205可以对脸颊的肌肤分析区域701e分析斑以及毛孔的量。

＜附注＞

在脸部部位识别部202中脸部图像中的脸部部位的识别中失败了的情况下，可以将该脸部图像与通过脸部部位标记ui部203的操作配置的脸部部位标记的位置等的信息进行关联。而且，通过使利用了该对应关系的机器学习实机化，也能够提高脸部部位识别部202的脸部部位识别的精度。

另外，以上说明中，例示了，脸部部位标记ui部203在图7的s107中显示如图8到图10的ui300所示的画面，使用户2确认脸部部位与脸部部位标记的位置关系。但是，脸部部位标记ui部203也可以在图7的s107中，显示图17所例示的包含肌肤分析区域的画面，使用户2确认脸部部位、脸部部位标记以及肌肤分析区域的位置关系。

＜本公开的总结＞

在本实施方式中，肌肤分析装置10具备：脸部部位识别部202，从摄像头101拍摄到的用户2的脸部图像识别脸部部位；脸部部位标记ui部203，使在脸部图像配置有表示脸部部位的脸部部位标记301的脸部部位标记的ui显示于显示器102，受理对脸部部位标记301的操作；分析区域设定部204，基于被操作的脸部部位标记301的位置，对脸部图像设定肌肤分析区域；肌肤分析执行部205，对所设定的肌肤分析区域执行肌肤分析。根据该构成，能够得到例如以下的(1)以及(2)的那样的作用效果。

(1)在专利文献1所代表的以往的构成中，在拍摄到超出脸部部位识别部202的容许范围的脸部图像的情况下，在脸部部位的识别中失败，无法设定肌肤分析区域。典型地，在由于头发使脸部部位的一部分隐藏地被拍摄到的情况下，或者在侧脸部的脸部图像的拍摄时侧脸部的角度变得过深而眼等的脸部部位没有被拍摄到等情况下，在脸部部位的识别中失败。而根据本实施方式的肌肤分析装置10，通过脸部部位标记ui部203的操作设定(修正)与脸部部位相关的信息，能够设定肌肤分析区域。

(2)在以往的构成中，由于肌肤分析区域所含有的毛发区域会给肌肤分析结果带来影响，所以在美容皮肤科等的医疗实践中，将毛发区域从肌肤分析区域排除在外成为了课题之一。对此，根据本实施方式的肌肤分析装置10，由于能够通过脸部部位标记ui部203的操作指定头发的发际线等脸部部位，所以能够将毛发区域简单且适当排除在外。

以上，针对本公开的实施方式参照附图进行了详述，但是上述的肌肤分析装置10的功能也能够通过计算机程序实现。

图18是表示通过程序实现各装置的功能的计算机的硬件构成的图。该计算机2100具备：键盘或鼠标、触摸面板等的输入装置2101、显示器或扬声器等的输出装置2102、cpu(centralprocessingunit)2103、rom(readonlymemory)2104、ram(randomaccessmemory)2105、硬盘装置或ssd(solidstatedrive)等的存储装置2106、从dvd－rom(digitalversatilediskreadonlymemory)或usb(universalserialbus)存储器等的记录介质读取信息的读取装置2107、经由网络进行通信的通信装置2108，各部通过总线2109连接。

而且，读取装置2107从记录有用于实现上述各装置的功能的程序的记录介质读取该程序，并存储于存储装置2106。或者，通信装置2108与连接于网络的服务器装置进行通信，将从服务器装置下载下来的用于实现上述各装置的功能的程序存储于存储装置2106。

而且，cpu2103将存储装置2106所存储的程序复制到ram2105，将该程序所包含的命令从ram2105依次读出并执行，由此实现上述各装置的功能。

本公开能够由软件、硬件、或与硬件联合的软件实现。

上述实施方式的说明中使用的各功能块，部分或整体上实现为作为集成电路的lsi，上述实施方式中说明的各工序(process)，也可以部分或整体受到一个lsi或lsi的组合控制。lsi可以由一个个芯片构成，也可以以包含功能块的一部分或全部的方式由一个芯片构成。lsi也可以具备数据的输入和输出。lsi根据集成度的不同有时也被称呼为ic、系统lsi、超大(super)lsi、甚超大(ultra)lsi。

集成电路化的方法不限于lsi，也可以由专用电路、通用处理器或专用处理器实现。另外，也可以在lsi制造后，利用能够编程的fpga(fieldprogrammablegatearray)、和/或能够重构lsi内部的电路单元的连接和/或设定的可重构处理器。本公开可以实现为数字处理或模拟处理。

进而，若由于半导体技术的进步或派生的其他技术而出现代替lsi的集成电路化的技术，当然，也可以利用该技术进行功能块的集成化。生物技术的适用等是有可能的。

产业上的可利用性

本公开的一技术方案对识别人体的部位的系统是有用的。