智能人脸的痘痘和色斑分析方法、装置及存储介质与流程

1.本技术涉及图像以及人工智能技术领域，具体涉及一种智能人脸的痘痘和色斑分析方法、装置及存储介质。


背景技术：

2.随着经济的发展，人们越来越在意自己的皮肤状况，人脸肤质分析在我们日常生活中的重要性不断提升。不同的皮肤状况对应着不同的护肤方式以及不同类型的化妆品，例如油性肌肤应该选择控油的洗面奶等。然而现实生活中很多人无法对自己的皮肤状况有一个清晰的认知，而轻视了自身与产品的匹配度，很容易造成“越保养越糟糕”的局面。所以在使用化妆品或者护肤前了解自己的皮肤状况很重要。
3.现有的痘痘和色斑分析方法一般基于专业人士(例如医生或美容师)进行人工分析，分析依赖人员的专业水平，并且成本高。


技术实现要素：

4.本技术实施例提供了一种智能人脸的痘痘和色斑分析方法、装置及存储介质，可以实现自动分析痘痘和色斑，降低成本，提高用户体验度。
5.第一方面，本技术实施例提供一种智能人脸的痘痘和色斑分析方法，所述方法应用于电子设备，所述方法包括如下步骤：
6.电子设备采集目标对象的人脸图像；
7.电子设备对人脸图像进行预处理，执行摆正对齐后分割出人脸区域图像；
8.将人脸区域图片输入到预设的人脸色斑与痘痘严重程度分类模型执行分类计算得到分类结果，依据该分类结果确定色斑与痘痘严重程度等级。
9.第二方面，提供一种人脸色斑与痘痘严重程度分类模型的训练方法，所述方法包括：
10.收集人脸图像，所述人脸图像标注有痘痘及色斑严重程度的标签信息，构建数据集；
11.对所述人脸图像进行预处理，分割出人脸区域并摆正对齐得到人脸区域图片；
12.将所述人脸区域图片输入到预先建立的初始神经网络模型；将该人脸区域图片作为训练数据训练所述初始神经网络模型，得到人脸色斑与痘痘严重程度分类模型。
13.第三方面，提供一种智能人脸的痘痘和色斑分析装置，所述装置应用于电子设备，所述方法包括如下步骤：
14.采集单元，用于采集目标对象的人脸图像；
15.处理单元，用于对人脸图像进行预处理，执行摆正对齐后分割出人脸区域图像；将人脸区域图片输入到预设的人脸色斑与痘痘严重程度分类模型执行分类计算得到分类结果，依据该分类结果确定色斑与痘痘严重程度等级。
16.第四方面，提供一种人脸色斑与痘痘严重程度分类模型的训练装置，所述装置包
括：
17.收集单元，用于收集人脸图像，所述人脸图像标注有痘痘及色斑严重程度的标签信息，构建数据集；
18.处理单元，用于对所述人脸图像进行预处理，分割出人脸区域并摆正对齐得到人脸区域图片；
19.训练单元，用于将所述人脸区域图片输入到预先建立的初始神经网络模型；将该人脸区域图片作为训练数据训练所述初始神经网络模型，得到人脸色斑与痘痘严重程度分类模型。
20.第五方面，提供一种计算机可读存储介质，其存储用于电子数据交换的程序，其中，所述程序使得终端执行第一方面或第二方面提供的方法。
21.第六方面，提供一种计算机程序产品，其中，所述计算机程序产品使得终端执行第一方面或第二方面提供的方法。
22.实施本技术实施例，具有如下有益效果：
23.可以看出，本技术提供的技术方案采用上述人脸色斑及痘痘严重程度分类模型训练方法，能够根据带有色斑及痘痘标注信息的人脸数据集，训练得到所需的人脸色斑与痘痘严重程度分类模型。采用上述脸色斑与痘痘严重程度检测方法，可以获取待检测人脸图像的色斑及痘痘严重程度信息。这样自动实现了对色斑及痘痘的严重程度进行了分类的处理，降低了成本，提高了用户体验度。
附图说明
24.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
25.图1为本技术提供的一种电子设备的结构示意图。
26.图2为本技术提供的一种智能人脸的痘痘和色斑分析方法的流程示意图。
27.图3为本技术提供的一种人脸色斑与痘痘严重程度分类模型的训练方法的流程示意图。
28.图4为本技术提供的一种智能人脸的痘痘和色斑分析装置的结构示意图。
29.图5为本技术提供的一种人脸色斑与痘痘严重程度分类模型的训练装置的结构示意图。
具体实施方式
30.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
31.本技术的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它
们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
32.在本文中提及“实施例”意味着，结合实施例描述的特定特征、结果或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
33.参阅图1，图1提供了一种电子设备，该电子设备具体可以包括：处理器、存储器、摄像头和显示屏，上述部件可以通过总线连接，也可以通过其他方式连接，本技术并不限制上述连接的具体方式。在实际应用中，上述电子设备具体可以为智能手机、个人计算机、服务器、平板电脑、智能电视、智能换装镜等等。
34.参阅图2，图2提供了一种智能人脸的痘痘和色斑分析方法，该方法可以由入图1所示的电子设备执行，该电子设备可以包括：人脸色斑与痘痘严重程度分类模型，该人脸色斑与痘痘严重程度分类模型可以参加下述如图3所示实施例的方式，这里不再赘述，该智能人脸的痘痘和色斑分析方法如图2所示，包括如下步骤：
35.步骤s201、电子设备采集目标对象的人脸图像。
36.示例的，上述步骤中的人脸图像即用户在使用过程中拍摄后上传的人脸图像。上述目标对象具体可以为需要判断痘痘及色斑严重程度的用户，例如张三，李四等等。
37.步骤s202、电子设备对人脸图像进行预处理，执行摆正对齐后分割出人脸区域图像；
38.对于人脸数据集中的人脸图像可能会包含人脸以外的环境信息，而且人脸在图像中的位置也互不相同，人脸的姿态也可能不一致。为了方便后续对神经网络的训练，需要对人脸图像数据集中的图像进行预处理，将人脸区域切割出来并摆正对齐。具体步骤为：
39.将人脸图像输入人脸关键点检测模型，获取人脸关键点。
40.上述人脸关键点检测模型通常为基于深度学习的方法，例如face-alignment、mtcnn等，包含人脸下颌线、眼、眉、鼻、嘴等部位的多个(例如68或其他数值)关键点。
41.根据获取到的关键点将人脸图像进行摆正对齐。具体的，
42.首先，根据左右眼间连线的角度确定人脸倾斜的角度，然后使用图像旋转的方法人脸摆正。然后，根据左右侧脸部关键点确定人脸左右侧的位置；根据下巴关键点信息确定人脸下部的位置；根据眼部关键点坐标及下巴坐标估计额头长度，确定人脸上部的位置。最后根据获取到的人脸位置信息将人脸部位切割出来得到人脸区域图像。
43.步骤s203、将人脸区域图片输入到预设的人脸色斑与痘痘严重程度分类模型执行分类计算得到分类结果，依据该分类结果确定色斑与痘痘严重程度等级。
44.本技术提供的技术方案采用上述人脸色斑及痘痘严重程度分类模型训练方法，能够根据带有色斑及痘痘标注信息的人脸数据集，训练得到所需的人脸色斑与痘痘严重程度分类模型。采用上述脸色斑与痘痘严重程度检测方法，可以获取待检测人脸图像的色斑及痘痘严重程度信息。这样自动实现了对色斑及痘痘的严重程度进行了分类的处理，降低了成本，提高了用户体验度。
45.参阅图3，图3提供了一种人脸色斑与痘痘严重程度分类模型的训练方法，该方法
可以在如图1所示的电子设备内执行，当然为了提高训练的效率，也可以在服务器或计算中心执行，本技术并不限制上述方法的执行主体，该方法如图3所示，包括如下步骤：
46.步骤s301、收集人脸图像，所述人脸图像标注有痘痘及色斑严重程度的标签信息，构建数据集。
47.其具体步骤为：
48.人脸图像为包含人脸的图像，通常通过手机、相机等拍摄设备在正常光照下拍摄获取，一张图像只有一张人脸，且人脸的位置应当大致为正立。人脸的区域不能过小。
49.获取到人脸图像后，采用人工方式对其进行标注。根据人脸区域色斑数量的不同，将人脸图像分别标注为无色斑、轻度色斑、中度色斑、重度色斑。根据人脸区域痘痘数量的不同，将人脸图像分别标注为无痘痘、轻度痘痘、中度痘痘、重度痘痘。每张人脸图像分别标注一个色斑标签与一个痘痘标签。
50.以上所述人脸图像与标签信息构成了人脸图像数据集，将人脸数据集划分为训练集、验证集、测试集三个部分，三个部分的比例大致为6:2:2。
51.步骤s302、对所述人脸图像进行预处理，分割出人脸区域并摆正对齐。
52.以上所述的人脸数据集中的人脸图像可能会包含人脸以外的环境信息，而且人脸在图像中的位置也互不相同，人脸的姿态也可能不一致。为了方便后续对神经网络的训练，需要对人脸图像数据集中的图像进行预处理，将人脸区域切割出来并摆正对齐。具体步骤为：
53.将人脸图像输入人脸关键点检测模型，获取人脸关键点。所述人脸关键点检测模型通常为基于深度学习的方法，例如face-alignment、mtcnn等，包含人脸下颌线、眼、眉、鼻、嘴等部位的68个关键点。
54.根据获取到的关键点将人脸进行摆正。首先，根据左右眼间连线的角度确定人脸倾斜的角度，然后使用图像旋转的方法人脸摆正。然后，根据左右侧脸部关键点确定人脸左右侧的位置；根据下巴关键点信息确定人脸下部的位置；根据眼部关键点坐标及下巴坐标估计额头长度，确定人脸上部的位置。最后根据获取到的人脸位置信息将人脸部位切割出来。
55.步骤s303、将所述人脸图像输入到预先建立的初始神经网络模型。
56.在对人脸图像进行预处理后，可以将人脸图像输入到预先建立的初始神经网络模型，以便利用人脸图像对初始神经网络模型进行训练。在将人脸图像输入到神经网络模型之前，还需要将人脸图像缩放至预设尺寸，便于神经网络对相同尺寸的人脸图像进行学习，提高模型的训练效率。
57.在图像处理领域，通常采用卷积神经网络模型进行模式识别。我们使用在分类应用中表现比较好的resnet作为初始神经网络模型，也可以采用其他深度卷积神经网络模型。采用模型在大型人脸数据集上预训练的参数对模型进行初始化。
58.使用卷积神经网络用于分类任务时，神经网络模型可以大致分类特征提取器与分类器两个模块。特征提取模块通常包含多个卷积层、池化层、批归一化层、非线性激活层等，经过这些神经网络层将一张人脸图像映射为一个多维向量，成为人脸特征向量。分类模块通常为全连接层与softmax层，将人脸特征向量输入分类器，可以得到一个与类别数长度相同的向量，在这里即为4，分别对应无、轻、中、重这四个类别。
59.对于痘痘严重程度分类与色斑严重程度分类这两个任务，可以分别训练两个模型进行分类。也可以采用多任务训练的方法，训练一个模型，模型的特征提取模块参数相同，但是使用不同分类层参数。
60.步骤s304、利用所述经过摆正对齐的人脸图像训练所述初始神经网络模型，得到人脸色斑与痘痘严重程度分类模型。
61.由于痘痘及色斑数据通常具有数据不均衡的特点，也就是说，数据集中大量数据属于无或轻度这两个类别，而中度、重度这两个类别的数据比较少，这会导致神经网络倾向于把人脸判断为无或轻度，造成性能下降。可以采用数据重采样或者降采样的方法降低这一问题的影响。
62.采用反向传播的方法对神经网络模型进行训练。损失函数为交叉熵损失或者focal loss损失。采样随机梯度下降优化器对神经网络模型的参数进行优化。具体来说，网络的特征提取模块充分学习人脸图像中的色斑及痘痘的相关特征，根据学习到的相关特征，全连接层可以对相关特征进行映射，得到色斑及痘痘的严重程度的分类结果。将神经网络得到的分类结果与人脸图像预先标注的色斑及痘痘的严重程度进行比较，可以对神经网络的参数进行优化。网络模型经过较多训练样本的迭代训练后，可以获得人脸色斑与痘痘严重程度分类模型。
63.本技术采用神经网络对图像进行全局分类的方式来进行肤质分析，具体来说包括痘痘以及色斑严重程度分析。我们的神经网络选择的是对图像抽取特征能力更加强的resnet，提取完特征后，将特征向量接入不同的线性层，从而对不同的皮肤问题进行分类处理。本技术的技术方案具有如下特点：
64.本技术的技术方案整个皮肤检测的过程是自动化的，不需要额外的人力物力耗费，每张图片的结果产出只需要毫秒级别的时间；速度快、成本低。
65.本技术的技术方案的模型可以部署在服务器上，在诸如手机等智能移动端中使用应用程序与服务器通信，可以方便地随时随地进行检测；
66.本技术的技术方案是借助强大的神经网络来自动提取图像特征进行端到端检测，不需要人为定义特征，可以更好地建模图像特征。与人脸局部检测相比，我们的人脸全局图像分类任务可以更好地掌控人脸全局信息，而不是局限于局部信息的提取，可以更好地判断人脸肤质。
67.参阅图4，图4提供了一种智能人脸的痘痘和色斑分析装置，所述装置应用于电子设备，所述方法包括如下步骤：
68.采集单元401，用于采集目标对象的人脸图像；
69.处理单元402，用于对人脸图像进行预处理，执行摆正对齐后分割出人脸区域图像；将人脸区域图片输入到预设的人脸色斑与痘痘严重程度分类模型执行分类计算得到分类结果，依据该分类结果确定色斑与痘痘严重程度等级。
70.示例的，所述处理单元，具体用于将人脸图像输入人脸关键点检测模型，获取多个人脸关键点；根据获取到的关键点将人脸图像进行摆正对齐。
71.示例的，所述处理单元，具体用于根据左右眼间连线的角度确定人脸倾斜的角度，使用图像旋转的方法将人脸摆正；根据左右侧脸部关键点确定人脸左右侧的位置；根据下巴关键点信息确定人脸下部的位置；根据眼部关键点坐标及下巴坐标估计额头长度，确定
人脸上部的位置完成对齐。
72.参阅图5，图5提供了一种人脸色斑与痘痘严重程度分类模型的训练装置，所述装置包括：
73.收集单元501，用于收集人脸图像，所述人脸图像标注有痘痘及色斑严重程度的标签信息，构建数据集；
74.处理单元502，用于对所述人脸图像进行预处理，分割出人脸区域并摆正对齐得到人脸区域图片；
75.训练单元503，用于将所述人脸区域图片输入到预先建立的初始神经网络模型；将该人脸区域图片作为训练数据训练所述初始神经网络模型，得到人脸色斑与痘痘严重程度分类模型。
76.本技术实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任何一种方法的部分或全部步骤。
77.本技术实施例还提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序可操作来使计算机执行如上述方法实施例中记载的任何一种方法的部分或全部步骤。
78.需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本技术并不受所描述的动作顺序的限制，因为依据本技术，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本技术所必须的。
79.在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
80.以上对本技术实施例进行了详细介绍，本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的方法及其核心思想；同时，对于本领域的一般技术人员，依据本技术的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本技术的限制。