基于深度学习与生成对抗网路的人脸肤质分析方法及系统与流程

本发明属于图像处理技术领域，具体涉及基于深度学习与生成对抗网路的人脸肤质分析方法及系统。

背景技术：

过去数十年，已有许多深度学习的相关研究，但由于所需的训练资料庞大，因此许多研究无法实现。在最近几年，由于大数据与互联网的发展，研究者可以获得大量的训练资料，因此深度学习技术开始迅速发展。随着直播丶短视频的风行，人脸效果丶编修的商业应用被投入大量的目光与研究资料。

然而，目前的人脸分析研究少有针对皮肤细节进行分析，由于人脸皮肤数据为较隐私丶牵涉医疗行为的部分，资料取得不易，过去的方法多用不需大量数据的传统图像处理技术，其效果有限，因此，如何利用深度学习在有限的数据下进行人脸皮肤之分析成为一个重要的研究课题。

技术实现要素：

针对现有技术中的缺陷，本发明提供基于深度学习与生成对抗网路的人脸肤质分析方法及系统，能够针对人脸皮肤细节进行分析，结合生成对抗网路针对不同特性的皮肤，利用有限的资料做训练资料的生成，获得更好的训练效果。

一种基于深度学习与生成对抗网路的人脸肤质分析方法，包括：

图像获取步骤：获取待分析人脸图像；

划分区块步骤：对所述待分析人脸图像进行分析，根据各个器官对所述待分析人脸图像划分皮肤区块；

分析步骤：将不同的皮肤分析器导入不同的皮肤区块中，皮肤分析器用于分析对应的皮肤区块中的皮肤状态；

结果输出步骤：输出所有皮肤分析器的分析结果。

优选地，所述划分区块步骤中，通过人脸关键点侦测和皮肤区块切割算法，对所述待分析人脸图像划分皮肤区块。

优选地，所述划分区块步骤中，划分的皮肤区块包括额头、脸颊、鼻子、眼睛和嘴巴。

优选地，所述分析步骤中，所述皮肤分析器的训练方法包括：

获得待训练资料，建立人脸资料库；

生成对抗网路，对所述人脸资料库中待训练资料进行学习，学习待训练资料中人脸的纹理讯息，产生训练数据；

过滤训练数据，获分布平均的训练数据，形成所述皮肤分析器。

优选地，所述结果输出步骤中，通过显示屏显示所述皮肤分析器的分析结果。

一种基于深度学习与生成对抗网路的人脸肤质分析系统，适用于上述基于深度学习与生成对抗网路的人脸肤质分析方法，包括：

图像获取模块：用于获取待分析人脸图像；

划分区块模块：用于对待所述分析人脸图像进行分析，根据各个器官对所述待分析人脸图像划分皮肤区块；

分析模块：用于将不同的皮肤分析器导入不同的皮肤区块中，皮肤分析器用于分析对应的皮肤区块中的皮肤状态；

结果输出模块：用于输出所有皮肤分析器的分析结果。

优选地，所述图像获取模块包括摄像头，所述待分析人脸图像通过摄像头拍摄获得。

优选地，所述基于深度学习与生成对抗网路的人脸肤质分析系统设置于镜子或移动终端中；所述结果输出模块包括设置在镜子或移动终端上的显示屏，所述皮肤分析器的分析结果通过显示屏显示。

优选地，还包括：语音交互模块和网络通讯模块；

所述语音交互模块用于通过所述网络通讯模块连接网络，语音交互模块用于播放所述皮肤分析器的分析结果，还用于实现与用户的实时在线交互。

优选地，所述语音交互模块与用户的实时在线交互包括：提供化妆或护肤建议、查询当日用户行程表、查询当日气象或与用户聊天对话。

由上述技术方案可知，本发明提供的基于深度学习与生成对抗网路的人脸肤质分析方法及系统，在人脸肤质资料取得不易、分布不拘的情况下，透过生成对抗网路产生辅助资料，利用深度学习的模型取代传统图像处理算法于肤质分析的应用，能够针对人脸皮肤细节进行分析，结合生成对抗网路针对不同特性的皮肤，利用有限的资料做训练资料的生成，获得更好的训练效果。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。

图1为人脸肤质分析方法中图像获取步骤和划分区块步骤的流程图。

图2为人脸肤质分析方法中皮肤分析器的分类图。

图3为人脸肤质分析方法中分析步骤的流程图。

图4为人脸肤质分析系统中语音交互模块的结构框图。

具体实施方式

下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只作为示例，而不能以此来限制本发明的保护范围。需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。

实施例：

随着手机app与互联网的发展，产生众多的图像编修直播应用。目前的应用多为使用图像滤镜或贴图美化画面，极少针对人脸皮肤进行分析与优化之应用。因此，本发明要基于电脑视觉算法，针对人脸皮肤细节(如痘痘、皱纹、黑痣、毛孔粗大、皮肤油光、皮肤干燥、黑眼圈等)进行分析。

美妆智能助理也是目前人工智能产业火红的项目，但美妆智能助理在生活中的应用常常不是刚需。对于女性而言，多数女性每天都会花数十分钟在镜子前或透过行动装置摄像头整理仪容，此为生活之刚需，因此透过肤质侦测，整合美妆智能助理，是一个非常好的商业应用。为此本发明通过整合美妆智能助理，设计一美妆智能助理。由于深度学习需要大量训练资料，但皮肤细节资料取得不易，因此本发明亦结合生成对抗网路针对不同特性的皮肤，利用有限的资料做训练资料的生成，帮助本发明获得更好的训练效果。

本发明中提出一个利用深度学习进行皮肤肤质分析的架构，同时解决皮肤肤质训练资料取得不易的问题，且设计一智能助理产品。本架构分为三个阶段，第一阶段利用人脸侦测、人脸关键点、皮肤侦测进行皮肤区域定位，藉此区分脸部不同的区块以进行后续分析。第二阶段进行皮肤的细部分析，输出此区域皮肤的分析结果。第三阶段为与使用者互动之美妆智能助理。

一种基于深度学习与生成对抗网路的人脸肤质分析方法，如图1-4所示，包括：

图像获取步骤：获取待分析人脸图像；

划分区块步骤：对所述待分析人脸图像进行分析，根据各个器官对所述待分析人脸图像划分皮肤区块；

分析步骤：将不同的皮肤分析器导入不同的皮肤区块中，皮肤分析器用于分析对应的皮肤区块中的皮肤状态；

结果输出步骤：输出所有皮肤分析器的分析结果。所述结果输出步骤中，通过显示屏显示所述皮肤分析器的分析结果。

该方法在人脸肤质资料取得不易、分布不拘的情况下，透过生成对抗网路产生辅助资料，利用深度学习的模型取代传统图像处理算法于肤质分析的应用，能够针对人脸皮肤细节进行分析，结合生成对抗网路针对不同特性的皮肤，利用有限的资料做训练资料的生成，获得更好的训练效果。

第一阶段，所述划分区块步骤中，通过成熟的人脸关键点侦测和皮肤区块切割算法，对所述待分析人脸图像划分皮肤区块。划分的皮肤区块包括额头、左右脸颊、鼻子、左右眼周围、嘴巴周遭。由于各区块皮肤之分析重点不同，因此将不同的皮肤分析器导入不同的皮肤区块中，皮肤分析器用于分析对应的皮肤区块中的皮肤状态。例如，左右脸颊之区块导入皱纹、痘痘、黑斑、皮肤油光、皮肤干燥、毛孔粗大等分类器，眼睛周围皮肤区块，导入黑眼圈、眼袋分类器。

第二阶段，为各项皮肤分析分类器之训练，此部分为本发明之核心，利用卷积神经网络训练各皮肤相关分类器，例如，皱纹、痘痘、黑斑、皮肤油光、皮肤干燥、毛孔粗大、黑眼圈、眼袋等。由于皮肤细部资料碍于个人隐私，不易取得，通过互联网获取到的人脸图像多为美化过的图像，一般只搜集到皮肤状况好的数据，较少皮肤状况差的数据，这种数据不平衡的现象，会对分类器的训练造成不好的影响，因此本发明获得待训练资料，建立人脸资料库；生成对抗网路，对所述人脸资料库中待训练资料进行学习，学习待训练资料中人脸的纹理讯息，产生训练数据；过滤训练数据，可以是人工方式过滤，获分布平均的训练数据，形成所述皮肤分析器。

第三阶段，利用肤质分析之结果，与美妆智能助理整合设计一美妆智能助理，即基于深度学习与生成对抗网路的人脸肤质分析系统，，适用于上述基于深度学习与生成对抗网路的人脸肤质分析方法，包括：

图像获取模块：用于获取待分析人脸图像；

划分区块模块：用于对待所述分析人脸图像进行分析，根据各个器官对所述待分析人脸图像划分皮肤区块；

分析模块：用于将不同的皮肤分析器导入不同的皮肤区块中，皮肤分析器用于分析对应的皮肤区块中的皮肤状态；

结果输出模块：用于输出所有皮肤分析器的分析结果。

此产品以两种实体载体呈现：一、智能镜子，二、手机应用。所述图像获取模块包括摄像头，所述待分析人脸图像通过摄像头拍摄获得。

所述基于深度学习与生成对抗网路的人脸肤质分析系统设置于镜子或移动终端中；所述结果输出模块包括设置在镜子或移动终端上的显示屏，所述皮肤分析器的分析结果通过显示屏显示。

还包括：语音交互模块和网络通讯模块；

所述语音交互模块用于通过所述网络通讯模块连接网络，语音交互模块用于播放所述皮肤分析器的分析结果，还用于实现与用户的实时在线交互。

所述语音交互模块与用户的实时在线交互包括：提供化妆或护肤建议、查询当日用户行程表、查询当日气象或与用户聊天对话。

此智能助理安装有一摄像头，与一屏幕(智能镜子投影在镜子本身，镜子上设有显示屏，手机应用则叠加在显示屏上)，并具有语音功能连接互联网。当摄像头侦测并分析脸部皮肤状况后，会将分析结果呈现于屏幕上，并利用语音方法告知使用者，并与用户互动，提出化妆丶保养建议，同时，也可以在用户整理仪容之同时，在屏幕上显示用户当日之行程表与当日气象，增进用户黏性。以下举例说明该系统的应用。

应用场景一：家中化妆台

以智能镜子为载体，可置放于家中化妆台，用户出门前于镜子前整理仪容时，此美妆智能助理可分析用户肤质，透过美妆智能助理、语音智能助理做化妆、保养建议，并提示当日行程。

应用场景二：手机app

以手机app为载体，用户可于通勤时，利用手机摄像头确认自己的仪容与肤质状况，美妆智能助理会提供建议决定是否需要补妆，并同时提醒接下来的行程。

应用场景三：商场(例如百货公司专柜)

以智能镜子为载体，放置于百货公司化妆品专柜，顾客可于专柜前照镜子，此美妆智能助理会分析顾客脸部肤质状况，推荐顾客适合的化妆品或保养品，并可连线专柜的客户系统，结合人脸辨识自动查询顾客过去的消费记录，了解顾客惯用的化妆品、保养品品牌与购买状况，做出更精准的建议。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。