一种基于深度学习技术的护肤效果检测方法及检测装置与流程

1.本发明涉及图像处理领域，特别是一种基于深度学习技术的护肤效果检测方法及检测装置。


背景技术：

2.随着人们生活水平的提高，在满足基本的衣食住行需求后，人们对外在形象提升的需求越来越突出，尤其是面部肌肤的养护，形成了一个巨大的消费市场。
3.护肤形式根据专业性由低到高依次为：居家日常护理、美容院专业护理、医疗美容，不同的产品、不同的护肤手段效果不通，但市场上一直没有一种精确的护肤效果评估方法。
4.目前市场的皮肤检测仪器，以检测方式分为局部检测和全脸检测两种。
5.局部检测才用的手段是对局部皮肤进行高倍的放大，精确度较高，但不同位置的面部肌肤可能差异较大，比较难做到前后两次定位到同一检测位置，无法精准的进行护肤前后的效果对比。
6.全脸检测由各种类型的魔镜组成，检测数据比较全面，但普遍精度不够，比如同一个人，在同一时间连续做两次检测，前后的数据偏差往往在5％以上，同样无法精准的进行护肤前后的效果对比。
7.随着手机摄像技术的发展，手机的后置摄像头拍摄精度越来越高(最高可达1亿像素)，图像的清晰度基本能满足图像分析的需求。同时，人工智能领域的深度学习技术迎来大发展，各种人脸识别技术应用在各个领域，基础算法也为本发明的检测精度提供了坚实基础。
8.有鉴于此，有必要提出一种方便实现对皮肤护理前后的差异精准测量评估的方法。


技术实现要素：

9.本发明的目的是提供一种基于深度学习技术的护肤效果检测方法，以解决现有技术中的不足，它能够基于深度学习技术，通过对比分析皮肤护理前后皮肤图像的差异，对护肤效果做出精准测量，给出客观的评估。
10.本发明的第一方面提供了一种基于深度学习技术的护肤效果检测方法，包括：
11.s1：获取护理前初始皮肤图像；
12.s2：对初始皮肤图片预处理后进行矩阵分割以生成n*n个检测单元；
13.s3：通过人脸局部特征识别和卷积网络学习构建的基于深度学习的检测模型并用样本数据集训练检测模型；
14.s4：使用检测模型对每一检测单元进行检测，以确定面部特征点位置和初始特征；
15.s5：获取护理后的护理皮肤图像；
16.s6：匹配护理皮肤图像与初始皮肤图像，根据面部特征点位置信息确定该面部特
征点在护理皮肤图像上相应位置并再次采用检测模型对护理皮肤图像上的该面部特征点进行检测以获取护理后状态；
17.s7：比对面部特征点的初始特征和护理后特征并生成护理报告。
18.可选的，步骤“s3：通过人脸局部特征识别和卷积网络学习构建的基于深度学习的检测模型并用样本数据集训练检测模型”具体包括：
19.s31：分别采集具有皮肤问题的正面图像，标注正面图像中存在皮肤问题的面部特征点，形成问题皮肤面部特征点样本数据集d1；
20.s32：训练检测模型，使用二段通道选择预训练方法，先从imagenet图像分类数据集dcls训练主干网络ηmain；再从isic公布的病灶边界分割数据集dlbs训练实例分割模型mpretrained；在问题皮肤面部特征点样本数据集d1上，选择实例分割模型mpretrained最优2个通道得到mpretrained_2；再训练得到检测模型ηdetect。
21.可选的，步骤“s4：使用检测模型对每一检测单元进行检测，以确定面部特征点位置和初始特征”具体包括：
22.s41：对每个检测单元预测m个目标检测框，预测每个目标检测框的目标区域起始位置横坐标x、纵坐标y、目标区域宽度w、高度h及该目标检测框的可靠度信息c；
23.s42：由检测模型ηdetect检测每一目标检测框并获得问题皮肤特征点位置及初始特征数据。
24.可选的，可靠度信息c，其计算方法如下：
25.c＝p(o)*iout_p
26.其中p(o)表示目标检测框内是否包含目标区域，若有目标区域，则为1；若无目标区域，则为0。iout_p表示预测的目标区域与实际目标区域之间的重叠部分，若目标检测框内无目标区域，则c为0，否则c表示预测目标区域与实际目标区域的交集比。
27.可选的，步骤“s42：由检测模型ηdetect检测每一目标检测框并获得问题皮肤特征点位置及初始特征数据”包括：
28.s421：由检测模型ηdetect检测分割的问题面部特征点分布图并获得问题面部特征点数量ns，并有第i个问题面部特征点的面积ai、位置(xi，yi)；
29.s422：获取第i个问题面部特征点相邻的面部特征点j的面积aj、位置(xj，yj)；
30.s423：根据第i个面部特征点与相邻的第j个面部特征点的面积及位置关系确定初始特征并根据初始特征确定问题皮肤特征点问题类型。
31.可选的，步骤“s423：根据第i个面部特征点与相邻的第j个面部特征点的面积及位置关系确定初始特征并根据初始特征确定问题皮肤特征点问题类型”包括：
32.s4231：若第i个面部特征点与相邻的第j个面部特征点成线性连续，且相邻的面部特征点成线性连续的长度超过第一预定值k，则指示为皱纹并记录皱纹数量与长度；
33.s4232：若第i个面部特征点与相邻的第j个面部特征点呈片状近似且不连续，且第i个面部特征点和第j个面部特征点rgb颜色在黄色到深棕色区间，则指示该区域内存在斑点，记录斑点大小及颜色深浅；
34.s4233：若第i个面部特征点与相邻的第j个面部特征点呈圆形近似，且圆形直径低于0.5mm，则实施该区域内为毛孔；
35.s4234：若第i个面部特征点与相邻的第j个面部特征点连续且呈圆形近似，且圆形
直径超过1mm，则实施该区域内为痤疮。
36.可选的，步骤“s4：使用检测模型对每一检测单元进行检测，以确定面部特征点位置和初始特征”还包括：
37.s43：采集检测单元的rgb颜色信息，并根据颜色信息评估检测单元区域肤色。
38.可选的，步骤“s5：获取护理后的护理皮肤图像”具体包括：
39.s51：通过图片采集器采集多张人脸照片，包括但不限于正面、左侧面、右侧面图片；
40.s52：通过照片合成技术将以上采集到的多张人脸照片合成一张人脸完整图像。
41.可选的，“s6：匹配护理皮肤图像与初始皮肤图像，根据面部特征点位置信息确定该面部特征点在护理皮肤图像上相应位置并再次采用检测模型对护理皮肤图像上的该面部特征点进行检测以获取护理后状态”包括如下步骤：
42.s61：获取护理皮肤图像；
43.s62：将护理皮肤图像与初始皮肤图像在同一坐标系中；
44.s63：将护理皮肤图像上的特征点与初始皮肤图像上的特征点相对应以使护理皮肤图像与初始皮肤图像相匹配。
45.本发明的第二方面提供一种基于深度学习技术的护肤效果检测装置，包括：
46.图像采集单元，用于获取护理前初始皮肤图像及获取护理后的护理皮肤图像；
47.图像预处理单元，用于对初始皮肤图片预处理后进行矩阵分割以生成n*n个检测单元；
48.检测单元，用于通过人脸局部特征识别和卷积网络学习构建的基于深度学习的检测模型并用样本数据集训练检测模型，使用检测模型对每一检测单元进行检测，以确定面部特征点位置和初始特征；
49.评估单元，用于匹配护理皮肤图像与初始皮肤图像，根据面部特征点位置信息确定该面部特征点在护理皮肤图像上相应位置并再次采用检测模型对护理皮肤图像上的该面部特征点进行检测以获取护理后状态；比对面部特征点的初始特征和护理后特征并生成护理报告。
50.本发明的第三方面提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现上述任一所述方法的步骤。
51.本发明的第四方面提供一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述任一所述方法的步骤。
52.与现有技术相比，本发明通过手机等设备拍摄护理前后的图像信息，然后经深度学习算法获得的检测模型进行检测对护理前后的皮肤特征进行分析对比最终获得检测报告，能够及时准确高效的获取护理后的皮肤效果，方便的实现了使用。
附图说明
53.图1示出了本发明实施例公开的基于深度学习技术的护肤效果检测方法流程示意图；
54.图2示出了本发明实施例公开的基于深度学习技术的护肤效果检测方法中检测模
型训练过程示意图；
55.图3示出了本发明实施例公开的基于深度学习技术的护肤效果检测方法中检测过程的流程示意图；
56.图4示出了本发明实施例公开的基于深度学习技术的护肤效果检测装置的框架图；
57.图5示出了本技术一实施例的终端500的结构框图；
58.图6示出了本技术另一实施例的终端600的结构框图。
具体实施方式
59.下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
60.本发明的第一方面提供了一种基于深度学习技术的护肤效果检测方法。
61.作为第一方面的实施例，如图1所示，一种基于深度学习技术的护肤效果检测方法，包括：
62.s1：获取护理前初始皮肤图像。
63.在本实施了中在皮肤护理前拍照，可以用移动终端对顾客面部进行拍照，可以通过内置在系统小程序(或app)内的摄像模块借助手机摄像头进行图像的采集。按照系统中的提示进行拍照，分别拍摄正脸、左脸、右脸三张照片，并将照片上传到云端。
64.s2：对初始皮肤图片预处理后进行矩阵分割以生成n*n个检测单元；
65.s3：通过人脸局部特征识别和卷积网络学习构建的基于深度学习的检测模型并用样本数据集训练检测模型。
66.样本数据集分别采集不同种类的问题皮肤形成的样本数据集，其中包括皱纹样本数据集、痤疮样本数据集、毛孔样本数据集、毛孔样本数据集和斑点样本数据集。每一样本数据集内都存储有相应的问题皮肤图像以供模型的训练。
67.具体的，本步骤可以包括：
68.s31：分别采集具有皮肤问题的正面图像，标注正面图像中存在皮肤问题的面部特征点，形成问题皮肤面部特征点样本数据集d1；
69.如上所述可以对皮肤问题的面部特征点进行分类主要包括皱纹、痤疮、毛孔和斑点并分别形成相应的样本数据集，用相应的样本数据集对构建的检测模型进行训练。
70.s32：训练检测模型，使用二段通道选择预训练方法，先从imagenet图像分类数据集dcls训练主干网络ηmain；再从isic公布的病灶边界分割数据集dlbs训练实例分割模型mpretrained；在问题皮肤面部特征点样本数据集d1上，选择实例分割模型mpretrained最优2个通道得到mpretrained_2；再训练得到检测模型ηdetect。如图2所示。
71.s4：使用检测模型对每一检测单元进行检测，以确定面部特征点位置和初始特征。采用训练后的检测模型对护理前的图像进行检测，以确定在每一个检测单元内的问题面部特征点的位置和初始特征并对初始特征进行记录。
72.具体地，本步骤包括：
73.s41：对每个检测单元预测m个目标检测框，预测每个目标检测框的目标区域起始位置横坐标x、纵坐标y、目标区域宽度w、高度h及该目标检测框的可靠度信息c；
74.可靠度信息c，其计算方法如下：
75.c＝p(o)*iout_p
76.其中p(o)表示目标检测框内是否包含目标区域，若有目标区域，则为1；若无目标区域，则为0。iout_p表示预测的目标区域与实际目标区域之间的重叠部分，若目标检测框内无目标区域，则c为0，否则c表示预测目标区域与实际目标区域的交集比。
77.s42：由检测模型ηdetect检测每一目标检测框并获得问题皮肤特征点位置及初始特征数据.
78.如图3所示，步骤s42可以具体包括：
79.s421：由检测模型ηdetect检测分割得问题面部特征点分布图并获得问题面部特征点数量ns，并有第i个问题面部特征点的面积ai、位置(xi，yi)；
80.s422：获取第i个问题面部特征点相邻的面部特征点j的面积aj、位置(xj，yj)；
81.s423：根据第i个面部特征点与相邻的第j个面部特征点的面积及位置关系确定初始特征并根据初始特征确定问题皮肤特征点问题类型。
82.上述步骤“s423：根据第i个面部特征点与相邻的第j个面部特征点的面积及位置关系确定初始特征并根据初始特征确定问题皮肤特征点问题类型”，可以包括如下具体的判断过程：
83.s4231：若第i个面部特征点与相邻的第j个面部特征点成线性连续，且相邻的面部特征点成线性连续的长度超过第一预定值k，则指示为皱纹并记录皱纹数量与长度；其中第一预定值k为3mm。判断两者是否相邻可以通过问题面部特征点的位置的坐标进行体现，当两者坐标差异较小时表示两者为连续的，当两者坐标差异较大时则表示两者之间是存在间隔的。当连续的几个相邻的面部特征点的坐标都是连续的递增则可以指示为一条皱纹。
84.s4232：若第i个面部特征点与相邻的第j个面部特征点呈片状近似且不连续，且第i个面部特征点和第j个面部特征点rgb颜色在黄色到深棕色区间，则指示该区域内存在斑点，记录斑点大小及颜色深浅。检测点与周边检测点成片状近似(不规则形状)，且rgb颜色为黄色到深棕色区间，可视为斑点，然后根据斑点面积大小、颜色深浅，判断为老年斑、黄褐斑、雀斑等，系统记录斑点个数、面积。
85.s4233：若第i个面部特征点与相邻的第j个面部特征点呈圆形近似，且圆形直径低于0.5mm，则实施该区域内为毛孔；
86.s4234：若第i个面部特征点与相邻的第j个面部特征点连续且呈圆形近似，且圆形直径超过1mm，则实施该区域内为痤疮。
87.通过上述方式能够很好的确定各个面部问题特征点的具体形态特征并对形态特征进行记录以形成护理前面部检测报告。
88.可选的，在步骤“s4：使用检测模型对每一检测单元进行检测，以确定面部特征点位置和初始特征”还包括：
89.s4：采集检测单元的rgb颜色信息，并根据颜色信息评估检测单元区域肤色。
90.根据获取图像的rgb颜色并根据颜色能够确定相应检测单元的肤色，并根据整个图像的特征确定最终的肤色。
91.在护理结束后，步骤“s5：获取护理后的护理皮肤图像”。在这里获取图像的方式与上述在护理前获取图像的方式相似，具体的也是通过移动终端对顾客面部进行拍照，可以
通过内置在系统小程序(或app)内的摄像模块借助手机摄像头进行图像的采集。按照系统中的提示进行拍照，分别拍摄正脸、左脸、右脸三张照片，并将照片上传到云端。
92.进一步的，在“获取护理前初始皮肤图像”具体包括通过图片采集器采集多张人脸照片，包括但不限于正面、左侧面、右侧面图片，并通过照片合成技术将以上采集到的多张人脸照片合成一张人脸完整图像。通过对获取到的正面、左侧面和右侧面图像合成能够更好的实现图像数据的准确性。
93.s6：匹配护理皮肤图像与初始皮肤图像，根据面部特征点位置信息确定该面部特征点在护理皮肤图像上相应位置并再次采用检测模型对护理皮肤图像上的该面部特征点进行检测以获取护理后状态。
94.该步骤可以具体包括：
95.s61：获取护理皮肤图像；
96.s62：将护理皮肤图像与初始皮肤图像在同一坐标系中；
97.s63：将护理皮肤图像上的特征点与初始皮肤图像上的特征点相对应以使护理皮肤图像与初始皮肤图像相匹配。
98.s7：比对面部特征点的初始特征和护理后特征并生成护理报告。
99.本发明实施例公开的基于深度学习技术的护肤效果检测方法通过手机等设备拍摄护理前后的图像信息，然后经深度学习算法获得的检测模型进行检测对护理前后的皮肤特征进行分析对比最终获得检测报告，能够及时准确高效的获取护理后的皮肤效果，方便的实现了使用。
100.在本实施例中特征点可以是一些脸部特征部位如眼睛、鼻子、嘴巴或者耳朵，也可以是面部轮廓线。通过上述这些特征点将面部护理前的图像与面部护理后的图像重叠使相同位置放置在一起，然后根据记录的面部特征点的位置对相应位置再次进行检测并记录检测结果，根据检测结果生成护理后检测报告，综合护理后检测报告和护理前检测报告最终生成护理评价报告。
101.后期在顾客进行护理前后，可持续进行拍照分析，并按拍照的日期生成肌肤变化报告，长期跟踪顾客肌肤情况，有针对性的进行肌肤护理。在本检测方法中由于不同的人适合不同的肤质，每个人使用后，都有专属自己的记录，这样，类似肤质的人在系统中自动群集，自动产生对比报告，可以方便的分析不同肤质的人使用本美白产品效果如何。
102.本发明的第二方面公开了一种检测装置。该装置可以实现上述实施例的方法。下面的装置的实施例可以用于理解上述的方法的实施例。上述方法的实施例也可以用于理解下面的装置的实施例。
103.图4示出了这样的一种基于深度学习技术的护肤效果检测装置，包括：
104.图像采集单元，用于获取护理前初始皮肤图像及获取护理后的护理皮肤图像；
105.图像预处理单元，用于对初始皮肤图片预处理后进行矩阵分割以生成n*n个检测单元；
106.检测单元，用于通过人脸局部特征识别和卷积网络学习构建的基于深度学习的检测模型并用样本数据集训练检测模型，使用检测模型对每一检测单元进行检测，以确定面部特征点位置和初始特征；
107.评估单元，用于匹配护理皮肤图像与初始皮肤图像，根据面部特征点位置信息确
定该面部特征点在护理皮肤图像上相应位置并再次采用检测模型对护理皮肤图像上的该面部特征点进行检测以获取护理后状态；比对面部特征点的初始特征和护理后特征并生成护理报告。
108.本领域的技术人员可以清楚地了解到，本技术实施例中的“单元”的划分，仅仅为一种逻辑功能的划分，实际实现时可以有另外的划分方式，例如多个“单元”可以结合或者可以集成为一个“单元”实现相应的功能。或者将一个“单元”分解为多个共同实现相应的功能。本技术实施例中的“单元”可以是能够独立完成或与其他部件配合完成特定功能的软件和/或硬件，其中硬件例如可以是fpga(field
‑
programmable gate array，现场可编程门阵列)、ic(ihtegrated circuit，集成电路)等，此处不再一一赘述。
109.本发明的第三方面，本技术实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述任一实施例方法的步骤。其中，计算机可读存储介质可以包括但不限于任何类型的盘，包括软盘、光盘、dvd、cd
‑
rom、微型驱动器以及磁光盘、rom、ram、eprom、eeprom、dram、vram、闪速存储器设备、磁卡或光卡、纳米装置(包括分子存储器ic)，或适合于存储指令和/或数据的任何类型的媒介或设备。
110.本发明的第四方面，本技术实施例提供了一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现上述任一实施例方法的步骤。
111.本技术实施例中的终端可以包括但不限于智能平板电脑、掌上电脑、个人数字助理(personal digital assistant，pad)、智能交互平板等装置。
112.图5示出了本技术一实施例的终端500的结构框图。
113.参见图5，该终端包括处理器510、存储器520、摄像头530和麦克风540。
114.本技术实施例中，处理器510为计算机系统的控制中心，可以是实体机的处理器，也可以是虚拟机的处理器。本技术实施例中，存储器520中存储有至少一条指令，所述指令由处理器510加载并执行以实现上述各个实施例中的方法。
115.本技术可选实施例中，摄像头530可以包括前置摄像头，也可以包括后置摄像头。
116.图6示出了本技术另一实施例的终端600的结构框图。
117.参见图6，该终端600包括有：处理器601和存储器602。
118.本技术实施例中，处理器601可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器601可以采用dsp(digital signal processing，数字信号处理)、fpga(field
‑
programmable gate array，现场可编程门阵列)、pla(programmable logic array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器601也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称cpu(central processing unit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。
119.存储器602可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器602还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在本技术的一些实施例中，存储器602中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器601所执行以实现本技术实施例中的方法。
120.本技术可选实施例中，终端600还包括有：外围设备接口603和至少一个外围设备。处理器601、存储器602和外围设备接口603之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口603相连。具体地，外围设备包括：显示屏604、摄像头605和电源606中的至少一种。
121.外围设备接口603可被用于将i/o(input/output，输入/输出)相关的至少一个外围设备连接到处理器601和存储器602。在本技术的一些实施例中，处理器601、存储器602和外围设备接口603被集成在同一芯片或电路板上；在本技术的一些其他实施例中，处理器601、存储器602和外围设备接口603中的任意一个或两个可以在单独的芯片或电路板上实现。本技术实施例对此不作具体限定。
122.显示屏604用于显示ui(user interface，用户界面)。该ui可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏604是触摸显示屏时，显示屏604还具有采集在显示屏604的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器601进行处理。此时，显示屏604还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在本技术的一些实施例中，显示屏604可以为一个，设置终端600的前面板；在本技术的另一些实施例中，显示屏604可以为至少两个，分别设置在终端600的不同表面或呈折叠设计；在本技术的再一些实施例中，显示屏604可以是柔性显示屏，设置在终端600的弯曲表面上或折叠面上。甚至，显示屏604还可以设置成非矩形的不规则图形，也即异形屏。显示屏604可以采用lcd(liquid crystal display，液晶显示屏)、oled(organic light
‑
emitting diode，有机发光二极管)等材质制备。
123.摄像头605用于采集图像或视频。可选地，摄像头605包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及vr(virtual reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在本技术的一些实施例中，摄像头605还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
124.电源606用于为终端600中的各个组件进行供电。电源606可以是交流电、直流电、一次性电池或可充电电池。当电源606包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
125.本技术实施例中示出的终端结构框图并不构成对终端600的限定，终端600可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
126.在本技术中，术语“第一”、“第二”等仅用于描述的目的，而不能理解为指示或暗示相对重要性或顺序；术语“多个”则指两个或两个以上，除非另有明确的限定。术语“安装”、“相连”、“连接”、“固定”等术语均应做广义理解，例如，“连接”可以是固定连接，也可以是可拆卸连接，或一体地连接；“相连”可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本技术中的具体含义。
127.以上依据图式所示的实施例详细说明了本发明的构造、特征及作用效果，以上所
述仅为本发明的较佳实施例，但本发明不以图面所示限定实施范围，凡是依照本发明的构想所作的改变，或修改为等同变化的等效实施例，仍未超出说明书与图示所涵盖的精神时，均应在本发明的保护范围内。