一种基于人工神经网络的人脸肤质检测方法与流程

本发明涉及图像处理技术领域，具体地，涉及一种基于人工神经网络的人脸肤质检测方法。

背景技术：

肤质检测是出于保护好人体皮肤(例如脸部皮肤)及正确选用适合的护肤品的目的，针对皮肤肤质进行的科学权威测试。现有肤质检测的方法有很多，既有专门鉴别皮肤性质的仪器，也有最简单的观察辨别法，一般而言，常见的问题性皮肤很容易观察判断，但其他类型的皮肤则需要借助仪器鉴别。

皮肤肤质检测仪是一种主流检测皮肤肤质的仪器，其主要应用在美容和医疗等领域，大概经历了四代的发展：第一代采用普通的放大镜，采用肉眼观察的原始方式判别；第二代由光学仪器结合电子技术，它由光学部件组成镜头，由电子元件完成信号采集/转换、甚至临时储存的功能，然后通过显示仪器显示出来，此时也出现了很多便携式测试仪系列，不需要连接电视或电脑，功能单一，使用方便；第三代皮肤测试仪进入了智能时代，涵盖了小型数字化的测试仪，便携式智能测试仪及智能化测试分析系统；第四代则使皮肤测试进入智能移动时代，使外出的人可以通过智能手机等设备，即时方便地掌握皮肤的状态。

通过上述专业的肤质检测仪，虽然可以较为准确、权威地获取肤质状态并进行科学评估，但也存在如下缺点：(1)在肤质检测过程中，大多单一依靠图像处理技术来获取肤质检测结果，如此为了确保较高的检测准确率，需要在多光源照射下拍摄多张人脸图片，使得准备工作较为繁重和专业，进而导致检测过程不方便、用户体验不佳的问题；(2)需要额外配置专业的硬件设备，而这些设备大多需要专业人士才能操作，并需要用户到特定检测场所完成，应用群体和应用场景都受到一定限制，同时这些硬件设备的成本较高，不便于实际推广和应用，例如大型的全脸测试仪价格昂贵，体积较大，不适应携带，即使是便携式产品也需要用户投入资金购买。

技术实现要素：

针对前述现有技术的问题，本发明提供了一种基于人工神经网络的人脸肤质检测方法，其将人工神经网络技术与图像处理技术结合起来，应用已完成人脸肤质检测训练的人工神经网络预测模型来对待检测人脸图像进行肤质预测，不但可以确保肤质检测的准确率，还可以快速地获取人脸图像的肤质检测结果，同时无需拍摄多张人脸图像，可大幅度地降低准备工作的繁重度和专业度，提升肤质检测的便利性和提升用户体验。此外，该方法可直接推广应用在诸如智能手机等移动终端中，利用移动终端的摄像头、微处理器及与移动终端无线通讯的云计算平台，实现随时随地的检测，为用户选购美容护肤产品提供专业指导，进而无需额外配置专业的硬件设备，实现零成本检测。

本发明采用的技术方案,提供了一种基于人工神经网络的人脸肤质检测方法，包括如下步骤：S101.获取待检测人脸图像，然后对所述待检测人脸图像进行预处理，得到N份不同人脸肤质检测项目的第一特征数据，N为自然数；S102.将所有的第一特征数据导入到一个已完成人脸肤质检测训练的人工神经网络预测模型中进行预测运算，得到与各份第一特征数据对应的第一人脸肤质预测信息和第一预测准确率；S103.输出人脸肤质检测结果，所述人脸肤质检测结果包含所有的第一特征数据及与各份第一特征数据对应的第一人脸肤质预测信息和第一预测准确率。

优化的，在所述步骤S102之前还包括如下步骤：S201.获取M张人脸图像，然后对每张人脸图像进行预处理，得到对应的N份不同人脸肤质检测项目的第二特征数据，其中，所述预处理方式与步骤S101中的预处理方式一致，使得所述第二特征数据的人脸肤质检测项目与所述第一特征数据的人脸肤质检测项目一一对应,M为自然数；S202.针对每份第二特征数据，导入对应的且由人工标定的人脸肤质信息；S203.将与每张人脸图像对应的N份第二特征数据和N份人脸肤质信息作为一次训练样本，导入到所述人工神经网络预测模型中进行人脸肤质检测训练，其中，将第二特征数据作为样本输入数据，将人脸肤质信息作为样本校验数据；S204.在网络训练过程中，根据训练所得的第二人脸肤质预测信息与样本校验数据的匹配结果，不断优化所述人工神经网络预测模型，直到完成训练或者直到训练所得的第二人脸肤质预测信息与样本校验数据的匹配率达到预设值。

优化的，在所述对所述待检测人脸图像进行预处理，得到N份不同人脸肤质检测项目的第一特征数据的步骤中，包括如下步骤：S301.提取待检测人脸图像的人脸几何轮廓；S302.根据所述人脸几何轮廓将所述待检测人脸图像划分为若干个图像区块；S303.针对各个图像区块，获取对应的N份不同人脸肤质检测项目的第三特征数据，所述第三特征数据的人脸肤质检测项目与所述第一特征数据的人脸肤质检测项目一一对应；S304.针对每种人脸肤质检测项目，整合对应的所有第三特征数据，得到该人脸肤质检测项目下的第一特征数据。

进一步优化的，在所述步骤S301中包括如下步骤：采用基于点分布模型的ASM算法提取人脸几何轮廓。

进一步优化的，所述人脸肤质检测项目包括皱纹检测、毛孔检测、黑斑检测、痤疮检测和亮度检测中的任意一种或它们的任意组合。

详细优化的，当所述人脸肤质检测项目包括皱纹检测时，则在所述步骤S303中，采用Hessian滤波器从图像区块中提取皱纹特征图像，然后将皱纹特征图像作为皱纹检测的第三特征数据。

详细优化的，当所述人脸肤质检测项目包括毛孔检测时，则在所述步骤S303中，先对图像区块进行二值化处理，然后将离散点作为毛孔特征，获取毛孔分布图像，并计算毛孔的数量和各个毛孔的大小，最后将所述毛孔分布图像、毛孔数目和各个毛孔的大小作为毛孔检测的第三特征数据。

详细优化的，当所述人脸肤质检测项目包括黑斑检测时，则在所述步骤S303中，先采用亮度阈值分割方法将图像区块分割成黑斑区域和背景区域，然后提取出只包含黑斑区域的黑斑特征图像，最后将所述黑斑特征图像作为黑斑检测的第三特征数据。

详细优化的，当所述人脸肤质检测项目包括痤疮检测时，则在所述步骤S303中，采用边缘检测算法从图像区块中提取痤疮轮廓特征图像，然后将所述痤疮轮廓特征图像作为痤疮检测的第三特征数据。

详细优化的，当所述人脸肤质检测项目包括亮度检测时，则在所述步骤S303中，先根据直方图统计获取图像区块中亮度最大区域和亮度最小区域，然后分别计算亮度最大区域中的第一亮度中值MB_Max和亮度最小区域的第二亮度中值MB_Min，并计算亮度比值MB_Max/MB_Min，最后将所述亮度比值作为亮度检测的第三特征数据。

综上，采用本发明所提供的一种基于人工神经网络的人脸肤质检测方法，具有如下有益效果：(1)应用已完成人脸肤质检测训练的人工神经网络预测模型来对待检测人脸图像进行肤质预测，不但可以确保肤质检测的准确率，还可以快速地获取人脸图像的肤质检测结果；(2)在预测模型优化后，可以快速应用预测模型对即时获取的人脸图像进行肤质预测，无需拍摄多张人脸图像，可大幅度地降低准备工作的繁重度和专业度，提升肤质检测的便利性和提升用户体验；(3)该方法可直接推广应用在诸如智能手机等移动终端中，利用移动终端的摄像头、微处理器及与移动终端无线通讯的云计算平台，实现随时随地的检测，为用户选购美容护肤产品提供专业指导，进而无需额外配置专业的硬件设备，实现零成本检测。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的基于人工神经网络的人脸肤质检测方法的流程示意图。

图2是本发明提供的将人脸图像划分为14个图像区块的划分示意图。

具体实施方式

以下将参照附图，通过实施例方式详细地描述本发明提供的基于人工神经网络的人脸肤质检测方法。在此需要说明的是，对于这些实施例方式的说明用于帮助理解本发明，但并不构成对本发明的限定。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，单独存在B，同时存在A和B三种情况，本文中术语“/和”是描述另一种关联对象关系，表示可以存在两种关系，例如，A/和B，可以表示：单独存在A，单独存在A和B两种情况，另外，本文中字符“/”，一般表示前后关联对象是一种“或”关系。

实施例一

图1示出了本发明提供的基于人工神经网络的人脸肤质检测方法的流程示意图，图2示出了本发明提供的将人脸图像划分为14个图像区块的划分示意图。本实施例提供的所述基于人工神经网络的人脸肤质检测方法，包括如下步骤。

S101.获取待检测人脸图像，然后对所述待检测人脸图像进行预处理，得到N份不同人脸肤质检测项目的第一特征数据，N为自然数。

在所述步骤S101中，所述待检测人脸图像可以是存储在本地存储器中的历史人脸图像，也可以是通过摄像头(例如智能手机中的摄像头)即时获取的人脸图像。进一步优化的，在所述对所述待检测人脸图像进行预处理，得到N份不同人脸肤质检测项目的第一特征数据的步骤中，包括如下步骤：S301.提取待检测人脸图像的人脸几何轮廓；S302.根据所述人脸几何轮廓将所述待检测人脸图像划分为若干个图像区块；S303.针对各个图像区块，获取对应的N份不同人脸肤质检测项目的第三特征数据，所述第三特征数据的人脸肤质检测项目与所述第一特征数据的人脸肤质检测项目一一对应；S304.针对每种人脸肤质检测项目，整合对应的所有第三特征数据，得到该人脸肤质检测项目下的第一特征数据。

如图2所示，可以但不限于将所述待检测人脸图像划分为如下14个图像区块：左额图像区块L1、左眼眶图像区块L2、左目图像区块L3、左脸图像区块L4、左嘴角图像区块L5、右额图像区块R1、右眼眶图像区块R2、右目图像区块R3、右脸图像区块R4、右嘴角图像区块L5、印堂图像区块M1、鼻子图像区块M2、嘴唇图像区块M3和下巴图像区块M4。由于各个图像区块在成像时的受光角度不同，使得各个图像区块的成像质量也各不相同，如此将第一特征数据的获取过程按照前述步骤进行细化，可以大幅度提高后续训练样本的图像质量，从而可在后续应用已完成人脸肤质检测训练的人工神经网络预测模型进行预测运算时，提高预测模型的预测准确率。

进一步优化的，在所述步骤S301中包括如下步骤：采用基于点分布模型的ASM算法提取人脸几何轮廓。所述ASM(Active Shape Model)算法是一种现有的基于点分布模型(Point Distribution Model,PDM)的算法，在PDM中，对于外形相似的物体，例如人脸、人手、心脏、肺部等的几何形状可以通过由若干关键特征点的坐标依次串联形成一个形状向量来表示，如此在采用ASM算法对所述待检测人脸图像进行处理后，可以提取到对应的人脸几何轮廓。

进一步具体的，所述人脸肤质检测项目包括皱纹检测、毛孔检测、黑斑检测、痤疮检测和亮度检测中的任意一种或它们的任意组合。作为举例的，在本实施例中，所述人脸肤质检测项目包括皱纹检测、毛孔检测、黑斑检测、痤疮检测和亮度检测等五种人脸肤质检测项目(即N＝5)，可以从多个检测维度预测人脸肤质，丰富人脸肤质检测的结果。

详细优化的，当所述人脸肤质检测项目包括皱纹检测时，则在所述步骤S303中，采用Hessian滤波器(一种基于Hessian矩阵的且用诸如指纹细节点等纹理提取的软模块)从图像区块中提取皱纹特征图像，然后将皱纹特征图像作为皱纹检测的第三特征数据。

详细优化的，当所述人脸肤质检测项目包括毛孔检测时，则在所述步骤S303中，先对图像区块进行二值化处理，然后将离散点作为毛孔特征，获取毛孔分布图像，并计算毛孔的数量和各个毛孔的大小，最后将所述毛孔分布图像、毛孔数目和各个毛孔的大小作为毛孔检测的第三特征数据。

详细优化的，当所述人脸肤质检测项目包括黑斑检测时，则在所述步骤S303中，先采用亮度阈值分割方法将图像区块分割成黑斑区域和背景区域，然后提取出只包含黑斑区域的黑斑特征图像，最后将所述黑斑特征图像作为黑斑检测的第三特征数据。

详细优化的，当所述人脸肤质检测项目包括痤疮检测时，则在所述步骤S303中，采用边缘检测算法从图像区块中提取痤疮轮廓特征图像，然后将所述痤疮轮廓特征图像作为痤疮检测的第三特征数据。

详细优化的，当所述人脸肤质检测项目包括亮度检测时，则在所述步骤S303中，先根据直方图统计获取图像区块中亮度最大区域和亮度最小区域，然后分别计算亮度最大区域中的第一亮度中值MB_Max和亮度最小区域的第二亮度中值MB_Min，并计算亮度比值MB_Max/MB_Min，最后将所述亮度比值作为亮度检测的第三特征数据。

进一步优化的，在所述步骤S302之后还包括如下步骤：针对各个图像区块，先对图像区块进行白平衡处理和对比度增强处理，然后利用统计直方图对图像区块进行归一化处理，获取呈灰度状态的图像区块。在白平衡处理过程中，可以但不限于采用现有的灰度世界白平衡算法或者自动白平衡算法对图像区块进行白平衡处理；在对比度增强处理过程中，可以但不限于采用现有的图像对比度增强算法对图像区块进行对比度增强处理；统计直方图是指对某一物理量在相同条件下做若干次重复测量，得到一系列测量值，找出它的最大值和最小值，然后确定一个区间，使其包含全部测量数据，将区间分成若干小区间，统计测量结果出现在各小区间的频数F，以测量数据为横坐标，以频数F为纵坐标，划出各小区间及其对应的频数高度，则可得到一个矩形图，即统计直方图。由此可通过现有的统计直方图技术对图像区块进行归一化处理，获取呈灰度状态的图像区块。

S102.将所有的第一特征数据导入到一个已完成人脸肤质检测训练的人工神经网络预测模型中进行预测运算，得到与各份第一特征数据对应的第一人脸肤质预测信息和第一预测准确率。

在所述步骤S102中，所述人工神经网络预测模型是一种应用类似于大脑神经突触联接的结构进行信息化处理的数学计算模型，其由大量的节点(或称神经元)和之间相互联接构成，且每个节点代表一种特定的输出函数，称为激励函数(activation function)；每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重，这相当于人工神经网络的记忆；网络的输出则依赖神经网络的连接方式、权重值和激励函数的不同而不同。由此所述人工神经网络预测模型可以通过一个基于数学统计学类型的学习方法(Learning Method)得以优化，具有自学习功能、联想存储功能和高速寻找优化解的功能等特点和优越性。所述人工神经网络预测模型可以但不限于采用BP(BackPropagation)人工神经网络预测模型或者采用基于CNN架构的人工神经网络预测模型。作为举例的，在实施例中，所述人工神经网络预测模型采用基于CNN架构的人工神经网络预测模型，其中，CNN(Convolutional Neural Networks，卷积神经网络)是一类神经网络的总称，可以通过Caffe(CNN架构的一种具体实现)来实现，使预测模型具有上手快、速度快、可模块化、开放性好和社区性好等特点。

在所述步骤S102之前，必须完成所述人工神经网络预测模型关于人脸肤质检测训练，由此优化的，在所述步骤S102之前还包括如下步骤：S201.获取M张人脸图像，然后对每张人脸图像进行预处理，得到对应的N份不同人脸肤质检测项目的第二特征数据，其中，所述预处理方式与步骤S101中的预处理方式一致，使得所述第二特征数据的人脸肤质检测项目与所述第一特征数据的人脸肤质检测项目一一对应,M为自然数；S202.针对每份第二特征数据，导入对应的且由人工标定的人脸肤质信息；S203.将与每张人脸图像对应的N份第二特征数据和N份人脸肤质信息作为一次训练样本，导入到所述人工神经网络预测模型中进行人脸肤质检测训练，其中，将第二特征数据作为样本输入数据，将人脸肤质信息作为样本校验数据；S204.在网络训练过程中，根据训练所得的第二人脸肤质预测信息与样本校验数据的匹配结果，不断优化所述人工神经网络预测模型，直到完成训练或者直到训练所得的第二人脸肤质预测信息与样本校验数据的匹配率达到预设值。

在所述步骤S201中，所述人脸图像为经过人工标定人脸肤质信息的历史人脸图像，其中M的数值越大，所述人工神经网络预测模型的训练效果越好。同时为了确保所述人工神经网络预测模型在预测时导入的输入数据格式与训练时导入的样本输入数据格式一致，所述预处理方式与步骤S301～S304所记载的处理方式相同，于此不再赘述。

在所述步骤S202中，所述人脸肤质信息为针对人脸图像中各个图像区块，经过人脸肤质检测专业人员所标定的人脸肤质检测结果信息。针对不同人脸肤质检测项目，与所述第二特征数据所对应的各份人脸检测信息也各不相同：(1)当人脸肤质检测项目为皱纹检测时，对应的第二特征数据为皱纹特征图像，则对应的人脸检测信息可以但不限于为人工对图像标定的“皱纹”标识，所述“皱纹”标识可以但不限于为文字或图案；(2)当人脸肤质检测项目为毛孔检测时，对应的第二特征数据为毛孔分布图像、毛孔数目和各个毛孔的大小，则对应的人脸检测信息可以但不限于为人工对图像标定的“毛孔”标识，所述“毛孔”标识可以但不限于为文字或图案；(3)当人脸肤质检测项目为黑斑检测时，对应的第二特征数据为黑斑特征图像，则对应的人脸检测信息可以但不限于为人工对图像标定的“黑斑”标识，所述“黑斑”标识可以但不限于为文字或图案；(4)当人脸肤质检测项目为痤疮检测时，对应的第二特征数据为痤疮轮廓特征图像，则对应的人脸检测信息可以但不限于为人工对图像标定的“痤疮”标识，所述“痤疮”标识可以但不限于为文字或图案；(5)当人脸肤质检测项目为亮度检测时，对应的第二特征数据为亮度比值，则对应的人脸检测信息可以但不限于为人工标定的肤质类型标识，所述肤质类型标识可以但不限于为文字或图案，所述肤质类型可以但不限于为干性肤质、油性肤质、中性肤质或混合型肤质。

在所述步骤S204中，所述预设值可以是预先人工设定的值，也可以是默认值。此外，当所述人工神经网络预测模型采用基于Caffe架构(即CNN架构的一种具体实现形式)的人工神经网络预测模型时，可以利用由accuracy层得来的预测准确率作为训练所得的第二人脸肤质预测信息与样本校验数据的匹配率，预测准确率越高，即匹配率越高，匹配性越好。

在所述步骤S102中，由于所述第一特征数据的人脸肤质检测项目与所述第二特征数据的人脸肤质检测项目一一对应，因此第一人脸肤质预测信息的人脸肤质检测项目与所述人工标定的人脸肤质信息的人脸肤质检测项目一一对应，即在实施例中，在所述人脸肤质检测项目包括皱纹检测、毛孔检测、黑斑检测、痤疮检测和亮度检测等五种人脸肤质检测项目(即N＝5)的情况下，第一人脸肤质预测信息为在对应人脸肤质检测项目下且由所述人工神经网络预测模型所预测的“皱纹”标识、“毛孔”标识、“黑斑”标识、“痤疮”标识和肤质类型标识，由此可获得包含皱纹、毛孔、黑色素斑点、痤疮及肤质类型等人脸肤质检测结果信息。此外，当所述人工神经网络预测模型采用基于Caffe架构(即CNN架构的一种具体实现形式)的人工神经网络预测模型时，同样利用由accuracy层得来的预测准确率作为所述第一预测准确率。

S103.输出人脸肤质检测结果，所述人脸肤质检测结果包含所有的第一特征数据及与各份第一特征数据对应的第一人脸肤质预测信息和第一预测准确率。

综上，本实施例所提供的基于人工神经网络的人脸肤质检测方法，具有如下有益效果：(1)应用已完成人脸肤质检测训练的人工神经网络预测模型来对待检测人脸图像进行肤质预测，不但可以确保肤质检测的准确率，还可以快速地获取人脸图像的肤质检测结果；(2)在预测模型优化后，可以快速应用预测模型对即时获取的人脸图像进行肤质预测，无需拍摄多张人脸图像，可大幅度地降低准备工作的繁重度和专业度，提升肤质检测的便利性和提升用户体验；(3)该方法可直接推广应用在诸如智能手机等移动终端中，利用移动终端的摄像头、微处理器及与移动终端无线通讯的云计算平台，实现随时随地的检测，为用户选购美容护肤产品提供专业指导，进而无需额外配置专业的硬件设备，实现零成本检测。

如上所述，可较好地实现本发明。对于本领域的技术人员而言，根据本发明的教导，设计出不同形式的基于人工神经网络的人脸肤质检测方法并不需要创造性的劳动。在不脱离本发明的原理和精神的情况下对这些实施例进行变化、修改、替换、整合和变型仍落入本发明的保护范围内。