人脸妆容去除方法与流程

本发明涉及计算机视觉技术领域，具体提供了一种人脸妆容去除方法。

背景技术：

人脸妆容去除是一种在保持人脸姿态、表情和身份不变的情况下，将化妆人脸图像生成对应的无妆人脸图像的技术，其在人脸识别、人脸验证等诸多领域具有广泛应用。但是，由于人脸具有复杂的几何形式、不可计数的脸部皱纹、细微的颜色变化及细微的纹理变化的特点，使得根据化妆人脸图像合成“真实的”无妆人脸仍具有一定的难度。

相应地，本领域需要一种新的人脸妆容去除方法来解决上述问题。

技术实现要素：

为了解决现有技术中的上述问题，即为了解决如何在保持人脸姿态、表情和身份不变的情况下，根据化妆人脸图像生成更为真实的无妆人脸图像的技术问题。本发明提供了一种人脸妆容去除方法，所述方法包括：

基于预设的形状保持网络并且根据待测化妆人脸图像，获取所述待测化妆人脸图像对应的形状信息；

基于预设的纹理风格迁移网络并且根据所述待测化妆人脸图像，获取所述待测化妆人脸图像对应的无妆纹理风格信息；

基于预设的融合网络并且根据所述形状信息与所述无妆纹理风格信息，获取所述待测化妆人脸图像对应的无妆人脸图像；

其中，所述形状保持网络、所述纹理风格迁移网络和所述融合网络均是利用机器学习算法构建的卷积神经网络。

进一步地，本发明提供的一个优选实施方案为：

在“基于预设的形状保持网络并且根据待测化妆人脸图像，获取所述待测化妆人脸图像对应的形状信息”的步骤之前，所述方法还包括：

对预设训练数据库中每个化妆人脸图像样本进行uv映射得到所述每个化妆人脸图像样本对应的uv关联场；

基于所述化妆人脸图像样本及其对应的uv关联场并且根据下式所示的形状保持网络损失函数lshape训练所述形状保持网络：

其中，所述表示基于i^a在概率分布下的期望，所述i^a表示所述化妆人脸图像样本，所述snet表示所述形状保持网络，所述s表示所述i^a对应的uv关联场，所述||||1表示1范数。

进一步地，本发明提供的一个优选实施方案为：

所述纹理风格迁移网络包括迁移网络，所述迁移网络配置为获取化妆人脸图像对应的无妆纹理风格信息，“获取所述待测化妆人脸图像对应的无妆纹理风格信息”的步骤包括：

通过所述迁移网络获取所述待测化妆人脸图像对应的无妆纹理风格信息。

进一步地，本发明提供的一个优选实施方案为：

所述训练数据库还包括分别与所述每个化妆人脸图像样本对应的无妆人脸图像样本，在“获取所述待测化妆人脸图像对应的无妆纹理风格信息”的步骤之前，所述方法还包括：

以所述化妆人脸图像样本中预设人脸关键点的位置信息为参照信息并且根据该化妆人脸图像样本对应的无妆人脸图像样本中所述人脸关键点的位置信息对所述无妆人脸图像样本进行变形，得到第一无妆人脸图像；

分别对所述化妆人脸图像样本及其对应的第一无妆人脸图像进行图像分割，并且将从所述第一无妆人脸图像中分割出的图像反贴至所述化妆人脸图像样本中相应的分割区域，得到第二无妆人脸图像；

基于所述化妆人脸图像样本及其对应的第二无妆人脸图像对所述纹理风格迁移网络进行网络训练；

其中，所述纹理风格迁移网络还包括第一特征提取网络和生成对抗网络，所述第一特征提取网络用于对所述迁移网络所获取的所述化妆人脸图像样本对应的无妆纹理风格信息进行特征提取并且将提取结果作为假样本，以及用于对所述第二无妆人脸图像进行特征提取并且将提取结果作为真样本；所述生成对抗网络用于根据所述假样本与所述真样本判断所述无妆纹理风格信息的真假。

进一步地，本发明提供的一个优选实施方案为：

“基于所述化妆人脸图像样本及其对应的第二无妆人脸图像对所述纹理风格迁移网络进行网络训练”的步骤包括：

基于所述化妆人脸图像样本及其对应的第二无妆人脸图像并且根据下式所示的损失函数l总1训练所述纹理风格迁移网络：

l总1＝lstyle+lt

其中，所述lstyle为所述纹理风格迁移网络中迁移网络对应的损失函数，所述lt为所述纹理风格迁移网络中生成对抗网络对应的损失函数。

进一步地，本发明提供的一个优选实施方案为：

所述纹理风格迁移网络中迁移网络对应的损失函数lstyle如下式所示：

其中，所述lc为图像内容损失函数，所述ls为图像风格损失函数，所述表示预设的权重系数；

并且其中，所述图像内容损失函数lc如下式所示：

lc＝||kn[(f(gt(i^a)))^t(f(gt(i^a)))-(f(i^a))^t(f(i^a))]||2

其中，所述“||||2”表示2范数，所述kn表示预设的所述第一特征提取网络中第n个特征提取层对应的归一化因子，且所述cn、hn、wn分别表示所述第n个特征提取层的通道数、高度和宽度，所述“f()”表示所述第一特征提取网络，所述gt表示所述迁移网络，所述i^a表示所述化妆人脸图像样本，所述t表示矩阵转置符号；

所述图像风格损失函数ls如下式所示：

其中，所述kn表示预设的所述第一特征提取网络中第n个特征提取层对应的归一化因子，所述n表示所述第一特征提取网络中特征提取层的数量，所述“fn()”表示所述第一特征提取网络中第n个特征提取层，所述i^b'表示所述第二无妆人脸图像。

进一步地，本发明提供的一个优选实施方案为：

所述纹理风格迁移网络中生成对抗网络对应的损失函数lt如下式所示：

其中，所述表示基于i^b'在概率分布下的期望，所述i^b'表示所述第二无妆人脸图像，所述表示基于i^a在概率分布下的期望，所述i^a表示所述化妆人脸图像样本，所述dt表示所述纹理风格迁移网络中的生成对抗网络。

进一步地，本发明提供的一个优选实施方案为：

所述融合网络包括生成器和判别器，“基于预设的融合网络并且根据所述形状信息与所述无妆纹理风格信息，获取所述待测化妆人脸图像对应的无妆人脸图像”的步骤包括：

通过所述生成器并且根据所述形状信息与所述无妆纹理风格信息，获取所述待测化妆人脸图像对应的无妆人脸图像。

进一步地，本发明提供的一个优选实施方案为：

在“基于预设的融合网络并且根据所述形状信息与所述无妆纹理风格信息，获取所述待测化妆人脸图像对应的无妆人脸图像”的步骤之前，所述方法还包括：

获取所述形状保持网络得到的所述训练数据库中每个化妆人脸图像样本对应的形状信息；

获取所述纹理风格迁移网络得到的所述每个化妆人脸图像样本对应无妆纹理风格信息；

基于所述化妆人脸图像样本对应的第二无妆人脸图像、所述形状信息与所述无妆纹理风格信息对所述融合网络进行网络训练；

其中，所述融合网络还包括第二特征提取网络，所述第二特征提取网络用于分别对所述第二无妆人脸图像和所述生成器根据所述化妆人脸图像样本对应的形状信息与所述无妆纹理风格信息生成无妆人脸图像进行特征提取，所述判别器用于根据预设的假样本对与预设的真样本对判断所述生成器所生成的无妆人脸图像的真假；所述假样本对包括所述生成器所生成的无妆人脸图像和化妆人脸图像样本，所述真样本对包括第二无妆人脸图像和化妆人脸图像样本。

进一步地，本发明提供的一个优选实施方案为：

“基于所述化妆人脸图像样本对应的第二无妆人脸图像、所述形状信息与所述无妆纹理风格信息对所述融合网络进行网络训练”的步骤包括：

基于所述第二无妆人脸图像、所述形状信息与所述无妆纹理风格信息并且根据下式所示的损失函数l总2训练所述融合网络：

l总2＝li+lpixel+lf

其中，所述li表示所述融合网络损失函数中的身份保持损失函数，所述lpixel表示所述融合网络损失函数中的图像内容保持损失函数，所述lf表示所述融合网络损失函数中的生成对抗损失函数。

进一步地，本发明提供的一个优选实施方案为：

所述融合网络损失函数中的身份保持损失函数li如下式所示：

其中，所述表示预设的权重系数，所述表示基于i^r，i^b在概率分布下的期望，所述i^r表示所述融合网络生成的无妆人脸图像，所述i^b表示所述化妆人脸图像样本对应的无妆人脸图像样本，所述“||||2”表示2范数，所述m()表示所述第二特征提取网络；

所述融合网络损失函数中的图像内容保持损失函数lpixel如下式所示：

其中，所述表示预设的权重系数，所述l1表示预设的基于1范数度量的图像内容一致性损失函数并且所述表示基于i^r，i^b'在概率分布下的期望，所述i^b'表示所述第二无妆人脸图像，所述ltv表示预设的平滑损失函数并且所述分别表示所述融合网络生成的无妆人脸图像i^r中位置(i,j)，(i,j+1)，(i+1,j)处的像素值；

所述融合网络损失函数中的生成对抗损失函数lf如下式所示：

其中，所述表示基于i^b'在概率分布下的期望，所述表示基于i^r在概率分布下的期望，df表示所述融合网络。

与最近的现有技术相比，上述技术方法至少具有如下有益效果：

本发明提供的人脸妆容去除方法至少包括如下步骤：基于预设的形状保持网络并且根据待测化妆人脸图像，获取待测化妆人脸图像对应的形状信息；基于预设的纹理风格迁移网络并且根据待测化妆人脸图像，获取待测化妆人脸图像对应的无妆纹理风格信息；基于预设的融合网络并且根据形状信息与无妆纹理风格信息，获取待测化妆人脸图像对应的无妆人脸图像。基于上述步骤可以在保持人脸姿态、表情和身份不变的情况下，根据化妆人脸图像生成更为真实的无妆人脸图像。

进一步地，对纹理风格迁移网络和融合网络进行生成对抗训练，使得纹理风格迁移网络和融合网络对人脸图像的身份信息和纹理细节方面处理能力更强，合成更加逼真的无妆人脸图像。

附图说明

图1为本发明实施例中的一种人脸妆容去除方法的主要步骤示意图；

图2为本发明实施例中的一种人脸妆容去除方法的主要流程示意图；

图3为本发明实施例中的一种基于本发明方法在训练数据库fam、dataset1和dataset2上的测试结果示意图；

图4为本发明实施例中的一种基于本发明方法在训练数据库fam、dataset1和dataset2上的人脸验证结果示意图。

具体实施方式

下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。

随着科学技术的进步，人脸识别和人脸验证等技术在众多领域得到了广泛的应用，例如，门禁、设备登记、机场、公共区域的监控等等，根据化妆人脸图像合成逼真的无妆人脸图像对提高人脸验证和识别的准确率都具有重要意义。深度学习在计算机视觉的众多领域中都取得了令人瞩目的效果，尤其是生成对抗网络。生成对抗网络启发自博弈论中二人零和博弈的思想，具有生成式网络和判别式网络，生成式网络对输入数据进行非线性处理得到生成数据，判别式网络对生成的数据进行真假判断并进行参数反向传播，利用这两个网络之间的互相竞争使两个网络达到最终的平衡，从而提升网络的性能。基于生成对抗网络的思想，可以衍生出多种变种网络，并且这些网络可以在图像合成、图像超分、图像风格转移和人脸合成等方面取得较为显著的效果。为此，本发明提供了一种人脸妆容去除方法利用化妆人脸图像的形状信息和无妆纹理风格信息合成较为逼真的无妆人脸图像，并且在一些实施例中利用生成对抗网络的思想进一步提高无妆人脸图像的合成效果。

为了在实现人脸妆容去除任务时，能够保持原有的身份特征、姿态和表情，本发明提供的人脸妆容去除方法采用了形状信息和无妆纹理风格信息分离的两个子网络，并基于一个融合网络利用形状信息和无妆纹理风格信息合成逼真的无妆人脸图像。另外，为了减小由于化妆人脸图像样本与其对应无妆人脸图像样本在姿态表情方面的不一致对人脸合成结果造成的影响，本发明对无妆人脸图像样本进行了扭曲反贴处理，构造更为真实的无妆人脸图像样本，并作为网络的训练数据。为了保持合成的无妆人脸图像与化妆人脸图像的身份特征的一致性，本发明使用了特征层面的损失函数作为约束，以提高网络的准确性和鲁棒性。并且在一些实施例中使用生成对抗网络作为基础网络框架，通过分别学习形状信息和无妆纹理风格信息并进行融合实现人脸妆容的去除，合成的人脸图像更加逼真。下面结合附图，对发明提供的人脸妆容去除方法进行详细说明。

参阅附图1，图1示例性示出了人脸妆容去除方法的主要步骤，如图1所示人脸妆容去除方法可以包括如下步骤：

步骤s1：基于预设的形状保持网络并且根据待测化妆人脸图像，获取待测化妆人脸图像对应的形状信息。

形状保持网络可以是利用机器学习算法构建的卷积神经网络模型，即利用一个训练好的卷积神经网络模型并且根据待测化妆人脸图像获取待测化妆人脸图像对应的形状信息。在一些实施例中，形状保持网络采用全卷积神经网络结构，先进行降采样再进行升采样，并使用跳级结构辅助升采样。本实施例中，形状保持网络为由29个残差块构成的全卷积神经网络，每个残差块包括3个卷积层，其卷积核的大小分别是1×1,3×3,1×1，需要说明的是，形状保持网络中每个卷积层中的滤波器的个数及大小可以根据实际情况进行选择设置，本发明对卷积层中的滤波器的个数及大小不作固定限制。

形状保持网络的网络训练过程可以包括如下步骤：

对预设训练数据库中每个化妆人脸图像样本进行uv映射得到每个化妆人脸图像样本对应的uv关联场；本实施例中，基于化妆人脸图像样本构建化妆人脸图像样本对应的3d表面网格，根据化妆人脸图像样本与3d表面网格的关联映射关系得到化妆人脸图像样本对应的uv关联场。化妆人脸图像样本与其对应的uv关联场的大小一致，维度为2维，即uv关联场包含2维的信息。

基于化妆人脸图像样本及其对应的uv关联场并且根据公式(1)所示的形状保持网络损失函数lshape训练形状保持网络：

其中，表示基于i^a在概率分布下的期望，i^a表示化妆人脸图像样本，snet表示形状保持网络，s表示i^a对应的uv关联场，||||1表示1范数。

本实施中，化妆人脸图像样本和uv关联场的像素大小均为128×128。更为具体地，本实施例中形状保持网络的训练步骤可以包括：初始化形状保持网络的网络权重参数，其中，批处理大小为4，学习率为2×10^-4；以化妆人脸图像样本作为形状保持网络snet的输入数据，得到化妆人脸图像样本对应的形状信息；最后以化妆人脸图像样本对应的uv关联场作为真实图像标签，以公式(1)作为形状保持网络的损失函数，迭代训练形状保持网络snet使形状保持网络snet的输出与真实图像标签之间的损失逐渐减低至趋于稳定。

为了提升形状保持网络的泛化能力，在训练形状保持网络的过程中可以对训练数据进行增广处理，具体地，先将训练数据(例如化妆人脸图像样本)扩大到特定像素大小(例如132×132)，然后根据形状保持网络输入数据的像素大小(例如128×128)从扩大后的训练数据中随机裁剪得到与形状保持网络输入数据的像素大小相同的数据，并通过水平翻转进行数据增广。在形状保持网络的测试过程中直接输入数据增广处理后的训练数据。

步骤s2：基于预设的纹理风格迁移网络并且根据待测化妆人脸图像，获取待测化妆人脸图像对应的无妆纹理风格信息。

无妆纹理风格信息为化妆人脸图像对应的无妆人脸图像的纹理风格信息。纹理风格迁移网络可以是利用机器学习算法构建的卷积神经网络。纹理风格迁移网络可以包括迁移网络，迁移网络配置为获取化妆人脸图像对应的无妆纹理风格信息，即通过迁移网络获取待测化妆人脸图像对应的无妆纹理风格信息。在一些实施例中，迁移网络为编码-解码结构的卷积神经网络，并且使用跳层连接的方式以保留更多的原始输入数据的信息。本实施例中，迁移网络包括7个编码器(编码卷积层)和7个解码器(解码卷积层)，其中每个卷积层都是4×4大小的滤波器，步长为2，填充为1，滤波器的个数随着卷积层递增先增加后减少，在上下采样过程中滤波器数量和输出大小相同的卷积层之间有前传连接，需要说明的是，本发明中的迁移网络中卷积层的层数和每个卷积层中滤波器的个数及大小可以根据实际使用情况进行选择设置，本发明对迁移网络中卷积层的层数和每个卷积层中滤波器的个数及大小不作固定限制。

在一些实施例中，训练数据库还包括分别与每个化妆人脸图像样本对应的无妆人脸图像样本，在训练纹理风格迁移网络之前还包括对无妆人脸图像进行预处理的步骤，具体地，以化妆人脸图像样本中预设人脸关键点的位置信息为参照信息并且根据该化妆人脸图像样本对应的无妆人脸图像样本中人脸关键点的位置信息对无妆人脸图像样本进行变形，得到第一无妆人脸图像；分别对化妆人脸图像样本及其对应的第一无妆人脸图像进行图像分割，并且将从第一无妆人脸图像中分割出的图像反贴至化妆人脸图像样本中相应的分割区域，得到第二无妆人脸图像。

本实施例中，对无妆人脸图像进行预处理的步骤包括：对训练数据库中化妆人脸图像样本及其对应的无妆人脸图像样本进行68个人脸关键点的提取，选取其中重要的19个人脸关键点并以选取的19个人脸关键点的位置信息为参照信息对无妆人脸图像样本进行扭曲变形得到第一无妆人脸图像，然后针对化妆人脸图像样本和第一无妆人脸图像中分别提取眼睛中心、鼻尖和嘴角的5个关键点，并利用训练好的人脸分割模型得到化妆人脸图像样本和第一无妆人脸图像的分割图像，其中，分割图像包括脸部五官和脸皮(不包括头发)的分割图像，最后将第一无妆人脸图像的分割图像反贴到化妆人脸图像样本相应位置，得到与化妆人脸图像样本姿态、表情和身份更加接近的第二无妆人脸图像。本实施例中，化妆人脸图像样本、第一无妆人脸图像和第二无妆人脸图像的像素大小均为128×128。

在一些实施例中，基于化妆人脸图像样本及其对应的第二无妆人脸图像对纹理风格迁移网络进行网络训练；在此情况下，纹理风格迁移网络还包括第一特征提取网络和生成对抗网络，第一特征提取网络用于对迁移网络所获取的化妆人脸图像样本对应的无妆纹理风格信息进行特征提取并且将提取结果作为假样本，以及用于对第二无妆人脸图像进行特征提取并且将提取结果作为真样本；生成对抗网络用于根据假样本与真样本判断无妆纹理风格信息的真假。

本实施例中，将化妆人脸图像样本输入迁移网络，迁移网络输出无妆纹理风格信息；采用simonyan等人在文章“verydeepconvolutionalnetworksforlarge-scaleimagerecognition”中提出的vgg-19作为第一特征提取网络，分别将化妆人脸图像样本、迁移网络输出的无妆纹理风格信息以及第二无妆人脸图像输入vgg-19中，计算化妆人脸图像样本与迁移网络输出的无妆纹理风格信息之间特征层面的欧几里得距离，以得到化妆人脸图像样本与迁移网络输出的无妆纹理风格信息的内容相似性；计算迁移网络输出的无妆纹理风格信息与第二无妆人脸图像之间特征层面的欧几里得距离，以得到迁移网络输出的无妆纹理风格信息与第二无妆人脸图像的风格相似性；将vgg-19利用迁移网络输出的无妆纹理风格信息提取的特征作为假样本，将vgg-19利用第二无妆人脸图像提取的特征作为真样本，将真样本和假样本输入到生成对抗网络(判别器)中进行真假判断；迭代上述步骤直至纹理风格迁移网络稳定。可选的，为了提升纹理风格迁移网络的泛化能力，在训练纹理风格迁移网络的过程中同样可以对训练数据进行增广处理，增广处理的步骤可以参考形状保持网络的训练过程，这里不再赘述。

具体地，可以按照公式(2)所示的损失函数l总1训练纹理风格迁移网络：

l总1＝lstyle+lt(2)

其中，lstyle为纹理风格迁移网络中迁移网络对应的损失函数，lt为纹理风格迁移网络中生成对抗网络对应的损失函数。

并且其中，纹理风格迁移网络中迁移网络对应的损失函数lstyle如公式(3)所示：

其中，lc为图像内容损失函数，ls为图像风格损失函数，表示预设的权重系数；

图像内容损失函数lc如公式(4)所示：

lc＝||kn[(f(gt(i^a)))^t(f(gt(i^a)))-(f(i^a))^t(f(i^a))]||2(4)

其中，“||||2”表示2范数，kn表示预设的第一特征提取网络中第n个特征提取层对应的归一化因子，且cn、hn、wn分别表示第n个特征提取层的通道数、高度和宽度，“f()”表示第一特征提取网络，gt表示迁移网络，i^a表示化妆人脸图像样本，t表示矩阵转置符号；

图像风格损失函数ls如公式(5)所示：

其中，kn表示预设的第一特征提取网络中第n个特征提取层对应的归一化因子，n表示第一特征提取网络中特征提取层的数量，“fn()”表示第一特征提取网络中第n个特征提取层，i^b'表示第二无妆人脸图像样本。

纹理风格迁移网络中生成对抗网络对应的损失函数lt如公式(6)所示：

其中，表示基于i^b'在概率分布下的期望，表示基于i^a在概率分布下的期望，dt表示纹理风格迁移网络中的生成对抗网络。

本实施中，可以按照如下步骤训练纹理风格迁移网络：初始化纹理风格迁移网络的网络权重参数，为100，批处理的大小为4，学习率为2×10^-4；将化妆人脸图像样本输入迁移网络，输出无妆纹理风格信息；将输出的无妆纹理风格信息和化妆人脸图像样本的同时输入vgg-19中，以保证输出的无妆纹理风格信息与化妆人脸图像样本之间内容的一致；以第二无妆人脸图像作为无妆纹理风格信息的真实图像标签，将输出的无妆纹理风格信息与第二无妆人脸图像同时输入vgg-19中，以保证输出的无妆纹理风格信息与第二化妆人脸图像的风格一致；将输出的无妆纹理风格信息输入vgg-19，输出假样本，将第二无妆人脸图像输入vgg-19，输出真样本，再将真样本和假样本输入到生成对抗网络(即判别器)中，迭代训练纹理风格迁移网络，使图像内容损失函数lc、图像风格损失函数ls、生成对抗网络对应的损失函数lt均降低至趋于稳定。

步骤s3：基于预设的融合网络并且根据形状信息与无妆纹理风格信息，获取待测化妆人脸图像对应的无妆人脸图像。

融合网络是利用机器学习算法构建的卷积神经网络。在一些实施例中，融合网络包括生成器和判别器，融合网络通过生成器并且根据形状信息与无妆纹理风格信息，获取待测化妆人脸图像对应的无妆人脸图像。在融合网络的判别器中将化妆人脸图像样本和生成的无妆人脸图像作为输入，并采用预设的生成对抗损失函数进行真假判断。本实施例中，融合网络中生成器的输入数据的像素大小为128×128，维度为5维，分别包含来自形状保持网络的2维和迁移网络的3维。融合网络包括6个残差块，其中每个残差块的卷积层都是3×3大小的滤波器。需要说明的是，融合网络中的残差块的个数和每层卷积层中滤波器器的个数以及大小可以根据实际情况进行选择设置，本发明对融合网络中的残差块的个数和每层卷积层中滤波器器的个数以及大小不作固定限制。

在一些实施例中，人脸妆容去除方法还包括融合网络的网络训练步骤，并在此情况下，融合网络还包括第二特征提取网络，第二特征提取网络用于分别对第二无妆人脸图像和生成器根据化妆人脸图像样本对应的形状信息与无妆纹理风格信息生成无妆人脸图像进行特征提取，判别器用于根据预设的假样本对与预设的真样本对判断生成器所生成的无妆人脸图像的真假；假样本对包括生成器所生成的无妆人脸图像和化妆人脸图像样本，真样本对包括第二无妆人脸图像和化妆人脸图像样本。

融合网络的网络训练步骤可以包括：获取形状保持网络得到的训练数据库中每个化妆人脸图像样本对应的形状信息；获取纹理风格迁移网络得到的每个化妆人脸图像样本对应无妆纹理风格信息；基于化妆人脸图像样本对应的第二无妆人脸图像、形状信息与无妆纹理风格信息对融合网络进行网络训练。

在一些实施例中，基于第二无妆人脸图像、形状信息与无妆纹理风格信息并且根据公式(7)所示的损失函数l总2训练融合网络：

l总2＝li+lpixel+lf(7)

其中，li表示融合网络损失函数中的身份保持损失函数，lpixel表示融合网络损失函数中的图像内容保持损失函数，lf表示融合网络损失函数中的生成对抗损失函数。

融合网络损失函数中的身份保持损失函数li如公式(8)所示：

其中，表示预设的权重系数，表示基于i^r，i^b在概率分布下的期望，“||||2”表示2范数，m()表示第二特征提取网络，i^r表示融合网络生成的无妆人脸图像，i^b表示化妆人脸图像样本对应的无妆人脸图像样本；

融合网络损失函数中的图像内容保持损失函数lpixel如公式(9)所示：

其中，表示预设的权重系数，l1表示预设的基于1范数度量的图像内容一致性损失函数并且表示基于i^b'在概率分布下的期望，ltv表示预设的平滑损失函数并且分别表示融合网络生成的无妆人脸图像i^r中位置(i,j)，(i,j+1)，(i+1,j)处的像素值，i^b'表示第二无妆人脸图像样本；

融合网络损失函数中的生成对抗损失函数lf如公式(10)所示：

其中，表示基于i^b'在概率分布下的期望，表示基于i^r在概率分布下的期望，df表示融合网络。

本实施例中，是利用wu等人在论文“alightcnnfordeepfacerepresentationwithnoisylabels”中提出的lightcnn作为第二特征提取网络。将融合网络中生成器生成的无妆人脸图像与化妆人脸图像样本对应的无妆人脸图像样本同时输入lightcnn中，在特征层面计算生成的无妆人脸图像与无妆人脸图像样本之间的欧几里得距离，以得到二者之间身份信息的相似性。另外，计算融合网络中生成器生成的无妆人脸图像与第二无妆人脸图像之间的曼哈顿距离，以得到二者之间像素级别的相似性，并通过像素级别的相似性度量进行平滑。将生成的无妆人脸图像和化妆人脸图像样本构成假样本对，将第二无妆人脸图像和化妆人脸图像样本构成真样本对。将假样本对和真样本对输入判别器中进行生成对抗损失函数的计算，迭代上述过程直至融合网络趋至稳定。

更为具体地，本实施中训练融合网络包括如下步骤：初始化融合网络的网络权重系数，其中，分别设置为0.1,100，批处理大小为4，学习率为2×10^-4；将形状保持网络生成的形状信息和纹理风格迁移网络生成的无妆纹理风格信息输入到融合网络的生成器中，得到无妆人脸图像；以第二无妆人脸图像作为真实图像的标签，将生成的无妆人脸图像与化妆人脸图像样本对应的无妆人脸图像样本输入lightcnn中，以计算身份保持损失函数li；将生成的无妆人脸图像与第二无妆人脸图像输入lightcnn中，以计算图像内容保持损失函数lpixel；将生成的无妆人脸图像和化妆人脸图像样本构成假样本对，将第二无妆人脸图像和化妆人脸图像样本构成真样本对，将假样本对和真样本对输入判别器进行生成对抗损失函数lf的计算，迭代上述过程使身份保持损失函数li、图像内容保持损失函数lpixel以及生成对抗损失函数lf均降低至趋于稳定。

本发明的人脸妆容去除方法可以利用生成对抗网络的高度非线性拟合能力，针对人脸妆容去除任务，以化妆人脸图像作为输入数据，分别学习化妆人脸图像对应的形状信息和无妆纹理风格信息，通过融合网络将形状信息和无妆纹理风格信息进行融合以生成无妆人脸图形。特别的，形状保持网络通过3d引导的uv域映射方式可以很好的保持形状信息，另外，通过额外地增加网络的损失函数可以很好地保持人脸身份信息和内容信息。

参阅附图2，图2示例性示出了人脸妆容去除方法的主要流程，如图2所示，基于训练好的形状保持网络、纹理风格迁移网络和融合网络，以化妆人脸图像作为输入数据，基于形状保持网络学习形状信息，基于纹理风格迁移网络学习无妆纹理风格信息，基于融合网络对形状信息和无妆纹理风格信息进行融合生成无妆人脸图像。本发明的人脸妆容去除方法可以在有效完成人脸妆容去除任务的同时很好地保持身份信息和内容信息，合成无妆人脸图像更加逼真、自然。为了验证本发明人脸妆容去除方法的有效性，下面结合附图对本发明方法的测试实验进行详细说明。

参阅附图3，图3示例性示出了人脸妆容去除方法在训练数据库fam、dataset1和dataset2上测试数据，图3中从上向下数，第一行为化妆人脸图像，第二行为pix2pix生成的无妆人脸图像，第三行为blan生成的无妆人脸图像，第四行为本发明方法生成无妆人脸图像，第五行为真实的无妆人脸图像。训练数据库fam是hu等人在发表的文章“makeup-robustfaceverification”中提出的人脸数据库；训练数据库dataset1是guo等人在发表的文章“faceauthenticationwithmakeupchanges”中提出的人脸数据库；训练数据库dataset2是sun等人在发表的文章“aweaklysupervisedmethodformakeup-invariantfaceverification”中提出的人脸数据库；pix2pix是phillipisola等人在发表的文章“image-to-imagetranslationwithconditionaladversarialnetworks”中提出来的模型；blan是yili等人在发表的文章“anti-makeup:learningabi-leveladversarialnetworkformakeup-invariantfaceverification”中提出的模型。

将本发明提供的人脸妆容去除方法应用于公开的训练数据库fam、dataset1和dataset2。其中，fam数据库包括519对人脸图像，dataset1包括501对人脸图像，dataset2包括203对人脸图像，每对图像包含一张化妆人脸图像和一张无妆人脸图像。本实施例中，将所有图像统一调整到128×128像素大小。针对三个训练数据库，分别通过五折交叉方式训练和测试。利用3d引导的关联映射得到化妆人脸的uv关联场，作为形状保持网络的真实标签，同时利用脸部关键点信息得到与化妆人脸图像姿态一致的无妆人脸的扭曲反贴图，作为纹理风格迁移网络和融合网络的真实标签，将化妆人脸图像作为输入，分别通过形状保持网络学习形状信息和纹理风格迁移网络学习无妆纹理风格信息，最后通过融合网络进行融合生成无妆人脸。训练过程中不断调整不同任务的权重，直至最后网络收敛，得到可以用来进行人脸妆容去除的网络。为了测试形状保持网络、纹理风格迁移网络和融合网络的有效性，按照五折交叉验证方式分别针对三个训练数据库进行人脸妆容去除的操作，可视化的测试结果如图3所示。

参阅附图4，图4示例性示出了基于本发明方法在训练数据库fam、dataset1和dataset2上的人脸验证结果，如图4所示，为了验证本发明中的形状保持网络、纹理风格迁移网络和融合网络的具有身份保持的能力，我们利用融合网络生成的无妆人脸图像和真实的无妆人脸图像进行人脸验证实验。在人脸验证试验中应用了当前比较鲁棒的人脸验证方法或模型，人脸验证的准确率如图4所示。其中，(guo,wen,andyan2014)表示guo等人在发表的文章“faceauthenticationwithmakeupchanges”中提出来的人脸妆容去除方法；(sunetal.2017)表示sun等人在发表的文章“aweaklysupervisedmethodformakeup-invariantfaceverification.”中提出来的人脸妆容去除方法；vgg表示simonyan等人在发表的文章“verydeepconvolutionalnetworksforlarge-scaleimagerecognition”中提出的模型；lightcnn表示wu等人在发表的文章“alightcnnfordeepfacerepresentationwithnoisylabels.”中提出来的模型；blan表示yili等人在发表的文章“anti-makeup:learningabi-leveladversarialnetworkformakeup-invariantfaceverification”中提出的模型；st-gan表示本申请提出的模型；(nguyenandbai2010)表示nguyen等人在发表的文章“cosinesimilaritymetriclearningforfaceverification”中提出来的人脸妆容去除方法；(huetal.2013)表示hu等人在发表的文章“makeup-robustfaceverification.ininternationalconferenceonacoustics.”中提出的方法。通过对比人脸验证的准确率可以有效证明本发明方法对人脸妆容去除和身份信息保持的有效性。

本领域技术人员应该能够意识到，虽然本申请提供了如实施例或流程图所述的方法操作步骤，但基于常规或者创造性的劳动可以包括更多或者更少的操作步骤。本实施例中列举的步骤仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的装置或客户端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。

本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的方法及步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。

术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。