基于颜色纹理的多尺度妆容风格差异度量及迁移方法、系统与流程

本发明涉及图像生成技术领域，具体涉及一种基于颜色纹理的多尺度妆容风格差异度量及妆容迁移技术方案。

背景技术：

化妆是一种常见的提升外貌的方式。通过运用化妆品和工具，可以对面部和五官进行渲染、描画、掩饰缺陷、调整形色、增强立体印象，从而增加美感和魅力。因此，图像处理技术领域中，妆容处理也是重要的应用场景，例如，授权专利cn108090465b提供了一种妆容效果处理模型训练方法及妆容效果处理方法，授权专利cn105956150b提供了生成用户发现及妆容搭配建议的方法及装置。

人脸妆容迁移是近年来在图像处理领域出现的新的应用技术。最近，一些虚拟化妆应用程序已投入市场，比如美图秀秀、camera360、taaz等等。这些应用可以将用户选择的妆容迁移到输入的人脸图像上，这样，用户就可以实时看到某个妆容在自己脸上的效果。但是这些应用只提供特定的几种妆容，应用范围有限。

妆容风格迁移旨在只提供一张参考妆容图像和一张素颜人脸图像的情况下，将参考妆容迁移到素颜人脸上的同时维持素颜人脸的身份信息不变。妆容风格迁移是一种无监督的实例级别的风格迁移任务。通过妆容风格迁移，只需提供一张带妆人脸图像就可以看到该妆容在用户脸上的效果。

随着对抗生成网络在图像生成领域取得巨大成功，已有技术利用对抗生成网络的方法完成妆容风格迁移的任务。大部分实现妆容风格迁移的模型都需要妆容差异损失来辅助生成器的训练。然而大部分妆容差异度量方法只考虑了妆容颜色信息没有考虑妆容纹理信息。另外，通过计算像素级别差异的平均值来度量妆容差异，这种方式带有的结构信息少。完全不同的妆容生成结果得到相似妆容差异值的可能性大。

技术实现要素：

为了解决上述背景技术中存在的不足，即现有的妆容差异度量方法带有信息偏少。本发明提出了一种基于颜色纹理的多尺度妆容风格差异度量及妆容迁移方案以精准的描述妆容差异，实现更好的妆容迁移效果。

为了实现上述目的，本发明提供一种基于颜色纹理的多尺度妆容风格差异度量方法，包括以下步骤，

步骤1，将参考妆容人脸图像变形到素颜人脸图像上，得到一张伪带妆人脸图像并将素颜人脸图像和参考妆容人脸图像输入对抗生成网络中，由对抗生成网络中的生成网络模块输出初步的目标带妆人脸图像

步骤2，通过在妆容差异度量时引入纹理信息，并采用多尺度方式提取伪带妆人脸图像和素颜人脸图像之间的妆容差异，度量目标带妆人脸图像与参考妆容图像之间的妆容差异。

而且，步骤1的实现方式为，根据人脸关键点利用warping算法，输入素颜人脸图像和参考妆容人脸图像将参考妆容人脸图像变形到素颜人脸图像上。

而且，所述分别提取伪带妆人脸图像和素颜人脸图像的纹理特征，通过gabor滤波器实现。

而且，步骤2实现方式如下，

分别提取伪带妆人脸图像和素颜人脸图像的纹理特征，得到相应的纹理图片和

将伪带妆源人脸图像和目标带妆人脸图像分别按多个不同尺度划分区域，并在对应区域分别通过平均绝对误差计算妆容差异后取均值，得到颜色空间的妆容差异值同理，将纹理图片和划分为多个不同尺度的区域，在对应区域分别通过平均绝对误差计算妆容差异后取均值，得到纹理空间的妆容差异值计算和的加权和得到最终的妆容差异值其中，α为颜色空间差异权值，β为纹理空间差异权值。

本发明还提供一种基于颜色纹理的多尺度妆容风格差异度量系统，用于实现如上所述的一种基于颜色纹理的多尺度妆容风格差异度量方法。

本发明也提供一种基于颜色纹理的妆容迁移方法，包括以下步骤，

步骤1，将参考妆容人脸图像变形到素颜人脸图像上，得到一张伪带妆人脸图像并将素颜人脸图像和参考妆容人脸图像输入对抗生成网络中，由对抗生成网络中的生成网络模块输出初步的目标带妆人脸图像

步骤2，通过在妆容差异度量时引入纹理信息，并采用多尺度方式提取伪带妆人脸图像和素颜人脸图像之间的妆容差异，度量目标带妆人脸图像与参考妆容图像之间的妆容差异；

步骤3，将步骤2所得妆容差异值作为对抗生成网络中的一个损失函数，辅助生成网络的学习，得到更好的妆容迁移效果。

而且，步骤1的实现方式为，根据人脸关键点利用warping算法，输入素颜人脸图像和参考妆容人脸图像将参考妆容人脸图像变形到素颜人脸图像上。

而且，所述分别提取伪带妆人脸图像和素颜人脸图像的纹理特征，通过gabor滤波器实现。

而且，步骤2实现方式如下，

分别提取伪带妆人脸图像和素颜人脸图像的纹理特征，得到相应的纹理图片和

将伪带妆源人脸图像和目标带妆人脸图像分别按多个不同尺度划分区域，并在对应区域分别通过平均绝对误差计算妆容差异后取均值，得到颜色空间的妆容差异值同理，将纹理图片和划分为多个不同尺度的区域，在对应区域分别通过平均绝对误差计算妆容差异后取均值，得到纹理空间的妆容差异值计算和的加权和得到最终的妆容差异值其中，α为颜色空间差异权值，β为纹理空间差异权值。

本发明还提供一种基于颜色纹理的妆容迁移系统，用于实现如上所述的一种基于颜色纹理的妆容迁移方法。

本发明提出以下改进：

(1)现有的妆容差异度量方法只考虑了妆容的色彩信息，本发明提出利用通过gabor滤波器提取的妆容纹理信息以丰富对妆容的描述。

(2)现有的方法大多通过计算像素级别差异的平均值来度量妆容差异，这种方法带有的结构信息少。完全不同的妆容生成结果得到相似妆容差异值的可能性大。本发明提出将待比较的两张图像划分为多个不同尺度的区域，即将图像划分为多个不同大小的子区域，在对应的区域分别计算妆容差异值后取均值得到最终的妆容差异值以提供更为丰富的妆容结构信息。这种度量方式可以更精准的描述妆容差异。

本发明方案实施简单方便，实用性强，解决了相关技术存在的实用性低及实际应用不便的问题，能够提高用户体验，具有重要的市场价值。

附图说明

图1为本发明实施例的方法流程图。

图2为本发明实施例图像扭曲示意图。

图3为本发明实施例纹理特征提取及多尺度妆容差异度量示意图。

图4为本发明实施例妆容迁移效果示意图。

具体实施方式

以下结合附图和实施例具体说明本发明的技术方案。

本发明提出一种基于颜色纹理的多尺度妆容风格差异度量及相应妆容迁移方案，妆容风格迁移任务旨在给定一张参考妆容图像和一张素颜人脸图像的情况下将参考妆容迁移到素颜人脸上同时维持素颜人脸的身份信息不变，得到目标带妆人脸图像其中y代表带妆图像域，x代表素颜图像域。在妆容风格迁移模型的训练中往往需要度量与之间的妆容差异以更好的训练模型。因此，本发明首先提出一种新的基于颜色纹理的多尺度妆容风格差异度量方法。

如图1，实施例提出一种基于颜色纹理的多尺度妆容风格差异度量方法，具体步骤如下：

1)如图2，实施例根据人脸关键点将参考妆容人脸图像变形到素颜人脸图像上，得到一张伪带妆人脸图像并将素颜人脸图像和参考妆容人脸图像输入对抗生成网络中，由其中的生成网络模块输出初步的目标带妆人脸图像

对抗生成网络(gan)可以用户完成初步的妆容风格迁移任务，实施例将素颜人脸图像和参考妆容人脸图像输入到该对抗生成网络中，由其中的生成网络模块输出初步的目标带妆人脸图像实施例采用的对抗生成网络的具体结构参考“beautygan:instance-levelfacialmakeuptransferwithdeepgenerativeadversarialnetwork”。在实施例的多尺度妆容差异度量方法中，实施例需要度量目标带妆人脸图像和参考妆容图像之间的妆容差异。但是，度量目标带妆人脸图像和参考妆容图像并不是同一个人的带妆效果，直接度量和之间的妆容差异比较困难。因此，实施例通过扭曲算法(warping)，输入素颜人脸图像和参考妆容人脸图像得到伪带妆人脸图像通过度量伪带妆人脸图像和目标带妆人脸图像之间的差异来近似和之间的妆容差异。

本发明通过关键点扭曲的方法可以保留妆容的色彩和位置信息，有利于妆容差异的度量。实施例提取的关键点包括面部轮廓和眉眼鼻唇上分布的若干点。

扭曲算法(warping)的具体步骤可参考现有技术，实施例实现参考“thin-platesplinesandthedecompositionofdeformations”。

2)通过计算伪带妆人脸图像和素颜人脸图像之间的妆容差异，度量目标带妆人脸图像与参考妆容图像之间的妆容差异。

实施例分别提取和的颜色和纹理信息，将得到的颜色和纹理信息划分为多个区域，在对应区域分别度量妆容颜色差异和妆容纹理差异。将妆容颜色差异和妆容纹理差异结合即得到最终的妆容差异值。

步骤2.1，如图3，实施例通过gabor滤波器分别提取和的纹理特征和，得到两张纹理图片和

gabor滤波器的具体设计可采用现有技术，实施例实现参考“gaborfeaturebasedclassificationusingtheenhancedfisherlineardiscriminantmodelforfacerecognition”。

步骤2.2，然后实施例将两张色彩图片——伪带妆源人脸图像和目标带妆人脸图像分别按多个不同尺度划分区域，如图3，具体实施时可以通过不同尺寸大小(实施例取1×1、4×4、16×16)的方形窗口对图像进行有部分重叠的滑动划分，并在对应区域分别通过平均绝对误差计算妆容差异后取均值，得到颜色空间的妆容差异值同理，实施例将纹理图片和划分为多个不同尺度的区域，在对应区域分别通过平均绝对误差计算妆容差异后取均值，得到纹理空间的妆容差异值

步骤2.3，最后，实施例计算和的加权和得到最终的妆容差异值

其中，α为颜色空间差异权值，取值大于0，β为纹理空间差异权值，取值大于0。具体实施时，可设置为经验值。实施例中，优选设置α＝1，β＝5。

实施例计算得到的妆容差异值dsr可以作为对抗生成网络中的一个约束，有利于学习到更好的生成网络，实现更好的妆容迁移效果。

在另一实施例中，提出一种基于颜色纹理的妆容迁移方法，利用上述实施例所得妆容差异值可以作为对抗生成网络中的一个损失函数，辅助生成网络的学习，得到更好的妆容迁移效果。具体实施时，可将妆容差异值加入到对抗生成网络的目标函数中，通过反向传播，梯度下降更新网络参数，完成训练。最终使得网络可以更准确的生成妆容迁移结果。如图4，添加了dsr约束后，可以更好的迁移复杂妆容。

具体实施时，本发明技术方案提出的方法可由本领域技术人员采用计算机软件技术实现自动运行流程，运行方法的系统装置例如存储本发明技术方案相应计算机程序的计算机可读存储介质以及包括运行相应计算机程序的计算机设备，也应当在本发明的保护范围内。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。