一种基于神经网络的智能仿妆系统及仿妆生成方法与流程

1.本发明属于智能仿妆技术领域，特别涉及一种基于神经网络的智能仿妆系统及仿妆生成方法。


背景技术：

2.现有技术中，通过将妆容风格视为颜色分布，导致空间信息忽略，有关妆容细节的高频信息被丢失，只能复制整体妆容风格，不能精确地转移妆容细节；通过传统的像素级交叉注意力来捕捉源图像和参照图像之间的对应关系，需要大量计算开销，限制了隐藏特征图的大小，导致颜色渗漏问题；在妆容转移过程中，由于图像被降采样为低分辨率的特征图，高频信息损失，导致在仿妆过程中应保持不变的细节属性发生变化。


技术实现要素：

3.针对上述问题，本发明提供了一种基于神经网络的智能仿妆系统，以解决现有技术中，在仿妆生成任务中细节被丢失，只能复制整体妆容风格，不能精确地迁移妆容细节的问题。
4.根据本发明实施例的第一方面，提供了一种基于神经网络的智能仿妆系统，包括：
5.面部属性编码器(faenc)，用于提取原图像和参考图像的特征图；
6.妆容转移模块(mtm)，用于对参考图像的特征图进行处理；
7.应用妆容解码器(madec)，用于对所述原图像的特征图和所述妆容转移模块(mtm)输出的妆容矩阵进行解码处理，从而生成仿妆图像。
8.优选地，所述所述面部属性编码器(faenc)，用于提取原图像的高分辨率特征图和低分辨率特征图、参考图像的高分辨率特征图和低分辨率特征图。
9.优选地，所述妆容转移模块(mtm)，包括第一注意力模块和滑窗注意力模块，其中：
10.第一注意力模块，用于对参考图像的低分辨率特征图进行处理，通过像素交叉注意力的方式将参考图像的低分辨率特征图与源图像人脸对齐，源图像上的每个位置都对应于参考图像上具有最相似特征的区域，所述参考图像的低分辨率特征图根据这些软像素对应关系进行变形；
11.滑窗注意力模块，用于将参考图像的高分辨率特征图与源图像人脸对齐。
12.优选地，所述滑窗注意力模块，用于将参考图像的高分辨率特征图与源图像人脸对齐包括：通过薄板样条变换，使参考图像的高分辨率特征图在空间上与源图像人脸粗略地对齐；
13.利用交错重叠的窗格来分割参考图像的高分辨率特征图，并多次应用所述交叉注意力；
14.通过基于位置的权重加权求和以输出平滑后的高分辨率妆容矩阵。
15.优选地，所述应用妆容解码器还用于将变形后的高分辨率妆容矩阵与源图像的高分辨率特征图进行元素相乘；
16.所述应用妆容解码器用于将变形后的低分辨率妆容矩阵与源图像的低分辨率特征图进行元素相乘。
17.优选地，所述应用妆容解码器，还用于将变形后的高分辨率妆容矩阵与源图像的高分辨率特征图进行元素相乘的结果与将变形后的低分辨率妆容矩阵与源图像的低分辨率特征图进行元素相乘的结果进行融合，并生成最终的仿妆图像。
18.优选地，所述应用妆容解码器，还用于通过线性插值操纵所述变形后的妆容矩阵来实现指定区域、可控浓度的妆容转移。
19.优选地，伪真实值：所述应用妆容解码器，还用于根据薄板样条变换、直方图匹配和线性退火法，通过从粗到细的方式，包括颜色匹配和细节匹配两个阶段，生成将参考图像的妆容转移到源图像人脸的伪真实值；
20.所述伪真实值用于监督所述神经网络生成器学到所需的映射，为妆容细节的生成提供额外的监督信号。
21.优选地，所述颜色匹配，包括：将面部区域划分为皮肤、嘴唇和眼周区域，对源图像和所述神经网络生成器所生成妆容转移后图像的相应区域，分别用直方图匹配，使其颜色分布与参考图像相应区域的颜色分布一致，将两个匹配结果用特定权重混合；
22.所述细节匹配，包括：将面部区域划分为皮肤、嘴唇和眼周区域，基于检测到的人脸关键点，将参考图像中的相应区域扭曲使得与源图像中相应的区域对齐，对齐后的参考图像相应区域与颜色匹配阶段获得的伪真实值以特定权重进行混合，并对边缘平滑处理。
23.优选地，所述线性退火法，包括：在颜色匹配阶段，逐渐减小混合权重以生成颜色更自然的伪真实值，在细节匹配阶段，在训练前期通过逐渐增加混合权重以增加目标难度，让所述神经网络生成器首先学习全局颜色分布，然后学习局部妆容细节，在训练后期阶段，减少混合权重以避免所述神经网络生成器学到人工痕迹。
24.根据本发明实施例的第二方面，提供一种仿妆生成方法，包括：
25.提取原图像和参考图像的特征图；
26.对参考图像的特征图进行处理；
27.对所述原图像的特征图和处理后的参考图像特征图进行解码处理，从而生成仿妆图像。
28.优选地，所述提取原图像和参考图像的特征图具体为：
29.提取原图像的高分辨率特征图和低分辨率特征图、参考图像的高分辨率特征图和低分辨率特征图。
30.优选地，所述对参考图像的特征图进行处理具体为：
31.对参考图像的低分辨率特征图进行处理，通过像素交叉注意力的方式将参考图像的低分辨率特征图与源图像人脸对齐，源图像上的每个位置都对应于参考图像上具有最相似特征的区域，所述参考图像的低分辨率特征图根据这些软像素对应关系进行变形；
32.将参考图像的高分辨率特征图进行窗格化处理，具体为：通过薄板样条变换，使参考图像的高分辨率特征图在空间上与源图像人脸粗略地对齐；利用交错重叠的窗格来分割参考图像的高分辨率特征图，并多次应用所述交叉注意力；通过基于位置的权重加权求和以输出平滑后的高分辨率妆容矩阵。
33.本发明至少具有如下的效果，
34.在仿妆生成任务中能够更加精确地迁移妆容细节的问题。
35.本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所指出的结构来实现和获得。
附图说明
36.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一个简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
37.图1是本发明仿妆系统一种实施例提供的示意图；
38.图2是本发明仿妆系统一种实施例提供的流程图；
39.图3是本发明仿妆系统的滑窗注意力模块的示意图。
具体实施方式
40.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
41.图1是本发明仿妆系统一种实施例提供的示意图。
42.如图1所示，本实施例的一种基于神经网络的智能仿妆系统，包括：
43.面部属性编码器(faenc)，用于提取原图像和参考图像的特征图；
44.妆容转移模块(mtm)，用于对参考图像的特征图进行处理；
45.应用妆容解码器(madec)，用于对所述原图像的特征图和所述妆容转移模块(mtm)输出的妆容矩阵进行解码处理，而生成仿妆图像。
46.在具体实践中，所述面部属性编码器(faenc)，用于提取原图像的高分辨率特征图和低分辨率特征图、参考图像的高分辨率特征图和低分辨率特征图。
47.参照图2，为本发明仿妆系统一种实施例提供的流程图，在具体实践中，所述妆容转移模块(mtm)，包括第一注意力模块和滑窗注意力模块，其中：
48.第一注意力模块，用于对参考图像的低分辨率特征图进行处理，通过像素交叉注意力的方式将参考图像的低分辨率特征图与源图像人脸对齐，源图像上的每个位置都对应于参考图像上具有最相似特征的区域，所述参考图像的低分辨率特征图根据这些软像素对应关系进行变形；
49.滑窗注意力模块，用于将参考图像的高分辨率特征图与源图像人脸对齐。
50.在具体实践中，所述滑窗注意力模块，用于将参考图像的高分辨率特征图与源图像人脸对齐包括：通过薄板样条变换，使参考图像的高分辨率特征图在空间上与源图像人脸粗略地对齐；
51.利用交错重叠的窗格来分割参考图像的高分辨率特征图，并多次应用所述交叉注意力；
52.通过基于位置的权重加权求和以输出平滑后的高分辨率妆容矩阵。
53.在具体实践中，通过应用妆容解码器将变形后的高分辨率妆容矩阵与源图像的高分辨率特征图进行元素相乘；
54.通过应用妆容解码器将变形后的低分辨率妆容矩阵与源图像的低分辨率特征图进行元素相乘。
55.在具体实践中，将变形后的高分辨率妆容矩阵与源图像的高分辨率特征图进行元素相乘的结果与将变形后的低分辨率妆容矩阵与源图像的低分辨率特征图进行元素相乘的结果进行融合，并生成最终的仿妆图像。
56.在具体实践中，所述高分辨率妆容矩阵包含高频率信息；
57.所述低分辨率妆容矩阵包含低频率信息；
58.所述高分辨率妆容矩阵和低分辨率妆容矩阵分别由参考图像的高分辨率特征和低分辨率特征组成。
59.在具体实践中，通过所述注意力矩阵将妆容矩阵变形并与源图像中人脸匹配，包括：
60.通过像素级交叉注意力的方式计算含有妆容矩阵与源图像人脸间像素级软对齐关系的注意力矩阵，根据软对齐关系将所述妆容矩阵变形并适应源图像。
61.在具体实践中，通过线性插值操纵所述变形后的妆容矩阵来实现指定区域、可控浓度的妆容转移。
62.在具体实践中，所述注意力模块，因为源图像和参考图像在表情和姿势上存在差异,从参考图像得到的特征图yh和y
l
不能直接应用于源图像，本发明通过注意力将特征图与源人脸对齐，注意力可以解释为源图像上的每个位置都对应于参考图像上具有最相似特征的区域，特征图根据这些软像素对应关系进行变形，形式上，给定一对从源图像和参考图像中提取的特征图，其中c,h和w是特征图的通道数、高度和宽度，注意力矩阵的计算方法为
[0063][0064]
其中是可学习参数，为特征图与位置嵌入相拼接，在此，位置嵌入采用关键点嵌入法，将空间特征引入注意力，给定n个脸部关键点对于图像上的第i个像素xi,位置嵌入是由xi与这些关键点的相对位置计算得出向量，
[0065][0066]
其中x(
·
)和y(
·
)分别表示一个点的x坐标和y坐标，随后pi被归一化为二范数以确保与尺寸无关，并与像素xi处的视觉特征向量相拼接。
[0067]
妆容特征由参考特征图y经过可学习权重的线性投影提炼出来，妆容矩阵与y保持空间上的对应，
[0068]
注意力矩阵a被应用于妆容特征γ0，以将其变形并与x的空间分布相对齐，
[0069]
γ＝a(yv)
ꢀꢀꢀꢀ
(3)
[0070]
之后，变形后的妆容矩阵γ成为应用妆容解码器的输入，然后与源图像的特征图x元素相乘，
[0071][0072]
因为变形后的妆容矩阵γ在空间上对应于源图像,因此在输入应用妆容解码器之前，可以通过对γ的操作来实现针对特定区域的、可控浓淡的仿妆生成。
[0073]
在具体实践中，所述滑窗注意力模块用于：通过薄板样条变换，使参考图像的特征图在空间上与源图像人脸对齐；
[0074]
利用交错重叠的窗格来分割参考图像的特征图，并多次应用所述交叉注意力；
[0075]
通过基于位置的权重加权求和以输出平滑后的妆容矩阵。
[0076]
在具体实践中，传统的像素级交叉注意力需要大量计算开销，计算量与像素数的二次方成正比，有限的成本限制了输入特征图的大小，因此，在降采样过程中，大量的高频信息丢失，从而难以保留细节特征，如源图像上的皱纹以及待迁移的妆容细节，如参考图像上的眼影，本发明设计了适用于更高分辨率特征图的滑窗注意力模块，可以处理妆容细节，并支持沿空间维度对妆容矩阵进行精确编辑，所述滑窗注意力模块，包括：
[0077]
通过薄板样条变换，使参考特征图y在空间上与源图像人脸粗略地对齐，薄板样条变换由n个控制点决定，这些控制点在原始空间和目标空间的坐标被分别表示为和其中c被设定为源面的n个坐标点的坐标，c
′
被设定为参考面的坐标，然后薄板样条变换通过参数化窗格抽样将y转换成y
′
以使c适应c
′
，预设的公式中二维薄板样条变换对输入可导，可以应用梯度下降来优化神经网络模型。
[0078]
参照图3，为本发明仿妆系统的滑窗注意力模块的示意图，滑窗注意力中，因为源图像特征图x和变换后的参考图像特征图y
′
是粗略对齐的，局部注意力足以让x上的一个点从y上相应的邻近区域获取细节的妆容，然而，将特征图分割成不重叠的窗格单元进行局部注意力存在不连续的问题，导致输出图像中窗格边缘处出现明显的人工痕迹，本发明利用交错重叠的窗格来分割参考图像的特征图，并多次应用所述交叉注意力，形式上，特征图的分割由一个s
×
s窗格定义,其中超参数s是窗格大小，每块3s/2
×
3s/2区域产生四个交错重叠的分割窗格，窗格间存在距离为s/2的滑动，之后，所述注意力模块被应用于源图像特征图与参考图像特征图每个相应的窗格。滑窗注意力也可以理解为：特征图被分割成s/2
×
s/2的斑块,源图像特征图x上的每个斑块参与四次注意力，每次注意力计算中注意参考图像特征图y
′
。
[0079]
平滑化为了确保输出的妆容矩阵沿空间维度连续，所述的多个窗格产生的注意力输出(局部妆容矩阵)被汇总起来，经过基于位置的权重加权求和，输出平滑后的妆容矩阵，让w是一个窗格单元,xi∈w是该单元中的一个像素，位置xi在该窗格中输出的注意力值会根据权重w(xi，w)进行缩放,其中w(xi，w)由像素xi与窗格单元w的相对位置决定
[0080][0081]
其中cw为窗格w的中心,x(
·
)和y(
·
)分别表示一个点的x坐标和y坐标，完整妆容矩阵中位置xi的最终值为
[0082][0083]
w(xi，w)符合以下两个要求:w(xi，w)在空间上是连续的；对于每个像素xi，因此w(xi，w)保证了输出的注意力矩阵的连续性。
[0084]
在具体实践中，训练滑窗注意力自动编码器的损失函数是对抗性损失和循环一致性损失感知损失和化妆损失的加权总和。
[0085]
总的损失表示为
[0086]
所述化妆损失为模型所生成图像与伪真实值间的欧式距离
[0087][0088]
在具体实践中，伪真实值：基于薄板样条变换、直方图匹配和线性退火法，通过从粗到细的方式，包括颜色匹配和细节匹配两个阶段，生成将参考图像的妆容转移到源图像人脸的伪真实值；
[0089]
所述伪真实值用于监督所述神经网络生成器学到所需的映射，为妆容细节的生成提供额外的监督信号。
[0090]
在具体实践中，所述颜色匹配，包括：将面部区域划分为皮肤、嘴唇和眼周区域，对源图像和所述神经网络生成器所生成妆容转移后图像的相应区域，分别用直方图匹配，使其颜色分布与参考图像相应区域的颜色分布一致，将两个匹配结果用特定权重混合。
[0091]
在具体实践中，所述细节匹配，包括：将面部区域划分为皮肤、嘴唇和眼周区域，基于检测到的人脸关键点，将参考图像中的相应区域扭曲使得与源图像中相应的区域对齐，对齐后的参考图像相应区域与颜色匹配阶段获得的伪真实值以特定权重进行混合，并对边缘平滑处理。
[0092]
在具体实践中，所述线性退火法，包括：在颜色匹配阶段，逐渐减小混合权重以生成颜色更自然的伪真实值，在细节匹配阶段，在训练前期通过逐渐增加混合权重以增加目标难度，让所述神经网络生成器首先学习全局颜色分布，然后学习局部妆容细节，在训练后期阶段，减少混合权重以避免所述神经网络生成器学到人工痕迹。
[0093]
本技术实施例还公开了一种仿妆生成方法，具体包括以下的步骤，提取原图像和参考图像的特征图；
[0094]
对参考图像的特征图进行处理；
[0095]
对所述原图像的特征图和处理后的参考图像特征图进行解码处理，从而生成仿妆图像。
[0096]
在具体实践中，所述提取原图像和参考图像的特征图具体为：
[0097]
提取原图像的高分辨率特征图和低分辨率特征图、参考图像的高分辨率特征图和低分辨率特征图。
[0098]
在具体实践中，所述对参考图像的特征图进行处理具体为：
[0099]
对参考图像的低分辨率特征图进行处理，通过像素交叉注意力的方式将参考图像的低分辨率特征图与源图像人脸对齐，源图像上的每个位置都对应于参考图像上具有最相似特征的区域，所述参考图像的低分辨率特征图根据这些软像素对应关系进行变形；
[0100]
将参考图像的高分辨率特征图进行窗格化处理，具体为：通过薄板样条变换，使参考图像的高分辨率特征图在空间上与源图像人脸粗略地对齐；利用交错重叠的窗格来分割参考图像的高分辨率特征图，并多次应用所述交叉注意力；通过基于位置的权重加权求和以输出平滑后的高分辨率妆容矩阵。
[0101]
可以理解的是，本实施例提供的技术方案，一种基于神经网络的智能仿妆系统，该仿妆系统包括：面部属性编码器(faenc)，用于提取原图像和参考图像的特征图；妆容转移模块(mtm)，用于对参考图像的特征图进行处理；应用妆容解码器(madec)，用于对所述原图像的特征图和所述妆容转移模块(mtm)输出的妆容矩阵进行解码处理，从而生成自然逼真的仿妆图像，在保留源人脸的面部细节的同时精准迁移妆容细节，解决了在仿妆生成任务中细节被丢失，只能复制整体妆容风格，不能精确地迁移妆容细节的问题。
[0102]
可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
[0103]
需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是指至少两个。
[0104]
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
[0105]
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
[0106]
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
[0107]
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如
果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
[0108]
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
[0109]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
[0110]
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。