人脸图像超分辨率方法和系统

1.本发明涉及一种计算机视觉和图像处理领域的方法，特别涉及一种人脸图像超分辨率方法及系统。


背景技术：

2.人脸超分辨率，旨在提高人脸图像的分辨率，将一个低分辨率人脸图像(lr)生成相应的高分辨率人脸图像(hr)。在过去的几年，基于深度神经网络的许多超分辨方法取得了巨大的成功。然而，超分辨是一个病态的问题，多个高分辨图像退化后可为同一低分辨率图像，即一个低分辨率图像对应着多个高分辨率图像。在训练时，网络也受到这一对多关系的影响，拟合的是一个低分辨率图像对应多个高分辨率图像的平均，这导致了输出图像是模糊的。考虑到了这一点，有些方法使用了预训练的生成模型，这些预训练的模型由于在高清图像数据集上训练，它们的网络参数具有生成高清图像的特性。但是以上方法都没有关注到人脸的属性信息，人脸属性信息具有十分重要的语义信息，输入这一信息能够帮助网络生成与真实图像的人脸属性信息接近的人脸超分辨图像。
3.经检索，中国发明专利公开号为cn111915487a，申请号为cn202010771552.8，该发明公开了一种基于分层多尺度残差融合网络的人脸超分辨率方法及装置，该方法包括：将高分辨率人脸图像下采样至目标低分辨率人脸图像，将目标低分辨率图像进行分块操作，分出相互重叠的图像块后，使用瓶颈注意力模块提取精细的脸部特征图；将提取的精细脸部特征图发送到多尺度残差模块，多尺度残差模块内使用不同卷积层提取特征信息，使用交叉的方式实现特征信息共享，多尺度残差模块外使用跳跃连接的方式实现多尺度特征信息融合，以更有效的提高sr性能；通过特征融合来更新目标低分辨率人脸图像的特征图以产生高分辨率结果。但是该专利图像超分辨率效果有待进一步提升，尤其在输入图像受损严重时。


技术实现要素：

4.本发明针对上述现有技术中的缺陷，本发明提出了一种人脸图像超分辨率方法，利用预训练的图像恢复网络生成具有细节特征的高分辨率，利用输入的人脸属性信息增强网路对人脸属性的关注，从而能够生成属性准确的人脸高分辨率图像。
5.为解决上述技术问题，本发明是通过如下技术方案实现的：
6.本发明提供一种人脸图像超分辨方法，其包括：
7.对输入的人脸属性标签信息，利用全连接网络与激活层进行特征优化，获得属性语义特征；
8.对输入图像利用卷积神经网络提取视觉特征；
9.使用特征融合网络，利用优化后的所述属性语义特征以及提取的所述视觉特征进行特征融合得到融合特征，并在训练时获取教师特征与使用属性法向量约束，保持所述融合特征的属性准确性；
10.使用图像恢复网络将所述融合特征映射为输出图像，优化生成图像的细节信息。
11.可选地，所述利用全连接网络与激活层进行特征优化，获得属性语义特征，包括：
12.输入人脸属性标签信息其中c
f
为数据集中的输入属性类别数量，所述数据集为人脸图像与人脸属性标签对应的数据集；利用全连接网络与激活层进行特征优化后的语义特征为其中k为特征维度，n对应预训练的stylegan模型的层数，为实数域。
13.可选地，所述对输入图像利用卷积神经网络提取视觉特征，包括：
14.输入低分辨率图像其中c为图像通道数，w为图像的宽，h为图像的高，利用卷积神经网络提取图像视觉特征其中k为特征维度，n对应了预训练的stylegan模型的层数。
15.可选地，所述使用特征融合网络，利用优化后的所述属性语义特征以及提取的所述视觉特征进行特征融合得到融合特征，其中，
16.输入语义特征与图像视觉特征通过特征融合获得融合特征其中k为特征维度，n对应预训练的stylegan模型的层数。
17.可选地，所述在训练时获取教师特征与使用属性法向量约束，通过所述教师特征对特征融合网络进行监督，其中：
18.输入高清图像其中c为图像通道数，w为图像的宽，h为图像的高；提取图像视觉特征其中k为特征维度，n对应了预训练的stylegan模型的层数；
19.提取图像视觉特征的输入图像为高清图像，得到的图像视觉特征作为教师特征，并相对低分辨率输入图像得到的图像视觉特征具有更准确的属性信息。
20.可选地，所述图像恢复网络为一个预训练的stylegan模型，该模型将融合特征映射为输出图像，所述stylegan模型经过预训练，它生成的图像具有逼真的细节，图像恢复网络的输出为整个网络的损失函数l为：
21.l＝l
rec
+λ
w
l
w
+λ
vgg
l
vgg
,
22.其中，l
rec
与l
vgg
为s14中的图像恢复网络的损失函数，l
w
为s13中的特征融合网络的损失函数，λ
w
和λ
vgg
为平衡几个损失的权重，其中c为图像通道数，w为图像的宽，h为图像的高。
23.本发明还提供一种人脸图像超分辨率系统，包括：
24.属性标签提取优化模块，该模块对输入的人脸属性标签信息，利用全连接网络与激活层进行特征优化，获得属性语义特征；
25.图像信息提取模块，该模块对输入图像利用卷积神经网络提取视觉特征；
26.特征融合模块，该模块使用特征融合网络，利用所述属性标签提取优化模块优化后的属性语义特征以及所述图像信息提取模块提取的视觉特征进行特征融合得到融合特征，并在训练时获取教师特征与使用属性法向量约束，保持所述融合特征的属性准确性；
27.图像恢复模块，该模块使用图像恢复网络将所述特征融合模块得到的融合特征映射为输出图像，优化生成图像的细节信息。
28.相较于现有技术，本发明实施例具有以下至少一种优点：
29.(1)本发明提供的基于预训练生成模型的人脸图像超分辨方法及系统，通过预训练的图像恢复网络，生成具有细节的高分辨率图像，改善了现有技术生成高分辨率图像模糊的问题。
30.(2)本发明提供的基于预训练生成模型的人脸图像超分辨方法及系统，使用人脸属性语义信息作为输入。这一输入使网络能够准确地得到输入图像的属性语义信息，生成属性准确的高分辨率人脸图像。
31.(3)本发明提供的基于预训练生成模型的人脸图像超分辨方法及系统，获取教师特征与属性法向量，利用两者构建属性，损失促进了网络对输入人脸图像属性特征的学习。
附图说明
32.下面结合附图对本发明的实施方式作进一步说明：
33.图1为本发明一实施例的基于预训练生成模型的人脸图像超分辨方法的流程图；
34.图2为本发明一实施例的基于预训练生成模型的人脸图像超分辨系统的框图。
具体实施方式
35.下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。以下没有详细说明的部分可以采用现有技术实现。
36.如图1所示，为本发明一实施例的基于预训练生成模型的人脸图像超分辨方法的流程图。
37.请参考图1，本实施例的基于预训练生成模型的人脸图像超分辨方法包括：
38.s11：对输入的人脸属性标签信息，利用全连接网络与激活层进行特征优化，获得属性语义特征；
39.s12：对输入图像利用卷积神经网络提取视觉特征；
40.s13：使用特征融合网络，利用所述s11优化后的语义特征以及s12得到的视觉特征进行特征融合，并在训练时获取教师特征与使用属性法向量约束，保持融合特征的属性准确性；
41.s14：使用预训练的图像恢复网络将融合特征映射为输出图像，优化生成图像的细节信息。
42.本发明上述实施例，采用预训练的图像恢复网络，它生成的图像具有逼真的细节，生成的人脸高清图像具有属性保持与细节。
43.较佳实施例中，s11中，若干层全连接层和激活层提取输入属性标签的属性语义特征。输入属性标签向量为其中c
f
为数据集中的输入属性类别数量。经过若干层全连接层和激活层提取优化的语义特征其中k为特征维度，n对应了预训练的stylegan模型的层数。
44.较佳实施例中，s12对输入图像利用卷积神经网络提取视觉特征。输入低清图像为
其中c为图像通道数，w为图像的宽，h为图像的高。通过图像信息提取得到图像视觉特征其中k为特征维度，n对应了预训练的stylegan模型的层数。
45.较佳实施例中，s13的特征融合网络利用全连接网络与激活层进行特征融合。输入语义特征与图像视觉特征通过特征融合获得融合特征在训练时利用教师特征对特征融合网络进行监督。输入高清图像为其中c为图像通道数，w为图像的宽，h为图像的高。利用图像信息提取技术提取图像视觉特征其中k为特征维度，n对应了预训练的stylegan模型的层数。由于输入图像信息提取的图像为高清图像，其得到的图像视觉特征可作为教师特征，并相对低清输入图像得到的图像视觉特征具有更准确的属性信息。在训练时将融合特征与教师特征通过属性法向量约束，优化提取的融合特征。将教师特征根据其对应的属性标签，使用svm支持向量机方法训练获得属性超平面，将超平面对应的法向量作为属性法向量训练时，约束融合特征与教师特征在属性法向量上距离尽量小。计算如下损失函数：
[0046][0047]
其中，w
sr
为特征融合网络所预测的融合特征，w
hr
为输入高清图像利用图像信息提取所预测的教师特征。通过最小化该损失函数学习对于人脸属性的预测，以便能够约束生成图像与目标图像相近。
[0048]
较佳实施例中，s14的图像恢复网络使用一个预训练的stylegan模型将融合特征映射为输出图像，由于stylegan模型经过预训练，它生成的图像具有逼真的细节，图像恢复网络的输出为通过以下损失函数，将损失传递给s11
‑
s13步骤，指导这三个步骤学习：
[0049]
l
rec
＝‖sr
‑
hr‖2,
[0050]
通过最小化该损失函数学习对于输入低分辨率图像恢复为高分辨率图像。为了使生成的图像具有更逼真的细节，使用了一个在imagenet数据集上预训练的vgg网络，并使用其网络第五层的输出计算损失函数：
[0051][0052]
其中，sr为图像恢复网络所预测的图像，hr为输入低分辨率图像所对应的高分辨率图像。
[0053]
整个网络(s11
‑
s14)的损失函数如下：
[0054]
l＝l
rec
+λ
w
l
w
+λ
vgg
l
vgg
,
[0055]
其中，l
rec
与l
vgg
为s14中的图像恢复网络的损失函数，l
w
为s13中的特征融合网络的损失函数，λ
w
和λ
vgg
为平衡几个损失的权重，在一实施例中可以取值：λ
w
＝0.01,λ
vgg
＝0.01。
[0056]
本发明上述较佳实施例中，通过输入人脸属性信息，获取准确的人脸属性信息；通过获取教师特征与属性法向量，使网络更好地生成人脸属性；通过预训练的生成模型，帮助网络生成具有细节的高分辨率图像。
[0057]
本发明上述实施例中，使用了一个预训练的图像恢复网络提供丰富的先验信息，能够在图像超分辨率任务中取得更好的效果，尤其在输入图像受损严重时。另外，本发明上述实施例中使用获取的教师特征指导s11,s12,s13训练，更容易训练。
[0058]
如图2所示为本发明一实施例的基于预训练生成模型的人脸图像超分辨系统的框图。
[0059]
请参考图2，本实施例的基于预训练生成模型的人脸图像超分辨系统用于实现上述实施例的基于预训练生成模型的人脸图像超分辨方法，其包括：属性信息提取优化模块、图像信息提取模块、特征融合模块、图像恢复模块。属性标签提取优化模块对输入的人脸属性标签信息，利用全连接网络与激活层进行特征优化，获得属性语义特征；图像信息提取模块对输入图像利用卷积神经网络提取视觉特征；特征融合模块使用特征融合网络，利用所述属性标签提取优化模块优化后的属性语义特征以及所述图像信息提取模块提取的视觉特征进行特征融合得到融合特征，并在训练时获取教师特征与使用属性法向量约束，保持所述融合特征的属性准确性；图像恢复模块使用图像恢复网络将所述特征融合模块得到的融合特征映射为输出图像，优化生成图像的细节信息。
[0060]
可选地，属性信息提取优化模块对输入属性标签向量为其中c
f
为数据集中的输入属性类别数量。使用全连接层与激活层训练，优化后的语义特征其中k为特征维度，n对应了预训练的stylegan模型的层数。
[0061]
可选地，图像信息提取模块使用卷积神经网络提取视觉特征。输入低分辨率图像为其中c为图像通道数，w为图像的宽，h为图像的高。利用图像信息提取技术提取图像视觉特征其中k为特征维度，n对应了预训练的stylegan模型的层数。
[0062]
可选地，特征融合模块的特征融合网络利用全连接网络与激活层进行特征融合。输入语义特征与图像视觉特征通过特征融合获得融合特征在训练时利用教师特征对特征融合网络进行监督。输入高清图像为其中c为图像通道数，w为图像的宽，h为图像的高。利用图像信息提取提取图像视觉特征其中k为特征维度，n对应了预训练的stylegan模型的层数。由于输入图像信息提取的图像为高清图像，其得到的图像视觉特征可作为教师特征，并相对低清输入图像得到的图像视觉特征具有更准确的属性信息。在训练时将融合特征与教师特征通过属性法向量约束，优化提取的融合特征。将教师特征根据其对应的属性标签，使用svm支持向量机方法训练获得属性超平面，将超平面对应的法向量作为属性法向量训练时，约束融合特征与教师特征在属性法向量上距离尽量小。计算如下损失函数：
[0063][0064]
其中，w
sr
为特征融合网络所预测的融合特征，w
hr
为输入高清图像利用图像信息提取所预测的教师特征。通过最小化该损失函数学习对于人脸属性的预测。
[0065]
可选地，图像恢复模块利用一个预训练的stylegan模型将融合特征映射为输出图像，由于stylegan模型经过预训练，它生成的图像具有逼真的细节，图像恢复的输出为通过以下损失函数，将损失传递给属性信息提取优化模块、图像信息提取模
块、特征融合模块，指导学习：
[0066]
l
rec
＝‖sr
‑
hr‖2,
[0067]
通过最小化该损失函数学习对于输入低分辨率图像恢复为高清图像。为了使生成的图像具有更逼真的细节，使用了一个在imagenet数据集上预训练的vgg网络，并使用其网络第五层的输出计算损失函数：
[0068][0069]
其中，sr为图像恢复网络所预测的图像，hr为输入低分辨率图像所对应的高分辨率图像。
[0070]
上述各个模块所采用的技术可以参照人脸图像超分辨方法的说明，在此不再赘述。
[0071]
综上，上述实施例提供的人脸图像超分辨方法及系统，输入人脸属性信息与低分辨率图像，利用教师特征进行监督，并使用预训练的生成网络，使人脸超分辨网络的性能得到提升。输入属性标签信息通过属性标签信息提取优化得到属性语义特征，输入低分辨率图像通过图像信息提取得到图像视觉特征，两者通过特征融合得到融合特征，最后经过图像恢复得到人脸属性准确的高分辨率图像。
[0072]
需要说明的是，本发明提供的所述方法中的步骤，可以利用所述系统中对应的模块、装置、单元等予以实现，本领域技术人员可以参照所述系统的技术方案实现所述方法的步骤流程，即，所述系统中的实施例可理解为实现所述方法的优选例，在此不予赘述。
[0073]
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
[0074]
此处公开的仅为本发明的优选实施例，本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，并不是对本发明的限定。任何本领域技术人员在说明书范围内所做的修改和变化，均应落在本发明所保护的范围内。