1.本发明属于人脸识别技术领域，更为具体地讲，涉及一种人脸超分辨率重构方法。
背景技术：
2.人脸属于生物体征，具有不易改变性及个体差异性。人脸识别技术已经广泛的应用于交通、医疗、金融等行业，实现了火车站进站核验系统，天眼系统，支付宝刷脸支付，手机面部解锁等诸多功能，为人们的工作和生活提供了诸多便利。
3.人脸识别技术自上个世纪六十年代诞生以来，经过多年的发展已经趋于成熟。然而，现有的人脸识别算法大多是基于约束环境下的识别，即采集的人脸必须符合以下多种条件：人脸区域清晰，图像分辨率足够高，背景干净，表情正常，姿态统一，没有严重的面部遮挡等；一旦脱离了约束环境，现有模型的识别精度会出现大幅度的下降。尤其是上述条件中人脸区域清晰，图像分辨率足够高这两个约束条件，在目前使用的监控摄像头，高速公路摄像头，街景闭路电视等场景中是无法满足的，这些设备采集到的人脸图像分辨率非常低，加之图像噪声影响及人员移动带来的运动模糊，现有模型是无法直接从中识别人员身份的。此问题极大的限制了人脸识别技术在安防领域的进一步应用，利用街景摄像头识别可疑人员身份，协助搜捕逃犯等重大工作无法顺利开展。对低分辨率人脸进行识别，是一个非常具有挑战性的任务，也是亟待解决的学术问题。
4.得益于深度学习技术的发展，针对低分辨率图像进行重构修复的超分辨率算法也日益成熟。算法能将低分辨率图像转化为高分辨率图像，并在转化过程中实现最小化附加视觉伪影的效果，因此能有效的应用于上述任务中。更进一步，人脸超分辨率(face super resolution，fsr)算法，是自然图像超分辨率(sr) 算法在人脸图像这一特定领域的推广。人脸超分辨率任务的特殊性在于：首先，与普通图像的超分辨率不同，人脸图像拥有其本身的特殊结构，因此需要使用人脸的特有先验知识来进行辅助和约束，才能还原出更准确的人脸信息；其次，重构出的人脸图像必须可供其他的高级视觉任务使用：如人脸识别，人脸检测等，否则的话重构工作是无效的。
5.在传统超分辨率方法发展的很长的一段时间里，已经有部分学者对人脸超分辨率进行过尝试和研究：liu将低分辨率(lr)人脸图像作为字典，对应线性组合的方式获得重建图像。hu和lam等人从局部像素结构的角度出发，提出了全局超分辨率方法，即对于一张lr人脸，先在样本集中寻找与其差异性较小的图像，这些图像对应有高分辨率图像，将其中的局部像素结构作为先验知识，来预期高分样本，达到增强效果。liu等人使用基于主成分分析(pca)的全局外观模型，先产生粗糙的sr人脸，再通过局部的非参数模型对细节进行增强。这些方法虽然取得一定的重建效果，但总体计算量较大，面对大规模的人脸数据库时训练耗费时间长，且当人脸姿态发生一定变化后，便不能取得理想的结果。
6.近年来，基于深度学习的方法在各种计算机视觉任务中，都取得了显著进展，人脸超分辨率算法也包含于其中。因此，目前的主要研究也更加关注基于深度学习的方法。考虑到人脸超分辨率任务的特殊性，许多研究者提出了不少适配人脸的、利用了面部先验的fsr
网络。yu等人引入了一种基于判别生成网络的urdgn，将对抗生成网络应用到了小尺寸人脸中，并尝试将网络中间的特征与面部成分热图直接相连，取得了一定的生成效果。chen等人提出了fsrnet，这是第一个端到端的人脸超分辨率网络，fsrnet在进行一个粗略超分辨率的步骤后，提取了人脸关键点图、人脸热图和面部成分解析图，将多种先验信息与后续网络直接连接使用，指导了超分辨率重构过程。kim等人则同样利用人脸关键点图、人脸热图，构建出面部注意力损失，并使用它来训练出一个渐进式的生成器，同样重构出了较好质量的人脸。
7.然而，以上的人脸超分辨率算法虽然取得了一定效果，但关于该领域的研究还存在不足，并主要分为以下几点：(1)人脸先验知识的估计往往采用低分辨率或粗糙的超分辨率图像估计，这样难以估计出准确的先验，对超分辨率的指导也会造成错误；(2)多数网络对于先验知识，采用了简单的拼接操作，先验知识的利用效率不高；(3)部分网络使用基于分类网络的感知损失来获取一定的视觉质量，而忽略了对人脸身份信息的恢复，导致重构后的人脸依然不能识别出正确身份，重构工作失效。
技术实现要素：
8.本发明的目的在于克服现有技术的不足，提供一种人脸超分辨率重构方法，基于srfbn网络进行改进，引入人脸关键点先验信息以及注意力机制，设计了人脸超分辨率重构网络，以提高人脸超分辨率重构的准确度，以便进一步提高人脸识别性能。
9.为了实现上述发明目的，本发明人脸超分辨率重构方法包括以下步骤：
10.s1：根据需要设置低分辨率人脸图像和目标超分辨率人脸图像的分辨率，然后获取若干组人脸图像样本，每组人脸图像样本中包含低分辨率人脸图像和对应的超分辨率人脸图像；
11.s2：构建人脸超分辨率重构网络，包括超分辨率重构主网络和人脸关键点先验信息估计网络，其中：
12.超分辨率重构主网络包括低分辨率特征提取器g
f
、递归模块g
rec
、高分辨率生成层g
up
、上采样模块和人脸关键点先验信息估计模块，其中：
13.低分辨率特征提取器g
f
用于对输入的lr人脸图像i
lr
进行特征提取，将得到特征图g
f
(i
lr
)发送至递归模块g
rec
；
14.递归模块g
rec
接收特征图g
f
(i
lr
)和两项反馈输入：一是人脸关键点先验信息估计网络在上一轮迭代得到的人脸关键点l
n
‑1，二是上一轮中递归模块g
rec
的输出特征然后处理得到本轮的输出特征图并发送至高分辨率生成层g
up
；递归模块g
rec
包括反馈信息融合模块、1
×
1卷积层、注意力融合模块和循环sr 模块，其中：
15.反馈信息串联模块将输入的特征图g
f
(i
lr
)与循环sr模块反馈的上一轮输出的特征图进行通道串联，其中将得到串联后的特征图f
n1
发送至1
×
1卷积层；
[0016]1×
1卷积层用于对输入的特征图进行1
×
1卷积操作，将迭代次数n＝1时，将卷积后的特征图f
12
发送至循环sr模块，当迭代次数n＝2,3,
…
,n时，将卷积后的特征图f
n2
发送至注意力融合模块；
[0017]
注意力融合模块用于接收人脸关键点先验信息估计网络在上一轮迭代得到的人脸关键点图像l
n
‑1，基于空间注意力机制对输入的特征图fn2进行处理，将得到的特征图发送至循环sr模块；注意力融合模块包括面部组件注意力图生成模块、p个卷积层、p个先验信息融合模块和特征融合模块，其中：
[0018]
面部组件注意力图生成模块用于将接收到的上一轮迭代中的人脸关键点图像l
n
‑1生成面部组件的组件热图然后发送至对应先验信息融合模块，组件热图的生成方法为：将上一轮迭代中得到的人脸关键点根据预设的面部组件进行分组得到p个关键点集合，p表示预设的面部组件的数量，根据各个关键点集合生成对应的组件热图然后对得到的每个组件热图使用 softmax函数，将组件热图转换成相应的组件注意力图并发送至先验信息融合模块；
[0019]
每个卷积层分别对特征图f
n2
进行卷积得到特征图f
n2
(p)并发送至对应的先验信息融合模块；
[0020]
每个先验信息融合模块将接收到的特征图f
n2
(p)和组件注意力图h
n
‑1(p)进行对应像素相乘得到特征图然后发送至特征融合模块；
[0021]
特征融合模块将接收到的p个特征图进行叠加得到特征图并发送至循环sr模块；
[0022]
循环sr模块采用srfbn网络中循环sr模块的结构，用于对接收到的特征图进行进一步特征提取，将得到的特征图发送至高分辨率生成层g
up
，并反馈至反馈信息串联模块；
[0023]
高分辨率生成层g
up
用于根据输入的特征图生成sr人脸图像并发送至sr人脸图像融合模块；
[0024]
上采样模块用于对输入的lr人脸图像i
lr
进行上采样，得到目标分辨率的人脸图像u(i
lr
)并发送sr人脸图像融合模块；
[0025]
sr人脸图像融合模块用于将接收到的图像和图像u(i
lr
)进行叠加，得到sr人脸图像并发送至先验信息估计网络，将第n个迭代轮次得到的 sr人脸图像作为输入的lr人脸图像i
lr
对应的生成超分辨率sr人脸图像 i
sr
进行输出；
[0026]
人脸关键点先验信息估计网络用于对sr人脸图像进行人脸关键点信息提取，得到人脸关键点图像l
n
并反馈至注意力融合模块；
[0027]
s3：将步骤s1中所得到的每组人脸图像样本中的低分辨率人脸图像作为输入，对应的超分辨率人脸图像作为期望输出，对人脸超分辨率重构网络进行训练；
[0028]
s4：将需要进行超分辨率重构的低分辨率人脸图像输入人脸超分辨率重构网络，得到生成超分辨率人脸图像。
[0029]
本发明人脸超分辨率重构方法，首先获取包含低分辨率人脸图像和超分辨率人脸图像的人脸图像样本，然后构建人脸超分辨率重构网络，包括超分辨率重构主网络和人脸关键点先验信息估计网络，根据人脸关键点先验信息采用注意力机制，迭代处理获取低分
辨率人脸图像特征，从而生成超分辨率人脸图像；采用人脸图像样本对人脸超分辨率重构网络进行训练，然后将需要进行超分辨率重构的低分辨率人脸图像输入人脸超分辨率重构网络，生成超分辨率人脸图像。
[0030]
本发明具有以下有益效果：
[0031]
1)本发明中超分辨率重构主网络和人脸关键点先验信息估计网络在每个循环步骤中共同协作，主网络利用前一个迭代步骤中的先验信息来重构更高质量的人脸图像，同时更高质量的图像又能促进下一个步骤中更精准的人脸先验信息估计，从而提高所生成的超分辨率人脸图像的质量。
[0032]
2)在超分辨率重构主网络中，采用注意力机制将估计的先验信息融合成各个面部组件的注意力图并加入到网络中，实现单个面部组件的独立重构，增加模型的细粒度；
[0033]
3)本发明还可以通过对损失函数的改进，增加所生成的超分辨率人脸图像的细节，以便进一步提高人脸识别性能。
附图说明
[0034]
图1是本发明人脸超分辨率重构方法的一种具体实施方式流程图；
[0035]
图2是本发明中人脸超分辨率重构网络的结构图；
[0036]
图3是本发明中注意力融合模块的结构示意图；
[0037]
图4是组件注意力图的示例图；
[0038]
图5是本实施例中先验信息估计网络的结构图；
[0039]
图6是本实施例中本发明与对比重构网络所生成的超分辨率人脸图像对比图。
具体实施方式
[0040]
下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。
[0041]
实施例
[0042]
图1是本发明人脸超分辨率重构方法的一种具体实施方式流程图。如图1 所示，本发明人脸超分辨率重构方法的具体步骤包括：
[0043]
s101：获取人脸图像样本：
[0044]
根据需要设置低分辨率人脸图像和目标超分辨率人脸图像的分辨率，然后获取若干组人脸图像样本，每组人脸图像样本中包含低分辨率人脸图像和对应的超分辨率人脸图像。
[0045]
为了使人脸图像具有最佳匹配度，一种优选方式是将超分辨率人脸图像进行下采样，得到对应分辨率的低分辨度人脸图像。
[0046]
s102：构建人脸超分辨率重构网络：
[0047]
图2是本发明中人脸超分辨率重构网络的结构图。如图2所示，本发明中人脸超分辨率重构网络基于srfbn(feedback network for imagesuper
‑
resolution，图像超分辨率反馈网络)网络进行改进，引入注意力机制和先验信息反馈机制，以提高人脸超分辨率重构的准确度。本发明中人脸超分辨率重构网络包括超分辨率重构主网络和人脸关键点先验
信息估计网络。下面分别对两个子网络进行详细说明。
[0048]
超分辨率重构主网络包括低分辨率特征提取器g
f
、递归模块g
rec
、高分辨率生成层g
up
、上采样模块和人脸关键点先验信息估计模块，其中：
[0049]
低分辨率特征提取器g
f
用于对输入的lr人脸图像i
lr
进行特征提取，将得到特征图g
f
(i
lr
)发送至递归模块g
rec
。本实施例中低分辨率特征提取器g
f
包括 3
×
3卷积层和亚像素卷积层，其中3
×
3卷积层用于对输入的lr人脸图像i
lr
进行 3
×
3卷积操作，将得到的特征图发送至亚像素卷积层，亚像素卷积层对接收到的特征图进行亚像素卷积，提高特征维度，得到特征图g
f
(i
lr
)。
[0050]
递归模块g
rec
接收特征图g
f
(i
lr
)和两项反馈输入：一是人脸关键点先验信息估计网络在上一轮迭代得到的人脸关键点l
n
‑1，二是上一轮中递归模块g
rec
的输出特征然后处理得到本轮的输出特征图并发送至高分辨率生成层g
up
。如图2所示，递归模块g
rec
包括反馈信息融合模块、1
×
1卷积层、注意力融合模块和循环sr模块，其中：
[0051]
反馈信息串联模块将输入的特征图g
f
(i
lr
)与循环sr模块反馈的上一轮输出的特征图进行通道串联，其中将得到串联后的特征图f
n1
发送至1
×
1卷积层。
[0052]1×
1卷积层用于对输入的特征图进行1
×
1卷积操作，将迭代次数n＝1时，将卷积后的特征图f
12
发送至循环sr模块，当迭代次数n＝2,3,
…
,n时，将卷积后的特征图f
n2
发送至注意力融合模块。
[0053]
注意力融合模块用于接收人脸关键点先验信息估计网络在上一轮迭代得到的人脸关键点图像l
n
‑1，基于空间注意力机制对输入的特征图f
n2
进行处理，将得到的特征图发送至循环sr模块。图3是本发明中注意力融合模块的结构示意图。如图3所示，本发明中注意力融合模块包括面部组件注意力图生成模块、p个卷积层、p个先验信息融合模块和特征融合模块，其中：
[0054]
面部组件注意力图生成模块用于将接收到的上一轮迭代中的人脸关键点图像l
n
‑1生成面部组件的组件热图然后发送至对应先验信息融合模块，组件热图的生成方法如下：
[0055]
将上一轮迭代中得到的人脸关键点根据预设的面部组件进行分组得到p个关键点集合，p表示预设的面部组件的数量。一般来说，面部组件包括：左眼、右眼、鼻子、嘴唇、脸框与下颌等。根据各个关键点集合生成对应的组件热图与下颌等。根据各个关键点集合生成对应的组件热图在生成组件热图时通常是基于高斯核进行生成。相较于直接对关键点信息进行串联融合，使用这种组合方法出于两个方面的考虑:(1)将关键点进行组件化后，可以明确利用每个面部组件的局部结构，后续可对组件进行差异恢复；(2)将关键点组件化的过程，能大大减少网络中的通道数量，能提高网络结构的计算效率。
[0056]
然后对得到的每个组件热图使用softmax函数，将组件热图转换成相应的组件注意力图并发送至先验信息融合模块。组件注意力图的转换可以采用如下公式表示：
[0057][0058]
其中，分别表示组件注意力图组件热图中像素点 (x,y)的值。图4是组件注意力图的示例图。如图4所示，该示例中将人脸关键点分为左眼、右眼、鼻子、嘴唇和脸框5个组件，生成5个组件注意力图。
[0059]
每个卷积层分别对特征图f
n2
进行卷积得到特征图f
n2
(p)并发送至对应的先验信息融合模块。
[0060]
每个先验信息融合模块将接收到的特征图f
n2
(p)和组件注意力图h
n
‑1(p)进行对应像素相乘得到特征图然后发送至特征融合模块。
[0061]
特征融合模块将接收到的p个特征图进行叠加得到特征图f
n2
并发送至循环sr模块。
[0062]
循环sr模块采用srfbn网络中循环sr模块的结构，用于对接收到的特征图f
n2
进行进一步特征提取，将得到的特征图发送至高分辨率生成层g
up
，并反馈至反馈信息串联模块。
[0063]
高分辨率生成层g
up
用于根据输入的特征图生成sr人脸图像并发送至sr人脸图像融合模块。如图2所示，本实施例中高分辨率生成层g
up
包括转置卷积层和3
×
3卷积层，其中转置卷积层用于对输入的特征图进行转置卷积，将得到的特征图发送至3
×
3卷积层；3
×
3卷积层用于对输入的lr人脸图像进行3
×
3卷积操作得到特征图
[0064]
上采样模块用于对输入的lr人脸图像i
lr
进行上采样，得到目标分辨率的人脸图像u(i
lr
)并发送sr人脸图像融合模块。
[0065]
sr人脸图像融合模块用于将接收到的图像和图像u(i
lr
)进行叠加，得到sr人脸图像并发送至先验信息估计网络，将第n个迭代轮次得到的 sr人脸图像作为输入的lr人脸图像i
lr
对应的生成超分辨率sr人脸图像i
sr
进行输出。
[0066]
表1是本实施例中超分辨率重构主网络各层输出的特征图尺寸。
[0067]
[0068][0069]
表1
[0070]
人脸关键点先验信息估计网络用于对sr人脸图像进行人脸关键点信息提取，得到人脸关键点图像l
n
并反馈至注意力融合模块。
[0071]
本实施例中先验信息估计网络基于hourglass网络实现。图5是本实施例中先验信息估计网络的结构图。如图5所示，本实施例中先验信息估计网络包括预处理模块、反馈信息串联模块、1
×
1卷积层、hourglass网络和后处理模块，其中：
[0072]
预处理模块用于对输入的sr人脸图像转换为高维特征，将得到的特征图发送至反馈信息串联模块。本实施例中预处理模块包括级联的3
×
3卷积层、relu激活层、三个基础残差块和最大池化层。
[0073]
反馈信息串联模块用于将输入的特征图与hourglass网络反馈的上一轮输出的特征图进行通道串联，其中将得到串联后的特征图发送至1
×
1卷积层。
[0074]1×
1卷积层用于对输入的特征图进行1
×
1卷积操作，将卷积后的特征图发送至hourglass网络。
[0075]
hourglass网络用于对输入的特征图进行反复的上采样和下采样，以融合多尺度空间信息，得到对关键点的预测信息，将得到的特征图分离为两个同样大小的特征图，一个特征图输出至后处理模块，另一个特征图作为特征图反馈至反馈信息串联模块。
[0076]
后处理模块用于将输入的特征图映射为人脸关键点图，该人脸关键点图即为先验信息l
n
。
[0077]
表2是本实施例中人脸关键点先验信息估计网络各层输出的特征图尺寸。
[0078]
层名称输出特征图尺寸输入层i
sr
128
×
128
×
3预处理模块32
×
32
×
256
反馈信息串联模块32
×
32
×
5121
×
1卷积层32
×
32
×
512hourglass网络32
×
32
×
512分离操作32
×
32
×
256a232
×
32
×
68
[0079]
表2
[0080]
s103：训练人脸超分辨率重构网络：
[0081]
将步骤s101中所得到的每组人脸图像样本中的低分辨率人脸图像作为输入，对应的超分辨率人脸图像作为期望输出，对人脸超分辨率重构网络进行训练。
[0082]
一般来说，在进行网络训练时，损失函数的设置非常重要。为了得到更好的训练效果，本实施例中提供了两种损失函数设置方式。
[0083]
1)损失函数一
[0084]
在损失函数一中考虑了超分辨率重构主网络的像素级损失和人脸关键点先验信息估计网络的先验损失。
[0085]
就像素级损失而言，当超分辨率重构主网络对一幅低分辨率人脸图像进行超分辨率重构时，由于会进行n轮迭代处理，则会得到n幅生成超分辨率人脸图像，根据每幅生成超分辨率人脸图像计算得到像素级损失l
pixel
，计算公式如下：
[0086][0087]
其中，i
hr
表示人脸图像样本中的超分辨率人脸图像，|| ||2表示求取二范数，表示求取期望。
[0088]
就先验损失而言，由于人脸关键点先验信息估计网络也会进行n轮迭代处理，根据每轮得到的先验信息计算得到先验损失l
prior
，计算公式如下：
[0089][0090]
其中，p
hr
表示根据人脸图像样本中的超分辨率人脸图像标注得到的人脸关键点图像。
[0091]
将以上两种损失进行加权求和即可得到损失函数l1：
[0092]
l1＝l
pixel
+λ
prior
·
l
prior
[0093]
其中，λ
prior
表示先验损失l
prior
的预设权值。
[0094]
2)损失函数二
[0095]
为了进一步提高训练效果，令生成超分辨率人脸图像包含更多细节，在像素级损失l
pixel
和先验损失l
prior
的基础上，还可以增加两种损失：身份损失和对抗损失。
[0096]
就身份损失而言，为了避免出现图像psnr值高、视觉质量良好，却难以被人脸识别模型识别正确的情况，因此采用一个预训练的人脸特征提取模型(本实施例中采用人脸识别模型arcface中的特征提取部分)，对人脸图像样本中的超分辨率人脸图像i
hr
和生成超分辨率sr人脸图像i
sr
分别进行人脸特征提取，计算两个人脸特征向量之间的欧氏距离，作为身份损失l
identity
，计算公式如下：
[0097][0098]
其中，分别表示生成超分辨率sr人脸图像i
sr
和超分辨率人脸图像i
hr
由预训练的人脸特征提取模型提取出的人脸特征向量。
[0099]
就对抗损失而言，将整个人脸超分辨率重构网络作为生成器g，配置一个用于区分真实超分辨率人脸图像和生成超分辨率人脸图像的鉴别器d，以构成生成对抗网络，其中鉴别器d的损失l
dis
的计算公式如下：
[0100][0101]
其中，d(i
hr
)、d(i
sr
)分别表示鉴别器d对于超分辨率人脸图像i
hr
和生成超分辨率sr人脸图像i
sr
的鉴别结果。
[0102]
作为人脸超分辨率重构网络作为生成器g的对抗损失l
adv
的计算公式如下：
[0103][0104]
此时人脸超分辨率重构网络的损失函数l2的计算公式如下：
[0105]
l2＝l
pixel
+λ
′
prior
·
l
prior
+λ
identity
l
identity
+λ
adv
l
adv
[0106]
其中，λ
p
′
rior
、λ
identity
、λ
adv
表示先验损失l
prior
、身份损失l
identity
、对抗损失l
adv
的预设权值。
[0107]
s104：生成超分辨率人脸图像：
[0108]
将需要进行超分辨率重构的低分辨率人脸图像输入人脸超分辨率重构网络，得到生成超分辨率人脸图像。
[0109]
为了更好地说明本发明的技术效果，采用一个具体实例对本发明进行实验验证。本次实验验证中采用的人脸数据集为celeba和helen。使用openface开源接口中的人脸关键点检测器来检测68个人脸关键点，以此作为训练和测试的标签值。基于估计的关键点位置，将人脸区域以正方形裁剪去除背景，在进行预对齐后将它们调整为128
×
128像素。随后，对这些hr图像使用双三次下采样操作，将hr图像退化为16
×
16像素的lr输入(此时是8
×
超分辨率的情况下，4
×
则是32
×
32像素)。对于celeba而言，因为训练样本数量已经足够，只做简单的裁剪和预处理工作；数据量较少的helen数据集只作为测试集。对于 celeba数据集，实验使用约160000张图像进行训练，使用了1000张图像进行测试。helen数据集样本量较小，只使用约2000张图像进行测试。
[0110]
将本发明中采用损失函数l1的人脸超分辨率重构网络记为ifpn网络，将本发明中采用损失函数l2的人脸超分辨率重构网络记为ifpn
‑
gan网络，采用现有的bicubic网络、srcnn网络、vdsr网络、attention
‑
fh网络、waveletsrnet 网络和fsrnet网络作为对比重构网络。采用psnr(peak signal to noise ratio，即峰值信噪比)和ssim(structural similarity，结构相似性)两个指标来对人脸超分辨率重构结果进行评价。
[0111]
图6是本实施例中本发明与对比重构网络所生成的超分辨率人脸图像对比图。如图6所示，本发明提出的两种网络恢复了较好的面部细节，而其他网络中产生的伪影较多，不能给出令人满意的结果。值得注意的是，本发明可以很好的处理面部姿态旋转变化的图像，由于迭代式的关键点估计可以逐步预测出更准确的面部结构，因此很好的指导了每一步的重构。此外，加入了身份损失和对抗损失的ifpn
‑
gan相比于其他模型，重构出了更真实
的图像纹理。
[0112]
表3是本实施例中本发明与对比重构网络所生成超分辨率人脸图像的指标对比表。
[0113][0114]
表3
[0115]
如表3所示，本发明中的ifpn网络和ifpn
‑
gan网络在psnr和ssim两个指标均达到了最佳水平，且ifpn网络的性能优于现有技术中最优的fsrnet 网络。
[0116]
考虑到现实场景中人脸图像分辨率的分布是呈多样性的，如有长宽都小于 20个像素值的极低分辨率人脸图像，或长宽位于30
‑
60像素之间的中等分辨率人脸图像等，因此分别在4
×
、8
×
缩放因子下对模型进行了定量实验。表4是本实施例中本发明与对比重构网络在8
×
缩放因子下对celeba数据集和helen 数据集所生成超分辨率人脸图像的指标对比表。表5是本实施例中本发明与对比重构网络在4
×
缩放因子下对celeba数据集和helen数据集所生成超分辨率人脸图像的指标对比表。
[0117][0118]
表4
[0119][0120]
表5
[0121]
如表4和表5所示，本发明中的ifpn网络和ifpn
‑
gan网络都取得了不错的成绩。ifpn网络在4
×
、8
×
两个数据集上都取得最好的psnr及ssim成绩，超过了先前较为优秀的人脸超分辨率代表网络fsrnet网络和waveletsrnet网络。8
×
下fsrnet网络成绩排名第二，而4
×
下本发明中的ifpn
‑
gan网络排名第二。
[0122]
人脸超分辨率重构方法通常用于人脸识别系统，因此为了说明本发明的应用价值，选用在人脸识别问题中广泛应用的lfw数据集，采用本发明进行人脸超分辨率重构之后进行人脸识别。lfw数据集主要用来研究非受限情况下的人脸识别问题，共有13000多张人脸图片，并带有对应人物的名字标签，为了测试人脸识别的准确率，该数据集从所有的图片中选择了6000对人脸组成了人脸辨识图片对，其中3000对属于同一个人的2张人脸图片，3000对属于不同的人每人各1张人脸图片。测试过程将对这6000对人脸的身份进行是否属于同一个人的判断，通过答案与系统真实答案的比值计算出人脸识别准确率。lfw数据集的预处理过程训练集中celeba、helen的处理相同。类似地，考虑到低分辨率场景的多样性，在4
×
、8
×
缩放因子下均进行了对比实验。
[0123]
表6是本实施例中本发明与对比重构网络在8
×
缩放因子下对lfw数据集进行人脸识别实验的指标对比表。表7是本实施例中本发明与对比重构网络在4
ꢀ×
缩放因子下对lfw数据集进行人脸识别实验的指标对比表。
[0124][0125]
表6
[0126][0127]
表7
[0128]
如表6和表7所示。本发明中的ifpn网络和ifpn
‑
gan网络在lfw数据集上取得了优秀的重构效果，并且在人脸识别方面，各项指标均超越对比重构网络，实现了良好的人脸识别性能。
[0129]
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。