基于先验信息与注意力机制的人脸超分辨率重建方法

本发明属于图像处理及人脸超分辨重建，具体涉及一种基于面部先验信息和注意力机制的人脸图像的超分辨率放大方法。

背景技术：

1、人脸超分辨率重建技术是针对人脸这个特殊结构的超分辨率技术，旨在将低分辨率人脸通过某种技术转换为高分辨率人脸。但是人脸结构比较特殊，不像平常的图像，它具有高强度的结构相似性和身份信息的细节差异性，它的重建难度更大，要求更高，重建过程中，我们要保证几何特征的一致性，还要注意纹理信息的准确恢复。因此，人脸超分辨率重建具有极大的挑战。人脸超分辨这一概念最早由baker和kanada在2000年提出来的，它是图像超分辨领域中的一个分支，专门针对人脸这一特殊场景进行超分辨。近年来，深度学习技术在图像处理方面应用广泛，因此人脸超分辨领域也开始结合深度学习技术，从此人脸超分辨领域开始进入一个新的发展阶段。

2、基于深度学习的人脸超分辨率技术按照网络结构的不同可以分成：基于插值的人脸超分辨率重建、基于重构的人脸超分辨率重建、基于卷积神经网络的人脸超分辨方法和基于对抗生成网络的人脸超分辨方法。dong等人提出了srcnn模型，第一次将深度学习应用到图像超分辨率。srcnn首先使用双三次插值将低分辨率图像放大到目标大小，然后通过三层卷积神经网络提取图像特征，建立非线性映射关系，最后生成高分辨率图像，极大提高了重构效果；huang d和liu h提出了一种基于srcnn网络的优化算法srcnn-ibp算法，将srcnn网络和迭代反投影算法(ibp)结合起来，srcnn-ibp算法可以看成在srcnn算法的基础上引入了高分辨率图像的先验信息，所以在重建图像的质量上要优于srcnn算法，同时说明了先验信息对于人脸超分辨率重建是比较重要的；leding等将生成对抗网络（gan）用在了解决超分辨率问题上，提出了一种基于图像超分辨率的生成对抗网络（srgan），使用一个经过训练的鉴别器网络来区分sr图像和原始真实图像；yuchen等人提出了加入先验信息的人脸超分辨率重建方法fsrnet，该方法提取人脸几何信息，结果表明利用人脸关键点和人脸解析图可以提升人脸恢复效果，但是生成的人脸图像纹理细节不充分，模型比较复杂，耗费大量时间。

3、因此，如何加强先验信息对人脸的恢复效果，充分利用高频特征和减少冗余信息，提供一种基于先验信息和注意力机制的人脸超分辨率重建方法是本技术领域技术人员亟需解决的问题。

技术实现思路

1、本发明的目的在于克服现有技术的不足，提供了一种基于先验信息和注意力机制的人脸超分辨率重构方法，该方法引入人脸关键点先验信息以及注意力机制，设计了人脸超分辨率重构网络，以提高人脸超分辨率重构的准确度和人脸图像的重建质量。

2、为了实现上述目的，本发明采用如下技术方案：

3、基于先验信息和注意力机制的人脸超分辨方法，其特征在于，包括：浅层特征提取网络、深层特征提取网络、先验估计网络和精细重建网络；

4、浅层特征提取网络，用于提取人脸图像的浅层特征，使用卷积层对低分辨率人脸图像进行特征提取，这个卷积层只能从低分辨率图像中提取初步特征，生成比较粗糙的高分辨率人脸图像；

5、深层特征提取网络，用于提取人脸的深层特征，将粗糙的高分辨率人脸图像输入到深层特征提取网络进行深层特征提取，包括3×3的卷积核，步长为2；经过批量归一化层和relu激活函数，再经过12个残差块；最后经过一个3×3卷积核和tanh激活函数，得到提取出来的64通道的特征图。公式如下：

6、

7、其中，表示粗糙的高分辨率人脸图像，表示采用的深层特征提取网络；

8、先验估计网络，首先采用7x7卷积核对进行卷积，然后经过归一化和relu等操作得到64x64的特征图，在得到的特征图后面连接3个残差块；构建2个堆叠沙漏网络，即hourglass模块，进行先验信息提取，为了有效地跨尺度合并特征并保留不同尺度的空间信息，hourglass模块在对称层之间采用跳跃连接机制；1x1卷积层对获得的特征进行后处理，将共享的特征连接到两个单独的1×1卷积层，以生成热图和解析图。公式如下：

9、

10、其中，表示粗糙的高分辨率人脸图像，表示采用的先验估计网络；

11、精细重建网络，首先将特征图和解析图进行解析图和特征图的融合，得到融合后的特征图；然后将特征图输入到精细重建网络中，首先使用一个3×3卷积层处理减少特征图的通道数；一个4×4反卷积层对特征图进行上采样，连接3个残差块对特征解码，再使用一个3×3卷积层处理得到特征图；最后将特征图送入一个eca注意力模块，得到最终的精细超分辨率人脸图像；

12、优选的，粗糙重建网络包括：

13、经过3个残差块进行非线性映射生成特征图；再利用基于注意力机制的特征图进行重建，经过3×3卷积层；最后在卷积层后面添加一个eca注意力模块，生成比较粗糙的高分辨率人脸图像。公式如下：

14、

15、其中，表示双三次上采样后的低分辨率人脸图像，表示采用的浅层特征提取网络；

16、优选的，精细重建网络包括：

17、首先将特征图和解析图进行解析图和特征图的融合，得到融合后的特征图；然后将特征图输入到精细重建网络中，首先使用一个3×3卷积层处理减少特征图的通道数，一个4×4反卷积层对特征图进行上采样，连接3个残差块对特征解码，再使用一个3×3卷积层处理得到特征图；最后将特征图送入一个eca注意力模块，得到最终的精细超分辨率人脸图像；

18、优选的，损失函数包括：

19、⑴ 像素损失

20、在图像超分辨率重建中，通常使用均方误差（mean square error，mse）损失可以获得较高的评价指标，例如psnr和ssim，但是通常会丢失高频纹理信息，导致图像过度平滑。为了避免以上问题，在此使用l1损失作为像素损失函数，有

21、

22、⑵ 人脸先验损失

23、为了约束人脸先验信息的估计过程，充分利用人脸先验信息，在此使用人脸先验损失对先验估计网络进行优化，有

24、

25、⑶ 总损失

26、模型总损失函数对以上部分进行加权组合，得到最终用于模型训练的总损失函数，即

27、

28、其中，损失函数采用均方误差损失函数，表示训练集图像总数量，是第i张高分辨率图像，是对应的第i张粗糙的高分辨率恢复图像，是对应的第i张经过处理得到的精细高分辨率恢复图像；表示第i张对应的真实的人脸解析图，表示第i张图像经过先验估计网络得到的真实面部解析图。

29、基于先验信息和注意力机制的人脸超分辨率方法，包括以下步骤：

30、s1.下载原始图像数据集，包括原始人脸图像以及原始人脸解析图，并进行数据处理，将数据处理后的原始图像输入到下采样模型中，处理得到低分辨率图像，再将低分辨率图像进行双三次上采样，得到与高分辨图像一样大小的图像作为低分辨率数据集，最后将数据集划分为训练集和测试集；

31、s2.将s1获得的图像输入到浅层特征提取模块中提取人脸图像的浅层特征，使用卷积层对低分辨率人脸图像进行特征提取，这个卷积层只能提取人脸图像的轮廓特征，得到一个粗糙的高分辨率图像；

32、s3.将s2中得到的粗糙的高分辨率图像输入到深层特征提取网络中进行特征提取得到特征图；

33、s4.将s2中获得的粗糙的高分辨率图像输入到先验估计网络中，提取先验信息得到解析图，其中先验估计网络由resnet和堆叠沙漏网络组成；

34、s5.将s3得到的特征图和s4得到的解析图进行解析图和特征图的融合，得到融合后的特征图；

35、s6.将s5中得到的特征图输入到精细重建网络中进行超分重建，得到最终的精细重建人脸图像；

36、s7.将s2获得的训练集图像、原始高分辨率图像、最终结果输入到逐像素损失函数中，经过逐像素损失函数处理生成精细的高分辨率图像，计算得到损失函数；将s4得到的解析图和原始图像数据集中的解析图输入到逐像素损失函数中，计算得到损失函数；将上面的损失函数加起来得到总损失函数，不断迭代使损失函数最小化，经过训练，最后生成人脸超分辨网络模型；

37、s8.设定人脸超分辨网络模型的超参数，将s1经过预处理好的测试集输入到人脸超分辨率网络模型中，经过残差网络处理和损失函数最小化迭代，最后产生细节纹理清楚、效果更好的高分辨率人脸图像。

38、经由上述的技术方案可知，与现有技术相比，本发明的有益效果是：

39、（1）本发明为了提高网络恢复边缘信息的能力，加入人脸先验信息，将人脸边缘检测搭配人脸局部解析图作为网络的先验信息约束，分别对不同的面部组件对应的解析图和特征图进行融合，增加了解析图对人脸图像超分辨率的指导作用，更加有效地利用所提取到的有用特征，提高了重建效率，加强了重建效果，重建出更加精细的面部几何信息；

40、（2）本发明分别在浅层特征提取网络，精细重建网络后添加了高效注意力模组eca，提高了网络对特征信息的利用效果，使得网络能够有目的地进行学习，自适应的调整特征通道信息，增强特征的表达能力，有助于恢复出更多的轮廓纹理等细节，提高了人脸图像的人眼感知效果，主观评价和客观评价标准都得到了提升。