渐进式人脸图像复原方法、系统、设备及存储介质

本发明涉及图像复原，特别是涉及渐进式人脸图像复原方法、系统、设备及存储介质。

背景技术：

1、本部分的陈述仅仅是提到了与本发明相关的背景技术，并不必然构成现有技术。

2、人脸图像复原旨在从低质量的输入人脸图像中恢复出高质量的人脸图像。人脸图像数据在采集和传输过程中可能会产生各种退化，比如拍摄时因移动产生模糊、存储图像时因有损压缩产生伪影、网络传输时产生噪声等。这些退化单个或多个作用于人脸图像，会损失掉部分图像信息，导致图像质量下降，进而对基于人脸图像数据的相关技术应用产生极大的不利影响。人脸图像复原技术是人脸图像退化的逆过程，通过利用退化过程的先验知识，恢复出已退化图像中损失的身份特征和细节信息。复原后的人脸图像具有更好的观赏性和更可信的身份特征。此外，针对图像识别、语义分割等高层视觉任务，复原图像可有效降低训练模型的计算量，提升模型的精度，更好地完成相关任务。因此，人脸图像复原技术的研究具有非常重要的意义，已成为计算机视觉和图像处理领域的重要研究问题。

3、传统的人脸复原工作仅依赖退化图像进行复原，如利用人脸图像的结构相似度、局部自相似性、图像各区域上下文之间的关系等，难以实现高质量的复原结果。由于人脸图像的特殊性，面部的五官结构和纹理细节能够为复原工作提供更多的参考信息，可以作为先验知识用于约束和引导人脸图像的复原。因此，最近的工作大多利用先验知识进行人脸图像复原。在基于先验的工作中，主要适用的先验知识包括几何先验、参考先验和生成先验。几何先验主要包括面部地标、面部解析图和面部成分热图，其蕴含丰富的面部几何信息，有助于重建面部结构。但是几何先验一般由退化图像获得，准确性受到限制，进而影响复原图像保真度的提高。参考先验主要来自高质量样本和面部字典，能够为图像复原提供有效的几何纹理信息，但是存在高质量样本难以获取、字典容量有限的问题，从而限制了复原图像逼真度和保真度的提高。生成先验主要来自预训练的gan模型，该模型经过大量高清人脸图片的预先训练，蕴含丰富的面部纹理信息，能够很好地复原人脸的纹理细节。仅使用生成先验的人脸复原工作能够有效提高复原面部的真实感，但是在维持身份特征方面表现不好。

技术实现思路

1、为了解决现有技术的不足，本发明提供了渐进式人脸图像复原方法、系统、设备及存储介质；本发明在网络结构中融入多先验信息和多特征信息，通过构建多尺度的解码器渐进式实现人脸复原，可有效提升复原人脸的真实感和保真度。本发明利用退化人脸图像生成多尺度图像特征；利用解析图潜码预测网络在几何先验约束下生成高维潜码，并用于指导预训练gan生成富含身份信息和纹理信息的多尺度先验特征；然后在多尺度解码器中提出移动交叉注意力机制，对多尺度的图像特征和先验特征进行充分融合，并逐层上采样连接渐进式实现人脸复原。多先验和多特征的充分利用，以及多尺度的架构设计，可在维持人脸身份特征的同时，有效提高面部细节的真实感，实现高质量的人脸复原。

2、一方面，提供了渐进式人脸图像复原方法，包括：

3、获取待复原的人脸图像；

4、将待复原的人脸图像，输入到训练后的人脸图像复原模型中，输出复原后的人脸图像；其中，训练后的人脸图像复原模型，包括：解析图潜码预测网络、图像特征提取网络、gan先验生成模块以及多尺度信息融合模块；

5、训练后的人脸图像复原模型，用于将待复原的人脸图像分别输入到解析图潜码预测网络和图像特征提取网络，其中，解析图潜码预测网络生成解析图高维潜码，图像特征提取网络生成图像高维潜码和多尺度图像特征；随后，gan先验生成模块将解析图高维潜码与图像高维潜码进行融合，利用融合结果指导gan单元生成多尺度先验特征；最后，多尺度信息融合模块将对应尺度的图像特征和先验特征进行融合，并将每一尺度融合后的特征，按照尺度从小到大的顺序逐层上采样，渐进生成最终的人脸复原图像。

6、另一方面，提供了渐进式人脸图像复原系统，包括：

7、获取模块，其被配置为：获取待复原的人脸图像；

8、复原模块，其被配置为：将待复原的人脸图像，输入到训练后的人脸图像复原模型中，输出复原后的人脸图像；其中，训练后的人脸图像复原模型，包括：解析图潜码预测网络、图像特征提取网络、gan先验生成模块以及多尺度信息融合模块；

9、训练后的人脸图像复原模型，用于将待复原的人脸图像分别输入到解析图潜码预测网络和图像特征提取网络，其中，解析图潜码预测网络生成解析图高维潜码，图像特征提取网络生成图像高维潜码和多尺度图像特征；随后，gan先验生成模块将解析图高维潜码与图像高维潜码进行融合，利用融合结果指导gan单元生成多尺度先验特征；最后，多尺度信息融合模块将对应尺度的图像特征和先验特征进行融合，并将每一尺度融合后的特征，按照尺度从小到大的顺序逐层上采样，渐进生成最终的人脸复原图像。

10、再一方面，还提供了一种电子设备，包括：

11、存储器，用于非暂时性存储计算机可读指令；以及

12、处理器，用于运行所述计算机可读指令，

13、其中，所述计算机可读指令被所述处理器运行时，执行上述第一方面所述的方法。

14、再一方面，还提供了一种存储介质，非暂时性存储计算机可读指令，其中，当非暂时性计算机可读指令由计算机执行时，执行第一方面所述方法的指令。

15、再一方面，还提供了一种计算机程序产品，包括计算机程序，所述计算机程序当在一个或多个处理器上运行的时候用于实现上述第一方面所述的方法。

16、上述技术方案具有如下优点或有益效果：

17、(1)与现有的编码器-解码器人脸图像复原架构不同，本发明方法不是将预训练gan作为解码器直接生成复原人脸，而是将预训练gan作为编码器，并在网络架构中融入多先验信息和多特征信息，通过对预训练gan的中间特征和图像的中间特征进行整合，构造多尺度的解码器渐进式地实现人脸复原。本发明方法能够很好地对未知原因的退化人脸图像进行复原，有效解决人脸图像在采集、传输、压缩等过程中产生的模糊、伪影、噪声等问题。

18、(2)本发明方法将几何先验、纹理先验和生成先验相结合，构成多先验信息，用于指导人脸图像复原，可有效提高复原图像的保真度和逼真度。不同于以往方法只将退化图像投射到潜在空间，本发明由高质量人脸图像和人脸解析图共同约束生成高维潜码，并作为预训练gan的输入以指导其生成先验特征。本发明提出解析图潜码预测网络，用于提取人脸解析图高维潜码。该解析图高维潜码受几何先验约束生成，包含有效的面部几何先验信息。同时引入图像特征提取网络，该网络受高质量人脸图像约束，可从退化图像中提取出含有高质量几何和纹理先验信息的图像高维潜码。另外，预训练gan中蕴含丰富的纹理信息。因此，将解析图高维潜码和图像高维潜码相结合，用于指导预训练gan的先验特征的生成，能够使生成先验中同时富含高质量的几何信息和纹理信息，从而将几何先验、纹理先验和生成先验更好地结合，显著提升复原人脸的真实感和细节丰富度，并很好地维持其身份特征。

19、(3)本发明提出新的多尺度信息融合模块，对图像特征和先验特征进行多尺度整合。该模块将每一尺度融合后的特征从小尺度到大尺度逐层上采样连接，渐进式生成高质量的人脸复原图像。本发明在融合模块中提出新的移动交叉注意力机制，该机制可对来自多个信息源的多尺度特征进行有效整合。由于多尺度特征包含更加丰富的几何和纹理信息，而移动交叉注意力机制可以更好地结合这些多尺度图像特征和多尺度先验特征，从而有效提高了退化人脸的复原质量。

20、(4)本发明提出新的感知损失函数，该函数同时考虑了图像之间的感知误差和解析图之间的感知误差。解析图感知误差这一约束条件的引入，有利于维持退化人脸的身份特征，提高复原图像的保真度。