基于在线知识蒸馏和预训练先验的人脸图像修复方法

本发明涉及图像信号处理，尤其涉及一种基于在线知识蒸馏和预训练先验的人脸图像修复方法。

背景技术：

1、人脸图像修复旨在补全输入人脸图像中的缺失区域，生成令人满意的高质量修复结果，其可以应用于人脸去遮挡、表情预测等诸多实际问题中；人脸图像修复面临缺失区域和缺失面积不固定，缺失形状具有随机性等诸多挑战，当存在大面积缺失时，直接修复缺失人脸图像是十分困难的；近年来，人脸图像修复已从传统的数学模型转向基于神经网络的深度学习方法；

2、这些方法中多采用多阶段的修复思路，即将人脸图像修复解耦成两个子任务：首先修复人脸语义分割图，人脸关键点等信息，再利用这些信息帮助修复网络生成最终的修复结果；然而，这些信息只提供了语义上的指导，无法较好地利用全局的上下文信息，并且多阶段方法面临错误在不同阶段传递放大的问题；最近，在图像去雾任务中，有研究者提出利用离线知识蒸馏提取无雾图像的特征，对去雾网络的特征进行监督；但是，由于缺失人脸图像和无缺失人脸图像特征图间的差异太大，仅靠离线知识蒸馏无法克服两者间的差异，因此离线知识蒸馏并不适合人脸图像修复任务。

3、另一方面，有研究者通过移植人脸生成任务预训练生成对抗网络中的生成器到人脸超分等任务中，以获得预训练生成器中的先验信息；然而，移植生成器的难度很高，并且当存在大面积缺失时预训练生成器可能会不能正常地工作；相反，预训练生成对抗网络的鉴别器中同样有丰富的先验信息，并且能方便地部署在其他相关的任务中，因此探索预训练鉴别器中的先验信息同样具备研究价值。除此之外，提高修复网络的感受野能使其更好的感知缺失人脸图像的全局上下文信息，是一个提高修复性能的有效方式。

技术实现思路

1、本发明的目的在于生成高质量的人脸图像修复结果，并在此基础上提出一个基于在线知识蒸馏和预训练先验的人脸图像修复方法。

2、为了实现上述目的，本发明采用了如下技术方案：

3、基于在线知识蒸馏和预训练先验的人脸图像修复方法，具体包括以下步骤：

4、s1、建立缺失人脸图像数据集：给定无缺失人脸图像 i gt，随机挑选掩码 m，通过掩码 m去除无缺失人脸图像中的部分区域得到缺失人脸图像 i in，获得输入数据对（ i in， m），进而获得缺失人脸图像数据集；

5、s2、构建网络框架：设计一个由自动编码器构成的轻量的教师网络 g t（重建网络），一个负责对人脸图像进行修复的学生网络 g s（修复网络）以及一个多尺度鉴别器 d，利用教师网络 g t（重建网络）和学生网络 g s（修复网络）共同构成知识蒸馏框架，利用学生网络 g s（修复网络）和多尺度鉴别器 d共同构成生成对抗网络框架；

6、s3、设计方案、搭建模型：基于特征先验和鉴别器先验，结合s1～s2中所述缺失人脸图像数据集和网络框架设计人脸图像修复方案，并依据所设计的方案搭建人脸图像修复模型，所述方案具体包括如下内容：

7、①缺失区域特征修复：将s1中所得的数据对（ i in， m）输入学生网络 g（修复网络） s，首先通过输入卷积层变成特征图，之后编码器每两层卷积层通过一个步长为2的3×3卷积层将特征图尺度缩小3次；随后，编码后的特征图通过中间模块处理，生成修复后的缺失人脸图像特征图，记作 f in；所述中间模块由10个多级空洞卷积残差块组成；

8、②多级空洞卷积残差块处理：将特征图 x输入多级空洞卷积残差块，使其分离成四组新的特征图，将新的特征图重新拼接后输入一个额外的3×3卷积层，最后将其与输入特征图 x相加形成残差结构；

9、③基于在线知识蒸馏的特征先验获取：将教师网络 g t（重建网络）设计成一个输入为无缺失人脸图像的轻量的编解码网络，获得来自教师网络 g t（重建网络）的特征图中的先验信息；

10、④多尺度输出：将学生网络 g s（修复网络）中的特征图通过解码器输出多个尺度的修复结果；

11、⑤基于预训练鉴别器的先验获取：训练一个用于人脸图像生成的stylegan网络，获取stylegan的鉴别器作为特征提取器，利用特征提取器获取来自预训练生成对抗网络鉴别器中的先验信息；

12、⑥多尺度鉴别器处理：将多个尺度的无缺失人脸图像和学生网络 g s（修复网络）输出的多个尺度的修复图像输入多尺度鉴别器 d进行对抗；

13、⑦损失函数模块设计：将教师网络 g t（重建网络）通过在线知识蒸馏损失和重建损失进行联合优化；将学生网络 g s（修复网络）通过在线知识蒸馏损失、人脸感知损失、人脸风格损失、对抗损失以及输出的多个尺度图像和相应尺度无缺失人脸图像间的l1损失进行联合优化；将多尺度鉴别器 d通过wgan-gp中的鉴别器损失进行优化；

14、s4、训练模型：利用深度学习pytorch框架训练模型，遍历s1中所构建的缺失人脸图像数据集直到学生网络损失函数收敛，然后减小学习率至0.00001，再继续遍历缺失人脸图像数据集若干次，得到最终的稳定模型；

15、s5、输出结果：将s1中获得的缺失人脸图像数据集中的数据对输入到稳定模型中，获得人脸图像修复结果。

16、优选地，所述方案②进一步包括以下内容：

17、假设输入多级空洞卷积残差块的第n组特征图为 x n，则多级空洞卷积的操作如下：

18、

19、式中， ψ n表示空洞率为n的3×3卷积层； y n表示卷积层 ψ n的输出；

20、所述多级空洞卷积残差块中所有卷积层完成卷积后，均使用leakyrelu激活函数和分组归一化函数进行进一步处理。

21、优选地，所述方案③具体包括以下内容：

22、3.1）、教师网络 g t（重建网络）通过编码器将无缺失人脸图像映射成具有代表性的无缺失人脸图像特征图，记作 f gt，然后再通过解码器将 f gt解码成重建人脸图像；

23、3.2）、教师网络 g t（重建网络）的编码器与学生网络 g s（修复网络）的编码器结构保持一致，教师网络 g t（重建网络）的解码器与学生网络 g s（修复网络）的解码器结构对称，通过步长为2的3×3反卷积层进行上采样；

24、3.3）、计算重建人脸图像与无缺失人脸图像之间的重建损失，具体计算公式为：

25、

26、式中， l re表示重建损失函数； i gt表示无缺失人脸图像；表示重建人脸图像；

27、3.4）、将学生网络 g s（修复网络）的特征图记作 f in， f gt通过在线知识蒸馏损失对 f in进行监督，使学生网络 g s（修复网络）获取到特征先验，具体计算公式为：

28、

29、式中，表示在线知识蒸馏损失函数； f gt表示无缺失人脸图像特征图； f in表示学生网络 g s（修复网络）的特征图；

30、3.5）、将同时回传给教师网络 g t（重建网络）和学生网络 g s（修复网络），使教师网络 g t（重建网络）与学生网络 g s（修复网络）相互学习，克服 f gt和 f in在数据分布上的差异，最终形成一个跨任务在线知识蒸馏框架；

31、优选地，所述方案④具体包括以下内容：

32、学生网络 g s（修复网络）中的特征图通过学生网络 g s（修复网络）的解码器输出多个尺度的修复结果，每一级尺度的解码器在收到来自上一级尺度的特征图后，首先通过1×1卷积和pixelshuffle将特征图的尺度放大，然后通过两个中间卷积层和一个输出卷积层输出当前尺度的修复结果，具体计算公式为：

33、

34、式中，和表示两个中间卷积层；表示输出卷积层；和表示来自上一尺度的特征图和来自跳跃连接的特征图；表示1×1卷积和pixelshuffle的联合操作，concat表示通道拼接。

35、优选地，所述方案⑤进一步包括以下内容：

36、计算无缺失人脸图像和修复图像在stylegan鉴别器中特征图间的人脸风格损失和人脸感知损失，进而获取鉴别器先验；所述人脸感知损失函数如下：

37、

38、式中， φ j表示stylegan鉴别器中的第 j个卷积块；表示第 j个卷积块输出特征图的大小；

39、所述人脸风格损失函数如下：

40、

41、所述人脸风格损失函数和人脸感知损失函数使用相同卷积块输出特征图，其中 gram矩阵（gm）的运算方式如下：

42、

43、式中， m， n表示输入特征图 f在通道维度上的索引， p表示特征图 f在空间维度上的索引。

44、与现有技术相比，本发明提供了基于在线知识蒸馏和预训练先验的人脸图像修复方法，具备以下有益效果：

45、（1）本发明基于特征先验和鉴别器先验提出了一种人脸图像修复方法；特征先验的获取通过利用跨任务的在线知识蒸馏获取教师网络特征中的先验信息；鉴别器先验的获取通过将预训练鉴别器作为特征提取器，利用人脸感知损失和人脸风格损失获取鉴别器的先验信息。

46、（2）本发明提出了一个多级空洞卷积残差块结构，能提高修复网络的感受野加强网络对缺失人脸图像全局上下文信息的感知，并且多级空洞卷积结构能自适应地利用不同数量和不同结合方式的感受野来对缺失区域进行修复。

47、（3）基于本发明所进行的实验表明，所提出的方法优于目前主流的人脸图像修复方法；经过本发明的研究探索，能够启发更多利用深度网络中先验信息的研究。