一种多先验信息的遮挡人脸图像修复方法

本发明属于图像处理领域，具体涉及一种多先验信息的遮挡人脸图像修复方法。

背景技术：

1、人脸图像修复技术是计算机视觉领域的一个研究热点，其目标是修复人脸图像中缺失的人脸特征，使观察者无法察觉出图像曾经受损。其在公安刑侦和共公共安全领域具有重要的应用价值。

2、2014年生成对抗网络的提出，极大地促进了图像修复技术的发展，各种基于生成对抗网络的图像修复技术应运而生。nazeri等首先利用边缘生成网络预测缺失区域的完整边缘，进而利用该边缘引导图像修复网络对遮挡人脸图像进行修复。该方法重点关注对纹理细节的修复，但当遮挡区域面积过大时，往往难以准确生成遮挡区域的边缘信息，从而导致修复人脸的结构失真。yang等提出了基于关键点引导的人脸图像修复网络。该模型由关键点预测网络和图像修复网络组成，并使用人脸关键点作为先验信息，引导图像修复网络对遮挡人脸进行修复。虽然该方法对大面积遮挡的人脸有较好的修复效果，但对人脸的纹理细节信息修复效果不理想。

技术实现思路

1、本发明的目的是提供一种多先验信息的遮挡人脸图像修复方法，以解决现有技术中修复后的人脸图像细节丢失和语义不合理的问题。

2、本发明的目的是通过以下技术手段实现的，一种多先验信息的遮挡人脸图像修复方法，包括以下步骤：

3、检测真实人脸图像数据集中的canny边缘和人脸关键点，得到真实canny边缘和真实人脸关键点，并得到真实人脸图像加上遮挡后的遮挡人脸图像，作为网络训练时的标签，将遮挡人脸图像灰度化处理得到遮挡人脸的灰度图；

4、训练边缘修复网络，边缘修复网络由生成器g1和判别器d1组成，将遮挡人脸图像灰度图、真实canny边缘图和人脸遮挡部分的掩模图输入到生成器g1以融合多源信息，最终生成预测的遮挡区域内的边缘，然后将生成的边缘与真实canny边缘图输入到判别器d1中，通过边缘修复网络损失函数反向传播更新网络参数，优化边缘修复网络模型，使得网络的损失函数不在下降，从而得到最优边缘修复网络，最优边缘修复网络模型得到最终的预测的遮挡区域内的边缘，供后续使用；

5、训练关键点预测网络，将遮挡人脸图像和人脸遮挡部分的掩模图输入关键点预测网络，从而得到预测的关键点；

6、训练人脸修复网络，包括生成器g2和判别器d2，将遮挡人脸图像、边缘修复网络修复后得到的边缘、预测的关键点输入生成器g2中，输出预测的人脸修复图像，判别器d2将经过g2修复后的人脸图像、真实人脸关键点和真实的人脸图像作为标签，对生成器g2修复的人脸进行判别，并通过损失函数ltotal反向传播更新网络参数，优化人脸修复网络模型，使得网络的损失函数不在下降，得到最优人脸修复网络模型，通过最优人脸修复网络模型，输出最终的人脸修复图像；

7、使用时，将新的遮挡图像和新遮挡图像的遮挡掩膜输入最优人脸修复网络模型，得到新遮挡图像的人脸修复图像。

8、所述生成器g1由3个卷积层、3个反卷积层和8个残差块级联组成，卷积核大小依次是7×7、4×4和4×4，判别器d1包含5个卷积层，卷积核大小均为4×4，均采用频谱归一化和激活函数leakrelu。

9、所述边缘修复网络的损失函数为

10、λadv,1和λfm分别为损失函数ladv,1和lfm的权重系数；

11、ladv,1为对抗损失为

12、

13、lfm定义为

14、l表示判别器的最后一层，ni表示第i层的元素个数，表示判别器第i层的激活函数；

15、sgt为真实人脸图像igt的真实canny边缘，igray为真实人脸图像igt的人脸灰度图，spred为生成器g1输出的预测的遮挡区域内的边缘，遮挡人脸图像灰度图遮挡人脸图像canny边缘图m为人脸遮挡掩膜，0代表未遮挡区域，1代表遮挡区域。

16、所述训练关键点预测网络的具体方法为，构建一个32×32的卷积层，并连接7个反向残差块以提取精细特征，然后通过一个点卷积编码特征，从遮挡人脸中预测一组人脸关键点lpred，以描述人脸的拓扑结构和姿态等属性，其中关键点定位损失为

17、

18、式中：lpred表示经过关键点预测网络得到的关键点，lgt表示真实人脸的关键点，||·||2表示l2范数。

19、所述生成器g2由3个卷积层、3个反卷积层和8个门卷积级联组成，卷积核大小依次是7×7、4×4和4×4，判别器d2包含5个卷积层，卷积核大小均为4×4，均采用频谱归一化和激活函数leakrelu。

20、所述损失函数ltotal＝λ1l1+λadv,2ladv,2+λplprec+λslstyle+λtvltv，其中像素损失l1、对抗损失ladv,2、总变分损失ltv、感知损失lprec、风格损失lstyle，λ1、λadv，2、λp、λs、λtv分别为对应损失的权重。

21、所述像素损失为

22、

23、其中ns表示遮挡区域掩膜的尺寸；

24、对抗损失为

25、

26、其中icomp表示生成的遮挡区域部分图像和原图像中未遮挡去部分图像进行像素叠加的结果，icomp为

27、icomp＝igt⊙(1-m)+ipred⊙m；

28、总变分损失为

29、

30、其中ni表示真实图像的像素数，表示图像的梯度；

31、感知损失为

32、

33、其中φi表示预训练的vgg-19第i层的特征，ni表示第i层的元素数量；

34、对于cj×hj×wj大小的特征图，风格损失为

35、

36、为一个由vgg网络提取的特征图φj生成的cj×cj的gram矩阵，和分别表示生成人脸和真实人脸中缺失的部分。

37、本发明的有益效果在于：通过真实的canny边缘和关键点，为人脸图像修复网络提供了面部细节信息和拓扑结构信息，将二者共同作为人脸修复的先验信息，有效解决了修复人脸的结构失真的问题。并且通过门卷积对人脸图像进行特征提取，取代传统gan网络中的空洞卷积。并在反卷积模块之前加入了自注意力模块，使得在大面积遮挡和不同视角下均能产生较好的修复结果。

技术特征：

1.一种多先验信息的遮挡人脸图像修复方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种多先验信息的遮挡人脸图像修复方法，其特征在于：所述生成器g1由3个卷积层、3个反卷积层和8个残差块级联组成，卷积核大小依次是7×7、4×4和4×4，判别器d1包含5个卷积层，卷积核大小均为4×4，均采用频谱归一化和激活函数leakrelu。

3.根据权利要求2所述的一种多先验信息的遮挡人脸图像修复方法，其特征在于：所述边缘修复网络的损失函数为

4.根据权利要求1所述的一种多先验信息的遮挡人脸图像修复方法，其特征在于：所述训练关键点预测网络的具体方法为，构建一个32×32的卷积层，并连接7个反向残差块以提取精细特征，然后通过一个点卷积编码特征，从遮挡人脸中预测一组人脸关键点lpred，以描述人脸的拓扑结构和姿态等属性，并且还以真实人脸关键点作为标签，以关键点定位损失函数反向传播优化关键点预测网络，直至关键点定位损失函数不再下降，得到最优关键点预测网络，其中关键点定位损失函数为：

5.根据权利要求1所述的一种多先验信息的遮挡人脸图像修复方法，其特征在于：所述生成器g2由3个卷积层、3个反卷积层和8个门卷积级联组成，卷积核大小依次是7×7、4×4和4×4，判别器d2包含5个卷积层，卷积核大小均为4×4，均采用频谱归一化和激活函数leakrelu。

6.根据权利要求1所述的一种多先验信息的遮挡人脸图像修复方法，其特征在于：所述损失函数ltotal＝λ1l1+λadv,2ladv,2+λplprec+λslstyle+λtvltv，其中像素损失l1、对抗损失ladv,2、总变分损失ltv、感知损失lprec、风格损失lstyle，λ1、λadv，2、λp、λs、λtv分别为对应损失的权重。

7.根据权利要求6所述的一种多先验信息的遮挡人脸图像修复方法，其特征在于：所述像素损失为：

技术总结
本发明公开了一种多先验信息的遮挡人脸图像修复方法，检测真实人脸图像的canny边缘作为边缘修复网络的标签，利用FAN算法检测真实人脸的关键点作为关键点检测网络的标签；将遮挡人脸的灰度图和遮挡掩码以及canny边缘作为边缘修复网络的输入，进行训练，从遮挡人脸图像中得到修复后的人脸边缘；将遮挡人脸和遮挡掩码以及人脸关键点作为关键点检测的输入，进行训练，从遮挡人脸图像中得到检测到的关键点；利用修复得到的边缘和检测得到关键点作为先验信息，并将二者和遮挡人脸共同输入到人脸图像修复网络中，进行训练，得到修复完成的人脸图像，解决了现有技术中修复后的人脸图像细节丢失和语义不合理的问题。

技术研发人员：王富平,段冠庄,刘鸿玮,罗杨,张敏,杨嘉妮,李藕,公衍超,刘卫华,高梓铭,何敬鲁,刘颖
受保护的技术使用者：西安邮电大学
技术研发日：
技术公布日：2024/1/5