人脸图像的深度伪造检测方法、系统、设备及介质

本发明属于图像处理领域，涉及一种人脸图像的深度伪造检测方法、系统、设备及介质。

背景技术：

1、基于深度学习的深度伪造技术(deepfake)通过篡改或替换原始视频的人脸信息误导人们相信视频中的虚假言行，这对侵犯隐私、制造虚假言论以及扰乱国家安全构成了新的威胁。为了防御这种威胁，近年来研究人员提出了许多深度伪造检测方法，包括基于特定伪像的检测方法和基于深度表征的检测方法。

2、基于特定伪像的深度伪造检测方法通常利用现有的深度伪造数据先验知识来预定义特定伪像，并进一步生成相应的监督信息，这种补充监督信息可以作为二值图像级监督信息的替代或补充，为深度伪造检测器的学习提供指导。例如，在之前的研究中，异常生物特征伪像、混合操作导致的区域不一致伪像及跨模态不一致伪像曾被用来作为特定伪像监督检测器学习真实和虚假面部图像之间的差异。相比之下，基于深度表征的方法通常通过在大规模深度伪造数据集上训练深度学习网络的方式让网络自动学习并提取判别性特征，这类方法可以结合空间频率信号、注意力机制和其他学习策略进行表征学习。尽管现存的深度伪造检测方法在域内测试场景中取得了优异的性能，但面对跨域分布的未见过的测试数据时，性能通常会有显著下降。因此，检测器的泛化能力成为人们的关注重点。

3、最近的研究表明深度伪造检测器的泛化能力较差是因为其往往会过拟合于面部图像的局部区域，因而缺乏对虚假样本的全面认识。现有研究目前主要从两个方面减轻这种不良影响。一方面，在训练阶段应用数据增强来破坏面部结构内容，以突出伪像或捕捉不被关注的伪像信息。另一方面，通过人脸重建解耦面部内容特征和伪像特征以提升伪像特征的表示。然而，仅破坏或移除深度伪造图像的面部内容信息，仍然会留下训练数据中存在的特定伪像模式，这将导致网络的过拟合。鉴于此，为了丰富训练数据中存在的伪像模式，有些研究提出了虚假样本合成方法，但这些方法通常依赖于预定义的伪像类型或伪像区域。

技术实现思路

1、本发明的目的在于克服上述现有技术中，现有人脸图像的深度伪造检测方法的泛化性差的缺点，提供一种人脸图像的深度伪造检测方法、系统、设备及介质。

2、为达到上述目的，本发明采用以下技术方案予以实现：

3、本发明第一方面，提供一种人脸图像的深度伪造检测方法，包括：

4、获取待检测的人脸图像；

5、将待检测的人脸图像输入预设的人脸图像深度伪造检测模型中，得到待检测的人脸图像的深度伪造检测结果；

6、其中，所述人脸图像深度伪造检测模型通过下述步骤得到：

7、获取若干人脸图像样本；其中，若干人脸图像样本中包含真实人脸图像样本和虚假人脸图像样本；

8、将增强图像块尺度依次增加至预设值，在每次增加后均进行下述训练步骤：

9、训练步骤：将各人脸图像样本与各人脸图像样本的目标人脸图像，根据当前增强图像块尺度进行图像块交换操作和图像块乱序操作，得到若干增强人脸图像样本；根据若干人脸图像样本和若干增强人脸图像样本训练预设的多任务深度卷积神经网络；其中，多任务深度卷积神经网络通过在用于深度伪造检测的深度卷积神经网络中设置人脸属性级别的深度伪造检测任务分支、人脸结构级别的深度伪造检测任务分支和人脸图像级别的深度伪造检测任务分支得到，人脸图像级别的深度伪造检测任务分支通过注意力机制对人脸属性级别的深度伪造检测任务分支和人脸结构级别的深度伪造检测任务分支的特征进行融合；

10、将多任务深度卷积神经网络中的人脸图像级别的深度伪造检测任务分支作为人脸图像深度伪造检测模型。

11、可选的，所述真实人脸图像样本的目标人脸图像为真实人脸图像样本自身；所述虚假人脸图像样本的目标人脸图像为生成虚假人脸图像样本时采用的目标人脸图像。

12、可选的，所述将各人脸图像样本与各人脸图像样本的目标人脸图像，根据当前增强图像块尺度进行图像块交换操作包括：

13、根据当前增强图像块尺度，将各人脸图像样本与各人脸图像样本的目标人脸图像通过下式划分为不重叠的若干图像块：

14、从(o，1)均匀分布中随机采样一个图像块交换比例λ，根据图像块交换比例λ进行各人脸图像样本与各人脸图像样本的目标人脸图像的图像块交换。

15、可选的，所述根据图像块交换比例λ进行各人脸图像样本与各人脸图像样本的目标人脸图像的图像块交换包括：

16、根据图像块交换比例λ生成二值图像块交换掩码遮罩m；其中，二值图像块交换掩码遮罩m中的o值与1值个数根据图像块交换比例λ确定；

17、通过下式进行图像块交换：

18、xmix-hard＝upsample(m)⊙x+(1-upsample(m))⊙xp

19、其中，xmix-hard为增强人脸图像样本，upsample(m)为向上取样二值图像块交换掩码遮罩m，⊙为元素乘法，x为人脸图像样本，xp为人脸图像样本的目标人脸图像。

20、可选的，所述根据若干人脸图像样本和若干增强人脸图像样本训练预设的多任务深度卷积神经网络时，通过下式得到增强人脸图像样本xmix-hard的软标签ymix-soft：

21、ymix-soft＝λy+(1-λ)⊙yp

22、其中，y为人脸图像样本x的标签，yp为人脸图像样本x的目标人脸图像的标签；

23、将增强人脸图像样本xmix-hard的软标签ymix-soft作为增强人脸图像样本ymix-hard的代替监督信息监督多任务深度卷积神经网络的训练。

24、可选的，所述将各人脸图像样本与各人脸图像样本的目标人脸图像，根据当前增强图像块尺度进行图像块乱序操作包括：

25、根据当前增强图像块尺度，将各人脸图像样本划分为不重叠的若干图像块：

26、将各人脸图像样本的若干图像块进行随机乱序解构。

27、可选的，所述根据若干人脸图像样本和若干增强人脸图像样本训练预设的多任务深度卷积神经网络时，采用的损失函数l为：

28、l＝λ1lcls-attr+λ2lcls-struct+λ3lcls-img+λ4lkl

29、其中，λ1、λ2、λ3和λ4均为权重超参数，lcls-attr为人脸属性级别的深度伪造检测任务分支的交叉熵损失函数；lcls-struct为人脸结构级别的深度伪造检测任务分支的交叉熵损失函数，lcls-img为人脸图像级别的深度伪造检测任务分支的交叉熵损失函数，lkl为散度损失函数；

30、其中，散度损失函数为人脸属性级别的深度伪造检测任务分支、人脸结构级别的深度伪造检测任务分支和人脸图像级别的深度伪造检测任务分支中任意两任务分支的预测分布的分布相似度计算函数。

31、本发明第二方面，提供一种人脸图像的深度伪造检测系统，包括：

32、图像获取模块，用于获取待检测的人脸图像；

33、图像检测模块，用于将待检测的人脸图像输入预设的人脸图像深度伪造检测模型中，得到待检测的人脸图像的深度伪造检测结果；

34、其中，所述人脸图像深度伪造检测模型通过下述步骤得到：

35、获取若干人脸图像样本；其中，若干人脸图像样本中包含真实人脸图像样本和虚假人脸图像样本；

36、将增强图像块尺度依次增加至预设值，在每次增加后均进行下述训练步骤：

37、训练步骤：将各人脸图像样本与各人脸图像样本的目标人脸图像，根据当前增强图像块尺度进行图像块交换操作和图像块乱序操作，得到若干增强人脸图像样本；根据若干人脸图像样本和若干增强人脸图像样本训练预设的多任务深度卷积神经网络；其中，多任务深度卷积神经网络通过在用于深度伪造检测的深度卷积神经网络中设置人脸属性级别的深度伪造检测任务分支、人脸结构级别的深度伪造检测任务分支和人脸图像级别的深度伪造检测任务分支得到，人脸图像级别的深度伪造检测任务分支通过注意力机制对人脸属性级别的深度伪造检测任务分支和人脸结构级别的深度伪造检测任务分支的特征进行融合；

38、将多任务深度卷积神经网络中的人脸图像级别的深度伪造检测任务分支作为人脸图像深度伪造检测模型。

39、本发明第三方面，提供一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述人脸图像的深度伪造检测方法的步骤。

40、本发明第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述人脸图像的深度伪造检测方法的步骤。

41、与现有技术相比，本发明具有以下有益效果：

42、本发明人脸图像的深度伪造检测方法，通过同时考虑人脸图像内容解构和伪像模式多样化的方法解决特定于数据集的全局结构偏差的过拟合问题，通过多尺度的图像块交换和图像块乱序，以及自监督循环校准多任务分支实现。其中，多尺度的图像块交换和图像块乱序首先通过交换人脸图像样本和人脸图像样本的目标人脸图像的图像块来丰富伪像模式，然后将图像块随机乱序打乱以解构人脸内容并生成新的合成图像。在训练过程中，随着每批次训练样本的输入，增强图像块尺度以循环的方式逐渐从小到大递增，以实现多尺度的图像解构和伪像多样化增强，增强的人脸图像样本随后用来支持多任务模型的自监督训练，使得网络可以捕捉相应的细粒度到粗粒度的局部伪像。为了确保每个任务能够专门捕捉特定规模的判别特征，多任务分支被设置在网络的不同阶段并以循环的方式进行训练。此外，学习到的多尺度判别特征通过注意力机制进行对齐，以生成最终的可泛化表示。在此框架中，多尺度图像块交换和乱序无需预定义伪像区域或伪像类型即可进行伪造模式多样化，这与之前的自监督伪造样本合成方法不同，首次利用全图像级别的图像之间的区域交换操作实现伪造样本合成，能够学习到多尺度局部判别特征并最终学习到了泛化表征，拥有较优秀的泛化性能，大大提升人脸图像的深度伪造检测的准确性。

43、进一步的，为降低交换引入的噪声标签的影响，将增强人脸图像样本的软标签作为增强人脸图像样本的代替监督信息监督多任务深度卷积神经网络的训练，并在损失函数中引入散度损失函数进行各任务分支的标签校正。