一种基于面部动态集成的深度伪造检测方法及系统

本发明涉及计算机视觉，具体为一种基于面部动态集成的深度伪造检测方法及系统。

背景技术：

1、随着深度学习的快速发展，用于创建图像和视频的人工智能(ai)技术，在过去几十年中取得了重大进展。人们很难将这些技术产生的人造数字图像与数码相机拍摄的图像区分开来。基于人工智能的图像生成具有广泛应用的潜力，如电影表演、商业广告和游戏创作。另一方面，基于人工智能的图像生成可能会被滥用。例如，上传高质量虚假个人资料图像的社交媒体账户可能被用于欺诈目的。基于深度学习生成假图像被称为“deepfake”。

2、深度伪造方法可分为四种类型：合成，属性编辑，身份交换和人脸重演。合成(例如，pggan、stylegan和stylegan2)是指创建真实世界中不存在的人的虚假面部图像的过程。属性编辑(例如，stgan、stargan和starganv2)是指改变一个人的面部特征，如发型或面部毛发，或添加或消除衰老迹象的过程。同时，身份交换(例如，faceswap)是一种将一个人的脸替换为另一个人脸的方法。最后，在重演过程中(例如，face2face)，尽管图像中的人保持不变，但其面部表情会发生变化。如果使用现有的深度伪造生成器创建伪造图像，并且已经识别出图像的来源，那么深度伪造检测相对容易并且实现相对高的精度。然而，在实现可靠和实用的深度伪造检测方面仍然存在挑战。现有的合成检测方法假设真实图像和合成图像被原样输入，并且由深度伪造生成器生成的不可见和可见伪影出现在整个面部图像中。我们还需要考虑这样一种情况，即伪影仅来自伪图像的一部分或退化。例如，可以手动编辑面部的某些部分，也可以通过修复方法来部分更改面部的外观。这会部分破坏伪影，并使检测合成图像变得更加困难。在这种情况下，我们需要从保存deepfake生成器生成的工件的区域中检测deepfake。对人脸图像进行小面积分析有助于实现人工编辑和修复的鲁棒深度伪造检测。然而很难提取与场景内容完全分离的伪影，例如背景和面部的纹理，因为不可见的伪影通常是弱信号。特别地，仅使用小面积的面部图像来检测合成图像是一个困难的挑战，因为只能获得少量的受污染的伪像。因为眼睛、角膜、鼻子和嘴巴是主要的面部成分，所以检测每个面部部分是否被合成对于检测合成图像是有用的。已有的研究利用不一致的角膜镜面高光用于识别深度伪造图像，因为在某些照明条件下，真实图像中左右角膜必须具有一致的角膜镜高光。因为这种方法只使用角膜区域，所以它对其他面部部位的遮挡是稳健的。然而，即使是真实图像也可能不具有清晰的角膜镜面高光，并且精度对于在各种照明条件下捕获的图像来说是不够的。此外，这项技术不能用于从角膜被太阳镜遮挡的假图像中识别深度假图像。真实人脸图像的一部分可能被太阳镜、口罩、手等隐藏。因此，实现对部分遮挡和编辑具有鲁棒性的基于人脸部分的深度伪造检测也很重要。

技术实现思路

1、鉴于上述存在的问题，提出了本发明。

2、因此，本发明解决的技术问题是：现有的方法可能存在伪影仅来自伪图像的一部分或退化，很难提取与场景内容完全分离的伪影，使用小面积的面部图像来检测合成图像只能获得少量的受污染的伪像，利用不一致的角膜镜面高光精度对于在各种照明条件下捕获的图像来说是不够的，也无法用于从角膜被太阳镜遮挡的假图像中识别深度假图像。

3、为解决上述技术问题，本发明提供如下技术方案：一种基于面部动态集成的深度伪造检测方法，包括：构建面部检测器并输入图像，获得候选边界框及每个类别中的置信度分数，基于所述置信度分数，选择将用于深度伪造检测的人脸部分，调整像素；将人脸部分调整大小的补丁输入到真假的二元分类器中，获得真假类的概率分布作为输出，计算所有分类器的概率分布的平均值，得到集成深度假检测器的最终输出；针对部分遮挡和编辑的鲁棒深度伪造检测，构建基于面部组合的动态集成检测器，训练特定于不同分辨率的cnn模型，并根据输入图像的分辨率自适应地选择一个模型。

4、作为本发明所述的一种基于面部动态集成的深度伪造检测方法的一种优选方案，其中：所述面部检测器使用人脸图像作为训练数据，对模型进行训练，将待检测图像输入到训练好的模型，得到一系列包含人脸的边界框，训练好的模型对这些边界框进行精细化调整和分类，得到准确的人脸检测结果。

5、作为本发明所述的一种基于面部动态集成的深度伪造检测方法的一种优选方案，其中：获得所述候选边界框包括，从一对物体平面坐标和相应的图像平面坐标中获得两个方程，从物体平面的四个顶点到图像平面的顶点的对应关系来估计单应性矩阵h*的所有元素，使用相同的单应矩阵h*，获得每个注释在图像平面上的变换边界框；

6、输入图像后，将图像分割为a×a个网格，每个网格的大小相等，基于所述网格生成候选边界框，由a×a个网格预测出b个候选边界框，所述候选边界框包含5个量：物体的中心位置(x，y)、高h、宽w以及预测的置信度。

7、作为本发明所述的一种基于面部动态集成的深度伪造检测方法的一种优选方案，其中：所述真假类的概率分布计算包括，先计算判断补丁的一致性，再计算帧间不一致信息，最后计算统一的时空不一致性，全连接层整合所有特征，动态时空不一致捕捉网络通过交叉熵损失进行训练，根据分类层的输出预测输入视频片段的真假。

8、作为本发明所述的一种基于面部动态集成的深度伪造检测方法的一种优选方案，其中：计算所述补丁一致性包括，将每段视频以t帧为单位分成n个不重叠的片段样本，连续的t帧构成一个样本i＝[i1，---，it]，将这些片段样本输入二维cnn提取逐帧特征f＝[f1，---，ft]，首先将特征f转换为三个视图，公式表示为：

9、fq＝σq(f)∈rh×w×t×c；

10、fk＝σk(f)∈rh×w×c×t；

11、fv＝σv(f)∈rt×c×h×w；

12、其中，σ(·)是增强提取特征多样性的1×1卷积层，h、w是空间维数，f表示隐藏层中的特征表示，c是通道数，对于fq中的每个补丁xh,w,i，将其与fk中所有对应的补丁xh,w,j进行匹配，通过计算负余弦相似度计算其特征相似度，得到大小为h×w×t×t的4d不一致性图m，计算公式表示为：

13、

14、其中，|·|2是l2正则化，在变换视图的所有配对{simh,w,i,j|1≤h,w≤h*w,1≤i,j≤t}中迭代上述操作，得到不一致性图m，对于m的每一个记录，值接近1表示两个补丁不一致，接近-1则表示两个补丁一致。

15、作为本发明所述的一种基于面部动态集成的深度伪造检测方法的一种优选方案，其中：计算所述帧间不一致性包括，由动态细粒度差异捕捉模块处理从二维cnn提取的特征f，定位伪造方法造成的帧间差异区域，并生成每帧的注意力图，公示表示为：

16、

17、通过测量帧间差异强度的大小来区分差异类型，强度波动大的为伪造差异，强度波动小的为运动差异，对差异强度波动图进行排序，并选取第k个值作为阈值区分伪造差异和运动差异；

18、再由多尺度时空聚合模块接收增强的特征f，并利用跨帧时空结构，从多方位、多尺度的角度关联上述时域中的帧间不一致信息，公示表示为：

19、

20、其中表示dfdc模块，表示dfdc模块增强的表示特征，α是一个可训练参数，用于自适应调整dfdc模块的影响，k＝h，代表msa模块，表示提供时空信息的增强特征。

21、作为本发明所述的一种基于面部动态集成的深度伪造检测方法的一种优选方案，其中：计算所述统一的时空不一致性包括，输入特征沿时间轴进行双向切分，左分支是将重塑为的垂直分支，右分支是将重塑为的水平分支，每个分支执行相应的带状平均池化操作和带状卷积，使用各种尺度池操作来挤压时间维度，公式表示为：

22、

23、

24、其中，dv和dh分别为垂直时空不一致性和水平时空不一致性，统一的时空不一致性可以用计算公式如下：

25、

26、本发明的另外一个目的是提供一种基于面部动态集成的深度伪造检测方法的系统，其能通过构建配网作业远程安全通信系统，解决了现有配网作业中的数据传输需要保证安全性和保密性，通过第三方平台不利于数据保密问题。

27、为解决上述技术问题，本发明提供如下技术方案:一种基于面部动态集成的深度伪造检测系统，包括：图像处理模块、伪造分析模块、输出模块以及动态选择模块；所述图像处理模块接收输入图像，执行面部检测，生成候选边界框及每个类别的置信度分数；所述伪造分析模块基于置信度分数，筛选用于深度伪造检测的人脸部分，进行真假分类，并输出真假类别的概率分布；所述输出模块计算所有分类器的概率分布平均值，得出集成深度假检测器的最终判断；所述动态选择模块针对不同分辨率的输入图像，选择对应的cnn模型进行深度伪造检测。

28、一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如上所述一种基于面部动态集成的深度伪造检测方法的步骤。

29、一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述一种基于面部动态集成的深度伪造检测方法的步骤。

30、本发明的有益效果：本发明提供的一种基于面部动态集成的深度伪造检测方法基于单调的数据增强训练，提高了面部部位检测器对面部图像各个方向的准确性；设计了动态细粒度差分捕获模块(dfd模块)和多尺度时空聚合模块(msa)模块，以模拟深度伪造视频检测的精确时空不一致，解决了基于帧的深度伪造视频检测方法陷入了在遇到极其逼真的图像时可能失败的困境；设计的dfdc模块和msa模块是互补的，即插即用，它们可以为任何现有的2dcnn提供强大的时空特征提取能力，可以更好地应对deepfake视频检测；设计了人脸面部部分的深度伪造检测器，根据人脸部位检测结果选择合适的人脸部位进行深度伪造检测，实现了一种对人脸部位遮挡和错误识别具有鲁棒性的集成模型。本发明能够有效地提高预测结果的准确性和可靠性，在不同的基准数据集中具有最先进的效果，具有广泛的应用前景。