一种基于多尺度监督的深度伪造人脸图像检测方法和系统

本发明涉及图像检测的，尤其是一种基于多尺度监督的深度伪造人脸图像检测方法和系统。

背景技术：

1、深度伪造人脸图像(deepfake)检测算法旨在利用区分出输入网络的人脸图像是真实的还是伪造的，防止不良分子利用生成对抗网络生成的逼真图像去攻击人脸识别 系统。在过去的几年中，生成对抗网络生成的伪造从模糊逐渐到超高清，越来越逼真， 依靠人脸已经无法分辨图像的真伪性。因此，深度伪造人脸图像检测算法已经成为一 个热门的研究方向。生成对抗网络起初是用于生成新样本数据，来缓解收集样本的困 难。然而，随着生成对抗网络的迅速发展，生成对抗网络已经可以生成以假乱真的图 片，这导致生成的伪造图片可以破解人脸识别系统中的活体检测、人脸检索算法，因 此深度伪造人脸图像检测算法得到极大的关注。然而，目前的深度伪造人脸图像检测 算法通常是依靠海量的数据以及多样化的样本来使得卷积神经网络泛化到各种伪造 图像上，却忽略从卷积神经网络的本身去挖掘更多有用的特征信息或者增加更多的特 征约束，来得到鲁棒性更强的二分类模型。

2、目前的深度伪造人脸图像检测算法主要是以resnet50(或者其它主流卷积神经网络)为主干网络，在海量和多样化数据的支撑下，训练一个二分类的深度伪造人脸图 像检测算法。然而，仅仅依靠海量的数据，会导致算法在未知域上无法获取鲁棒且具 有判别力的特征，性能急剧下降。因此设计一个泛化性强的深度伪造人脸图像检测算 法仍然是一个挑战性任务。现有算法缺乏从网络本身去挖掘更多特征表示以及对网络 施加更多约束监督来提升模型的泛化性。

技术实现思路

1、为了解决现有技术中存在的上述技术问题，本发明提出了一种基于多尺度监督的深度伪造人脸图像检测方法和系统，以解决上述技术问题。

2、根据本发明的一个方面，提出了一种基于多尺度监督的深度伪造人脸图像检测方法，包括：

3、s1：将resnet50主干网络的残差卷积块提取的特征fi-1通过1x1的卷积层扩充 通道数获得特征fi-1*，特征fi通过转置卷积获得特征fi*，其中，主干网络包括4个主 要的残差卷积块，i＝2，3，4；

4、s2：将特征fi-1*和特征fi*送入尺度监督函数获得对应尺度监督函数；

5、s3：将第四个残差卷积块输出的特征送入全局平均池化层，送入分类层进行真伪图像分类，并利用标签平滑正则化的交叉熵损失函数进行监督训练，结合尺度监督函 数和标签平滑正则化的交叉熵损失函数进行约束。

6、在一些具体的实施例中，特征fi的提取方式表示为fi＝(bi{xi|θi})，其中，bi代 表resnet50第i个残差卷积块，xi代表输入的行人图像，θi代表第i个特征提取过程 涉及的参数。

7、在一些具体的实施例中，s2中尺度监督函数其中，b 代表批处理大小，fi-1*和fi*均为一个四维特征。

8、在一些具体的实施例中，s2中生成3个尺度监督函数，分别为l12，l23和l34。

9、在一些具体的实施例中，s3中标签平滑正则化的交叉熵损失函数其中ε∈[0，1]，k定义为类 别数，p(k)代表预测属于类别k的概率。

10、在一些具体的实施例中，s3中结合尺度监督函数和标签平滑正则化的交叉熵损失函数进行约束具体表示为：整体损失函数

11、根据本发明的第二方面，提出了一种计算机可读存储介质，其上存储有一或多个计算机程序，该一或多个计算机程序被计算机处理器执行时实施上述任一项的方法。

12、根据本发明的第三方面，提出了一种基于多尺度监督的深度伪造人脸图像检测系统，该系统包括：

13、特征处理单元，配置用于将resnet50主干网络的残差卷积块提取的特征fi-1通过1x1的卷积层扩充通道数获得特征fi-1*，特征fi通过转置卷积获得特征fi*，其中，主 干网络包括4个主要的残差卷积块，i＝2，3，4；

14、尺度监督单元，配置用于将特征fi-1*和特征fi*送入尺度监督函数获得对应尺度监督函数；

15、训练单元：配置用于将第四个残差卷积块输出的特征送入全局平均池化层，送入分类层进行真伪图像分类，并利用标签平滑正则化的交叉熵损失函数进行监督训练， 结合尺度监督函数和标签平滑正则化的交叉熵损失函数进行约束。

16、在一些具体的实施例中，特征fi的提取方式表示为fi＝(bi{xi|θi})，其中，bi代 表resnet50第i个残差卷积块，xi代表输入的行人图像，θi代表第i个特征提取过程 涉及的参数；尺度监督函数其中，b代表批处理大小，fi-1*和fi*均为一个四维特征，生成3个尺度监督函数，分别为l12，l23，l34。

17、在一些具体的实施例中，标签平滑正则化的交叉熵损失函数其中ε∈[0，1]，k定义为类别数，p(k)代表预 测属于类别k的概率；结合尺度监督函数和标签平滑正则化的交叉熵损失函数进行约 束具体表示为：整体损失函数

18、本发明提出了一种基于多尺度监督的深度伪造人脸图像检测方法和系统，利用resnet50不同阶段不同尺度特征进行聚合来提升特征的表示，并在不同尺度特征间 施加约束，即在特征层面使得不同尺度的特征在空间平面尽可能靠近，提升模型的泛 化性，在未知域的伪造人脸数据集上具有更好的鲁棒性。

技术特征：

1.一种基于多尺度监督的深度伪造人脸图像检测方法，其特征在于，包括：

2.根据权利要求1所述的基于多尺度监督的深度伪造人脸图像检测方法，其特征在于，所述特征fi的提取方式表示为fi＝(bi{xi|θi})，其中，bi代表resnet50第i个残差卷积块，xi代表输入的行人图像，θi代表第i个特征提取过程涉及的参数。

3.根据权利要求1所述的基于多尺度监督的深度伪造人脸图像检测方法，其特征在于，所述s2中尺度监督函数其中，b代表批处理大小，fi-1*和fi*均为一个四维特征。

4.根据权利要求3所述的基于多尺度监督的深度伪造人脸图像检测方法，其特征在于，所述s2中生成3个尺度监督函数，分别为l12，l23和l34。

5.根据权利要求4所述的基于多尺度监督的深度伪造人脸图像检测方法，其特征在于，所述s3中所述标签平滑正则化的交叉熵损失函数其中ε∈[0,1]，k定义为类别数，p(k)代表预测属于类别k的概率。

6.根据权利要求5所述的基于多尺度监督的深度伪造人脸图像检测方法，其特征在于，所述s3中结合尺度监督函数和所述标签平滑正则化的交叉熵损失函数进行约束具体表示为：整体损失函数

7.一种计算机可读存储介质，其上存储有一或多个计算机程序，其特征在于，该一或多个计算机程序被计算机处理器执行时实施权利要求1至6任一项所述的方法。

8.一种基于多尺度监督的深度伪造人脸图像检测系统，其特征在于，所述系统包括：

9.根据权利要求8所述的基于多尺度监督的深度伪造人脸图像检测系统，其特征在于，所述特征fi的提取方式表示为fi＝(bi{xi|θi})，其中，bi代表resnet50第i个残差卷积块，xi代表输入的行人图像，θi代表第i个特征提取过程涉及的参数；所述尺度监督函数其中，b代表批处理大小，fi-1*和fi*均为一个四维特征，生成3个尺度监督函数，分别为l12，l23和l34。

10.根据权利要求8所述的基于多尺度监督的深度伪造人脸图像检测系统，其特征在于，所述标签平滑正则化的交叉熵损失函数其中ε∈[0,1]，k定义为类别数，p(k)代表预测属于类别k的概率；结合尺度监督函数和所述标签平滑正则化的交叉熵损失函数进行约束具体表示为：整体损失函数

技术总结
本发明公开了一种基于多尺度监督的深度伪造人脸图像检测方法和系统，包括将ResNet50主干网络的残差卷积块提取的特征f<subgt;i‑1</subgt;通过1x1的卷积层扩充通道数获得特征f<subgt;i‑1</subgt;<supgt;*</supgt;，特征f<subgt;i</subgt;通过转置卷积获得特征f<subgt;i</subgt;<supgt;*</supgt;，其中，主干网络包括4个主要的残差卷积块，i＝2,3,4；将特征f<subgt;i‑1</subgt;<supgt;*</supgt;和特征f<subgt;i</subgt;<supgt;*</supgt;送入尺度监督函数获得对应尺度监督函数；将第四个残差卷积块输出的特征送入全局平均池化层，送入分类层进行真伪图像分类，并利用标签平滑正则化的交叉熵损失函数进行监督训练，结合尺度监督函数和标签平滑正则化的交叉熵损失函数进行约束。本发明在不同的深度伪造人脸数据集上进行验证，模型有显著的提升。

技术研发人员：陈婷婷,林国凤,陈明明,杨光,罗婷,叶学森
受保护的技术使用者：厦门华厦学院
技术研发日：
技术公布日：2024/1/12