人脸伪造检测方法、系统、设备及存储介质

本发明涉及人脸伪造检测，尤其涉及一种人脸伪造检测方法、系统、设备及存储介质。

背景技术：

1、人脸伪造检测是一个逐渐兴起的研究课题，它的目的是给出输入人脸图像是否伪造的判定。

2、最近一些先进的检测方法利用卷积神经网络（cnn）对细节纹理的感知能力设法捕获伪造人脸中局部的融合痕迹，但是由于cnn局部性的归纳偏置导致无法捕获全局的伪造痕迹，限制了现有检测方法的泛化能力。

3、带有全局感受野的视觉transformer（变换器）网络是一个很有潜力的解决方案，但是原始的transformer网络并不擅长捕获细微的融合痕迹，导致现有基于transformer网络的人脸伪造检测方案准确度不佳。

4、有鉴于此，特提出本发明。

技术实现思路

1、本发明的目的是提供一种人脸伪造检测方法、系统、设备及存储介质，通过捕获伪造人脸全局并且细微的融合痕迹，有效改善人脸伪造检测的泛化性能与检测准确度。

2、本发明的目的是通过以下技术方案实现的：

3、一种人脸伪造检测方法，包括：

4、构建图像块数量预测任务，采用自监督的方式对transformer网络进行预训练；其中，transformer网络表示变换器网络；

5、将融合人脸图像与目标人脸图像分别进行图像块划分，再与各自的类特征一并通过预训练后的transformer网络，获得融合人脸图像图像块表征与类特征表征，以及目标人脸图像图像块表征与类特征表征；利用融合人脸图像类特征表征与目标人脸图像类特征表征计算分类损失；以及，利用融合掩码从融合人脸图像图像块表征与目标人脸图像图像块表征中分别提取区域级表征，并计算区域级对比损失；结合所述分类损失与区域级对比损失对所述预训练后的transformer网络进行训练；其中，所述融合掩码是指利用目标人脸图像与源人脸图像生成融合人脸图像时使用的掩码；

6、将待检测人脸图像输入至训练后的transformer网络，获得人脸伪造检测结果。

7、一种人脸伪造检测系统，包括：

8、自监督预训练模块，用于构建图像块数量预测任务，采用自监督的方式对transformer网络进行预训练；其中，transformer网络表示变换器网络；

9、训练模块，用于将融合人脸图像与目标人脸图像分别进行图像块划分，再与各自的类特征一并通过预训练后的transformer网络，获得融合人脸图像图像块表征与类特征表征，以及目标人脸图像图像块表征与类特征表征；利用融合人脸图像类特征表征与目标人脸图像类特征表征计算分类损失；以及，利用融合掩码从融合人脸图像图像块表征与目标人脸图像图像块表征中分别提取区域级表征，并计算区域级对比损失；结合所述分类损失与区域级对比损失对所述预训练后的transformer网络进行训练；其中，所述融合掩码是指利用目标人脸图像与源人脸图像生成融合人脸图像时使用的掩码；

10、检测模块，用于将待检测人脸图像输入至训练后的transformer网络，获得人脸伪造检测结果。

11、一种处理设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；

12、其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现前述的方法。

13、一种可读存储介质，存储有计算机程序，当计算机程序被处理器执行时实现前述的方法。

14、由上述本发明提供的技术方案可以看出，transformer网络的全局感受野可以有效捕获全局的融合痕迹，结合本发明提出的基于图像块的自监督预训练和区域级的对比学习可以有效地引导transformer网络去关注细微的融合痕迹，显著的改善了现有检测算法的泛化性能；实验表明本发明提供的方案可以极大的提高检测准确度。

技术特征：

1.一种人脸伪造检测方法，其特征在于，包括：

2.根据权利要求1所述的一种人脸伪造检测方法，其特征在于，所述构建图像块数量预测任务，采用自监督的方式对transformer网络进行预训练包括：

3.根据权利要求1所述的一种人脸伪造检测方法，其特征在于，所述将融合人脸图像与目标人脸图像分别进行图像块划分，再与各自的类特征一并通过预训练后的transformer网络，获得融合人脸图像图像块表征与类特征表征，以及目标人脸图像图像块表征与类特征表征包括：

4.根据权利要求1所述的一种人脸伪造检测方法，其特征在于，所述利用融合掩码从融合人脸图像图像块表征与目标人脸图像图像块表征中分别提取区域级表征包括：

5.根据权利要求4所述的一种人脸伪造检测方法，其特征在于，所述根据设定的阈值将融合掩码划分为代表源人脸区域和目标人脸区域的区域级掩码包括：

6.根据权利要求1或4所述的一种人脸伪造检测方法，其特征在于，区域级对比损失表示为：

7.一种人脸伪造检测系统，其特征在于，用于实现权利要求1~6任一项所述的方法，该系统包括：

8.一种处理设备，其特征在于，包括：一个或多个处理器；存储器，用于存储一个或多个程序；

9.一种可读存储介质，存储有计算机程序，其特征在于，当计算机程序被处理器执行时实现如权利要求1~6任一项所述的方法。

技术总结
本发明公开了一种人脸伪造检测方法、系统、设备及存储介质，它们是一一对应的方案，方案中：Transformer网络的全局感受野可以有效捕获全局的融合痕迹，结合本发明提出的基于图像块的自监督预训练和区域级的对比学习可以有效地引导Transformer网络去关注细微的融合痕迹，显著的改善了现有检测算法的泛化性能；实验表明本发明提供的方案可以极大的提高检测准确度。

技术研发人员：谢洪涛,李家铭,张勇东,于灵云
受保护的技术使用者：中国科学技术大学
技术研发日：
技术公布日：2024/1/13