一种伪造人脸的检测方法及装置与流程

本发明涉及一种伪造人脸的检测方法

背景技术：

1、随着人脸检测方式在安全领域的推广应用，人脸伪造的技术也在不断发展。现有的伪造人脸的检测方法主要聚焦于软件或者公开的人脸合成算法自动生成的合成人脸图像，合成的人脸图像主要分为面部交换和面部重演。面部交换是将源人脸的身份转移到目标人脸，而面部重演是利用目标人脸的姿态和表情来驱动源人脸。

2、贴图伪造是指利用图像编辑软件手动合成的人脸图像，作为面部交换的一种。现有的伪造人脸的检测方法几乎没有提及或检测贴图伪造方式形成的人脸图像。

技术实现思路

1、本发明所要解决的技术问题是：如何针对贴图伪造等比较新颖的人脸伪造方式进行准确地判断。

2、为解决上述技术问题，本发明提出了一种伪造人脸的检测方法，包括如下步骤。步骤s1：制作用于人像贴图识别模型的第一训练数据集、以及用于人像伪造识别模型的第二训练数据集。步骤s2：使用第一训练集对一种用于分类的神经网络进行训练，该神经网络将输入的半身人像图像分为两类：贴图伪造图像、其他图像；要求该神经网络输出的二分类结果与第一训练数据集中的标注尽可能保持一致；训练好的该神经网络作为人像贴图识别模型。使用第二训练集中的rgb图像对一种用于分类的神经网络进行训练，该神经网络将输入的rgb模态的人脸图像分为m+1类：将真实图像归为第0类，将其余m种人脸伪造算法合成的伪造人脸图像分别归为第1、2、...、m类；要求该神经网络输出的多分类结果与第二训练数据集中的rgb图像的标注尽可能保持一致；训练好的该神经网络作为人像伪造识别模型一。使用第二训练集中的噪声指纹图像对一种用于分类的神经网络进行训练，该神经网络将输入的噪声指纹模态的人脸图像分为m+1类：将真实图像归为第0类，将其余m种人脸伪造算法合成的伪造人脸图像分别归为第1、2、...、m类；要求该神经网络输出的多分类结果与第二训练数据集中的噪声指纹图像的标注尽可能保持一致；训练好的该神经网络作为人像伪造识别模型二。步骤s3：由人像贴图识别模型对输入的半身人像图像进行二分类，判断输入的半身人像图像是贴图伪造图像还是其他图像；如果判断是贴图伪造图像，则判定原始输入图像是伪造人脸图像；否则继续下一步。步骤s4：由人像伪造识别模型一对输入的rgb模态的人脸图像进行多分类预测，给出输入的人脸图像属于各个类别的概率值p0,p1,p2...pm。由人像伪造识别模型二对输入的噪声指纹模态的人脸图像进行多分类预测，给出输入的人脸图像属于各个类别的概率值q0,q1,q2...qm。步骤s5：综合两个人像伪造识别模型的预测结果得到最终的预测结果，以其中的最大值对应类别决定输入的人脸图像是否为伪造人脸图像，并作为原始输入图像是否为伪造人脸图像的判断结果。

3、进一步地，所述步骤s1中，第一训练数据集的制作方式包括：收集多张半身人像图像。定位并截取出每张图像中的人脸区域和头发区域。交换任意两张图像的人脸区域和/或头发区域形成贴图伪造的人脸图像。将原始的人脸图像、贴图伪造的人脸图像一起作为训练数据；原始的人脸图像标注为其他，贴图伪造的人脸图像标注为贴图伪造。

4、进一步地，所述步骤s1中，第二训练数据集的制作方式包括：采用多种不同的人像伪造算法基于真实的人脸图像生成伪造的人脸图像；将真实的人脸图像与基于该真实的人脸图像生成的伪造人脸图像作为一对训练数据；真实的人脸图像被标注为真实，通过各种人脸伪造算法生成的伪造人脸图像分别被标注为各自算法。对真实的人脸图像与伪造人脸图像采用自混合策略进行数据增强。以上所有人脸图像都是rgb图像；采用噪声指纹算法为每一张rgb图像都提取噪声指纹图像，每一张噪声指纹图像的标注与其对应的rgb图像的标注保持一致。

5、进一步地，所述步骤s1中，所述自混合策略的数据增强包括：将任意一张真实人脸图像a1中的任意五官截取出来贴入任意一张伪造人脸图像b1的对应五官区域，形成一张新的局部伪造人脸图像，其标注与伪造人脸图像b1的标注相同，并与对应的真实人脸图像a1作为一对训练数据。将任意一张伪造人脸图像b2中的任意五官截取出来贴入任意一张真实人脸图像a2的对应五官区域，形成一张新的局部伪造人脸图像，其标注与伪造人脸图像b2的标注相同，并与对应的真实人脸图像a2作为一对训练数据。

6、进一步地，所述步骤s2中，在训练人像伪造识别模型一和人像伪造识别模型二时，将自混合策略形成的伪造人脸图像归为参与自混合的伪造人脸图像的类别。

7、进一步地，所述步骤s2中，所述用于分类的神经网络是efficientnet、resnet、vit的任意一种。

8、进一步地，所述步骤s3中，先对原始输入图像进行裁剪，仅保留半身人像的正方形区域，然后再送入人像贴图识别模型。

9、进一步地，所述步骤s4中，先对半身人像图像进行裁剪，仅保留人脸的区域；然后采用噪声指纹算法为人脸图像提取对应的噪声指纹图像，将人脸图像和对应的噪声指纹图像分别送入人像伪造识别模型一、二。

10、进一步地，所述步骤s5中，采用平均操作获取最终的预测结果；具体是将两个人像伪造识别模型对各个类别的预测概率值相加后除以2，得到(p0+q0)/2,(p1+q1)/2,...,(pm+qm)/2；如果该序列中的最大值是(p0+q0)/2，则表示输入的人脸图像是真实人脸图像，因此原始输入图像是真实人脸图像；否则表示原始输入图像是伪造人脸图像。

11、本发明还提出了一种伪造人脸的检测装置，包括训练数据制作单元、模型训练单元、人像贴图识别单元、人像伪造识别单元、预测结果生成单元。所述训练数据制作单元用来制作用于人像贴图识别模型的第一训练数据集、以及用于人像伪造识别模型的第二训练数据集。所述模型训练单元用来使用第一训练集对一种用于分类的神经网络进行训练，要求该神经网络将输入的半身人像图像分为两类：贴图伪造图像、其他图像；同时要求该神经网络输出的二分类结果与第一训练数据集中的标注尽可能保持一致；训练好的该神经网络作为人像贴图识别模型。所述模型训练单元还用来使用第二训练集中的rgb图像对一种用于分类的神经网络进行训练，要求该神经网络将输入的rgb模态的人脸图像分为m+1类：将真实图像归为第0类，将其余m种人脸伪造算法合成的伪造人脸图像分别归为第1、2、...、m类；同时要求该神经网络输出的多分类结果与第二训练数据集中的rgb图像的标注尽可能保持一致；训练好的该神经网络作为人像伪造识别模型一。所述模型训练单元还用来使用第二训练集中的噪声指纹图像对一种用于分类的神经网络进行训练，要求该神经网络将输入的噪声指纹模态的人脸图像分为m+1类：将真实图像归为第0类，将其余m种人脸伪造算法合成的伪造人脸图像分别归为第1、2、...、m类；同时要求该神经网络输出的多分类结果与第二训练数据集中的噪声指纹图像的标注尽可能保持一致；训练好的该神经网络作为人像伪造识别模型二。所述人像贴图识别单元用来由人像贴图识别模型对输入的半身人像图像进行二分类，判断输入的半身人像图像是贴图伪造图像还是其他图像。所述人像伪造识别单元用来在人像贴图识别单元判断输入的半身人像图像是其他图像时，由人像伪造识别模型一对输入的人脸图像进行多分类预测，给出输入的rgb人脸图像属于各个类别的概率值；还由人像伪造识别模型二对输入的人脸图像对应的噪声指纹图像进行多分类预测，给出输入的噪声指纹人脸图像属于各个类别的概率值。所述预测结果生成单元用来综合两个人像伪造识别模型的预测结果得到最终的预测结果，以其中的最大值对应类别决定输入的人脸图像是否为伪造人脸图像，并作为原始输入图像是否为伪造人脸图像的判断结果。

12、本发明取得的技术效果是：采用人像贴图识别模型、人像伪造识别模型分别对半身人像图像、人脸图像进行不同伪造类型的判断，这种分层次的判断方法能使每个神经网络的判断结果更精准，因而最终的检测结果更准确。