基于人脸不适度的人脸伪造与活体联合检测方法和相关设备与流程

本发明涉及人脸生物信息识别，具体涉及一种基于人脸不适度的人脸伪造与活体联合检测方法和相关设备。

背景技术：

1、随着互联网的快速发展，人脸信息安全受到越来越多关注，大型的人脸数据库容易收到伪造人脸，面具，纸张等非活体人脸的攻击，因此，人脸伪造检测和活体检测等领域越来越重要。随着深度学习的发展，神经网络被引入了深度伪造检测、活体检测等人脸防伪领域。其通用的范式是通过大量的真假人脸数据，去训练一个二分类神经网络来捕捉伪造痕迹，进而完成真伪鉴别。但是这些方法有过拟合，泛化能力受限，面对网络视频压缩不鲁棒等问题。尽管使用特定的网络结构，域泛化等方法可以在一定程度上规避这些问题，但是面对未知伪造方式，仍然会导致鉴伪性能的明显下降。有研究指出，人脑对于真假人脸识别有其固有逻辑，并会导致明显的恐怖谷效应，即与真脸相似度较高的伪造人脸会导致人脑的“怪异感与不适感”。可以通过对人脑的“不适度”进行建模，并设计仅使用真人脸进行训练的模型，使用恐怖谷相关的数据进行辅助，最后通过计算“视觉不适度”来排除人脸攻击，进而保证人脸信息安全。

技术实现思路

1、本发明针对现有的人脸伪造检测技术与人脸活体检测技术泛化性能不好的缺陷，提出了基于人脸不适度的人脸伪造与活体联合检测方法和相关设备，实现了人脸伪造检测与活体检测使用同一个模型完成，且泛化性能较现有方法有明显优势。

2、为实现上述目的，本发明提供以下技术方案：

3、第一方面，本发明提供了一种人脸伪造与活体联合检测方法，其包括步骤：

4、获取多张人脸图像和恐怖谷图像；

5、根据经过预处理操作的所述人脸图像生成该人脸图像对应的3d模型，根据所述3d模型生成随机视角的渲染图像，将所述人脸图像和所述随机视角的渲染图像组成正例对；将所述人脸图像和所述恐怖谷图像组成负例对；

6、生成主分支网络和辅助分支网络，所述人脸图像输入所述主分支网络，所述随机视角的渲染图像和所述恐怖谷图像输入所述辅助分支网络提取特征并经过特征映射后，得到所述人脸图像、所述随机视角的渲染图像和所述恐怖谷图像对应的最终特征；

7、根据对应的所述最终特征计算对比学习损失并反向传播学习最终生成不适度模型；

8、输入待检测的人脸图像至利用所述不适度模型训练的特征提取器中提取特征，将提取的该特征输入使用下游任务相关数据进行训练的分类器中，输出检测结果。

9、第二方面，本发明提供了人脸伪造与活体联合检测装置，其包括：图像预处理模块、不适度建模模块和联合检测模块，其中，

10、所述图像预处理模块用于执行以下步骤：

11、获取多张人脸图像和恐怖谷图像；

12、读取原始图像，检测所述原始图像是否包含人脸；

13、若不包含人脸则放弃所述原始图像，重新获取新一张原始图像；

14、若包含人脸则将所述原始图像确定为所述人脸图像。

15、所述不适度建模模块用于执行以下步骤：

16、根据经过预处理操作的所述人脸图像生成该人脸图像对应的3d模型，根据所述3d模型生成随机视角的渲染图像，将所述人脸图像和所述随机视角的渲染图像组成正例对；将所述人脸图像和所述恐怖谷图像组成负例对；

17、生成主分支网络和辅助分支网络，所述人脸图像输入所述主分支网络，所述随机视角的渲染图像和所述恐怖谷图像输入所述辅助分支网络提取特征并经过特征映射后，得到所述人脸图像、所述随机视角的渲染图像和所述恐怖谷图像对应的最终特征；

18、根据对应的所述最终特征计算对比学习损失并反向传播学习最终生成不适度模型。

19、联合检测模块用于执行以下步骤：

20、输入待检测的人脸图像至利用所述不适度模型训练的特征提取器中提取特征，将提取的该特征输入使用下游任务相关数据进行训练的分类器中，输出检测结果。

21、第三方面，本发明还提供了一种电子设备，包括处理器以及存储器；

22、所述存储器用于存储程序；

23、所述处理器执行所述程序实现如前面所述的方法。

24、第四方面，本发明还提供了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如前面所述的方法。

25、第五方面，本发明还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前面的方法。

26、本发明与现有技术相比，其有益效果在于：本发明针对人脸伪造检测和活体检测方法泛化性差的问题，实现了人脸伪造检测与活体检测使用同一个模型完成，其泛化性能较现有方法有明显优势。

技术特征：

1.一种人脸伪造与活体联合检测方法，其特征在于，包括步骤：

2.根据权利要求1所述的人脸伪造与活体联合检测方法，其特征在于，所述预处理操作，包括：

3.根据权利要求2所述的人脸伪造与活体联合检测方法，其特征在于，确定为所述人脸图像之后，还包括：

4.根据权利要求1所述的人脸伪造与活体联合检测方法，其特征在于，所述特征映射，包括：非对称设置投影头，所述投影头为轻量化的多层感知机网络，其中，所述主分支网络后设置两个主分支投影头，所述辅助分支网络设置一个辅助分支投影头。

5.根据权利要求1所述的人脸伪造与活体联合检测方法，其特征在于，

6.根据权利要求1所述的人脸伪造与活体联合检测方法，其特征在于，按如下设定公式提取特征：

7.根据权利要求1所述的人脸伪造与活体联合检测方法，其特征在于，按如下设定公式计算对比学习损失：

8.根据权利要求1所述的人脸伪造与活体联合检测方法，其特征在于，预训练的分类器按如下设定公式设置：

9.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行，以实现如权利要求1至8任一所述的人脸伪造与活体联合检测方法。

10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至8任一所述的人脸伪造与活体联合检测方法。

技术总结
本发明公开了一种基于人脸不适度的人脸伪造与活体联合检测方法和相关设备，涉及人脸生物信息识别技术领域，方法基于两类数据对人脸不适度进行建模：真实人脸数据与恐怖谷数据，并分为四个阶段：数据增强与配对，特征提取，特征映射，对比学习损失计算，使模型对人类面对假人脸时产生的不适感觉进行建模，以未知人脸图像作为输入，经过特征提取后将特征送入分类器进行分类，从而判断输入为真实人脸或者假人脸。本发明针对人脸伪造检测和活体检测方法泛化性差的问题，实现了人脸伪造检测与活体检测使用同一个模型完成，其泛化性能较现有方法有明显优势。

技术研发人员：雷震,朱翔昱,张田硕,张浩洋,庞恺
受保护的技术使用者：广州像素数据技术股份有限公司
技术研发日：
技术公布日：2024/3/4