基于人脸关键点的伪造图像检测方法、终端及存储介质

本发明属于图像识别领域，尤其是涉及一种基于人脸关键点的伪造图像检测方法、终端及存储介质。

背景技术：

1、在过去的几十年中，智能手机的普及和社交网络的发展使得数字图像和视频成为非常常见的数字对象。根据几份报告，每天有近20亿张图片上传到互联网上。随着数字图像的大量使用，改变图像内容的技术也随之兴起，例如使用photoshop等编辑软件。如今，虚假新闻的危险性已得到广泛承认，在社交网络上每天观看超过1亿小时视频内容的情况下，虚假视频的传播引起了越来越多的关注，随之而来出现了大量的人脸伪造检测算法。人脸伪造图像检测算法有很多种，其中较为常见的有改进神经网络模型和利用多模态特征融合两种。改进神经网络模型通常采用注意力机制对神经网络模型进行修改达到更好的检测精度，其存在的问题是改进后的模型可能只在训练的数据分布上表现良好，在未知的伪造操作数据集上表现不佳。基于多模态的伪造检测算法融合了多个模态的信息，当其中一个模态失效，还有其他模态进行补充，实现更好的泛化性。多个模态相互作用，往往也能使检测精度更高，多模态人脸伪造图像检测的研究重点是模态的选择和多个模态的有效融合。

2、该领域通常使用其他特征作为另一种信息的补充，其他特征也称另外一个模态。目前，其他特征涉及频率域、图像深度或者心跳、血液流动等。人脸的关键点信息也属于一种补充信息，可以通过捕获人脸的关键部位获得更丰富的信息。deepfake等技术通常是将一个人的脸部移植到另外一个人的脸部上，以达到更换人物身份的效果。因为deepfake只改变人物的前景区域(脸部区域)，而不改变人物的背景区域。所以在这种转移人脸的过程中可能会产生一些伪影，特别是在人脸的前景和背景交界处。deepfake技术也在后处理过程中对这种混合边界的伪影做了模糊处理，以至于检测这种混合边界的伪影变得更加困难，特别是当模型没有一种先验知识的指导时，对于人脸伪造图像的检测效果不佳。

技术实现思路

1、有鉴于此，本发明旨在提出一种基于人脸关键点的伪造图像检测方法、终端及存储介质，以解决现有检测方法对人脸伪造图像的检测效果不佳的问题。

2、为达到上述目的，本发明的技术方案是这样实现的：

3、第一方面，本发明提供了一种基于人脸关键点的伪造图像检测方法，包括：

4、构建人脸伪造检测分类模型；其中，所述人脸伪造检测分类模型包括人脸关键点模板生成模块gm、rgb特征提取模块fr、mask特征提取模块fm以及mask局部注意力模块bm；

5、获取训练样本图像x；

6、利用所述训练样本图像x对所述人脸伪造检测分类模型进行训练，得到训练完成的人脸伪造检测分类模型；

7、获取待检测的人脸图像；

8、将所述待检测的人脸图像输入所述训练完成的人脸伪造检测分类模型，得到识别的结果。

9、进一步的，所述利用所述训练样本图像x对所述人脸伪造检测分类模型进行训练，得到训练完成的人脸伪造检测分类模型，包括：

10、利用所述人脸关键点模板生成模块gm，生成所述训练样本图像x的人脸关键点模板m；

11、利用所述rgb特征提取模块fr对所述训练样本图像x进行特征提取，得到特征fr；

12、利用所述mask特征提取模块fm对所述人脸关键点模板m进行特征提取，得到特征fm；

13、利用所述人脸关键点模板m和所述mask局部注意力模块bm，对所述特征fr和所述特征fm进行融合；其中，所述mask局部注意力模块包括自适应学习权重子模块和通道融合子模块；

14、获取所述mask特征提取模块fm的分类块、以及所述rgb特征提取模块fr的分类块的输出，并将所述mask特征提取模块fm的分类块的输出与所述rgb特征提取模块fr的分类块的输出相加，得到输出结果；

15、将所述输出结果进行二分类，以判断输入图像的真实性；

16、根据损失函数和优化器对所述人脸伪造检测分类模型进行网络模型权重的梯度更新，得到训练完成的人脸伪造检测分类模型。

17、进一步的，所述利用所述人脸关键点模板生成模块gm，生成所述训练样本图像x的人脸关键点模板m，包括：

18、利用dlib库函数获取所述训练样本图像x的68个关键点，并将所述训练样本图像x的68个关键点保存在标注文档中，以供读取；

19、将所述训练样本图像x的68个关键点坐标(x,y)进行归一化处理，得到关键点p1至p68；

20、将所述关键点p1至p68的(x,y)坐标均还原成像素坐标；

21、根据多边形填充法和所述关键点p1至p68的(x,y)坐标生成左眼、右眼、鼻子、嘴巴以及脸部轮廓共五个模板，并分别对每个模板使用一个卷积核为5*5、核值为1的卷积c1进行卷积运算后，再利用relu1激活函数得到mask1至mask5；

22、将所述mask1至mask5按通道进行拼接，得到人脸关键点模板m。

23、进一步的，所述利用所述rgb特征提取模块fr对所述训练样本图像x进行特征提取，得到特征fr，包括：

24、将所述训练样本图像x输入所述rgb特征提取模块fr；其中，所述rgb特征提取模块fr包括resnet50和fr分类块，所述resnet50包括五个stage，分别为s1、s2、s3、s4、s5；所述fr分类块包含一个全局平均池化和一个全连接层；

25、利用所述rgb特征提取模块fr中的五个stage分别进行特征提取，得到特征fri，其中i＝{1，2,3,4,5}。

26、进一步的，所述利用所述mask特征提取模块fm对所述人脸关键点模板m进行特征提取，得到特征fm，包括：

27、将所述人脸关键点模板m输入所述mask特征提取模块fm；其中，所述mask特征提取模块fm包括阶段网络和fm分类块，所述阶段网络包括五个stage，分别为sm1、sm2、sm3、sm4、sm5，所述fm分类块包含一个全局平均池化和一个全连接层；

28、利用所述mask特征提取模块fm中的五个stage分别进行特征提取，得到特征fmi，其中i＝{1，2,3,4,5}。

29、进一步的，所述阶段网络包括：

30、sm1，包括依次连接的“卷积核为7*7、filter为5、stride为2的depthwiseconvolution-batchnorm-relu层”；

31、sm2，包括2个依次连接的“卷积核为3*3、filter为5、stride为1的depthwiseconvolution-batchnorm-relu层”，以及一个依次连接的“卷积核为3*3、filter为5、stride为2的depthwiseconvolution-batchnorm-relu层”；

32、sm3，包括3个依次连接的“卷积核为3*3、filter为5、stride为1的depthwiseconvolution-batchnorm-relu层”，以及一个依次连接的“卷积核为3*3、filter为5、stride为2的depthwiseconvolution-batchnorm-relu层”；

33、sm4，包括5个依次连接的“卷积核为3*3、filter为5、stride为1的depthwiseconvolution-batchnorm-relu层”，以及一个依次连接的“卷积核为3*3、filter为5、stride为2的depthwiseconvolution-batchnorm-relu层”；

34、sm5，包括2个依次连接的“卷积核为3*3、filter为5、stride为1的depthwiseconvolution-batchnorm-relu层”，以及一个依次连接的“卷积核为3*3、filter为5、stride为2的depthwiseconvolution-batchnorm-relu层”。

35、进一步的，所述利用所述人脸关键点模板m和所述mask局部注意力模块bm，对所述特征fr和所述特征fm进行融合；其中，所述mask局部注意力模块包括自适应学习权重子模块和通道融合子模块，包括：

36、将所述特征fm输入所述自适应学习权重子模块，并利用所述人脸关键点模板m通过所述自适应学习权重子模块让每个通道独自学习每个像素位置的注意力；

37、获取所述自适应学习权重子模块的输出，并利用所述通道融合子模块将所述自适应学习权重子模块的输出按通道方向求和，得到注意力图；

38、利用sigmoid激活函数对所述注意力图进行归一化处理，得到fatt；

39、将所述fatt与所述特征fr按元素相乘后分别加上元素对应的所述特征fr，得到特征fr’。

40、进一步的，所述获取所述mask特征提取模块fm的分类块、以及所述rgb特征提取模块fr的分类块的输出，并将所述mask特征提取模块fm的分类块的输出与所述rgb特征提取模块fr的分类块的输出相加，得到输出结果，包括：

41、将所述特征fm输入所述mask特征提取模块fm的分类块，并获取所述mask特征提取模块fm的分类块的输出；

42、将所述特征fr’输入所述rgb特征提取模块fr的分类块，并获取所述rgb特征提取模块fr的分类块的输出；

43、将所述mask特征提取模块fm的分类块的输出与所述rgb特征提取模块fr的分类块的输出相加，得到输出结果。

44、第二方面，本发明还提供了一种终端，包括：

45、一个或多个处理器；

46、存储装置，用于存储一个或多个程序；

47、摄像头，用于采集图像；

48、当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述基于人脸关键点的伪造图像检测方法。

49、第三方面，本发明还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如上述基于人脸关键点的伪造图像检测方法。

50、相对于现有技术，本发明所述的基于人脸关键点的伪造图像检测方法、终端及存储介质具有以下优势：

51、(一)本发明设计合理，通过人脸关键点检测获得人脸各个器官区域的mask，让mask自适应学习得到权重特征去指导rgb特征关注人脸的局部核心区域，舍弃了冗余的背景信息，这样模型就可以发现伪造后的细粒度伪影。同时，完整的rgb特征又能够从全局的角度检测人脸是否存在变形。

52、(二)本发明所涉及的人脸伪造检测分类模型还可以从局部和全局两个尺度来寻找伪造操作的痕迹，从而有效的进行人脸伪造图像检测。本发明通过从多个尺度检测伪造人脸，检测精度高，并且泛化能力较好，可广泛用于人脸伪造图像检测领域。