一种基于不确定性感知层次监督的人脸伪造检测方法

1.本技术涉及计算机视觉与机器学习技术领域，尤其涉及一种基于不确定性感知层次监督的人脸伪造检测方法、装置及存储介质。


背景技术：

2.随着深度生成模型不断地发展进步，越来越多的人脸编辑方法能够让使用者可以任意地编辑人脸属性甚至直接改变人脸图像的身份。并且这些方法可以生成极其逼真的图像，以至于连人眼都不能完全正确地区分它们。与此同时，通过高度发达的互联网技术和社交网络，能够轻而易举地获得他人的照片甚至视频，进而为人脸编辑方法提供了大量的素材，因此，各种视觉错误信息和人脸编辑技术的滥用可能会导致严重的信任危机，例如，利用伪造图像攻击人脸识别系统。因此，需要有效的人脸伪造检测方法以检测得到的人脸图像是否是被编辑过。
3.相关技术中，通过基于纹理的人脸伪造检测方法或基于纹理的方法将不同的额外信息、先验知识与卷积神经网络模型结合起来进行人脸伪造检测，但是相关技术中主要关注整个图像或者图像中的局部区域，而人脸数据的掩码标签会携带数据不确定性，从而导致出现鲁棒性、泛化性不足、降低检测结果准确性。


技术实现要素：

4.本技术提供一种基于不确定性感知层次监督的人脸伪造检测方法、装置及存储介质，以至少解决相关技术中的鲁棒性、泛化性不足、检测结果准确性低的技术问题。
5.本技术第一方面实施例提出一种基于不确定性感知层次监督的人脸伪造检测方法，包括：
6.获取多个不同人脸图像样本；
7.通过卷积神经网络和上采样层提取所述多个不同人脸图像样本中每个人脸图像样本的特征图；
8.将所述每个人脸图像样本的特征图输入多层次监督网络中的各层次监督网络进行预测得到所述各层次监督网络的预测结果，其中，所述多层次监督网络包括多个不同层次的监督网络；
9.利用预设损失函数对所述各层次监督网络的预测结果进行计算，得到各层次监督网络对应的计算结果；
10.根据网络梯度下降算法和所述各层次监督网络对应的计算结果训练所述多层次监督网络中的各层次监督网络，得到目标多层次监督网络；
11.利用所述目标多层次监督网络对待检测人脸图像进行预测，并根据预测结果判断所述待检测人脸图像是否为伪造人脸。
12.本技术第二方面实施例提出一种基于不确定性感知层次监督的人脸伪造检测装置，包括：
13.获取模块，用于获取多个不同人脸图像样本；
14.提取模块，用于通过卷积神经网络和上采样层提取所述多个不同人脸图像样本中每个人脸图像样本的特征图；
15.预测模块，用于将所述每个人脸图像样本的特征图输入多层次监督网络中的各层次监督网络进行预测得到所述各层次监督网络的预测结果，其中，所述多层次监督网络包括多个不同层次的监督网络；
16.计算模块，用于利用预设损失函数对所述各层次监督网络的预测结果进行计算，得到各层次监督网络对应的计算结果；
17.训练模块，用于根据网络梯度下降算法和所述各层次监督网络对应的计算结果训练所述多层次监督网络中的各层次监督网络，得到目标多层次监督网络；
18.判断模块，用于利用所述目标多层次监督网络对待检测人脸图像进行预测，并根据预测结果判断所述待检测人脸图像是否为伪造人脸。
19.本技术第三方面实施例提出的非临时性计算机可读存储介质，其中，所述非临时性计算机可读存储介质存储有计算机程序；所述计算机程序被处理器执行时实现如上第一方面所示的方法。
20.本技术第四方面实施例提出的计算机设备，其中，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行所述程序时，能够实现如上第一方面所述的方法。
21.本技术的实施例提供的技术方案至少带来以下有益效果：
22.本技术提出的基于不确定性感知层次监督的人脸伪造检测方法、装置及存储介质中，获取多个不同人脸图像样本，通过卷积神经网络和上采样层提取多个不同人脸图像样本中每个人脸图像样本的特征图，将每个人脸图像样本的特征图输入多层次监督网络中的各层次监督网络进行预测得到各层次监督网络的预测结果，其中，多层次监督网络包括多个不同层次的监督网络，利用预设损失函数对各层次监督网络的预测结果进行计算，得到各层次监督网络对应的计算结果，根据网络梯度下降算法和各层次监督网络对应的计算结果训练多层次监督网络中的各层次监督网络，得到目标多层次监督网络，利用目标多层次监督网络对待检测人脸图像进行预测，并根据预测结果判断所述待检测人脸图像是否为伪造人脸。其中，本技术通过人脸图像的二值掩码标签来辅助整体的网络结构，以层次监督的方法提高了网络的鲁棒性和泛化性，同时利用不确定性估计方法处理掩码标签天然携带的数据不确定性，并利用自注意力变换网络有效地提取图像的特征，从而提高了检测结果的准确性。
23.本技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。
附图说明
24.本技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
25.图1为根据本技术一个实施例提供的基于不确定性感知层次监督的人脸伪造检测方法的流程示意图；
26.图2为根据本技术一个实施例提供的基于不确定性感知层次监督的人脸伪造检测装置的结构示意图。
具体实施方式
27.下面详细描述本技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本技术，而不能理解为对本技术的限制。
28.下面参考附图描述本技术实施例的基于不确定性感知层次监督的人脸伪造检测方法及装置。
29.实施例一
30.图1为根据本技术一个实施例提供的基于不确定性感知层次监督的人脸伪造检测方法的流程示意图，如图1所示，可以包括：
31.步骤101、获取多个不同人脸图像样本。
32.本实施例中，每次获取不同图像样本的数量可以相同，例如每次获取120张不同的图像样本。
33.以及，在本发明的实施例中，可以获取到矩阵形式的人脸图像样本，例如获取到的一个人脸图像样本为i∈rh×w×3。
34.步骤102、通过卷积神经网络和上采样层提取多个不同人脸图像样本中每个人脸图像样本的特征图。
35.其中，在本发明的实施例中，通过卷积神经网络和上采样层提取多个不同人脸图像样本中每个人脸图像样本的特征图的方法可以包括以下步骤：
36.步骤a、通过卷积网络提取多个不同人脸图像样本中每个人脸图像样本的初始特征图。
37.其中，在本发明的实施例中，上述提取到一个人脸图像样本的初始特征图为
38.步骤b、采用多个连续上采样卷积块增加每个人脸图像样本的初始特征图的分辨率，得到每个人脸图像样本的特征图。
39.其中，在本发明的实施例中，人脸图像样本的初始特征图f0中的尺寸比掩码标签尺寸小，基于此需要采用多个连续上采样卷积块增加每个人脸图像样本的初始特征图的分辨率，得到每个人脸图像样本的特征图。示例的，在本发明的实施例中，可以采用三个连续上采样卷积块增加每个人脸图像样本的初始特征图的分辨率，得到每个人脸图像样本的特征图f∈rh×w×c。
40.步骤103、将每个人脸图像样本的特征图输入多层次监督网络中的各层次监督网络进行预测得到各层次监督网络的预测结果。
41.本发明实施例中，多层次监督网络包括多个不同层次的监督网络。具体的，在本发明的实施例中，多层次监督网络可以包括像素级监督网络、区域级监督网络、图像级监督网络。
42.以及，将每个人脸图像样本的特征图输入多层次监督网络中的各层次监督网络进行预测得到各层次监督网络的预测结果的方法可以包括以下步骤：
43.步骤1031、将每个人脸图像样本的特征图输入像素级监督网络进行预测得到每个人脸图像样本的像素级预测结果。
44.其中，在本发明的实施例中，将每个人脸图像样本的特征图输入像素级监督网络进行预测得到每个人脸图像样本的像素级预测结果包括通过多个卷积神经网络进行预测得到每个人脸图像样本的像素级预测结果。
45.以及，在本发明的实施例中，通过步骤1031得到的每个人脸图像样本的像素级预测结果包括每个人脸图像样本中每个像素的预测结果。
46.步骤1032、将每个人脸图像样本的特征图输入区域级监督网络进行预测得到每个人脸图像样本的区域级预测结果。
47.其中，在本发明的实施例中，将每个人脸图像样本的特征图输入区域级监督网络进行预测得到每个人脸图像样本的区域级预测结果的方法可以包括以下步骤：
48.步骤一、利用sigmoid函数得到每个人脸图像样本的特征图对应的归一化方差图。
49.其中，在本发明的实施例之中，利用sigmoid函数得到每个人脸图像样本的特征图对应的归一化方差图s(σ)。
50.步骤二、基于每个人脸图像样本的归一化方差图得到每个人脸图像样本的不确定性感知特征图。
51.在本发明的实施例中，通过公式一得到每个人脸图像样本的不确定性感知特征图，其中，公式一为：
52.fu＝[f|f
⊙
(1-s(σ))]
[0053]
步骤三、通过线性映射层对每个人脸图像样本的不确定性感知特征图进行映射，得到每个人脸图像样本的隐式矢量表征。
[0054]
其中，在本发明的实施例中，通过线性映射层对每个人脸图像样本的不确定性感知特征图进行映射之前，需要将每个人脸图像样本的不确定性感知特征图fu进行序列化。
[0055]
具体的，在本发明的实施例中，将每个人脸图像样本的不确定性感知特征图fu进行序列化的方法包括将fu切割为m个小块，其中，每个小块是大小一样的正方形，然后将2d的每个小块拉伸获取每个人脸图像样本的向量f
t
，再利用可学习的线性映射层将每个人脸图像样本的向量f
t
映射为隐式矢量表征e0。
[0056]
步骤四、利用每个人脸图像样本的隐式矢量表征得到每个人脸图像样本的区域级表征。
[0057]
其中，本发明实施例中，将每个人脸图像样本的隐式矢量表征和每个人脸图像样本可学习的位置编码直接相加得到每个人脸图像样本完整的区域级表征z0，以保持每个人脸图像样本的区域间的位置信息。
[0058]
具体的，在本发明的实施例中，每个人脸图像样本完整的区域级表征z0为：
[0059]
z0＝f
t
e0+e
pos
,
[0060]
其中，e
pos
为每个人脸图像样本的可学习的位置编码。
[0061]
步骤五、将每个人脸图像样本的区域级表征和类别标志输入至自注意力变换网络层中得到每个人脸图像样本的区域级预测结果。
[0062]
其中，在本发明的实施例中，自注意力变换网络层可以包括l层msa(multi-head self-attention，多层感知器模块)，和mlp(multi-layer perceptron，多头自注意力模
块)。
[0063]
以及，在本发明的实施例中，自注意力变换网络层中的第l层的输出为：
[0064][0065][0066]
其中，ln(
·
)代表层正则化操作，而为对应的多头自注意力模块的输出变量，z
l-1
和z
l
分别表示不同自注意力变换网络层的输入输出编码表征。
[0067]
进一步地，在本发明的实施例中，在l个自注意力变换网络层之后，可以得到编码后的序列输出[t
cls
,t1,...,tm]，其中，t
cls
表示类别头，t1,...,tm为人脸图像样本的各个区域级预测结果。
[0068]
步骤1033、将每个人脸图像样本的特征图输入图像级监督网络进行预测得到每个人脸图像样本的图像级预测结果。
[0069]
其中，在本发明的实施例中，每个人脸图像样本的图像级预测结果包括每个人脸图像样本的所属类别。示例的，在本发明的实施例中，图像级预测结果可以用0表示输入人脸图像的所属类别为伪造人脸，可以用1表示输入人脸图像的所属类别为真实人脸。
[0070]
步骤104、利用预设损失函数对各层次监督网络的预测结果进行计算，得到各层次监督网络对应的计算结果。
[0071]
需要说明的是，在本发明的实施例中，利用带有数据不确定性的掩码标签作为辅助监督信号，并利用不确定性估计方法处理掩码标签天然携带的数据不确定性。
[0072]
其中，在本发明的实施例中，不确定性估计方法可以包括：
[0073]
方法一：为了建模分层辅助信号监督下表征学习的数据不确定性，表征可以为概率分布z～p(z|x)。
[0074]
具体的，在本发明的实施例中，每个样本x的分层表征z服从多元高斯分布：
[0075][0076]
其中，μ表示高斯分布的均值，∑表示多元高斯分布的对角协方差，给定样本x，采用两个卷积神经网络对上述参数进行预测，均值μ为最有可能的预测掩码，对角协方差σ为数据的不确定性。
[0077]
方法二：利用交叉熵损失函数估计数据不确定性。
[0078]
具体的，在本发明的实施例中，交叉熵损失函数为：
[0079][0080]
其中，y为人脸图像样本对应的二值掩码标签，zi为每个像素点对应的分层表征，每个像素点的分层表征服从多元高斯分布，n为人脸图像样本的像素点个数。以及，可以将均值μ作为人脸图像的预测掩码，∑可以视为数据的不确定性，从而引入数据的不确定性以提高检测结果的准确性。
[0081]
方法三：利用约束损失函数估计数据不确定性。
[0082]
具体的，在本发明的实施例中，约束损失函数为：
[0083][0084]
其中，σ表示高斯分布的方差。
[0085]
进一步地，在本发明的实施例中，上述方法一中的估计概率分布所需的采样操作是不可微，从而使得深度学习模型不能反向传播梯度以最小化目标损失函数。以及，上述方法二中的交叉熵损失函数可能导致多层次监督网络一直预测很小的σ，从而以最小化目标函数。上述方法三中采用一个kl散度项来约束使得分布n(z|μ,σ)接近n(∈|0,i)，基于此，本发明实施例中，可以结合上述交叉熵损失函数和约束损失函数形成复合损失函数来作为多层次监督网络的预设损失函数，以使得多层次监督网络可以更好地估计不确定性。示例的，在本发明的实施例中，复合损失函数为上述交叉熵损失函数和约束损失函数相加得到。
[0086]
步骤105、根据网络梯度下降算法和各层次监督网络对应的计算结果训练多层次监督网络中的各层次监督网络，得到目标多层次监督网络。
[0087]
步骤106、利用目标多层次监督网络对待检测人脸图像进行预测，并根据预测结果判断待检测人脸图像是否为伪造人脸。
[0088]
本技术提出的基于不确定性感知层次监督的人脸伪造检测方法，获取多个不同人脸图像样本，通过卷积神经网络和上采样层提取多个不同人脸图像样本中每个人脸图像样本的特征图，将每个人脸图像样本的特征图输入多层次监督网络中的各层次监督网络进行预测得到各层次监督网络的预测结果，其中，多层次监督网络包括多个不同层次的监督网络，利用预设损失函数对各层次监督网络的预测结果进行计算，得到各层次监督网络对应的计算结果，根据网络梯度下降算法和各层次监督网络对应的计算结果训练多层次监督网络中的各层次监督网络，得到目标多层次监督网络，利用目标多层次监督网络对待检测人脸图像进行预测，并根据预测结果判断所述待检测人脸图像是否为伪造人脸。其中，本技术通过人脸图像的二值掩码标签来辅助整体的网络结构，以层次监督的方法提高了网络的鲁棒性和泛化性，同时利用不确定性估计方法处理掩码标签天然携带的数据不确定性，并利用自注意力变换网络有效地提取图像的特征，从而提高了检测结果的准确性。
[0089]
实施例二
[0090]
进一步地，图2为根据本技术一个实施例提供的一种基于不确定性感知层次监督的人脸伪造检测装置的结构示意图，如图2所示，可以包括：
[0091]
获取模块201，用于获取多个不同人脸图像样本；
[0092]
提取模块202，用于通过卷积神经网络和上采样层提取多个不同人脸图像样本中每个人脸图像样本的特征图；
[0093]
预测模块203，用于将每个人脸图像样本的特征图输入多层次监督网络中的各层次监督网络进行预测得到各层次监督网络的预测结果，其中，多层次监督网络包括多个不同层次的监督网络；
[0094]
计算模块204，用于利用预设损失函数对各层次监督网络的预测结果进行计算，得到各层次监督网络对应的计算结果；
[0095]
训练模块205，用于根据网络梯度下降算法和各层次监督网络对应的计算结果训
练多层次监督网络中的各层次监督网络，得到目标多层次监督网络；
[0096]
判断模块206，用于利用目标多层次监督网络对待检测人脸图像进行预测，并根据预测结果判断待检测人脸图像是否为伪造人脸。
[0097]
为了实现上述实施例，本公开还提出一种非临时性计算机可读存储介质。
[0098]
本公开实施例提供的非临时性计算机可读存储介质，存储有计算机程序；计算机程序被处理器执行时，能够实现如图1所示的基于不确定性感知层次监督的人脸伪造检测方法。
[0099]
为了实现上述实施例，本公开还提出一种计算机设备。
[0100]
本公开实施例提供的计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序；所述处理器执行所述程序时，能够实现如图1所示的方法。
[0101]
本技术提出的基于不确定性感知层次监督的人脸伪造检测方法、装置及存储介质中，获取多个不同人脸图像样本，通过卷积神经网络和上采样层提取多个不同人脸图像样本中每个人脸图像样本的特征图，将每个人脸图像样本的特征图输入多层次监督网络中的各层次监督网络进行预测得到各层次监督网络的预测结果，其中，多层次监督网络包括多个不同层次的监督网络，利用预设损失函数对各层次监督网络的预测结果进行计算，得到各层次监督网络对应的计算结果，根据网络梯度下降算法和各层次监督网络对应的计算结果训练多层次监督网络中的各层次监督网络，得到目标多层次监督网络，利用目标多层次监督网络对待检测人脸图像进行预测，并根据预测结果判断所述待检测人脸图像是否为伪造人脸。其中，本技术通过人脸图像的二值掩码标签来辅助整体的网络结构，以层次监督的方法提高了网络的鲁棒性和泛化性，同时利用不确定性估计方法处理掩码标签天然携带的数据不确定性，并利用自注意力变换网络有效地提取图像的特征，从而提高了检测结果的准确性。
[0102]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本技术的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
[0103]
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本技术的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本技术的实施例所属技术领域的技术人员所理解。
[0104]
尽管上面已经示出和描述了本技术的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本技术的限制，本领域的普通技术人员在本技术的范围内可以对上述实施例进行变化、修改、替换和变型。