针对深度伪造的双向人脸数据保护方法、系统及设备

1.本发明涉及人脸伪造视频检测技术领域，尤其涉及一种针对深度伪造的双向人脸数据保护方法、系统及设备。


背景技术：

2.社交网络和智能手机的巨大成功为人们的日常分享提供了便利，尤其是各种人像照片。由于深度学习在多媒体内容生成任务中取得了巨大成功，利用自编码器（auto encoder）和生成对抗网络（generative adversarial networks）等进行图像生成是近年来迅速发展起来的应用，因此deepfake（深度伪造）人脸伪造方法取得了的快速进步，这种被篡改的人像照片面临着严重的潜在隐私侵犯风险。例如，用户上传的人脸图像可能被恶意合成以进行欺诈或诽谤，从而导致严重的信任问题。随着生成技术的愈发先进及相关数据算法的易获得性，高质量的deepfake人脸伪造视频更容易被制作并且能够轻易欺骗人类。然而这些伪造技术很可能被滥用于恶意目的，造成严重的安全和伦理问题。因此，保护人脸数据成为当务之急。为了解决这个问题，人们提出各种方法来以被动检测的方式区分deepfake人脸伪造视频。在之前的工作中，大多数deepfake检测方法主要专注于提高公开数据集上的检测准确率和不同数据集之间的泛化性能。
3.目前存在的deepfake检测工作种类繁多，尽管在公共数据集上的表现愈发出色，但大多数方法仅仅是把检测问题当作一个简单的二分类问题，因此这些方法的决策缺乏证明伪造人脸为何是假的可解释性，这也给人类判断视频的真伪造成了一定的困惑。由于人眼无法直观地区分合成的图像和视频，因此在某种程度上，决策的理由和可解释性比决策结果本身更重要。除此之外，现有大多数检测方法都强烈依赖于大量的训练数据。更重要的是，即使最终分类结果是假的也很难根据伪造人脸追溯到原始人脸图像，因此被篡改的原始人脸图像并没有得到实质上的保护。考虑到目前deepfake人脸伪造检测方法存在的缺陷，研究一种可解释、可追溯和通用的方法保护人脸图像免受deepfake的滥用是非常重要的。


技术实现要素：

4.本发明的目的是提供一种针对深度伪造的双向人脸数据保护方法、系统及设备，在双向deepfake场景中能够对伪造的人脸数据进行取证和溯源，以达到可解释性的人脸数据保护。
5.本发明的目的是通过以下技术方案实现的：一种针对深度伪造的双向人脸数据保护方法，包括：针对受保护用户的原始人脸图像进行水印嵌入，将获得的嵌入水印的人脸图像向外发布；对待检测人脸图像进行水印提取；对于与发布的嵌入水印的人脸图像具有相同人脸身份信息的待检测人脸图像，若无法提取出完整的水印，则表明当前待检测人脸图像为
通过深度伪造技术，使用嵌入水印的人脸图像替换其他人脸图像生成的人脸替换图像；对于除去与发布的嵌入水印的人脸图像具有相同人脸身份信息之外的待检测图像，若提取出完整的水印，则通过水印包含的身份信息判断是否与待检测人脸图像的身份信息一致，当身份信息不一致时，表明待检测人脸图像为通过深度伪造技术，使用其他人脸图像替换嵌入水印的人脸图像生成的人脸被替换图像，同时，通过水印包含的身份信息追溯受保护用户的原始人脸图像。
6.一种针对深度伪造的双向人脸数据保护系统，该系统包括：水印嵌入网络，用于针对受保护用户的原始人脸图像进行水印嵌入，将获得的嵌入水印的人脸图像向外发布；水印提取及伪造图像检测模块，用于对待检测人脸图像进行水印提取；对于与发布的嵌入水印的人脸图像具有相同人脸身份信息的待检测人脸图像，若无法提取出完整的水印，则表明当前待检测人脸图像为通过深度伪造技术，使用嵌入水印的人脸图像替换其他人脸图像生成的人脸替换图像；对于除去与发布的嵌入水印的人脸图像具有相同人脸身份信息之外的待检测图像，若提取出完整的水印，则通过水印包含的身份信息判断是否与待检测人脸图像的身份信息一致，当身份信息不一致时，表明待检测人脸图像为通过深度伪造技术，使用其他人脸图像替换嵌入水印的人脸图像生成的人脸被替换图像，同时，通过水印包含的身份信息追溯受保护用户的原始人脸图像。
7.一种处理设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现前述的方法。
8.一种可读存储介质，存储有计算机程序，当计算机程序被处理器执行时实现前述的方法。
9.由上述本发明提供的技术方案可以看出，根据人脸深度伪造的目标不同，可以将其分为人脸替换和人脸被替换（双向换脸），通过对原始人脸数据进行水印嵌入，当嵌入水印的人脸图像被使用deepfake人脸伪造方法进行双向换脸后，可以根据换脸后人脸图像的水印信息来判断是否为伪造人脸图像，并且可以更进一步的进行溯源和完整性证明。
附图说明
10.为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
11.图1为本发明实施例提供的一种针对深度伪造的双向人脸数据保护方法的流程图；图2为本发明实施例提供的两类代表性deepfake人脸伪造方法示意图；图3为本发明实施例提供的双向人脸数据保护框架的结构示意图；图4为本发明实施例提供的针对两类代表性deepfake人脸伪造方法的水印嵌入示意图；图5为本发明实施例提供的针对两类代表性deepfake人脸伪造方法的水印提取示
意图；图6为本发明实施例提供的一种针对深度伪造的双向人脸数据保护系统的示意图；图7为本发明实施例提供的一种处理设备的示意图。
具体实施方式
12.下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
13.首先对本文中可能使用的术语进行如下说明：术语“和/或”是表示两者任一或两者同时均可实现，例如，x和/或y表示既包括“x”或“y”的情况也包括“x和y”的三种情况。
14.术语“包括”、“包含”、“含有”、“具有”或其它类似语义的描述，应被解释为非排它性的包括。例如：包括某技术特征要素（如原料、组分、成分、载体、剂型、材料、尺寸、零件、部件、机构、装置、步骤、工序、方法、反应条件、加工条件、参数、算法、信号、数据、产品或制品等），应被解释为不仅包括明确列出的某技术特征要素，还可以包括未明确列出的本领域公知的其它技术特征要素。
15.下面对本发明所提供的一种针对深度伪造的双向人脸数据保护方法、系统及设备进行详细描述。本发明实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。本发明实施例中未注明具体条件者，按照本领域常规条件或制造商建议的条件进行。
16.实施例一本发明实施例提供一种针对深度伪造的双向人脸数据保护方法，如图1所示，其主要包括：步骤1、针对受保护用户的原始人脸图像进行水印嵌入，将获得的嵌入水印的人脸图像向外发布。
17.本发明实施例中，预先对受保护用户的原始人脸图像进行水印嵌入，此后发布的人脸图像即为嵌入水印的人脸图像，且嵌入的水印对于人眼不可见，因此，不会对原始人脸图像造成视觉上的差异；一般来说，水印中包含有受保护用户的身份信息，且嵌入水印的人脸图像中多个位置区域均嵌入相同的水印。
18.本发明实施例中，可以通过水印嵌入网络将不可见的水印嵌入至受保护用户的原始人脸图像中。
19.步骤2、待检测人脸图像的水印提取与检测。
20.在实际场景中，受保护用户发布的嵌入水印的人脸图像可能被恶意篡改，即通过深度伪造技术，使用嵌入水印的人脸图像替换其他人脸图像生成的人脸替换图像，和/或使用其他人脸图像替换嵌入水印的人脸图像生成的人脸被替换图像。因此，需要针对这两种情况分别进行判断。具体的：（1）对待检测人脸图像进行水印提取。
21.本发明实施例中，水印提取通过水印提取模块实现，所述水印提取模块，用于从深
度伪造的双向人脸数据中进行水印提取；所述深度伪造的双向人脸数据包括所述人脸替换图像与人脸被替换图像。
22.（2）对于与发布的图像具有相同人脸身份信息的待检测图像，若无法提取出完整的水印，则表明待检测人脸图像为通过深度伪造技术（deepfake人脸伪造方法），使用嵌入水印的人脸图像替换其他人脸图像生成的人脸替换图像。
23.（3）对于其他可能被伪造的待检测图像（即除去与发布的图像具有相同人脸身份信息之外的待检测图像），若提取出完整的水印，则通过水印包含的身份信息判断是否与当前待检测的人脸图像的身份信息一致，当身份信息不一致时，表明待检测人脸图像为通过深度伪造技术，使用其他人脸图像替换嵌入水印的人脸图像生成的人脸被替换图像，同时，通过水印包含的身份信息追溯受保护用户的原始人脸图像。
24.本发明实施例上述方案根据人脸深度伪造的目标不同，可以将其分为人脸替换和人脸被替换（双向换脸），通过对原始人脸数据进行水印嵌入，当嵌入水印的人脸图像被使用deepfake人脸伪造方法进行双向换脸后，可以根据换脸后人脸图像的水印信息来判断是否为伪造人脸图像，并且可以更进一步的进行溯源和完整性证明。
25.为了更加清晰地展现出本发明所提供的技术方案及所产生的技术效果，下面针对本发明上述方案及其应用场景做详细的介绍。
26.近年来，随着多媒体生成技术的不断进步及相关人脸数据和伪造算法的易获得性，人脸深度造假技术愈发先进，高保真的人脸伪造视频更容易被制作并且被用于娱乐影视行业。但另一方面，这些高质量的伪造技术很可能被滥用于恶意伪造，对社会的信任度造成严重的威胁。学界已经提出了许多检测方法试图规避这种风险和隐患。然而，现在绝大多数的方法都是对于未知人脸图像进行盲检测，直接针对待检测图像或视频给出真假的概率，这种简单的二分类解决方案无法给出模型判断的依据，也难以进行更进一步的取证和溯源。
27.本发明针对当前deepfake人脸伪造方法的特性，旨在提出一种主动式的可追溯可取证的双向人脸数据保护方案，从数据源头进行人脸保护，并在真实场景中保证较高的溯源成功率和取证成功率。与传统deepfake检测方法相比，本发明提出的方法针对已拥有人脸图像（受保护的用户的原始人脸图像）进行保护，根据deepfake人脸伪造方法的特性分为两类保护方式，分别引入鲁棒水印和脆弱水印来对数据进行溯源以及保护数据的完整性。
28.本领域技术人员可以理解，人脸数据包括包含人脸图像的图片数据，以及包含括包含人脸图像的视频数据。
29.根据现有的换脸技术框架，如图2所示，deepfake人脸伪造方法可以依据源人脸和目标人脸的身份分为：人脸替换（face-out）和人脸被替换（face-in）两大类别。具体来说，face-out是从源人脸的角度出发，源人脸的身份用于替换其他人脸；face-in是从目标人脸的角度出发，目标人脸的身份被其他人脸所替换。因此，本发明方法主要包括对原始人脸数据进行水印嵌入，然后使用真实场景下的deepfake人脸伪造方法对嵌入水印的人脸数据进行face-out和face-in双向换脸，最后根据换脸后的deepfake伪造人脸的水印信息来判断是否为假脸，并且可以更进一步的进行溯源和完整性证明。
30.本发明实施例所提供的上述方案，可以针对现有大多数人脸伪造技术保护人脸数据，以提高deepfake的检测成功率和可解释性，而且利用提取的水印信息能够对伪造人脸
进行溯源。与现有技术相比，本方法在多种公开的deepfake人脸伪造方法上取得最好的检测性能和可解释性。
31.现有人脸伪造的目标是在原始人脸（真实的人脸）和生成伪造人脸中建立一种变换。因此对于人脸保护，本发明的目的是证明生成的人脸并非原始真实人脸，或者能够根据伪造人脸追溯到真实人脸。为了充分利用deepfake人脸伪造方法的特性，本发明根据人脸替换和人脸被替换分别提出人脸替换检测（face-out-detection，fod）和人脸被替换取证（face-in-forensics，fif），为了便于说明，下面将嵌入水印的人脸图像称为受保护的人脸图像。对于fod，本发明的目的是在使用受保护的人脸图像替换其他人脸时，可以检测出替换后的人脸是伪造的。对于 fif，当受保护的人脸图像被其他人的人脸替换时，本发明应保证通过伪造的人脸追溯到原始人脸。
32.为此，本发明以脆弱水印和鲁棒水印技术为基础，提出了双向人脸数据保护框架（bifpro）来综合地保护deepfake中的人脸数据。该框架由三个主要部分组成：水印嵌入、人脸替换检测（fod）和人脸被替换取证（fif）。对于fod的场景下，通过嵌入脆弱水印来确保原始人脸的脆弱性。一旦受保护的人脸图像被用来替换其他人脸，伪造人脸图像中的水印信息将被破坏，因此通过提取可以人脸数据中的水印信息可以验证受保护的人脸图像的完整性，同时能够区分出可疑人脸的真伪。对于 fif 这一场景，通过嵌入鲁棒水印来保证受保护用户的原始人脸图像的可追溯性，目的是使得嵌入的水印能够抵抗deepfake的生成过程，即使受保护的人脸图像在deepfake生成过程中被替换，也可以使用被保留的水印信息来追踪假人脸。以此来证明伪造人脸使用了受保护的人脸图像来伪造，保护受保护用户人脸的版权和隐私。需要说明的是，水印嵌入时不区分人脸区域和非人脸区域，而是对图像整体进行水印嵌入，同时，水印嵌入阶段并不区分鲁棒水印和脆弱水印，也就是说，两种场景下都只进行一次水印嵌入，但是，在不同场景下，使用不同的水印提取网络来提取水印，使得水印分别呈现出鲁棒性或者脆弱性。
33.基于上述介绍，下面针对本发明提供的双向人脸数据保护框架做详细的介绍。
34.一、整体框架网络结构及其组成。
35.如图3所示，为双向人脸数据保护框架的结构示意图，主要包括：水印嵌入网络、人脸伪造模块以及水印提取模块；主要介绍如下：1、水印嵌入网络。
36.本发明实施例中，所述水印嵌入网络基于深度神经网络实现，用于将不可见的水印嵌入至受保护用户的原始人脸图像中，并且保证嵌入的水印不会对原始人脸造成视觉上的差异。然后将嵌入水印的人脸图像输入至人脸伪造生成模块进行人脸替换和人脸被替换。
37.示例性的，水印嵌入网络可以使用图像变换任务中常用的u-net实现。
38.2、人脸伪造模块。
39.本发明的目的是保护人脸图像在被使用deepfake人脸伪造方法之后被可解释性的检测出，以及进一步地溯源和取证，因此人脸伪造模块主要是模拟真实黑盒场景中的deepfake人脸伪造方法，包含两个类型的人脸伪造模型分别对应人脸替换和人脸被替换的两个可替换的黑盒场景下的人脸伪造模型，将水印嵌入网络输出的嵌入水印的人脸图像分别输入至两个人脸伪造模型实现两类deepfake人脸伪造，获得人脸替换图像与人脸被替换
图像（二者都属于伪造的人脸图像）。
40.本发明实施例中，人脸伪造模块是可替换的，不同伪造方法得到相应的伪造人脸伪造数据，另外，由于真实场景下难以获取deepfake人脸伪造方法的具体网络结构和模型参数，因此采用完全黑盒的形式。
41.3、水印提取模块。
42.针对两种不同类型的人脸伪造模型伪造的人脸图像，采取不同的保护机制，对于人脸替换这一类型，检测的目的是需要证明伪造的人脸图像并非真实的保护人脸，因此最终目标是无法从伪造的人脸图像中提取出预先嵌入的水印，以此证明伪造人脸并非真实人脸，而是由deepfake人脸伪造方法伪造的人脸替换图像。对于人脸被替换这一类型，目的是追溯到被替换人脸的原始人脸图像（也就是受保护用户的原始人脸图像），因此对于受保护的人脸图像，即使人脸被其他人的人脸所替换，本发明目的仍然是能够从中提取出水印，以证明伪造的人脸图像是由受保护的人脸图像生成得到，以此达到溯源的目的。
43.本发明实施例中，水印提取模块包含两个水印提取网络，用于从相应的人脸替换图像或者人脸被替换图像中进行水印提取，两个水印提取网络分别对应fod和fif两个场景，用以提取脆弱和鲁棒水印以判断人脸图像是否为伪造。
44.根据本发明提出的双向人脸数据保护框架，对于受保护的人脸图像，可以同时从人脸替换和人脸被替换两个方面来进行保护。这也能够同时覆盖现有的人脸伪造替换方法（包含人脸替换和人脸被替换），并提出了一种完整的主动人脸保护方法。
45.二、双向人脸数据保护框架的损失函数。
46.本发明实施例中，所述双向人脸数据保护框架需要预先进行训练，训练时输入至双向人脸数据保护框架的训练图像称为原始人脸图像（可以认为是受保护用户的原始人脸图像），训练的损失包括：水印嵌入损失和水印提取损失。
47.1、水印嵌入损失。
48.本发明实施例中，所述水印嵌入损失包括：水印嵌入前后图像像素级别和图像特征层面的损失，以及通过嵌入水印的人脸图像生成的深度伪造的双向人脸数据与通过原始人脸图像生成的深度伪造的双向人脸数据之间的损失；所述深度伪造的双向人脸数据包括人脸替换图像与人脸被替换图像。
49.所述水印嵌入损失表示为：其中，与均为权值系数；表示水印嵌入损失，i
org
表示原始人脸图像，表示水印，e表示水印嵌入网络；表示水印嵌入前后图像像素级别的损失，表示水印嵌入前后图像特征层面的损失；表示通过嵌入水印的人脸图像生成的深度伪造的双向人脸数据与通过原始人脸图像生成的深度伪造的双向人脸数据之间的损失。具体的：水印嵌入前后图像像素级别的损失可以使用均方误差损失，表示为：其中， 表示水印嵌入网络输出的嵌入水印的人脸图像，为2范数符
号。
50.水印嵌入前后图像特征层面的损失为图像感知损失，表示为：其中，vggk表示深度卷积神经网络，其输出为相应输入图像的图像特征。
51.以上两项损失均可可参照常规技术来实现，故不再赘述。下面主要针对伪造人脸连续性损失做详细的介绍。
52.伪造人脸连续性损失为辅助训练水印嵌入网络的损失，在图像水印嵌入过程中，通常仅仅从原始人脸图像和嵌入水印的人脸图像进行了图像质量上的约束，但是对于本发明实施例的应用场景中，嵌入水印的人脸图像会被用于deepfake人脸伪造，因此，设计了伪造人脸连续性损失，使通过嵌入水印的人脸图像生成的深度伪造的双向人脸数据与通过原始人脸图像生成的深度伪造的双向人脸数据尽可能保持一致，伪造人脸连续性损失表示为：其中，表示通过原始人脸图像i
org
生成的深度伪造的双向人脸数据，表示通过嵌入水印的人脸图像生成的深度伪造的双向人脸数据，包括与两部分，表示生成的人脸替换图像，表示生成的人脸被替换图像。
53.2、水印提取损失。
54.所述水印提取损失包括：针对人脸替换图像的水印提取损失以及针对人脸被替换图像的水印提取损失，表示为：其中，表示水印提取损失，表示针对人脸替换图像的水印提取损失，表示针对人脸被替换图像的水印提取损失；与分别应用于人脸替换检测场景与人脸被替换取证场景；表示人脸伪造模块输出的伪造的人脸图像（包含人脸替换图像与人脸被替换图像），、分别表示一个水印提取网络，为应用于人脸替换检测场景的水印提取网络，为应用于人脸被替换检测场景的水印提取网络。具体介绍如下： （1）针对人脸替换图像的水印提取损失。
55.对于人脸替换检测场景，本发明的目的是在使用受保护的人脸图像替换其他人脸时，可以检测出生成的人脸替换图像是伪造的，所以核心技术为当受保护的人脸图像被应用到deepfake人脸伪造时，嵌入的水印就会消失，以此证明伪造的人脸并非真实的受保护的人脸图像。因此，针对人脸替换图像的水印提取损失表示为：
其中， 表示第一损失，用于确保嵌入水印的人脸图像能够成功提取出水印；表示第二损失，用于确保人脸替换图像无法提取出水印。具体的：表示第二损失，用于确保人脸替换图像无法提取出水印。具体的：其中，表示嵌入水印的人脸图像，也即前文提到的，表示应用于人脸替换检测场景的水印提取网络，表示水印提取网络从嵌入水印的人脸图像中提取出的水印，表示水印提取网络从人脸替换图像中提取出的信息，表示空白图像，其包含空白信息。此部分，通过嵌入脆弱水印来确保原始人脸图像的脆弱性。一旦受保护的人脸图像被用来替换其他人脸，伪造出的人脸替换图像中的水印信息将被破坏，因此通过提取水印信息可以验证受保护的人脸图像的完整性，同时能够区分出人脸图像的真伪。
[0056] （2）针对人脸被替换图像的水印提取损失。
[0057]
对于人脸被替换取证场景，本发明的目的是当受保护的人脸图像被其他人的人脸替换时，应保证通过伪造的人脸被替换图像追溯到原始人脸。因此核心技术为当受保护的人脸图像被deepfake生成的伪造的人脸被替换图像后，受保护的人脸图像中嵌入的水印信息仍然被保留，根据水印信息来对原始人脸进行溯源，以证明受保护的人脸图像被替换。因此，针对人脸被替换图像的水印提取损失表示为： 其中，为权值系数；表示第三损失，用于确保从原始人脸图像中无法提取出水印，通过此损失函数来尽可能减少水印提取过程中的干扰项；表示第四损失，用于确保从人脸被替换图像能够提取出水印，通过水印信息进行真实的原始人脸溯源；具体的：的：其中，表示应用于人脸被替换检测场景的水印提取网络，表示水印提取网络从原始人脸图像中提取出的信息，表示水印提取网络从人脸被替换图像中提取出的水印。
[0058]
此部分通过嵌入鲁棒水印来保证受保护用户的原始人脸图像的可追溯性，目的是使得嵌入的水印能够抵抗deepfake的生成过程，即使受保护的人脸图像在deepfake生成过程中被替换，也可以使用被保留的水印信息来追踪人脸。以此来证明伪造的人脸被替换图像使用了受保护的人脸图像来伪造，保护源人脸的版权和隐私。
[0059]
基于上述水印嵌入损失和水印提取损失对双向人脸数据保护框架进行训练，使用
训练得到的水印嵌入网络与水印提取模块应用于前述的步骤1与步骤2；此处所涉及的具体训练流程可参照常规技术，本发明不做赘述。
[0060]
为了说明本发明实施例上述方案效果，下面通过实验进行说明。
[0061]
1、针对人脸替换检测（fod）的评估。
[0062]
实验中，使用了simswap和fomm两种具有代表性的fod人脸伪造方法。目的是评估本发明实施例在此场景下的人脸替换伪造检测准确率，实验结果与传统被动检测方法xception进行对比，实验结果如表1所示，其中，acc（检测准确率）为分类预测值正确的样本数与样本总数之比。实验结果表明本发明方法在fod场景下的人脸伪造检测准确率极高。
[0063]
表1：本方法在fod场景下的人脸伪造检测准确率在表1实验的基础上，本发明还评估了跨身份信息的fod人脸伪造场景下的检测准确率，如表2所示，表2中左侧的jake、khan、ryan等表示不同身份的用户。实验结果表明，即使在训练和测试中使用不同身份的人脸，本发明方法仍然能够取得较高的人脸伪造检测准确率。
[0064]
表2：本方法在跨身份信息的fod场景下的人脸伪造监测准确率2、针对人脸被替换取证（fif）的评估。
[0065]
在人脸被替换取证的评估中，实验使用了代表性fif人脸伪造方法deepfakes和deepfacelab（dfl），并且在不同尺寸的人脸图像下进行实验，图像尺寸越大，嵌入的水印信息越多，因此提取过程难度越大。本方法与最新的相关工作faketagger进行对比，实验结果如表3所示，其中，视频深度伪造检测的auc（area under curve，曲线下面积）被定义为其分类预测结果的roc曲线（接受者操作特征曲线）下面积。
[0066]
表3：本方法在fif场景下的人脸伪造检测准确率
以上两项实验结果表明：本发明方法在人脸替换和人脸被替换两类代表性deepfake换脸技术中能够有效地保护用户的人脸，比起现有方法能达到更高的检测准确率，也能够成功实现双向的人脸数据保护。
[0067]
图4展示了针对两类代表性deepfake人脸伪造方法（人脸替换与人脸被替换）的水印嵌入；其中：左侧部分为人脸替换的水印嵌入，第一行为受保护用户的原始人脸图像，第二行为嵌入水印的人脸图像，第三行为残差图（10倍），第四行为基于第一行图像通过人脸替换生成的人脸替换图像，第五行为基于第二行图像通过人脸替换生成的人脸替换图像；右侧部分为人脸被替换的水印嵌入，第一行为受保护用户的原始人脸图像，第二行为嵌入水印的人脸图像，第三行为残差图（10倍），第四行为通过对第一行图像通过人脸替换生成的人脸被替换图像，第五行为通过对第二行图像通过人脸替换生成的人脸被替换图像。
[0068]
图5展示了针对两类代表性deepfake人脸伪造方法（人脸替换与人脸被替换）的水印提取；其中：左侧部分为人脸替换的水印提取，第一行表示水印图像，第二行表示从人脸替换图像提取出的水印（即空白图像，表示无法提取完整水印），第三行表示从嵌入水印的人脸图像中提取出的水印；右侧部分为人脸被替换的水印提取，第一行表示水印图像，第二行表示从人脸被替换图像中提取出的水印，第三行表示受保护用户的原始人脸图像提取出的水印（即空白图像，表示无法提取水印）。
[0069]
根据图4和图5的可视化结果可以进一步证明本方法的可解释性，可溯源性和取证能力。
[0070]
需要说明的是，为了避免可能存在的人脸隐私问题，对图2~图4中的人脸关键区域（例如，眼睛、鼻子等区域）施加了马赛克，施加马赛克后可能会影响本发明的展示效果，但是，通过前述表1~表3所示的对比结果已经足以证明本发明在各项指标表上的优越效果，这些优越效果在实际应用中能够通过图像直观的展示。
[0071]
实施例二本发明还提供一种针对深度伪造的双向人脸数据保护系统，其主要基于前述实施例提供的方法实现，如图6所示，该系统主要包括：水印嵌入网络，用于针对受保护用户的原始人脸图像进行水印嵌入，将获得的嵌入水印的人脸图像向外发布；水印提取及伪造图像检测模块，用于对待检测人脸图像进行水印提取；对于与发布的嵌入水印的人脸图像具有相同人脸身份信息的待检测人脸图像，若无法提取出完整的水印，则表明当前待检测人脸图像为通过深度伪造技术，使用嵌入水印的人脸图像替换其他人脸图像生成的人脸替换图像；对于除去与发布的嵌入水印的人脸图像具有相同人脸身份信息之外的待检测图像，若提取出完整的水印，则通过水印包含的身份信息判断是否与待检测人脸图像的身份信息一致，当身份信息不一致时，表明待检测人脸图像为通过深度伪造技术，使用其他人脸图像替换嵌入水印的人脸图像生成的人脸被替换图像，同时，通过水印包含的身份信息追溯受保护用户的原始人脸图像。
[0072]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将系统的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
[0073]
实施例三本发明还提供一种处理设备，如图7所示，其主要包括：一个或多个处理器；存储器，用于存储一个或多个程序；其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现前述实施例提供的方法。
[0074]
进一步的，所述处理设备还包括至少一个输入设备与至少一个输出设备；在所述处理设备中，处理器、存储器、输入设备、输出设备之间通过总线连接。
[0075]
本发明实施例中，所述存储器、输入设备与输出设备的具体类型不做限定；例如：输入设备可以为触摸屏、图像采集设备、物理按键或者鼠标等；输出设备可以为显示终端；存储器可以为随机存取存储器（random access memory，ram），也可为非不稳定的存储器（non-volatile memory），例如磁盘存储器。
[0076]
实施例四本发明还提供一种可读存储介质，存储有计算机程序，当计算机程序被处理器执行时实现前述实施例提供的方法。
[0077]
本发明实施例中可读存储介质作为计算机可读存储介质，可以设置于前述处理设备中，例如，作为处理设备中的存储器。此外，所述可读存储介质也可以是u盘、移动硬盘、只读存储器（read-only memory，rom）、磁碟或者光盘等各种可以存储程序代码的介质。
[0078]
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。