基于身份去激活的结构自适应人脸身份信息保护方法

本发明涉及人脸识别及信息保护，具体指一种基于身份去激活的结构自适应人脸身份信息保护方法。

背景技术：

1、现代人工智能技术充分利用了人脸图像，使我们的生活更加方便。然而，他们可能会引起社会对身份安全的广泛关注，因为人脸图像很容易捕捉，但不容易改变。这导致数据所有者对数据发布和共享的限制越来越严格，这将阻碍技术进步和许多智能应用程序。例如，许多公开可用的数据集，如dukes mtmc、stanford brainwash和meta，由于隐私原因而被下线。

2、匿名化被认为是一种有效的解决方案，它通常有两个基本要求。一是确保身份安全，包括身份反识别和反入侵。另一种方法是保留数据的可用性，如图像质量、人脸可检测性、姿态、表达式和用户定义的属性，这些属性在不同的场景下可能会有所不同。该技术具有多种优点，如：(1)防止未经授权的当事人、用户和应用程序收集和使用个人数据；(2)阻止身份与位置、动作、事件等图像等因素的关系识别，帮助人们避免麻烦；(3)维护数据发布(如视频网站)、街景地图、社交网络、远程医疗系统等各种应用中的数据可用性，即使数据被攻击或滥用，也不用担心信息泄露。

3、近年来，随着深度学习技术的不断发展，2014年goodfellow等人提出了生成对抗网络(gan)。gans通过基于一对对抗模型生成真实的图像，即生成器和判别器，其中生成器学习愚弄判别器，判别器学习判断图像的真假。大量的研究将gan应用到各种视觉任务中，如风格转换、图像对图像转换等。gan的发展也对人脸匿名化的发展带来了契机，通过合成真实的人脸，现有的方法以改变面部地标、属性或身份的组成为主。ren等人介绍了一种视频人脸匿名器，它对动作检测器的影响最小。karla等人建立了一个基于gan的模型去识别一个完整的身体。sun等人提出了一种两阶段模糊的匿名人脸合成方法。li等人通过一个四阶段的人脸合成过程开发了用于人脸去识别的匿名网络:人脸属性估计、人脸混淆、图像合成和对抗扰动。deepfake和图像对图像的翻译技术也可以用来交换人脸身份，它们都可以被看作是某种意义上的去识别。此外，maximov等人提出了一个ciagan模型，通过混合原始面部地标和其他身份id进行人脸匿名化。然而，现有的方法单纯通过欺骗识别算法或进行身份替换，他们的结果并不令人满意，因为他们无法在数据安全性和可重用性之间取得很好的平衡，以实现机器和人的识别能力。

4、综上所述，面部身份隐私保护领域是一个值得深入研究的课题，本专利拟从该领域中几个关键点切入展开探讨，解决目前方法存在的难点和重点。

5、面部身份隐私保护的一个关键点就是人脸匿名的有效性以及其与数据复用性之间的平衡。但是，在目前大多数的方法中注重匿名的有效性，不幸的事，这些方法同时也丢失了非身份属性信息。具体而言，主要存在以下两个方面的难点：

6、1、如何平衡匿名性与数据复用性之间的关系。数据的复用主要针对与非身份属性的信息，如何将原始图像中的这些信息传递到生成图中是影响复用性的一个重要因素。

7、2、目前的方法大多数主要以换脸或者使用他人的id与本身的数据进行融合以实现匿名，但是这样会出现侵犯他人隐私的嫌疑。因此，如何完整评估方法的有效性是目前的一个难点问题。

技术实现思路

1、本发明目的是针对现有技术的不足，提出一种基于身份去激活的结构自适应人脸身份信息保护方法，可以使用户能够产生可理解的匿名人脸图像，这不仅可以欺骗不知道的观察者，而且还可以很好地保存数据的可用性。

2、为了解决上述技术问题，本发明的技术方案为：

3、一种基于身份去激活的结构自适应人脸身份信息保护方法，包括如下步骤：

4、步骤1：数据预处理；

5、步骤2：身份信息反激活；

6、步骤3：结构信息去识别；

7、步骤4：构建匿名人脸生成对抗网络结构；

8、步骤5：使用公开数据集进行训练及测试，输出最终结果。

9、作为优选，步骤1数据预处理，具体步骤如下：

10、1-1.图片矫正。通过现有的方法对面部有扭曲或旋转的图片进行矫正，使其能够保持面部平行于下边缘。

11、1-2.面部识别与裁剪。通过获取人脸主要部分坐标，并将面部裁剪出来，作为训练与测试的输入。

12、作为优选，步骤2基于预训练分类网络进行身份反激活，具体步骤如下：

13、2-1.使用一个预先训练好的分类网络(如facenet)作为编码器e1，从分类任务的全连通(fc)层中提取身份特征f。e1最后一个卷积层的输出a用于计算之后的cam热力图h。

14、2-2.通过cam热力图h以及网络的反向传播得到的梯度α，得到去激活后的卷积层输出

15、2-3.通过去激活后的卷积层输出计算得出去激活后的面部特征

16、作为优选，步骤3去除人脸结构信息，具体步骤如下：

17、3-1.计算当前结构s，与其余所有候选结构之间的距离。在相同姿态条件下，以面部部位的大小与距离为特征，计算结构之间的特征l2距离，其表示为d(s，xi)。

18、3-2.计算当前结构s对与每个候选结构xi的特征距离基于全局的最大最小归一化结果，将其作为每个结构对于当前结构s的效用分数u，其表达式为：

19、

20、3-3.对于每个候选结构，通过指数机制的差分隐私，计算每个候选结构xi的选取概率p，并以根据概率随机选取一个代理结构概率计算公式为：

21、

22、3-4.根据调整s的口腔和轮廓标志，将上、下唇的厚度替换为的厚度，将s的轮廓调整为的厚度。然后，将的口部和轮廓标志替换为s的调整结果，得到一个匿名的委托结构t。

23、作为优选，步骤4构建匿名人脸生成对抗网络结构，具体步骤如下：

24、4-1.构建风格映射网络。通过堆叠五层残差结构的下采样块，对面部风格进行下采样特征提取，并通过求和池化(sumpooling)得到其抽象特征。

25、4-2.构建生成器。使用四个下采样的残差块，作为面部结构特征的解耦部分。再将四层上采样块堆叠，作为解耦后的面部结构特征与通过风格映射网络的面部风格特征以及反激活后的面部身份特征相融合特征的生成模块。其中生成所使用的主要方法为adain，其表达式为：

26、

27、其中，μ(θi)和σ(θi)分别表示原始图像的特征的均值和标准差，μ(si)和σ(si)分别表示原始图像的特征的均值和标准差。这个公式可以理解为，先去风格化(减去自身均值再除以自身标准差)，再风格化到目标图像的风格(乘目标图像的标准差再加均值)。

28、4-3.构建图像真假鉴别器。鉴别器由五层下采样的残差块、一层瓶颈层块、一层求和池化以及一层全连接层组成。能够判断输入图片是否为真实人脸。

29、作为优选，步骤5使用公开数据集进行训练及测试，输出最终结果，具体如下：

30、5-1.准备数据集，例如使用celeba-hq、vggface2和lfw数据集并按照步骤1所述进行预处理获得所需要的输入图像。

31、5-2.根据步骤2的描述获得面部身份特征的反激活表示，然后通使用步骤3所描述的方法，对于结构特征进行选取。

32、5-3.将训练数据输入到网络进行训练并且使用测试数据进行测试模型测试。

33、5-4.为了验证所提出方法的高效性，将其与当前优秀的方法(比如neo、ciagan等方法)进行比较，计算匿名率、身份交换率以及图像质量分析方法的匿名效果，并且对生成图像进行非身份属性分类，例如性别、年龄等，分析方法的数据复用性。

34、本发明具有以下的特点和有益效果：

35、本方法对图像中人脸的面部结构进行修改实现人脸匿名的效果，相对以往的马赛克遮挡的方法更高效并且在视觉上更友好，对于现有的深度方法在生成图像质量上更高，不需要使用属性标签以保持原本的非身份属性。根据用户要求可以灵活产生不同的结果。通过实验结果显然证实了所提出方法的高效性与实用性。所提出的方法对人物图像的隐私保护更高效和美观。

36、具体表现有一下特点：(1)自然解除可识别人脸特征；(2)直观地去识别结构信息，扩大原始与匿名人脸的视觉差异；(3)由于某些属性与身份表示相关的身份相关属性，可以很好地保留身份无关属性；(4)根据用户需求灵活支持人脸合成；(5)可输出真实的人脸图像。