基于可逆神经网络技术的人脸隐私面具可逆保护方法

1.本发明涉及图像隐私处理技术领域，具体来说是基于可逆神经网络技术的人脸隐私面具可逆保护方法。


背景技术：

2.计算机视觉技术已广泛应用于视觉识别等任务中，所有这些技术在给人们的日常生活带来极大便利的同时，也带来了巨大的风险。大量原始照片和视频被上传到云端或发送给第三方进行分析和识别任务，其中还包括面部信息。然而，人脸信息是一种敏感信息，包含了大量的个人信息，如果不小心保护，高度敏感的面部信息很容易被第三方或攻击者访问和非法使用。保护这些数据的隐私，需要一种能够在执行传统计算机视觉技术应用的同时确保面部信息安全的技术。
3.在以前的研究中，原始人脸隐私保护方法是通过使用超像素、模糊、高斯噪声、边缘和低分辨率等方法对原始人脸进行不可逆处理来实现的。然而，原始的人脸隐私保护方法都是针对人脸语义信息的缺失，不能保证原始人脸信息的可重用性。随着深度学习技术的发展，gan应运而生并不断发展，人脸隐私保护领域的研究人员开始关注于gan。ren等人提出学习匿名化人脸以保护隐私的动作检测，视频人脸匿名器对动作检测器的影响最小；maximov等人提出了ciagan，一种基于条件生成对抗网络的图像和视频匿名化模型；you等人提出了一种新颖的可逆人脸隐私保护方案，将人脸信息匿名化并在需要时恢复原始人脸信息。
4.通过对已有人脸隐私保护方法的分析可以发现，这些现有的人脸隐私保护方法仅保留用于计算机视觉任务的语义信息，但在上传之前永久破坏原始人脸信息，从而防止第三方和合法用户访问原始人脸信息，而且几乎所有这些方法都不能完全恢复原始人脸。事实上，由于模糊的脸是不自然和可感知的，它更容易被攻击者注意到。
5.此外，在某些应用中，我们希望模糊的人脸能够被察觉并且需要恢复原始的受保护人脸。例如，在社交平台上，许多人喜欢记录自己的生活并分享自己的照片，他们希望照片看起来自然，而不会将面部隐私泄露给未经授权的人，他们还希望原始面部可以显示给朋友授权的人(朋友或家人等)。如果在视频监控中抓获罪犯，在保护隐私后罪犯的原始面部也需要恢复。
6.因此，实际应用中存在两个问题需要解决。一是如何实现人脸隐私保护的不可感知性，即如何很自然地隐藏被保护的人脸；二是如何实现可逆性，即被遮挡的图像可以很好地恢复到被保护的人脸上。


技术实现要素：

7.本发明的目的是为了解决现有技术中针对人脸隐私保护的不可感知性和可逆性的缺陷，提供一种基于可逆神经网络技术的人脸隐私面具可逆保护方法来解决上述问题。
8.为了实现上述目的，本发明的技术方案如下：
9.一种基于可逆神经网络技术的人脸隐私面具可逆保护方法，包括以下步骤：
10.原始人脸图像的获取：获取原始受保护人脸图像，并组成训练数据集；
11.可逆面具网络的构建：基于可逆神经网络构建可逆面具网络；
12.可逆面具网络的训练：将训练数据集输入可逆面具网络进行训练；
13.待保护人脸图像的获取：获取待保护的人脸图像；
14.人脸隐私面具的生成：将待保护的人脸图像输入训练后的可逆面具网络，生成带有面具的人脸图像；
15.人脸隐私面具的卸除：将带有面具的人脸图像输入训练后的可逆面具网络，卸除人脸隐私面具。
16.所述可逆面具网络的构建包括以下步骤：
17.设定可逆面具网络包含2个子模块，为mask-net模块、可逆嵌入网络；
18.设定mask-net模块包含四个模块：编码器、id注入模块、解码器和面部增强模块，其结构设定如下：
19.设定编码器的输入为受保护人脸，经过编码器对受保护人脸进行编码，输出编码后的受保护人脸；
20.设定id注入模块的输入为编码后的受保护人脸和源脸的身份信息，其在特征层面将源脸的身份信息迁移到编码后的受保护人脸；
21.设定通过解码器获得初步生成的面具人脸；
22.设定利用面部增强模块对初步生成的面具人脸进行超分辨率重建，生成面具人脸；
23.设定可逆嵌入网络包括前向过程、后向过程及其损失函数，其中前向过程与后向过程的结构相同；
24.设定前向过程包含三个步骤：dwt、前向嵌入网络、iwt；设定后向部分包含三个步骤：dwt、后向恢复网络、iwt；其中，dwt用于将图像的时域特征转化为频域特征，iwt用于将频域特征恢复为图像；
25.设定前向嵌入网络，前向嵌入网络由n个嵌入块级联而成；
26.设定后向恢复网络，后向恢复网络由n个恢复块级联而成；
27.设定可逆嵌入网络的整体loss函数，
28.定义嵌入损失函数如下：
[0029][0030]
其中，等价于θ是网络参数，t是训练样本数，是用于衡量戴上面具人脸x
masked
和面具人脸x
mask
之间的差异，l
embedding
(θ)代表嵌入损失；
[0031]
定义恢复损失函数如下：
[0032][0033]
其中，恢复人脸等价于等价于表示恢复过程，χ是
n的分布，t是训练样本数，表示恢复人脸x
recovered
和受保护人脸 x
protected
之间的差异，l
recovering
(θ)代表恢复损失；
[0034]
定义低频小波损耗如下：
[0035][0036]
其中，h()
ll
代表着低频子带，代表着戴上面具人脸x
masked
的低频子带和面具人脸x
mask
的低频子带之间的差异，t是训练样本数， l
low-frequency
(θ)代表低频损失；
[0037]
定义总损失l
total
为嵌入损失l
embedding
、恢复损失l
recovering
和低频损失l
low-frequency
三者的权重和，其表达式如下：
[0038]
l
total
＝λ1l
embedding
+λ2l
recovering
+λ3l
low-frequency
[0039]
其中λ1、λ2和λ3用于平衡不同损失函数的权重。
[0040]
所述可逆神经网络的训练包括以下步骤：
[0041]
训练参数设置：设定学习率为0.00001、权重衰减为1000、批量大小为16 个样本、循环次数为10000次；
[0042]
将训练数据集输入mask-net模块，输出面具人脸；
[0043]
将输入受保护人脸和面具人脸输入前向嵌入网络进行戴上面具的训练：
[0044]
嵌入过程为：输入受保护人脸x
protected
和面具脸x
mask
；
[0045]
对受保护人脸x
protected
和面具人脸x
mask
进行小波变换，定义特征图经过dwt的变化为：
[0046][0047]
其中，b为批量大小，h为深度，w为宽度，c为通道数；
[0048]
经过dwt之后，将频域的受保护人脸x
protected
和面具人脸x
mask
输入到前向嵌入网络中，前向嵌入网络中共有n个相同结构的嵌入块，对于该模块中的第i个嵌入块，输入为和输出为和计算公式如下：
[0049][0050]
其中α是一个乘常数因子用作钳制的冲激函数，ρ(
·
),η(
·
)用稠密块来表示，x
protected
是受保护人脸，x
mask
是面具人脸，i代表第i个嵌入块；
[0051]
在第n个嵌入块后，将输出和进行iwt，获得x
masked
和丢失信息m，其表达式如下：
[0052][0053]
其中，m是丢失信息，戴上面具的人脸x
masked
和丢失的信息m服从相同的分布，n代表第n个恢复块；
[0054]
从case-agnostic分布中随机抽样生成辅助信息n，该信息n服从与m相同的分布；
[0055]
进行可逆嵌入网络卸下面具的训练：在脱下面具的过程中，使用辅助信息 n来帮助获得恢复的人脸x
recovered
；
[0056]
恢复过程为：输入戴上面具人脸x
masked
和辅助信息n；
[0057]
对戴上面具人脸x
masked
和辅助信息n进行dwt处理；
[0058]
经过dwt之后，将频域的戴上面具人脸x
masked
和辅助信息n输入到后向恢复网络中，后向恢复网络中共有n个相同结构的恢复块，对于该模块中的第 i个恢复块，输入为和ni，输出为n
i+1
和计算公式如下：
[0059][0060][0061]
x
masked
是戴上面具人脸，n是辅助信息，α是一个乘常数因子用作钳制的冲激函数，ρ(
·
),η(
·
)用稠密块来表示，i代表第i个嵌入块；
[0062]
在第n个恢复块后，将输出和nn进行iwt，获得恢复人脸 x
recovered
，其表达式如下：
[0063][0064]
x
masked
是戴上面具人脸，n是辅助信息，x
recovered
是恢复人脸，n代表第 n个恢复块。
[0065]
有益效果
[0066]
本发明的基于可逆神经网络技术的人脸隐私面具可逆保护方法，与现有技术相比利用mask-net自然生成一张面具人脸，将面具脸放在受保护的人脸上，并生成戴上面具人脸，在被授权方将面具脸从戴上面具人脸上取下，得到恢复的人脸，在保证了针对人脸隐私保护的不可感知性和可逆性的同时，实现了较为优越的人脸隐私保护。
[0067]
本发明在客观参数上生成“面具”人脸相对现有技术视觉质量有明显提高，且在人脸恢复的准确度上有一定提高，并实现了现有人脸隐私保护技术难以实现的高可重用性。
附图说明
[0068]
图1为本发明的方法顺序图；
[0069]
图2为本发明所涉及的嵌入块结构图；
[0070]
图3为本发明所涉及的恢复块结构图；
[0071]
图4为本发明所述方法与现有技术方法的实验结果展示图。
具体实施方式
[0072]
为使对本发明的结构特征及所达成的功效有更进一步的了解与认识，用以较佳的实施例及附图配合详细的说明，说明如下：
[0073]
如图1所示，本发明所述的一种基于可逆神经网络技术的人脸隐私面具可逆保护方法，包括以下步骤：
[0074]
第一步，原始人脸图像的获取：获取原始受保护人脸图像，并组成训练数据集。
[0075]
第二步，可逆面具网络的构建：基于可逆神经网络构建可逆面具网络。由于可逆网
络的结构是对称的，因此可利用可逆网络的对称性对可逆网络进行改进构建可逆面具网络，可以极大程度地保障恢复人脸和原始人脸的高相似度，以保证人脸隐私保护方法中人脸图像的高可用性，进一步设计可逆网络对称的对称块，以达成为人脸图像戴上可逆面具的目的。
[0076]
可逆面具网络的构建包括以下步骤：
[0077]
(1)设定可逆面具网络包含2个子模块，为mask-net模块、可逆嵌入网络。
[0078]
(2)设定mask-net模块包含四个模块：编码器、id注入模块、解码器和面部增强模块，其结构设定如下：
[0079]
a1)设定编码器的输入为受保护人脸，经过编码器对受保护人脸进行编码，输出编码后的受保护人脸；
[0080]
a2)设定id注入模块的输入为编码后的受保护人脸和源脸的身份信息，其在特征层面将源脸的身份信息迁移到编码后的受保护人脸；
[0081]
a3)设定通过解码器获得初步生成的面具人脸；
[0082]
a4)设定利用面部增强模块对初步生成的面具人脸进行超分辨率重建，生成面具人脸。
[0083]
(3)设定可逆嵌入网络包括前向过程、后向过程及其损失函数，其中前向过程与后向过程的结构相同；
[0084]
b1)设定前向过程包含三个步骤：dwt、前向嵌入网络、iwt；设定后向部分包含三个步骤：dwt、后向恢复网络、iwt；其中，dwt用于将图像的时域特征转化为频域特征，iwt用于将频域特征恢复为图像；
[0085]
b2)设定前向嵌入网络，前向嵌入网络由n个嵌入块级联而成；
[0086]
b3)设定后向恢复网络，后向恢复网络n个恢复块级联而成；
[0087]
b4)设定可逆嵌入网络的整体loss函数，
[0088]
定义嵌入损失函数如下：
[0089][0090]
其中，等价于θ是网络参数，t是训练样本数，是用于衡量戴上面具人脸x
masked
和面具人脸x
mask
之间的差异，l
embedding
(θ)代表嵌入损失；
[0091]
定义恢复损失函数如下：
[0092][0093]
其中，恢复人脸等价于等价于表示恢复过程，χ是n的分布，t是训练样本数，表示恢复人脸x
recovered
和受保护人脸 x
protected
之间的差异，l
recovering
(θ)代表恢复损失；
[0094]
定义低频小波损耗如下：
[0095]
[0096]
其中，h()
ll
代表着低频子带，代表着戴上面具人脸x
masked
的低频子带和面具人脸x
mask
的低频子带之间的差异，t是训练样本数， l
low-frequency
(θ)代表低频损失；
[0097]
定义总损失l
total
为嵌入损失l
embedding
、恢复损失l
recovering
和低频损失l
low-frequency
三者的权重和，其表达式如下：
[0098]
l
total
＝λ1l
embedding
+λ2l
recovering
+λ3l
low-frequency
[0099]
其中λ1、λ2和λ3用于平衡不同损失函数的权重。
[0100]
第三步，可逆面具网络的训练：将训练数据集输入可逆面具网络进行训练。
[0101]
在训练过程中，经过simswap模块换脸生成的人脸面具视觉质量会被降低，导致整体网络无法实现原有效果，因此在模块后利用gpen技术对生成人脸面具的视觉质量进行增强。而在可逆正向嵌入流程时，往往会随着处理丢失部分图像信息，由于实际场景中应用的需求，需要在无附加辅助信息的情况下完成恢复流程，由于网络的可逆约束，丢失信息和需要使用的辅助信息n服从相同的分布，可以通过抽样的方式获取同分布的辅助信息。
[0102]
可逆面具网络的训练具体步骤如下：
[0103]
(1)训练参数设置：设定学习率为0.00001、权重衰减为1000、批量大小为16个样本、循环次数为10000次。
[0104]
(2)将训练数据集输入mask-net模块，输出面具人脸。
[0105]
(3)将输入受保护人脸和面具人脸输入前向嵌入网络进行戴上面具的训练：
[0106]
c1)嵌入过程为：输入受保护人脸x
protected
和面具脸x
mask
；
[0107]
c2)对受保护人脸x
protected
和面具人脸x
mask
进行小波变换，定义特征图经过dwt的变化为：
[0108][0109]
其中，b为批量大小，h为深度，w为宽度，c为通道数；
[0110]
c3)经过dwt之后，将频域的受保护人脸x
protected
和面具人脸x
mask
输入到前向嵌入网络中，前向嵌入网络中共有n个相同结构的嵌入块，嵌入块的具体结构如图2所示，对于该模块中的第i个嵌入块，输入为和输出为和计算公式如下：
[0111][0112]
其中α是一个乘常数因子用作钳制的冲激函数，ρ(
·
),η(
·
)用稠密块来表示，x
protected
是受保护人脸，x
mask
是面具人脸，i代表第i个嵌入块；
[0113]
c4)在第n个嵌入块后，将输出和进行iwt，获得x
masked
和丢失信息m，其表达式如下：
[0114][0115]
其中，m是丢失信息，戴上面具的人脸x
masked
和丢失的信息m服从相同的分布，n代表
的参数与面具人脸x
mask
和戴上面具人脸x
masked
有关，并使它们在视觉层面上相同。λ2的参数恢复人脸x
recovered
和受保护的人脸x
protected
有关，使得它们不仅在视觉层面上，而且在像素层面上都无法区分。为了追求最好的恢复效果，我们从数据库中随机选择了20张测试图像，结果如表2所示。我们可以看到，随着参数λ2的增加，实验性能越好，这意味着恢复的人脸 x
recovered
恢复到像素级保护的受保护人脸x
protected
越近。1:3:1的比例回收效果最好。
[0136]
表2不同参数比例的影响对比表
[0137]
λ1:λ2:λ31:1:11:2:11:3:11:4:1psnr38.4246.3547.0946.15ssim0.9430.9880.9910.988rmse9.9451.5791.4371.706mae2.1080.9050.8290.930
[0138]
表3讨论测试图像在客观参数上的实验效果比较，图4展示了测试图像的主观视觉效果。实验分别测试了受保护人脸图像x
protected
和恢复图像x
recovered
, 面具人脸x
mask
和戴面具人脸x
masked
之间的psnr和ssim。结果表明受保护人脸图像x
protected
和恢复图像x
recovered
之间的相似度非常高，证明了该隐私保护方法对人脸图像的高可重用性。同时表明了面具人脸x
mask
和戴面具人脸 x
masked
之间的相似度非常高，证明了为人脸图像戴上面具时对受保护人脸图想造成的损伤很小。
[0139]
表3测试图像的客观参数的比较表
[0140][0141][0142]
表4展示了和同类方法的效果比较。该类高可重用性方法目前仅有you等人提出的一种保护隐私的可逆马赛克变换。显然，处理后的图像的视觉质量比本专利方法差得多。因此，我们只比较恢复的面部的质量。实验是使用的相同数据集上进行的。本专利方法比you等人的方法具有更好的恢复性能。根本原因是可逆网络架构的性能远远好于自动编码器。
[0143]
表4本发明与传统方法的效果对比表
[0144]
methodspsnrssimrmsemaeyou et.al36.670.98814.722.74proposed method52.020.9970.4410.45
[0145]
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明
的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。