一种基于缩略图保持的人脸隐私保护方法

本发明涉及图像处理领域，尤其涉及一种基于缩略图保持的人脸隐私保护方法。

背景技术：

1、随着科技的不断发展，拥有摄影功能的智能手机的普及率越来越高。人们可以随时随地方便地使用它们记录生活中的瞬间。然而，这些照片可能包含个人敏感信息，比如用户的人际关系，一些包含了个人信息的文件资料等。同时，云存储的快速发展使用户逐渐习惯于将智能手机中的信息，包括拍摄或保存的图像上传到一些云服务器上，如百度网盘。这个存储方案可以很好的避免用户硬件设备损害或丢失造成的信息丢失，但同时增加了上传到云端的用户隐私泄露的几率。2015年魅族云服务发生了用户信息泄露事件，用户的通讯录、短信、便签信息等被公开。上传到云端的图像同样曾被泄露，如2014年引起轰动的“好莱坞艳照门”事件。在这个重大隐私泄露事故中，数百名好莱坞演员上传到icloud云服务的私密照片被黑客窃取。2017年好莱坞再曝艳照门事件，此次事件同样是由于icloud中的图像遭到了泄露。最近，icloud宣布他们有权扫描用户上传的图像，而理由是为了识别图像中的儿童色情内容。

2、得益于深度卷积神经网络的发展，人脸识别相关的研究近些年取得了巨大的进展。最先进的人脸识别系统可以实现高达99.8％的识别精度，这个识别结果甚至优于人类。目前，人脸识别系统被广泛应用于设备认证、支付验证、访问控制系统等。然而，人脸识别系统是一把双刃剑。由于其不断更新迭代和广泛的被使用，人们开始担心有非法攻击者利用此工具获取私利。目前大量的图片会被用户上传到社交平台上，这些社交平台或第三方攻击者可能会使用人脸识别系统从用户中上传的图像中获得私人信息，比如用户的人际关系和家庭关系。例如，meta在用户未同意的情况下，从用户上传的图像中收集了人脸信息，并因此被用户起诉。人脸识别的发展给用户带来了便利的同时，也增加了用户对他们上传到云端的照片发生信息泄露的担忧。

3、保护图像不被人脸识别系统检测的一种常见的方法是对图像增加对抗性扰动。此方法基于神经网络的脆弱性，即模型可能会被添加了微小扰动的对抗性样本所迷惑，并输出错误的结果。这些扰动往往是人眼难以察觉的，但机器可能会将添加了扰动的图片中的人的身份对应到另一个人。

4、然而，除去上述人脸识别系统以外，没有先验知识的好奇的人类对手也可能尝试从图片中获得有价值的信息。例如，云存储服务的员工可能直接访问上传到云端的图片，并使用裸眼对其进行识别。通常对图像添加了裸眼难以察觉的扰动的方案则无法抵抗此类攻击。

5、针对这一类敌手，传统的图像加密可以有效的保护人脸图像隐私。比如传统的加密方案将图片加密成雪花状的图片，完全抹去了图像的隐私信息。然而，此类方案对图像进行保护的同时也带来了很多问题，比如用户若不对图像进行解密，就无法识别图像，这降低了加密图像的可用性；同时使用传统的基于数论的图像加密方案加密后的图像较大，对于拥有有限存储空间设备的用户无疑是不方便的。一些图像退化方案，如模糊、马赛克，也可以用于保护人脸图像隐私。然而这类方案通常是不可逆的，也就是用户无法从转换后的图像恢复到原始图像。这类方案可以用于保护社交网络上图像的隐私，但其不可恢复的特性对需要上传到网盘上的图像无疑是有巨大缺陷的。

6、为了在保护图像隐私的同时保持加密后图像的可用性，缩略图保持加密方案被提出。该方案在抹去了图像的细节信息的同时，保持加密后图像的缩略图和原始图像的缩略图相同，因此在一定程度上保留了图片的可用性。在此基础下，具有先验知识的图片拥有者可以通过加密后图像的缩略图对图像内容进行辨认，而没有先验知识的敌手则无法识别出图像中的内容。然而，在现有的缩略图保持加密方案中，当缩略图块较小时，现有的先进的人脸识别系统仍然可以对图像中的人脸进行识别。因此，现在需要一种新颖的图像保护方案，在保持图像可用性的同时，抵抗人类敌手和机器的识别。

技术实现思路

1、本发明所要解决的技术问题是针对背景技术中所涉及到的缺陷，提供一种基于缩略图保持的人脸隐私保护方法。

2、本发明为解决上述技术问题采用以下技术方案：

3、一种基于缩略图保持的人脸隐私保护方法，包括以下步骤：

4、步骤1)，从预设的人脸图像数据集celeba中的图像随机选择若干张图像作为正常人脸训练集traina，并对训练集traina中的图像进行缩略图保持加密生成训练集trainb，traina中的图像属于域a，trainb中的图像属于域b；

5、步骤2)，建立生成模型ga、生成模型gb、鉴别模型da、鉴别模型db、扰动生成模型h，其中，生成模型ga用于将训练集traina中的图像real_a转化为缩略图与原图像一致并抹去了细节信息的图像fake_b；扰动模型h用于生成微小扰动adv并将其叠加到fake_b上，以得到受保护的图像adv_fake_b；生成模型gb用于将生成的图像adv_fake_b进行还原并得到还原的原始图像rec_a；鉴别模型da用于鉴别生成的图像是否在a域内；鉴别模型db用于鉴别生成的图像是否在b域内；

6、步骤3)，使用损失函数对生成模型ga、生成模型gb、鉴别模型da、鉴别模型db、扰动生成模型h进行训练；

7、所述损失函数包含对抗损失lgan_a、身份一致性损失lidt_a、无扰动的缩略图一致性损失ltpe、对抗损失lgan_b、身份一致性损失lidt_b、循环一致性损失lcycle、对抗损失ld_a、对抗损失ld_b、有扰动的缩略图一致性损失ltpe_adv、对抗性损失ladv和扰动损失lper，其中：

8、所述对抗损失lgan_a为对生成模型ga进行约束的损失函数，使用鉴别模型db对ga生成的图像进行判断其是否属于域b，从而约束生成模型ga生成的图像属于域b；

9、所述身份一致性损失lidt_a用于将b域的图像送入ga后，约束ga输出的图像和输入图像尽可能相同；

10、所述无扰动的缩略图一致性损失ltpe用于约束ga生成的图像fake_b与ga接受的原始图像real_a的缩略图尽可能相同；

11、所述对抗损失lgan_b为对生成模型gb进行约束的损失函数，使用鉴别模型da对gb生成的图像进行判断其是否属于域a，从而约束生成模型gb生成的图像属于域a；

12、所述身份一致性损失lidt_b用于将a域的图像real_a送入gb后，约束gb输出的图像和输入图像尽可能相同；

13、所述循环一致性损失lcycle同时对生成模型ga和gb进行约束，用于约束输入到ga原始图像real_a和将ga输出的图像输入到gb后由gb输出的图像rec_a尽可能相同；

14、所述对抗损失ld_a为对鉴别模型da进行约束的损失函数，即鉴别器da对traina中的图片real_a和rec_a判断所在域的正确性对应的损失；

15、所述对抗损失ld_b为对鉴别模型db进行约束的损失函数，即鉴别器db对trainb中的图片real_b和fake_b判断所在域的正确性对应的损失；

16、有扰动的缩略图一致性损失ltpe_adv为对扰动生成模型h进行约束的损失函数，用于约束叠加了h生成的扰动的受保护图像adv_fake_b与原始图像real_a的缩略图尽可能相同；

17、所述对抗性损失ladv即用于约束叠加了扰动的图像adv_fake_b的人脸特征与原始图像real_a的人脸特征尽可能不同；

18、所述扰动损失lper用于约束h生成的扰动的大小；

19、步骤4)，使用生成模型ga和扰动生成模型h对需要保护的图像进行转化，生成缩略图保持且对人脸识别模型的攻击具有抵抗性的新图像；使用生成模型gb对新图像进行恢复，得到与原始图像基本一致恢复后的图像。

20、作为本发明一种基于缩略图保持的人脸隐私保护方法进一步的优化方案，步骤1)中对图像进行缩略图保持加密的详细步骤如下：

21、步骤1.1)，将图像划分为为(h/b)×(w/b)×3个缩略图块，每个缩略图块中有b×b个像素，其中，h为图像的高，w为图像的宽，3为图像的通道数,b×b为进行缩略图保持加密生成的图像的大小；

22、步骤1.2)，将每一个缩略图块中的像素作为一个b×b的二维数组，并将其降维变为长度为b×b的一维数组arr；

23、步骤1.3)，使用洗牌算法对所有一维数组arr进行随机置乱；

24、步骤1.4)，将随机置乱后的一维数组arr重新转化为大小为b×b二维数组，并将新数组元素重新放回缩略图块中。

25、作为本发明一种基于缩略图保持的人脸隐私保护方法进一步的优化方案，步骤3)中lgan_a、lgan_b、lcycle、lidt_a、lidt_b、ltpe的计算公式分别为：

26、lgan_a＝mseloss(db(fake_b),true)

27、lgan_b＝mseloss(da(rec_a),true)

28、lcycle＝l1loss(rec_a,real_a)

29、lidt_a＝l1loss(real_b,ga(real_b))

30、lidt_b＝l1loss(real_a,gb(real_a))

31、ltpe＝l1loss(thumbnail(fake_b),thumbnail(real_a))

32、式中，db(x)为把x送入鉴别器db后得到的结果；da(x)为把x送入鉴别器da后得到的结果；mseloss(x,y)指x与y的均方误差；l1loss(x,y)为x与y的l1距离；ga(real_b)为把real_b送入ga后得到的结果，gb(real_a)为把real_a送入gb后得到的结果；thumbnail(x)指x的缩略图；

33、针对生成模型ga、gb的损失函数

34、作为本发明一种基于缩略图保持的人脸隐私保护方法进一步的优化方案，步骤3)中ld_a、ld_b的计算公式分别为：

35、ld_a＝mseloss(da(real_b),true)+mseloss(da(fake_b),false)

36、ld_b)mseloss(db(real_a),true)+mseloss(db(rec_a),false)

37、针对生成模型da、db的损失函数ld＝ld_a+ld_b。

38、作为本发明一种基于缩略图保持的人脸隐私保护方法进一步的优化方案，步骤3)中ltpe_adv、ladv、lper的计算公式分别为：

39、ltpe_adv＝l1loss(thumbnail(adv_fake_b),thumbnail(real_a))

40、ladv＝cosine_distance(fr(adv_fake_b),fr(rdal_a))

41、lper＝l2loss(per)

42、式中，fr(x)为x的人脸特征，cosine_distance(x,y)为x,y的余弦距离；l2loss(x)为x的l2范数；

43、针对生成模型h的损失函数lh＝ltpe_adv+ladv+lper。

44、本发明采用以上技术方案与现有技术相比，具有以下技术效果：

45、本发明结合了视觉心理学研究，提出了一种基于缩略图保持的人脸隐私保护方法，使用对抗模型对图像进行可逆的转换，通过损失函数对生成模型的进行约束使得原始图像的缩略图和转换后的缩略图的图像一致，同时通过对抗学习将转换后的图像映射到想要的域上，并使用扰动生成模块生成扰动以阻止机器的识别。用户可以设置保持不同分辨率缩略图，以达到图像可用性和隐私性的平衡。当缩略块大小较大时，抹去的细节信息更多，图片保留的可用性更少；当缩略块大小较小时，抹去的细节信息更少，图片保留的可用性更多。值得注意的是，转换后的图像均拥有抵抗机器识别的能力，与设置的缩略图块大小无关。