一种抗梯度下降的隐私保护人脸识别方法

本发明涉及人工智能(ai)安全领域和数据安全领域，具体涉及一种抗梯度下降的隐私保护人脸识别方法，既可以保证人脸识别系统精度同时能够抵御重构攻击保护人脸隐私。

背景技术：

1、人脸识别是一种利用人脸进行生物特征识别的技术，广泛应用于安全领域。由于面部信息是一种独特的、极其难以改变的个体生物特征，一旦泄露就无法恢复，因此近年来，人脸识别的隐私问题越来越受到人们的关注。这使得保护人脸隐私变得越来越重要。许多商业面部识别系统直接存储原始人脸图片或者利用机器学习从人脸图片中提取的人脸特征。

2、当人脸图片泄露时，用户的隐私也就直接发生泄露。当人脸特征泄露时，由于人脸特征抑制了人脸的视觉信息，在一定程度上可以实现人脸隐私的保护。但不幸的是，这些泄露的特征仍然可以被利用来恢复人脸敏感信息，例如，通过重构网络恢复出原始图像的外观。现有的人脸隐私保护方法的技术问题在于无法有效地平衡隐私保护的有效性和人脸识别任务的准确性，因而无法满足应用需求。

技术实现思路

1、本发明就是针对现有技术的不足，提供了一种抗梯度下降的隐私保护人脸识别方法，兼顾人脸识别任务的准确性和隐私保护的有效性。

2、为了实现上述目的，本技术提供了以下技术方案：

3、本发明公开了一种抗梯度下降的隐私保护人脸识别方法，包含如下步骤：

4、1)频域通道分析阶段：

5、1.1)利用设计的辅助网络来衡量不同频率通道对人脸识别的重要性；

6、2)隐私保护人脸识别模型训练阶段：

7、2.1)若无人脸识别训练数据集，则建立人脸识别训练数据集，若已存在人脸识别训练数据集，则获取该人脸识别训练数据集，人脸识别训练数据集中包括rgb人脸图片和对应的身份标签；

8、2.2)将隐私保护人脸识别模型分为4部分，分别是视觉信息删除部分p(·)，随机混淆部分e(·)，身份信息恢复部分d(·)，人脸识别部分r(·)；

9、2.3)将人脸识别训练数据集中的rgb人脸图片输入给视觉信息删除部分p(·)，输出初步抗梯度下降特征f1；

10、2.4)将初步抗梯度下降特征f1输入给随机混淆部分e(·)，输出抗梯度下降特征f2；

11、2.5)将抗梯度下降特征f2输入给身份信息恢复部分d(·)，输出重恢复特征f3；

12、2.6)将重恢复特征f3输入给人脸识别部分r(·)，输出人脸身份预测值id；

13、2.7)利用人脸识别训练数据集中的rgb人脸图片和对应的身份标签并联合视觉信息删除部分p(·)、随机混淆部分e(·)、身份信息恢复部分d(·)，训练人脸识别部分r(·)；

14、2.8)完成训练后，将视觉信息删除部分p(·)和随机混淆部分e(·)作为客户端分发给用户，身份信息恢复部分d(·)和人脸识别部分r(·)则置于服务端；

15、3)初始化数据库阶段：

16、3.1)若无人脸识别数据库，则建立人脸识别数据库，若已存在人脸识别数据库，则获取该人脸识别数据库；

17、3.2)利用视觉信息删除部分p(·)将人脸识别数据库的人脸图片处理为初步抗梯度下降特征f1；

18、3.3)利用随机混淆部分e(·)将初步抗梯度下降特征f1处理为抗梯度下降特征f2，并用抗梯度下降特征f2组成面部特征数据库用以替代原有数据库；

19、4)系统运行阶段：

20、4.1)客户端从人脸识别终端获取的待验证的人脸图像，经过视觉信息删除部分p(·)将人脸识别数据库的rgb人脸图片处理为待验证人脸图像的初步抗梯度下降特征f1；

21、4.2)客户端利用随机混淆部分e(·)将待验证人脸图像的初步抗梯度下降特征f1处理为抗梯度下降特征f2，发送至服务端；

22、4.3)服务端利用身份信息恢复部分d(·)将待验证人脸图像的抗梯度下降特征f2处理为重恢复特征f3；同时将面部特征数据库中参照身份的抗梯度下降特征也输入身份信息恢复部分d(·)得到参照身份的重恢复特征

23、4.4)将待验证人脸图像的重恢复特征f3与参照身份的重恢复特征分别输入人脸识别部分r(·)，将输出的待验证人脸图像的人脸身份特征fid和参照身份的人脸身份特征进行比对，得到人脸识别结果，即输出人脸验证成功或失败。

24、作为进一步地改进，本发明所述的步骤1.1)中，设计的辅助网络为对每个频域通道赋权重的单层网络，所述的衡量不同频率通道对人脸识别的重要性操作可以分为：人脸图片灰度化、频域化及数量级统一操作bdct+(·)，辅助网络的权重训练操作两部分，该过程可以形式化表示为：

25、f0＝bdct+(x)，fα＝α*f0，

26、

27、其中x是单张rgb空间的原始人脸图片，是该人脸图片对应的身份标签，f0是先灰度化然后转化到频域空间的由频率通道组成的人脸特征，α是辅助网络的权重，fα＝α*f0是所述的辅助网络的计算方式，fα是包含待训练权重值的辅助特征，x是人脸图片数据集合，id是对应的身份标签集合，n是人脸数据集中样本数目，margin_loss是人脸识别领域通用的衡量精度的损失函数，rnorrmal(·)是普通的人脸识别网络，最终训练得到的辅助网络权重α将代表各个频域通道的重要性。

28、作为进一步地改进，本发明所述的步骤2.2)中，视觉信息删除部分p(·)包含将人脸图片进行灰度化并转化至频域空间操作bdct(·)、删除不重要频域通道操作del(·)两部分，该过程可以形式化表示为：

29、f1＝p(x)＝del(bdct(x))，

30、f0＝bdct(x)，f1＝p(f0)

31、其中f0表示频域空间的人脸特征，删除不重要频域通道操作del(·)，是按照不同频率通道对人脸识别的重要性排序，在保证人脸识别精度的同时删除对人脸识别不重要的通道，以得到初步抗梯度下降特征f1。

32、作为进一步地改进，本发明所述的步骤2.3)中，随机混淆部分e(·)包含标准化操作self_bn(·)，候选特征集合生成操作generate(·)，随机选择操作random_pick(·)三部分，该过程可以形式化表示为：

33、f2＝e(f1)＝random_pick(generate(self_bn(f1)))

34、f1′＝self_bn(f1)，

35、s＝generate(f1′)，

36、f2＝random_pick(s)

37、self_bn(·)会为每个频域通道计算单独的方差和均值，对每个频域通道进行单独标准化，得到标准化后的频域特征f1′∶

38、

39、其中，f1k表示初步抗梯度下降特征f1的c个频域通道中的第k个通道，mean为元素的均值，var为元素经过贝叶斯校正后的方差，δ为防止分母无穷大的偏置项；

40、generate(·)为候选特征集合生成方法，生成方法并不唯一，需要满足生成的集合中的特征需要彼此不相同，而且数值大小交错，以确保标准化后的频域特征f1′和候选特征集合s的一一对应关系：

41、∈1＝jm×n×c，all elements in j are(-1)u

42、

43、mask：∈←∈1⊙∈2，all elements in∈are(-1)u×bv

44、s＝generate(f1′)＝s(f1′，b)＝f1′⊙∈＝f1′×(-1)u×bv

45、其中∈为候选特征集合所在的特征空间，∈1和∈2为生成∈的中间变量，u，v是离散的随机变量，u，v不同的取值将得到不同的抗梯度下降特征，b是一个为初始化客户端从服务器获取的恒定值，s为输出的候选特征集合；

46、random_pick(·)是随机选择操作，即随机确定候选特征集合s中u，v的值，输出的值就是抗梯度下降特征f2。

47、作为进一步地改进，本发明所述的步骤2.4)中，身份信息恢复部分d(·)首先判断抗梯度下降特征f2所属的候选特征集合s，利用标准化后的频域特征f1′和候选特征集s的一一对应关系来近似恢复出标准化后的重恢复特征f3，对于抗梯度下降特征f2的每个通道都进行下面算法，其中对第i个通道进行的处理可以形式化表示为：

48、当max(|f2i|)＞0：

49、r＝round down(-logb max(|f2i|))，

50、di＝f2i×br+bias

51、当max(|f2i|)＝0：

52、di＝o

53、最后输出的重恢复特征f3可以表示为：

54、f3＝d(f2)＝{d1，d2...dc}

55、其中f2i代表抗梯度下降特征f2的第i个通道，|·|表示求绝对值，max(·)表示求最大值，rounddown(·)表示向下取整，bias为常数偏置项，di代表重恢复特征f3的第i个通道，o表示一个所有元素为0的矩阵，di＝d即相当于将di全部赋值为0。

56、作为进一步地改进，本发明所述的步骤2.5)中，人脸识别部分r(·)分为特征处理层r_p(·)和分类层r_fc(·)，该过程形式化表示为：

57、id＝r(f3)＝r_fc(r_p(f3))，

58、fid＝r_p(f3)，

59、id＝r_fc(fid)

60、其中特征处理层r_p(·)将重恢复特征f3进一步处理为512维的人脸身份特征fid，分类层r_fc(·)进一步输出人脸身份预测值id。

61、作为进一步地改进，本发明所述的步骤2.6)中，利用人脸图像数据集和对应的身份标签来训练人脸识别部分r(·)的过程形式化表示为：

62、

63、其中p(·)为视觉信息删除部分，e(·)为随机混淆部分，d(·)为身份信息恢复部分，r(·)为人脸识别部分，x是单张rgb空间的原始人脸图片，是该人脸图片对应的身份标签，x是人脸图片数据集合，id是对应的身份标签集合，n是人脸数据集中样本数目，margin_loss是人脸识别领域通用的衡量精度的损失函数。

64、作为进一步地改进，本发明所述的步骤4.3)中，将输出的待验证人脸图像的人脸身份特征fid和参照身份的人脸身份特征进行比对，得到人脸识别结果过程形势化为：

65、

66、其中cos(·)用以计算两个特征的余弦相似度，similarity为余弦相似度的具体值，当similarity大于动态计算出的阈值时将会判断两张图片是同一个人，否则判断为不同的人。

67、本发明的有益效果如下：

68、本发明涉及人工智能(ai)安全领域和数据安全领域，公开了一种抗梯度下降的隐私保护人脸识别方法。相较于现有的人脸隐私保护工作无法同时保证人脸识别任务的精度和不能对人脸重构攻击的有效防御的缺陷，本发明建立一种轻量级的保护隐私的人脸识别系统，通过频域从人脸图像中去除对人脸识别不重要的视觉信息，并在特征空间中生成进一步混淆的抗梯度下降特征，以抵抗基于深度学习的重建攻击中的梯度下降，可以在保持人脸识别准确性的同时抵御未知重构攻击，有效保护人脸隐私安全。具体来说，所述的步骤1.1)中，本发明首次分析归一化后的各个频域通道的重要性，发现可以在几乎不损失人脸识别的准确性的情况下删除90％以上的频率通道(相比之下，以前的方案最多只能去除50％的频率通道)，减少了频域特征中视觉信息，可以在不影响精度的情况下初步防御人脸重构攻击；所述的步骤2.3)和步骤2.3)中，本发明为不同的初步抗梯度下降特征f1设计了包含多个抗梯度下降特征f2的候选特征集生成方法，并确保不同候选特征集中的抗梯度下降特征f2在特征空间中是交错的，而不是重复的。特征空间中的交错性能使攻击者无法利用抗梯度下降特征f2来重构人脸图片，特征空间的不重复性使抗梯度下降特征f2中保留身份信息。本发明隐私保护能力比现有的隐私保护方法提高了90％左右，而人脸识别精度的损失可以忽略不计，另外完成人脸识别的时间开销和没有隐私防护功能的人脸识别系统相当，存储抗梯度下降特征的存储成本比没有隐私保护功能的人脸识别系统降低了33％。