双盲隐私保护的人脸检索方法与系统与流程

本发明属于人工智能和信息安全领域，尤其涉及一种双盲隐私保护下的儿童人脸检索方法及系统，尤其适用于儿童人脸检索领域。

背景技术：

据统计每天全世界范围内在美国、英国和德国分别有约46万、11.3万和10万的儿童失踪。基于人脸是区分个体之间的一个基本属性，为了找回失去的儿童，目前已经开发了一些有效的手段，例如通过失踪与受虐儿童援助中心(thecenterofmissing&exploitedchildren，cme)，失踪儿童的父母可以将包含失踪的时间地点及真正失踪儿童的照片信息发布，如果有人看到该失踪儿童则可以告知在哪里以及什么时间发现，从而能够帮助找回失踪儿童。

近年来，随着社交网络和移动手机的快速发展，通过热心人士在街上拍摄可疑失踪儿童的照片然后张贴到社交网络上正在成为一种找回失踪儿童的可行方式。尽管如此，这种方式会带来隐患，可疑失踪儿童照片的曝光可能造成隐私被侵犯，而真正失踪儿童则甚至存在被二次伤害的危险。因此，需要一种行之有效的方案，能够在有效找回失踪儿童的同时，保证两方的安全，既能避免可疑失踪儿童照片隐私泄露又能防止真正失踪儿童受到二次伤害。

早期的方法采用加密工具如安全多方计算、秘密共享、同态加密等进行安全环境下的视觉计算，这些方法取得了很好的安全性，但是通常要求云端保留原始照片，造成了隐私泄露，并且这些方法往往计算复杂度非常高；另外一类方法通过功能性加密提升系统的计算效率，但是要求提取的特征稳定以保证精度。

技术实现要素：

为克服现有技术的不足，本发明提供了一种双盲隐私保护的人脸检索方法及系统(doubleblindfinder)，通过低维多属性对人脸进行表征并采用盲人脸匹配，实现高效安全的人脸检索。在这里，双盲指的在客户端和云端的操作都是安全环境下进行的，可疑失踪人员(如可疑失踪儿童)以及真正失踪人员(如真正失踪儿童)图片的隐私在这两端都得到保护。

本发明方法和系统由客户端和云端实现，并涉及三方之间的交互：1)社交网络帮助者(socialnetworkhelpers,snh)，他们根据场景发现可疑的失踪人员如失踪儿童后拍摄照片，通过系统进行儿童人脸信息的标注、提取及加密上传到云服务器，这些信息组成了待检索的儿童人脸特征库。2)失踪人员亲属，如失踪儿童父母(parentsofmissingchildren,pmc)，他们可以将真正失踪儿童的照片通过系统进行信息标注、提取及加密上传到云服务器；另一方面，pmc还可以通过系统浏览与自己的真正失踪儿童相匹配的照片进行确认。3)失踪人员援助中心，如失踪与受虐儿童援助中心(cme)，产生密钥用于加密儿童人脸信息，对匹配与确认结果进行反馈，如果确认是真正失踪儿童，则执行援助，找回失踪儿童。

为解决上述技术问题，本发明通过以下技术方案来实现：

一种双盲隐私保护的人脸检索方法，包括以下步骤：

1)客户端检测包含可疑失踪人员的图像或者包含真正失踪人员的图像，得到人脸图像；

2)客户端对检测到的人脸图像进行特征提取，得到人脸表征向量；

3)客户端对人脸图像和提取得到人脸表征向量进行加密并上传到云服务器；以便云服务器利用人脸表征向量对可疑失踪人员的人脸图像信息与真正失踪人员的人脸图像信息在加密域上进行匹配，得到匹配结果，并将匹配结果解密成人脸图像；

4)客户端接收云服务器发来的根据匹配结果解密得到的人脸图像，确认是否是真正的失踪人员。

一种双盲隐私保护的人脸检索方法，包括以下步骤：

1)云服务器接收客户端上传的加密后的人脸图像和人脸表征向量；其中人脸图像是客户端检测包含可疑失踪人员的图像或者包含真正失踪人员的图像而得到，人脸表征向量是客户端对检测到的人脸图像进行特征提取而得到；

2)云服务器利用人脸表征向量对可疑失踪人员的人脸图像信息与真正失踪人员的人脸图像信息在加密域上进行匹配，得到匹配结果；

3)云服务器将匹配结果解密成人脸图像并发给客户端，以便客户端确认是否是真正的失踪人员。

进一步地，所述失踪人员为失踪儿童，客户端检测来自snh拍摄的包含可疑失踪儿童的图像或者来自pmc提供的包含真正失踪儿童的图像，得到儿童人脸图像；云服务器对来自snh的儿童人脸图像信息与来自pmc的儿童人脸信息在加密域上进行匹配，得到匹配结果；pmc的客户端接收云服务器发来的根据匹配结果解密得到的人脸图像，确认是否是自己的真正失踪儿童。

进一步地，所述客户端采用多属性的人脸识别器，提取得到人脸的身份向量以及两个辅助的属性，即性别和年龄。

进一步地，所述客户端采用以下子步骤对包含可疑失踪人员的图像进行加密：

a)采用根据可疑失踪人员的图像提取到的多属性特征向量和失踪人员援助中心提供的公共参数，产生一对公钥pkf和pki；

b)采用pkf对匹配标记f进行加密，形成密文标记cf；

c)对可疑失踪人员人脸图像采用pki进行加密，形成密文图像ci；

d)将密文标记cf和密文图像ci上传到云服务器。

进一步地，所述客户端采用根据真正失踪人员照片提取到的多属性特征向量和失踪人员援助中心提供的主密钥，产生一对私钥skf和ski，这两个私钥返回给失踪人员亲属。

进一步地，所述云服务器采用盲匹配算法在加密域将skf与云服务器中的每个密文标记cf进行检索匹配；如果匹配，则将对应的密文图像ci推送给失踪人员亲属，并采用ski进行解密，得到解密图像i；以便失踪人员亲属对解密图像i进行检查确认是否是真正失踪人员。

进一步地，所述云服务器采用安全内积算法进行匹配，包括以下步骤：

a)输入公钥pkf、私钥skf、密文标记集{cf}以及匹配分数阈值范围；

b)对每个密文标记cf进行逐个比较检索，具体是对分数阈值t在阈值范围内由小到大进行循环，对每个阈值t，利用该阈值下的密文标记cf,t解密得到密文m；

c)判断该密文m是否属于可疑失踪人员，如果是则停止训练，将该密文m对应的信息加入匹配列表。

一种用于双盲隐私保护的人脸检索的客户端，其包括；

人脸检测模块，负责检测包含可疑失踪人员的图像或者包含真正失踪人员的图像，得到人脸图像；

人脸特征提取模块，负责对检测到的人脸图像进行特征提取，得到人脸表征向量；

人脸信息加密模块，负责对人脸图像和提取得到人脸表征向量进行加密并上传到云服务器。

一种用于双盲隐私保护的人脸检索的云服务器，其包括；

盲匹配模块，负责接收所述客户端上传的加密后的人脸图像和人脸表征向量，并对可疑失踪人员的人脸图像信息与真正失踪人员的人脸图像信息在加密域上进行匹配，得到匹配结果；

匹配确认及处理模块，负责将匹配结果解密成人脸图像并发给所述客户端，以便所述客户端确认是否是真正的失踪人员。

一种双盲隐私保护的人脸检索系统，其包括上面所述的客户端和云服务器。

本发明的有益效果在于：

针对隐私保护下的失踪人员人脸检索问题，尤其是双盲隐私保护下的儿童人脸检索问题，本发明的检索方法及系统具有良好的隐私保护性、较高的精度以及处理速度，能够提供行之有效的失踪人员如失踪儿童的找回方案。

附图说明

图1为本发明实施例中双盲隐私保护的儿童人脸检索方法的流程图。

图2为本发明实施例中儿童人脸处理流程图。

图3为本发明实施例中多属性人脸识别的深度学习网络结构示意图。

图4为本发明实施例中盲匹配流程图。

具体实施方式

为使本发明的上述方案和有益效果更明显易懂，下文通过实施例，并配合附图作详细说明。

本实施例以儿童人脸检索为例，提供一种双盲隐私保护的儿童人脸检索方法以及实现该方法的系统。该方法包括以下步骤：

对snh拍摄的可疑失踪儿童照片采用预先训练好的人脸检测器进行人脸检测，并采用预先训练好的人脸识别器对检测到的儿童人脸提取多属性特征向量；

采用提取到的多属性特征向量和cme提供的公共参数，产生一对公钥pkf和pki。其中公共参数可以是一个全为1的向量，也可以是其它合适的形式。

采用pkf对匹配标记f进行加密，形成密文标记cf；f是一个二值标量，标记是否匹配；

对snh拍摄的可疑失踪儿童人脸图像采用pki进行加密，形成密文图像ci；

将密文标记cf和密文图像ci上传到共有云；

对pmc提供的真正失踪儿童照片采用预先训练好的人脸检测器进行人脸检测，并采用预先训练好的人脸识别器对检测到的儿童人脸提取多属性特征向量；

采用提取到的多属性特征向量和cme提供的主密钥，产生一对私钥skf和ski，这两个私钥返回给pmc；

采用盲匹配算法在加密域将skf与共有云中的每个密文标记cf进行检索匹配；

如果匹配，则将对应的密文图像ci推送给pmc，并采用ski进行解密，得到解密图像i；

pmc对解密图像i进行检查确认是否是自己的真正失踪儿童。

本实施例的双盲隐私保护的儿童人脸检索系统，包括客户端和云服务器，其中客户端包含儿童人脸检测模块、儿童人脸特征提取模块、儿童人脸信息加密模块，云服务器包含盲匹配模块和匹配确认及处理模块，如图1所示。采用该系统进行儿童人脸检索的具体过程包括：

1)接收图像。

这些图像来自snh拍摄的包含可疑失踪儿童的图像或者来自pmc提供的包含真正失踪儿童的图像。

2)通过客户端的儿童人脸检测模块检测得到儿童人脸图像。

儿童人脸检测模块首先采用预先训练好的级联多任务卷积神经网络人脸检测器进行自动的人脸检测，得到儿童人脸候选并在用户界面上向snh或pmc展示，这些人脸候选中可能包含了成人人脸、质量较低(如姿态变化大、过于模糊等)的儿童人脸，这些人脸不利于儿童人脸检索，因此snh或pmc通过交互方式选择质量较高(如朝向较为正面、比较清晰)的儿童人脸候选，得到儿童人脸图像。人脸检测器通过级联3个多任务卷积神经网络组成，每个多任务卷积神经网络包含3个卷积层和1个全连接层，预测3个任务：分类任务判断是否是人脸，2个回归任务分别预测人脸框位置和5个人脸关键点位置。

3)通过客户端的儿童人脸特征提取模块对检测到的儿童人脸图像进行特征提取，得到儿童人脸表征向量。

儿童人脸特征提取模块采用多属性的人脸识别器实现，提取得到儿童人脸的身份向量以及两个辅助的属性，即性别和年龄。

4)通过儿童人脸信息加密模块对儿童人脸图像及相关信息进行加密上传到共有云。

儿童人脸信息加密模块对来自snh和pmc的儿童人脸图像采用不同的方式处理。对来自snh的儿童人脸图像，采用公钥pki进行加密，pki由提取的多属性特征向量和cme提供的公共参数产生；对来自pmc的儿童人脸图像，采用公钥ski进行加密，ski由提取的多属性特征向量和cme提供的主密钥产生。

5)通过盲匹配模块对来自snh的儿童人脸图像信息与来自pmc的儿童人脸图像信息在加密域上进行匹配，得到匹配结果。

盲匹配模块通过安全内积算法对人脸特征进行比较匹配，得到匹配结果。

6)匹配确认及处理模块将匹配检索到的结果解密成儿童人脸图像并向pmc展示，pmc通过浏览匹配的儿童人脸图像，确认是否是自己的真正失踪儿童。如果是，则通知cme进行处理。

如图2所示是儿童人脸处理的流程。本发明在客户端设计了一个交互界面用于提升儿童人脸的检测、识别、确认性能。首先，在客户端(例如手机等带有摄像头和移动网络的便携式设备)，儿童人脸通过预先训练好的人脸检测器被检测并交互选择得到；然后儿童人脸通过儿童人脸特征提取模块被描述成一个包含多属性的向量，该向量由128维的身份向量、2维的性别概率向量和1维的年龄标量组成，身份向量、性别概率向量、年龄标量都通过量化和定点化处理，年龄标量以月为单位进行度量；接着，儿童人脸的特征信息、人脸图像信息被加密处理并上传到云端；然后，在云端，来自pmc的儿童人脸通过安全比对在来自snh的儿童人脸特征库中进行检索，得到匹配结果；再接着，匹配结果被返回给pmc，进行解密后得到匹配的儿童人脸图像，pmc对这些匹配的儿童人脸图像进行浏览并确认是否是自己真正失踪的儿童；最后，如果检索到自己真正失踪儿童，则通知cme中心进行找回处理。

如图3所示，为了提取到具有强判别能力且高效稳定的儿童人脸特征，本发明的儿童人脸特征提取模块采用一个多任务深度卷积神经网络，网络包含3个任务：人脸身份分类任务、性别分类任务和年龄回归任务。进一步地，本发明提取到的身份特征是低维定点化的，这保证了安全环境下的检索效率。该网络主要由3×3的卷积层组成，1×1的卷积层被放置于3×3的卷积层之间或者最大池化层与3×3的卷积层之间，减缓特征图通道数目的逐渐增加，增强网络的非线性能力，并降低推理内存；另外，全局平均池化层被用于进行预测处理，最大池化层用于降低特征维度。最终，该网络包含10个卷积层、3个最大池化层、1个全局平均池化层和2个全连接层。从而，得到的网络参数量为0.79m，因此网络的处理效率很高。图3中p表示输入人脸图像的边长，d表示要蒸馏的特征向量维度，身份层用于压缩人脸特征到更低维度，softmax层用于计算属于各类的概率。

如图4所示，在云端执行儿童人脸的检索。为了保证隐私安全，本发明采用盲匹配实现。具体地，本发明采用安全内积算法，对来自pmc的真正失踪的儿童人脸特征与来自snh的可疑失踪的儿童人脸特征进行匹配，在加密域上完成人脸特征的匹配。首先，算法的输入为公钥pkf、私钥skf、密文标记集{cf}以及匹配分数阈值范围[ts,ts]；通常地，匹配分数阈值范围根据经验预先在系统中设定；然后，对每个密文标记cf进行逐个比较检索，具体是对分数阈值t在阈值范围内由小到大进行循环，对每个阈值t，利用该阈值下的密文标记cf,t解密得到密文m，然后判断该密文是否属于可疑失踪儿童，如果是则停止训练，将该密文对应的信息加入匹配列表。图4中smc表示可疑失踪儿童。

采用本发明的人脸检索方法和系统，在儿童人脸数据集上进行了实验，测试方法在返回前k个检索结果的精度，结果表明，在k＝20的时候，精度达到98.5％。这表明了该方法的有效性。

另外，还测试了本发明方案在盲匹配方面的计算效率，在单核单线程条件下，从pmc获取私钥的时间为0.14秒，从snh进行照片上传的时间为0.18秒，人脸盲匹配的时间为39秒。考虑到使用多线程运行，分层匹配策略和分布式部署，pmc在发出一个请求后，大概15分钟内可以收到检索结果，这表明了该方法的实用性。

以上以儿童人脸检索为例说明了本发明方法的实施过程，需说明的是，本发明方法是一种通用的人脸检索方法，不仅限于儿童的人脸检索，也适用于成人的人脸检索，即用于找回失踪的成人。此外，本发明的人脸检测模块、人脸特征提取模块采用的神经网络结构也不限于上述实施例中的结构，也可以采用其他适用的结构形式。

以上实施仅用以说明本发明的技术方案而非对其进行限制，本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明的精神和范围，本发明的保护范围应以权利要求书所述为准。