人脸静默活体检测方法、装置、可读存储介质及设备与流程

1.本发明涉及人脸识别领域，特别是指一种人脸静默活体检测方法、装置、可读存储介质及设备。


背景技术：

2.近年来，人脸识别以获取方便、非接触等优点，深受人们喜爱，广泛应用于金融、安全等领域。但也正因为其容易获取，容易被他人所利用，以打印照片或者拍摄视频等方式制作假体人脸，攻击人脸识别系统，从而冒名通过。所以，基于人脸图像的活体检测极其重要，是人脸识别的前提保障。
3.目前，常见的人脸活体检测技术有两类：用户配合式活体检测和静默活体检测。用户配合式活体检测，是指活体检测系统随机发送多个面部动作指令，要求用户在规定时间内做出顺序回应动作，系统判断用户回应动作是否准确，从而给出是否为活体人脸的判断。静默活体检测，是指用户在无感知的情况下，不动声色地完成活体检测任务。从两种活体检测定义中可以直观地看出，人脸静默活体检测打破了配合式活体检测的“完成指定动作＝我是活体”的公式，不需要用户配合，更具人性化，检测速度快且用户体验佳。
4.目前，主流的人脸静默活体检测方法大致可分为：传统人工设计分类特征的方法和基于深度学习的方法。
5.(一)基于传统人工设计特征的活体检测
6.早期人脸静默活体检测目标很明确，找到活体和非活体攻击图像的差异，设计极具针对性的特征，训练活体人脸和非活体人脸分类器。这种差异通常表现为成像的纹理差异(如摩尔纹)、颜色差异(不同颜色空间颜色分布不同)，以及从连续帧图像分析脸部微小动作的非刚性变化等。针对这些差异，一般设计不同参数的lbp特征、gabor特征等。最后，基于机器学习方法训练活体和非活体特征分类器，特征分类器一般为svm等分类器。
7.人工设计特征受制于设计者的先验知识，并且需要反复实验和调整，找到有效的人工特征，这需要耗费很长时间。另外，随着科技的发展，各电子产品镜头成像极其细腻，同时美颜相机的兴起，淡化了成像的纹理差异，导致人工设计特征分类困难。
8.(二)基于深度学习的活体检测
9.深度学习处理人脸活体检测任务时，将其看为二分类或多分类任务，以大量的活体和非活体人脸数据为驱动，自动学习能够有效判别活体和非活体的特征。二分类是将所有假体攻击成像分为一类，多分类是将假体攻击按照攻击类别分类，如打印类攻击、屏幕类攻击、面具类攻击等。
10.通常，越复杂的神经网络(更深更宽的网络结构)，对训练数据集具有更好的知识提取。同样，设计宽而深的网络，能够简单直接地提升人脸静默检活的准确率。但复杂的网络存在几个弊端：
11.1.更复杂的网络意味着更多的参数，需要更多的计算资源，限制了算法的速度性能，难以在智能终端和嵌入式设备上部署。
12.2.假体攻击方式多样，数据收集困难，面对新型攻击，通常需要重新训练神经网络或对神经网络进行fine-tuning(微调)，单一网络难以应对众多攻击类型。


技术实现要素：

13.为解决现有技术的人脸静默活体检测方法效率低、稳定性不高的缺陷，本发明提供一种人脸静默活体检测方法、装置、可读存储介质及设备，采用深度学习的方法，使用多个浅层网络级联的方式进行人脸静默活体检测，提高了活体检测的准确率和效率，大幅提升算法的稳定性。
14.本发明提供技术方案如下：
15.第一方面，本发明提供一种人脸静默活体检测方法，所述方法包括：
16.获取待检测人脸图像并进行预处理；
17.将预处理后的人脸图像输入预先训练的多级联网络，判断人脸图像是否为活体；
18.其中，多级联网络包括前后级联的多级神经网络，每级神经网络用于一个假体攻击类型的活体判断，当当前级神经网络判断为活体时进入下一级神经网络，当任一级神经网络判断为假体时则判断人脸图像为假体，当最后一级神经网络判断为活体时则判断人脸图像为活体。
19.第二方面，本发明提供一种人脸静默活体检测装置，所述装置包括：
20.获取模块，用于获取待检测人脸图像并进行预处理；
21.检测模块，用于将预处理后的人脸图像输入预先训练的多级联网络，判断人脸图像是否为活体；
22.其中，多级联网络包括前后级联的多级神经网络，每级神经网络用于一个假体攻击类型的活体判断，当当前级神经网络判断为活体时进入下一级神经网络，当任一级神经网络判断为假体时则判断人脸图像为假体，当最后一级神经网络判断为活体时则判断人脸图像为活体。
23.第三方面，本发明提供一种用于人脸静默活体检测的计算机可读存储介质，包括用于存储处理器可执行指令的存储器，所述指令被所述处理器执行时实现包括第一方面所述的人脸静默活体检测方法的步骤。
24.第四方面，本发明提供一种用于人脸静默活体检测的设备，包括至少一个处理器以及存储计算机可执行指令的存储器，所述处理器执行所述指令时实现第一方面所述的人脸静默活体检测方法的步骤。
25.本发明具有以下有益效果：
26.本发明使用多级神经网络分别负责不同类型假体攻击的判断，相比于现有技术中使用一整个复杂的网络进行活体判断的方式，本发明通过级联的方式，不仅可以分而治之，同时也能灵活部署。并且每一级神经网络均为浅层网络，网络参数少，训练时需要的计算资源少，并且一旦某一级网络判断为假体，就不用进行后续的判断，识别的处理速度快，容易在智能终端和嵌入式设备上部署。
27.针对新的假体攻击类型，可以方便快速地以该假体攻击类型数据训练新的浅层网络，在已有的级联网络上级联，不用重新训练整个网络，提高了稳定性。或者新的假体攻击类型如果可以合并至已有的类型中，只需要对已有的类型对应的网络进行微调即可，也不
用重新训练整个网络。
附图说明
28.图1为本发明的人脸静默活体检测方法的流程图；
29.图2为本发明的多级联网络的训练流程图；
30.图3为本发明的人脸静默活体检测方法中的预处理过程示意图；
31.图4为多级联网络中每级神经网络各自独立的情况下的第一级神经网络net1的结构示例图；
32.图5为多级联网络中每级神经网络各自独立的情况下的第二级神经网络net1的结构示例图；
33.图6为每级神经网络共用相同的浅层网络结构的情况下的多级联网络的结构示例图；
34.图7为两级级联网络进行活体检测的过程示意图；
35.图8为本发明的人脸静默活体检测装置的示意图；
36.图9为本发明的人脸静默活体检测装置训练模块的示意图。
具体实施方式
37.为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例对本发明的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
38.实施例1：
39.本发明实施例提1供一种人脸静默活体检测方法，如图1所示，该图1为本发明的人脸静默活体检测方法的流程图，所述方法包括：
40.s100：获取待检测人脸图像并进行预处理。
41.本发明的人脸静默活体检测方法可用于近红外人脸图像，也可用于可见光人脸图像，当采用近红外设备采集图像时，获取的是近红外人脸图像，其中，近红外设备可以包含一组中心波段为850nm或者940nm的近红外灯和一个增加滤光片的镜头，其中滤光片只通过850nm或者940nm波段的近红外光。
42.在本步骤中，对待检测人脸图像的预处理的目的是为了获得对齐并且尺度统一的人脸图像。对待测人脸图像进行预处理可以包括人脸检测、关键点定位和归一化等。其中，人脸检测方法可以采用ssd、craft，adaboost中的任意一种，关键点定位方法可以采用tdcnn或者sdm重得任意一种，最后可以采用双线性插值的归一化方法将获取的人脸关键点对齐到同一个位置。
43.s200：将预处理后的人脸图像输入预先训练的多级联网络，判断人脸图像是否为活体。
44.其中，多级联网络包括前后级联的多级神经网络，每级神经网络用于一个假体攻击类型的活体判断，当当前级神经网络判断为活体时进入下一级神经网络，当任一级神经网络判断为假体时则判断人脸图像为假体，当最后一级神经网络判断为活体时则判断人脸图像为活体。
45.在日常生活和工作中，通常用于攻击人脸识别系统的非活体来源主要有以下几种情形：
46.1)、屏幕显示类：手机、pad及笔记本等屏幕类设备内显示的的人脸图像和视频。
47.2)、二维打印类：在二维材质上打印的照片，其中二维材质主要有打印纸、相片纸、铜版纸等，照片颜色有彩色和黑白，图像形状有完整的人脸图像、扣掉眼睛或者鼻子或者嘴巴区域的人脸图像。
48.3)、三维面具类：一般为3d面具，普通的有塑料材质，高仿的有类似人皮的材质等。
49.其中，二维打印类易于通过网络识别，而屏幕显示类或者三维面具类这种假体攻击较难识别。
50.针对以上三种假体攻击类型，可以为每一种假体类型对应一级神经网络。也可以将某两类假体攻击类型合并为一类，合并后的一类假体攻击类型对应一级神经网络，合并时，可以根据活体判断难易程度或攻击手段相似度等进行，活体判断难易程度接近，攻击手段相似的优先合并。以上三种假体攻击类型中均包括多种情况，还可以将其中的一种或几种情况拆分出来作为单独一个新的假体攻击类型，拆分时也可以根据活体判断难易程度或攻击手段相似度等进行。
51.本发明的假体攻击类型不限于以上举例的三种，也不限于其组合和拆分方式，其他未列举的假体攻击类型也在本发明的保护之内。
52.人脸静默检活任务是二分类任务，分为活体和非活体(假体)。本发明以神经网络级联的形式，以分治的思想，将人脸静默活体检测任务进行分解：将真实人脸和众多假体攻击类型人脸的分类，分解成多个单一假体攻击类型人脸(或几个相似的合并在一起)和真实人脸的二分类任务，多级联网络的每级神经网络应对其中一个假体攻击类型的假体人脸攻击判断。人脸图像输入多级联网络后，每一级神经网络以递进的方式先后进行活体判断，只有当前级网络判别为活体时才能进入下一级网络，否则直接返回假体并结束，所有网络判定为活体时才能认为人脸图像为活体。
53.本发明具有以下有益效果：
54.本发明使用多级神经网络分别负责不同类型假体攻击的判断，相比于现有技术中使用一整个复杂的网络进行活体判断的方式，本发明通过级联的方式，不仅可以分而治之，同时也能灵活部署。并且每一级神经网络均为浅层网络，网络参数少，训练时需要的计算资源少，并且一旦某一级网络判断为假体，就不用进行后续的判断，识别的处理速度快，容易在智能终端和嵌入式设备上部署。
55.针对新的假体攻击类型，可以方便快速地以该假体攻击类型数据训练新的浅层网络，在已有的级联网络上级联，不用重新训练整个网络，提高了稳定性。或者新的假体攻击类型如果可以合并至已有的类型中，只需要对已有的类型对应的网络进行微调即可，也不用重新训练整个网络。
56.因此，本发明采用深度学习的方法，使用多个浅层网络级联的方式进行人脸静默
活体检测，提高了活体检测的准确率和效率，大幅提升算法的稳定性。
57.本发明中，根据每个假体攻击类型进行活体判断的难易程度，按照从易到难的顺序将各级神经网络前后级联。
58.本发明以分治的思想，将人脸静默活体检测任务从易到难分解，这种难易程度亦可分根据假体攻击类型的不同进行划分，一般的，二维打印类攻击容易判别，屏幕显示类、三维面具类较难判别。设计每个层级网络处理单一攻击类型数据，最后按照活体判断的难易程度从易到难级联。
59.本发明的每一级神经网络均为浅层网络，但是同为浅层网络，网络结构也有所不同，容易判别的假体攻击类型，需要的神经网络结构相对简单，因此放到级联网络的前端，级联后端的网络用于较难的活体检测任务，相对于级联前端的网络复杂，网络较深，网络输入分辨率也较大。
60.由于二维打印类相对于屏幕显示类和三维面具类更容易判别，因此示例性的，可以通过设计和训练更小的网络，判别二维打印类攻击，并将其放置级联网络的第一级，快速判别；设计和训练相对第一级网络较复杂的网络，用于判别屏幕显示类或三维面具类的攻击。
61.本发明从易到难的级联方式具有以下优点：级联前端网络相对于级联后端网络，更加轻量化，快速筛选容易判别的假体人脸，后端以更大的输入和较深的网络，判别较难判别的假体人脸。
62.本发明将级联网络的活体检测速度和准确度做到极致：级联网络中的前端网络使用较小尺度的输入和较浅的网络，实现快速分类容易区分的假体人脸；级联后端网络可以使用含有更多细节信息的大分辨率图像，配合较深的网络结构挖掘更多更好的区分真假人脸的特征。
63.当出现新假体攻击类型时，具体的处理方式如下：
64.若新假体攻击类型能够合并到已有的假体攻击类型，则重新训练或微调(fine-tuning)合并后的假体攻击类型对应的神经网络。
65.若新假体攻击类型不能合并到已有的假体攻击类型，则设计用于对新假体攻击类型进行活体判断的新神经网络，并根据新假体攻击类型进行活体判断的难易程度，将新神经网络插入所述多级联网络的目标位置。
66.本发明在判断新假体攻击类型是否能够合并到已有的假体攻击类型中时，不限制具体的判断方法，示例性的，可以根据新假体攻击类型与已有的假体攻击类型的攻击手段是否相似来判断是否合并，或者根据新假体攻击类型与已有的假体攻击类型的活体判断难易程度是否接近来判断是否合并，若攻击手段相似或难易程度接近，则进行合并，否则不进行合并。
67.神经网络的输入是基于人脸特征点的归一化人脸，在实际应用场景中，因光照、姿态等影响，经常会造成特征点定位不是很准确，从而影响模型活体和非活体分类的稳定性。
68.为解决上述问题，本发明的每级神经网络均为全卷积网络；训练时，多级联网络的训练样本包括人脸信息以及人脸周围部分的背景信息，该多级联网络训练时，将训练样本随机裁剪(crop)后输入多级联网络进行训练。
69.本发明在离线学习任务中，通过随机crop的方式增加网络的鲁棒性，在一定程度
上缓解了光照、姿态的影响。
70.虽然通过随机crop可以增加一定的鲁棒性，但是面对实时的活体检测任务时，受光照和姿态影像的问题依然突出，为进一步解决该问题，本发明的预处理包括：
71.对人脸图像进行人脸检测、人脸特征点定位和人脸归一化，得到预处理后的人脸图像，所述预处理后的人脸图像包括人脸信息以及人脸周围部分的背景信息。
72.预处理后的人脸图像的大小可以与训练样本的大小不同，也可以相同，本发明对此不做限定，优选的，预处理后的人脸图像的大小大于训练样本随机裁剪后的大小。
73.本发明s200中将预处理后的人脸图像输入预先训练的多级联网络后，通过滑动窗口的方式从预处理后的人脸图像上获取一组子图像，所有子图像经过某一级神经网络的处理，得到一组活体分值，对该组活体分值进行统计，得到该级神经网络的活体判断结果。
74.具体的，假定人脸归一化后人脸框的分辨率为m*m，将人脸框上下左右向外扩展包含背景信息，分辨率为n*n，即为到预处理后的人脸图像的大小。训练时，假设训练样本的大小同样为n*n，在n*n分辨率的训练样本在线进行随机crop得到m*m大小的训练样本子块用于训练。
75.本发明级联的所有神经网络使用全卷积网络，活体检测时，使用n*n分辨率的预处理后的人脸图像作为输入，经过全卷积网络获取得到一组活体分数，对该组分数以统计方式判定是否为活体人脸，统计的具体实现方式可以是投票等，本发明对此不做限定。
76.本发明使用全卷积网络，并且对训练样本进行随机crop以及对预处理后的人脸图像进行滑动窗口选取子图像，其具有如下有益效果：
77.1.网络以随机crop的方式进行，对训练样本进行裁剪，使得训练得到的网络更具鲁棒性。
78.2.本发明预处理后的人脸图像覆盖人脸周围部分背景区域，能够帮助更容易识别假体攻击。具体原理说明如下：
79.活体检测网络输入依赖人脸标定，但这个标定不能达到时刻保持精准，同时因遮挡、姿态问题，不能总得到标准的正面人脸，这些偏差容易导致活体得分不稳定。为此，本发明在活体检测时输入相对训练时更大分辨率的人脸图像，在包含背景的预处理后的人脸图像上，以类似于人脸检测滑动窗口的形式，得到一组活体分值，更加适应实际场景中因客观因素(光照，姿态等)造成人脸标定不准的情况，以极大地降低光照，姿态等不稳定因素的干扰，缓解了光照、姿态等干扰带来的算法判别真假人脸的不稳定，同时对背景和人脸关系分析，更利于假体判别。
80.3.本发明训练和检测时输入网络的图片(随机裁剪后的训练样本以及预处理后的人脸图像)大小不同，本发明使用全卷积网络，可以接受任意分辨率的图像，以适应不同分辨率的图像输入，使输入更加灵活。并且全卷积网络可以减少全连接层参数，加速活体检测速度。
81.4.本发明以类似人脸检测滑动窗口的形式，统计一组活体分数，以统计值判定最终结果，相对于单一分数，使得判定结果更具有说服力。
82.在级联形式上，本发明涉及两种思路，一是多级联网络中每级神经网络各自独立，二是每级神经网络共用相同的浅层网络结构，然后基于共用的浅层网络结构进行各自分支网络，级联后端网络设计较大较深的分支网络结构。
83.如图2所示，所述多级联网络通过如下方法训练得到：
84.s100’：为每级神经网络构造数据集，每级神经网络的数据集中负样本的假体攻击类型为该神经网络对应的假体攻击类型。
85.假设多级联网络包括net1和net2两级，将训练样本中的负样本(即假体数据)按照攻击种类或者攻击方式的难易程度分成两类，为net1和net2构造数据集，记为data1、data2，其中data1为相对易判别的数据集，data2为较难判别的数据集，例如data1可以为二维打印类假体攻击图像形成的数据集，data2可以为屏幕显示类或者三维面具类假体攻击图像形成的数据集。
86.s200’：若每级神经网络各自独立，则对每级神经网络单独训练，每级神经网络的训练数据为该神经网络及其之前的神经网络的数据集的合集。
87.具体的，训练net1时，使用data1，训练net2时使用data1+data2。
88.s300’：若每级神经网络共用相同的浅层网络结构，则使用第一级神经网络的数据集训练整个多级联网络，冻结共用的浅层网络结构的参数，然后对除第一级神经网络之外的各级神经网络的非共用部分进行微调，各级神经网络的非共用部分微调时的训练数据为该神经网络及其之前的神经网络的数据集的合集。
89.具体的，首先使用data1训练整个级联网络，再冻结网络共有部分参数，用data1+data2微调data2的网络分支。
90.本发明根据假体攻击类型不同，将训练数据进行分类，进而训练出针对不同数据源的级联网络，提高了人脸静默活体检测的准确率、鲁棒性、检测速度快。
91.本发明中，级联的各级神经网络可选择同等大小网络输入，也可为了提升速度性能，在前级神经网络可采用相对较小的网络输入，级联后端神经网络选择较大输入。
92.由于更深的网络具有更优越的表现，但推理速度明显下降。本发明中，每级神经网络共用相同的浅层网络结构，然后分支进行各网络特征提取，级联后端的分支网络比级联前端的分支网络具有更加复杂的结构。可以利用级联前端网络共用部分的特征图(featuremap)作为级联后端网络的输入，减少级联后端网络的计算量，相对于各级网络完全独立的方式，这种方式能够使得级联后端网络的结构更复杂，深度更高。
93.下面以具体的实现示例对本发明进行详细阐述，为了方便表述，本示例设计级联网络为net1和net2两级级联。当然，多级联网络除了两级神经网络，还可以采用三级以上的神经网络，其分类检测的原理和方法均与两级神经网络的分类检测的原理和方法相同，不再举例说明。
94.(一)人脸图像预处理
95.人脸图像预处理包括人脸检测、人脸特征点定位和人脸归一化三个步骤。
96.本示例使用mtcnn检测算法，实现人脸检测和人脸特征点定位。人脸特征点共5个，左眼、右眼、鼻子、左嘴角、右嘴角。需要说明的是，人脸检测和人脸特征点定位方法不限于本示例选择的mtcnn算法，人脸检测方法还可以是harr-adaboost、ssd、faster rcnn、centernet等，人脸特征点定位方法还可以是sdm、lbf、lab等。
97.人脸归一化包含人脸对齐和人脸缩放，归一化大小为112*112，双眼坐标对齐到(38,52),(74,52)。具体流程如图3所示。训练时，本示例使用96*96大小图像作为输入，在112*112的人脸样本上经过8像素平移，生成9个96*96图像用作训练。
98.在活体检测时，使用112*112的预处理后的人脸图像输入级联神经网络进行推理，由于网络是全卷积网络(最后一层为卷积层，如此网络能够适用不同大小的图像输入)，以滑动窗口的方式生成3*3个分数，用于投票统计活体得分，从而缓解由于定位偏差导致的活体检测不稳定现象。
99.(二)人脸活体检测
100.本发明网络设计使用两种方式，一是各级神经网络各自独立，参见图4、图5，二是各级神经网络共享较低层参数，参见图6。
101.训练阶段，将训练样本中的负样本(即假体数据)按照攻击种类或者攻击方式的难易程度分成两类，为net1和net2构造数据集，记为data1data2，其中data1为相对易判别的数据集，data2为较判别的数据集。
102.当net1和net2各自独立时，训练net1时，使用data1进行训练，训练net2时，使用data1+data2进行训练。
103.当net1和net2共享较低层参数时，首先使用data1训练整个网络，再冻结网络共有部分参数，用data1+data2微调net2的网络分支。
104.本技术中在训练阶段对于神经网络的训练方法举例如下：
105.1、首先进行网络参数初始化，在该步骤中可以自定义卷积层的初始化参数，也可以采用经典网络模型训练出来的模型参数，例如，采用vgg在image net图像集上训练出的模型参数进行相应的卷积层参数的初始化。
106.2、其次，进行网络参数的训练，在本步骤中可以采用深度学习框架matconvnet进行训练，可以利用随机梯度下降法。
107.3、冻结网络共有部分参数的方法为：在使用data1训练整个网络时，不进行梯度数据回传，即可冻结网络共有部分参数。
108.活体检测时，由于使用全卷积网络，使用112*112输入，通过滑动窗口的形式，最终能得到9个分数，通过投票统计方式，确定最终真假活体判别。
109.判别流程如图7所示，第一级网络得到9个分数s1i，第二级网络得到9个分数s2i，i＝1,2,3,
…
,8。图7中t1，t2，tn1，tn2分别为第一级网络和第二级网络的活体分数阈值和投票判定阈值，这些阈值可根据实际场景数据灵活调整。第一级网络只有判定为活体时，才进入第二级网络，否则直接返回假体。
110.其中，第一级网络判断活体的方法为：统计小于t1的s1i的和n
n1
，若n
n1
大于tn1，则判断为假体，否则进入第二级网络。在第二级网络中，统计小于t2的s2i的和n
n2
，若n
n2
大于tn2，则判断为假体，否则判断为活体。
111.本发明通过采用多级联网络对获取的待测人脸图像进行活体检测，其可以判断已知类型的假体攻击。多级联网络的前端网络相对轻量化，能够迅速筛选出容易判别的假体人脸，后端网络相对较深，能够判别较难识别的假体人脸，这种层级递进的方式，根据假体攻击类型的不同，将人脸静默活体检测任务从易到难分解。当出现新型假体攻击类型时，能够将训练的网络方便快捷的加入到已经训练好的级联网络中。同时，通过级联网络+投票的方式，能够更精准的进行活体检测。
112.实施例2：
113.本发明实施例2提供一种人脸静默活体检测装置，如图8所示，所述装置包括：
114.获取模块100，用于获取待检测人脸图像并进行预处理。
115.检测模块200，用于将预处理后的人脸图像输入预先训练的多级联网络，判断人脸图像是否为活体。
116.其中，多级联网络包括前后级联的多级神经网络，每级神经网络用于一个假体攻击类型的活体判断，当当前级神经网络判断为活体时进入下一级神经网络，当任一级神经网络判断为假体时则判断人脸图像为假体，当最后一级神经网络判断为活体时则判断人脸图像为活体。
117.本发明采用深度学习的方法，使用多个浅层网络级联的方式进行人脸静默活体检测，提高了活体检测的准确率和效率，大幅提升算法的稳定性。
118.本发明根据每个假体攻击类型进行活体判断的难易程度，按照从易到难的顺序将各级神经网络前后级联。
119.当出现新假体攻击类型时，若新假体攻击类型能够合并到已有的假体攻击类型，则重新训练或微调合并后的假体攻击类型对应的神经网络；若新假体攻击类型不能合并到已有的假体攻击类型，则设计用于对新假体攻击类型进行活体判断的新神经网络，并根据新假体攻击类型进行活体判断的难易程度，将新神经网络插入所述多级联网络的目标位置。
120.前述的每级神经网络均为全卷积网络；
121.所述多级联网络的训练样本包括人脸信息以及人脸周围部分的背景信息，多级联网络训练时，将训练样本随机裁剪后输入多级联网络进行训练。
122.所述预处理包括：
123.对人脸图像进行人脸检测、人脸特征点定位和人脸归一化，得到预处理后的人脸图像，所述预处理后的人脸图像包括人脸信息以及人脸周围部分的背景信息。
124.将预处理后的人脸图像输入预先训练的多级联网络后，通过滑动窗口的方式从预处理后的人脸图像上获取一组子图像，所有子图像经过某一级神经网络的处理，得到一组活体分值，对该组活体分值进行统计，得到该级神经网络的活体判断结果。
125.本发明中，所述多级联网络中每级神经网络各自独立，或者每级神经网络共用相同的浅层网络结构。
126.所述多级联网络通过如图9所示的模块训练得到：
127.构造模块100’，用于为每级神经网络构造数据集，每级神经网络的数据集中负样本的假体攻击类型为该神经网络对应的假体攻击类型。
128.第一训练模块200’，用于若每级神经网络各自独立，则对每级神经网络单独训练，每级神经网络的训练数据为该神经网络及其之前的神经网络的数据集的合集。
129.第二训练模块300’，用于若每级神经网络共用相同的浅层网络结构，则使用第一级神经网络的数据集训练整个多级联网络，冻结共用的浅层网络结构的参数，然后对除第一级神经网络之外的各级神经网络的非共用部分进行微调，各级神经网络的非共用部分微调时的训练数据为该神经网络及其之前的神经网络的数据集的合集。
130.所述假体攻击类型包括屏幕显示类、二维打印类和三维面具类。
131.本发明通过采用多级联网络对获取的待测人脸图像进行活体检测，其可以判断已知类型的假体攻击。多级联网络的前端网络相对轻量化，能够迅速筛选出容易判别的假体
人脸，后端网络相对较深，能够判别较难识别的假体人脸，这种层级递进的方式，根据假体攻击类型的不同，将人脸静默活体检测任务从易到难分解。当出现新型假体攻击类型时，能够将训练的网络方便快捷的加入到已经训练好的级联网络中。同时，通过级联网络+投票的方式，能够更精准的进行活体检测。
132.本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例1相同，为简要描述，该装置实施例部分未提及之处，可参考前述方法实施例1中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的装置和单元的具体工作过程，均可以参考上述方法实施例1中的对应过程，在此不再赘述。
133.实施例3：
134.本发明提供的上述实施例1所述的方法可以通过计算机程序实现业务逻辑并记录在存储介质上，所述的存储介质可以计算机读取并执行，实现本说明书实施例1所描述方案的效果。因此，本发明还提供用于人脸静默活体检测的计算机可读存储介质，包括用于存储处理器可执行指令的存储器，指令被处理器执行时实现包括实施例1的人脸静默活体检测方法的步骤。
135.所述存储介质可以包括用于存储信息的物理装置，通常是将信息数字化后再以利用电、磁或者光学等方式的媒体加以存储。所述存储介质有可以包括：利用电能方式存储信息的装置如，各式存储器，如ram、rom等；利用磁能方式存储信息的装置如，硬盘、软盘、磁带、磁芯存储器、磁泡存储器、u盘；利用光学方式存储信息的装置如，cd或dvd。当然，还有其他方式的可读存储介质，例如量子存储器、石墨烯存储器等等。
136.本发明通过采用多级联网络对获取的待测人脸图像进行活体检测，其可以判断已知类型的假体攻击。多级联网络的前端网络相对轻量化，能够迅速筛选出容易判别的假体人脸，后端网络相对较深，能够判别较难识别的假体人脸，这种层级递进的方式，根据假体攻击类型的不同，将人脸静默活体检测任务从易到难分解。当出现新型假体攻击类型时，能够将训练的网络方便快捷的加入到已经训练好的级联网络中。同时，通过级联网络+投票的方式，能够更精准的进行活体检测。
137.上述所述的存储介质根据方法实施例1的描述还可以包括其他的实施方式，本实施例的实现原理及产生的技术效果和前述方法实施例1相同，具体可以参照相关方法实施例1的描述，在此不作一一赘述。
138.实施例4：
139.本发明还提供一种用于人脸静默活体检测的设备，所述的设备可以为单独的计算机，也可以包括使用了本说明书的一个或多个所述方法或一个或多个实施例装置的实际操作装置等。所述人脸静默活体检测的设备可以包括至少一个处理器以及存储计算机可执行指令的存储器，处理器执行所述指令时实现上述任意一个或者多个实施例1中所述人脸静默活体检测方法的步骤。
140.本发明通过采用多级联网络对获取的待测人脸图像进行活体检测，其可以判断已知类型的假体攻击。多级联网络的前端网络相对轻量化，能够迅速筛选出容易判别的假体人脸，后端网络相对较深，能够判别较难识别的假体人脸，这种层级递进的方式，根据假体攻击类型的不同，将人脸静默活体检测任务从易到难分解。当出现新型假体攻击类型时，能够将训练的网络方便快捷的加入到已经训练好的级联网络中。同时，通过级联网络+投票的
方式，能够更精准的进行活体检测。
141.上述所述的设备根据方法实施例1的描述还可以包括其他的实施方式，本实施例的实现原理及产生的技术效果和前述方法实施例1相同，具体可以参照相关方法实施例1的描述，在此不作一一赘述。
142.最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。