人脸活体检测方法及设备与流程

本发明涉及一种人脸活体检测方法及设备。

背景技术：

人脸活体检测技术是面向人工智能领域的一项前沿技术，该技术以新型的3d传感器为依托，以深度学习技术为开发框架，诣在对人脸识别领域中，真实人脸和虚假人脸进行有效判断，从而抵抗非法虚假人脸对人脸识别系统的攻击，为具有人脸识别的应用提供安全性更高的应用环境。

静态人脸活体检测是一种从深度图像中检测其包含的人脸区域是否为当前设备采集到的真实人脸的技术。如果检测结果为真则输出1，为假则输出0。实现人脸活体检测的前提是构建人脸活体检测器。一般来说，现有技术通过如下几种方式构建人脸检测器。

技术一：利用翻拍的人脸彩色图像的纹理信息分析翻拍图像质量。由于翻拍的图像会产生较多的噪声。如果是对着电子屏幕进行翻拍，由于屏幕的时间分辨率与相机频率的不同会产生莫列干涉，从而使得图像上产生条带噪声，根据不同噪声进行分析判断是否为真实人脸。该技术中，当前部分拍照设备分辨率较高、图像信噪比较高，从而对噪声判断技术带来不确定的因素。

技术二：利用虚假人脸区域与其背景的一致性来判别。虚假人脸往往是通过打印或在硬件媒体上以播放的形式进行静态或动态展示。然而虚假人脸区域的领域或边缘背景在纸张或媒体硬件设备的运动过程中，与虚假人脸不产生运动差异，保持一致性。基于该特点，在视频图像中可利用运动检测与判定虚假人脸与否。该技术中需要利用视频帧信息，增加了系统的运算复杂度，同时用户体验性较差。

技术三：人脸局部信息的非刚性运动。虚假静态人脸图像无论出于何种运动都为刚性运动，而真实人脸在视频中会产生面部细微的非刚性变化，从而根据此差异可以判定真实人脸与否。该技术中，需要采用高时间分辨率的采集设备，同时从刚性的变化真实人脸运动中(如头部转动)提取非刚性面部信息，为活体检测时效性的提升和算法复杂度的降低带来困难。

技术四：人脸三维重构。真实人脸的3d信息与虚假的电子设备描述的人脸3d信息有很强的区分度。利用相机的多角度拍摄以及相机内部参数，重构出人脸关键点深度信息，根据关键点的深度信息进行有监督的人脸判定。该技术需要对相机内部参数进行标定，而相机内部参数的标定的准确性、拍摄不同图像的相机之间的旋转位移关系以及图像的质量对重构的人脸深度值有极大的影响，因此该方法对活体检测的误检率较高。

技术实现要素：

本发明的目的在于提出一种人脸活体检测方法及设备，提升人脸活体检测的准确率。

为此，本发明提出的人脸活体检测方法包括如下步骤：s1、接收包含人脸区域的深度图像、彩色图像、红外图像，并进行配准；s2、检测所述深度图像、彩色图像、红外图像中的人脸区域；s3、对所述人脸区域深度图像预处理实现图像增强并提取有效人脸深度图像；s4、将所述有效人脸深度图像、人脸区域的彩色图像和红外图像分别输入至经训练的级联深度卷积神经网络，进行精确的人脸活体检测。

在本发明的一些实施例中，还包括如下特征：

所述级联深度卷积神经网络由两个经训练的深度卷积神经网络级联组成，每一个深度卷积神经网络均包括输入层、卷积层、池化层、全连接层、softmax层和输出层，输入层对所述有效人脸深度图像进行格式、大小调整，卷积层和池化层分别进行卷积、池化操作，输出层为一个全连接网络，经过最后一级的softmax层预测后得到一个大小为1×2的向量输出，用于人脸活体二分类判别。

步骤s4中，将有效人脸深度图像输入至第一级深度卷积神经网络中进行人脸活体检测，如果检测结果为虚假人脸，则检测结束；如果检测结果为真实人脸，则进入第二级深度卷积神经网络，将与所述有效人脸深度图像对应的人脸区域彩色图像和红外图像输入至第二级深度卷积神经网络进行人脸精确检测，最终判定为真实人脸还是虚假人脸。

在步骤s1中，配准时，找到深度图像、彩色图像、红外图像三者坐标的对应关系以消除视差；在步骤s2中，通过检测出彩色图像中的人脸区域，根据对应关系定位出深度图像和红外图像的人脸区域。

步骤s2中检测所述深度图像、彩色图像、红外图像中的人脸区域，具体包括如下内容：s21、根据人脸检测算法判断在一幅包含人脸的彩色图像上检测到几个人脸，如果人脸个数等于1，则标记该人脸区域的矩形框左上顶点的坐标以及矩形框的长和宽，相关表达式表示为(x,y,width,height)；s22、如果人脸个数大于1，记为n，则根据检测出的人脸区域矩形框的长和宽的值计算人脸矩形区域的面积si，i∈(1，…，n)；将所有n个人脸区域的面积进行降序排列，选取最大值并输出对应人脸区域彩色图像的相关表达式(x,y,width,height)；s23、再根据检测到的人脸区域彩色图像的坐标位置(x,y)，对该彩色图像以及对应深度图像和红外图像上进行人脸区域截取，并将截取的人脸区域的彩色图像、深度图像和红外图像保存至存储器。

步骤s3中，对检测到的人脸区域深度图像进行深度预处理，以获取有效人脸深度图像，具体包含如下步骤：s31、对人脸区域深度图像中没有深度信息的噪声区域进行修复；s32、对修复完成的人脸区域深度图像l进行第一次归一化；s33、对人脸区域深度图像进行深度连通域分割；s34、对深度图像进行有效人脸深度图像提取；s35、对有效人脸深度图像进行二次归一化；s36、对输出的有效人脸深度图进行人脸尺度信息嵌入。

步骤s31具体包括：针对每一幅人脸区域深度图像，根据均值估计法对人脸区域深度图像中没有深度信息的噪声区域进行修复：首先设定第一滑动窗口，对较大的深度缺失区域进行第一遍深度修复，其次设定第二滑动窗口，对较小深度缺失区域进行第二遍深度修复，输出图像l；其中第一滑动窗口的大小大于第二滑动窗口的大小。

所述输入层用于对接收到的有效人脸深度图像进行图像大小和格式转换，包括：将正负人脸深度图像进行三次复制，并保存为三通道的彩色图像png格式，并利用双线性插值法将图像分辨率归一化成指定大小。

所述深度卷积神经网络的训练步骤包括：步骤601、接收多幅人脸深度图像、彩色图像和红外图像，检测人脸区域的深度图像、彩色图像和红外图像并保存到存储器；步骤602、对人脸区域深度图像分别进行深度预处理实现图像增强，并提取有效人脸深度图像；步骤603、将有效人脸深度图像输入至第一级深度卷积神经网络进行训练，得到一个大小为1×2的向量输出，用于人脸活体二分类判别；同时将与所述人脸区域深度图像对应的人脸区域彩色图像和人脸区域红外图像输入至第二级深度卷积神经网络进行训练，得到一个大小为1×2的向量输出，用于人脸活体二分类判别。

步骤601中，通过深度相机同时采集多幅经配准的包含人脸的彩色图像、深度图像和红外图像，再通过人脸检测方案检测到多幅人脸区域深度图像、彩色图像和红外图像并保存到存储器制作成人脸活体检测数据库。

所述人脸活体检测数据库包括人脸正样本数据库和人脸负样本数据库；其中，人脸正样本数据库包含采集人脸姿态在俯仰、航偏、翻滚角在(-30°，30°)范围内的包含人脸的深度图像；人脸负样本数据库通过模拟数据生成和虚假人脸拍摄两种手段完成。

本发明还包括一种基于深度图像的人脸活体检测设备，包括相机、处理器和存储器，所述相机用于采集包括深度图像在内的图像，所述存储器用于存储数据，包括存储所述相机采集的图像、所述处理器执行时所需的指令程序；处理器与所述存储器、相机连接，用于控制所述相机以及执行存储器内部保存的指令程序，所述指令程序用于执行上述的人脸活体检测方法。

本发明还提出一种计算机存储介质，其存储有计算机程序，所述计算机程序可用于执行以实现上述的人脸活体检测方法。

本发明的有益效果是：通过设计一种多源信息融合的人脸活体检测方法及设备，解决了传统单目彩色相机无法较好恢复出人脸三维信息的问题，多源信息的融合检测提升了人脸识别的准确率。

在一些实施例中，通过人脸尺度信息嵌入剔除了类似人脸深度信息的干扰。

附图说明

图1是根据本发明一个实施例的人脸活体检测设备的结构示意图。

图2是根据本发明一个实施例的人脸活体检测步骤示意图。

图3是根据本发明一个实施例的人脸区域图像的检测过程示意图。

图4是根据本发明一个实施例的深度卷积神经网络示意图。

图5是根据本发明一个实施例的级联深度卷积神经网络示意图。

图6是根据本发明一个实施例的级联深度卷积神经网络的训练步骤示意图。

具体实施方式

下面结合附图通过具体实施例对本发明进行详细的介绍，以使更好的理解本发明，但下述实施例并不限制本发明范围。另外，需要说明的是，下述实施例中所提供的图示仅以示意方式说明本发明的基本构思，附图中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的形状、数量及比例可为一种随意的改变，且其组件布局形态也可能更为复杂。

背景技术中所述的四种人脸活体检测技术主要基于单帧彩色图像或者视频图像，技术一基于单帧彩色图像的技术，主要通过对图像的纹理进行特征挖掘对图像的噪声进行分析达到判定真实或虚假人脸的目的。技术二、三基于视频的图像，主要利用视频帧之间的连续性判断人体表情或者脸部姿态的细微变化，从而判定真实人脸与否。技术四是通过各个不同角度的相机拍摄，利用立体视觉技术重构出三维人脸关键点的深度信息分布，并结合有监督学习的方法判别真实人脸与否。

经本发明研究发现，现有技术主要存在的问题是，所设计的活体检测方案过于依赖图像的彩色纹理信息，而忽略了真实人脸的三维信息，从而造成设计的模型复杂度过高，并且模型的泛化性能较弱。同时，现有技术主要依赖于传统的单目彩色相机，无法较好的恢复出人脸的三维信息，从而对识别率有较大的影响。本申请的下述实施例中对此进行了改进。

图1是根据本发明一个实施例的人脸活体检测设备的结构示意图，设备10包括集成在同一设备中的相机101、处理器102和存储器103。相机101用于采集图像，比如深度(depth)图像、彩色(rgb)图像、红外(ir)图像等；存储器103用于存储数据，比如存储相机101采集的图像(存储于图像存储104中)、处理器102执行时所需的指令程序(存储于指令存储105中)等；处理器102与存储器103、相机101连接，用于控制相机101以及执行存储器103内部保存的指令程序。设备10可以是手机、计算机、平板电脑、电视、游戏机等计算设备。

在利用设备10进行人脸活体检测时，由相机101采集包含人脸的深度图像、彩色图像和红外图像，可以保存到存储器103中，也可以直接被处理器102接收，随后处理器102将调用保存在存储器103中的人脸活体检测程序，并执行相关的人脸活体检测指令。可以理解的是，存储器103内部的指令存储105模块内部已包含了检测人脸区域图像的指令程序，以及深度图像预处理的指令程序，还包含了经训练的深度卷积神经网络。

图2是根据本发明一个实施例的人脸活体检测步骤示意图。在本实施例中，相机101采集彩色图像、红外图像和深度图像，并将其传输到处理器102中以执行人脸活体检测。在步骤201中，处理器接收深度图像、彩色图像和红外图像，并对深度图像、红外图像与彩色图像进行配准，即找到三者坐标的对应关系以消除视差；在步骤202中，通过检测出彩色图像中的人脸区域，根据对应关系定位出深度图像和红外图像的人脸区域；在步骤203中，对人脸区域的深度图像进行预处理以实现图像增强，同时提取有效人脸深度图像，最后在步骤204中将有效人脸深度图像、人脸区域彩色图像和人脸区域红外图像分别输入至经训练的级联深度卷积神经网络，以检测所述人脸是真实人脸或虚假人脸。

图3为根据本发明一个实施例的人脸区域图像的检测过程示意图。图30包含了用深度相机101采集的包含人脸304的彩色图像301、包含人脸305的深度图像302、包含人脸306的红外图像303，人脸区域彩色图像307、人脸区域深度图像308和人脸区域红外图像309。需要说明的是，深度相机101采集的包含人脸的彩色图像301、包含人脸的深度图像302和包含人脸的红外图像303为多幅且一一配准，此外，在一幅包含人脸的彩色图像301上可能包含多个人脸304，在相应的人脸深度图像302和人脸红外图像303中将有一一对应的人脸305和306。

在一个具体的实施例中是通过adaboost人脸检测算法检测人脸区域深度图像和人脸区域红外图像，具体实施步骤包括如下内容：

(1)根据检测算法判断在一幅包含人脸的彩色图像301上检测到几个人脸，如果人脸个数等于1，则标记该人脸区域的矩形框左上顶点的坐标以及矩形框的长和宽，相关表达式表示为(x,y,width,height)；

(2)如果人脸个数大于1，记为n，则根据检测出的人脸区域矩形框的长和宽的值计算人脸矩形区域的面积si，i∈(1，…，n)。将所有n个人脸区域的面积进行降序排列，选取最大值并输出对应人脸区域彩色图像307的相关表达式(x,y,width,height)；

(3)再根据检测到的人脸区域彩色图像307的坐标位置(x,y)，对该彩色图像以及对应深度图像和红外图像上进行人脸区域截取，并将截取的人脸区域的彩色图像307、深度图像308和红外图像309分别保存至存储器103中。

在上述人脸活体检测过程中，处理器102根据存储器103内部保存的执行指令，对检测到的人脸区域深度图像进行深度预处理，以获取有效人脸深度图像，在一个实施例中，预处理包含如下步骤：

(1)对人脸区域深度图像308中没有深度信息的噪声区域进行修复；

根据本发明的一个实施例，具体实施方式为，针对每一幅人脸区域深度图像308，根据均值估计法对人脸区域深度图像308中没有深度信息的噪声区域进行修复。首先设定滑动窗口的大小为5*5，对较大的深度缺失区域进行第一遍深度修复，其次设定滑动窗口大小为3*3，对较小深度缺失区域进行第二遍深度修复，输出图像l。

(2)对修复完成的人脸区域深度图像l进行第一次归一化；根据本发明的一个实施例，具体实施过程包含如下内容；

(a)设定背景移除阈值为t＝3000；根据阈值t将人脸区域深度图像中深度值大于t的像素值设为零，此时图像记为iz；

(b)根据背景深度置0后的人脸区域深度图像iz计算前景区域(非0像素值)的最大深度值，记为vforground_max；

(c)将背景深度值为0的像素置为inf；并计算当前状态下人脸区域深度图像中像素值中的最小深度值，记为vforground_min；

(d)对当前人脸区域深度图像中的像素值进行归一化操作，归一化后图像记为inorm_face，公式如下：

inorm_face＝(iz-vforground_min)./(vforground_max-vforground_min)

(e)在人脸区域深度图像inorm_face中，查找深度值为之前置为inf的背景像素，将其置为1；此时，所述人脸区域深度图像的前景区域的像素值在(0～1)区间内，第一次归一化结束。

(3)对人脸区域深度图像进行深度连通域分割，根据本发明一个具体实施例，具体实施步骤包含如下内容；

(a)设置深度连续性参数tdepth为0.6，初始化标签i＝0；

(b)将连通域表、连通域均值表均初始化，连通域表记为l，l为一个与人脸区域深度图像inorm_face同等长和宽的全零矩阵，该表对应图像inorm_face中所有像素的类别标签；连通域均值表记为m；初始化为全零矩阵，大小与l矩阵相同；

(c)以从左到右、从上到下的顺序，查找第一个类别标签为0的像素，并将该像素设置为后续扫描的初始像素，记为pi，将其类别标签更新为i＝i+1，并同时将连通域表l中对应像素pi坐标的值更新为i，随后将连通域均值表m中对应pi位置的值更新为pi深度值，记为vi；

(d)以当前pi为扫描初始点，再次以从左到右、从上到下的顺序，根据8邻域准则计算像素pi与其周围8邻域中每个像素pn深度值的绝对值平方差，记为e(i,n)；如果像素pn与当前像素pi的e(i,n)小于深度连续性参数tdepth，则将连通域表l中对应像素pn坐标的值更新为i；

(e)查找l中值为i的元素的坐标，记为l(i)；计算图像中坐标为l(i)所对应深度值的均值，记为m(i)；

(f)更新连通域均值表m中坐标为l(i)的像素值m(i)；

(g)根据(d)的计算规则，遍历整幅图像inorm_face，同时不断更新l，m；

(i)重复迭代(c)到(g)过程，直到连通域表l中所有的元素值不为零时，停止迭代，深度连通域分割结束并输出图像n；

(4)对深度图像n进行有效人脸深度图像提取，根据本发明一个实施例，具体实施过程包含如下内容；

(a)对深度图像n中所有平均深度值由小到大进行排列，并去除重复数值；

(b)计算(a)中每个深度值对应的像素个数；

(c)查找存在某个平均深度值最多的像素对应的坐标，并将此类像素坐标对应的深度值置为1，非此类像素坐标对应的深度值置为0，此时将深度图像记为nbinary；

(d)计算有效人脸深度图像为：nextract＝nbinary∩inorm_face。

(5)对有效人脸深度图像进行二次归一化，根据本发明一个实施例，具体实施步骤包含如下内容：

(a)找出有效人脸深度图像nextract的最大深度值，记为vextract_max，同时将有效人脸深度图像中深度值为0的像素值置为inf；

(b)计算置inf后有效人脸深度深度图像nextract的最小深度值，记为vextract_min；

(c)对有效人脸深度图像进行二次归一化，记为nnorm_face，计算公式如下：

nnorm_face＝(nextract-vextract_min)./(vextract_max-vextract_min)

(d)查找此前深度值为inf的像素置为1,并输出有效人脸深度图像nnorm_face；

(6)对输出的有效人脸深度图像nnorm_face进行人脸尺度信息嵌入，来剔除类似人脸深度分布而非人脸尺寸目标的干扰，根据本发明一个实施例，具体实施过程包含如下内容；

(a)根据人脸检测算法得到的人脸区域深度图像的坐标，计算该区域的像素面积，记为其中k表示该人脸的标号；

(b)计算所述图像nnorm_face中，每个像素值与该人脸区域像素面积的比值，记为

(c)对每个像素点重新赋值，其值为上一步计算得到的每个像素对应的

此时，深度预处理结束，输出具有人脸深度信息的有效人脸深度图像o。

在上述人脸活体检测过程中，处理器102根据存储器103内部的执行指令，将深度预处理后提取的有效人脸深度图像、通过人脸检测得到的与所述有效人脸深度图像对应的人脸区域彩色图像和人脸区域红外图像分别输入至经训练的级联深度卷积神经网络，以检测所述人脸是真实人脸或虚假人脸。

图4为根据本发明一个实施例的深度卷积神经网络示意图。该网络结构40由输入层401、卷积层402、池化层403、全连接层404、softmax层405和输出层406组成。其中，输入层401用于对接收到的有效人脸深度图像进行图像大小和格式转换，并输入至卷积层402，卷积层402包含cov1、cov2、cov3共三个卷积层对人脸图像进行卷积操作，池化层403包括pool1、pool2、pool3、pool4共四个池化层对人脸图像进行池化操作，第二层卷积神经网络(cov2)分别进行了两种不同大小(2×2)以及(4×4)的池化操作；全连接层404为一个长度为1×120的全连接网络，经过softmax层405预测后得到一个大小为1×2的向量在输出层406输出，用于人脸活体二分类判别。

图5为根据本发明一个实施例的级联深度卷积神经网络示意图。网络50包含第一级深度卷积神经网络502和第二级深度卷积神经网络508，即由两个深度卷积神经网络(cnn)503组成。将有效人脸深度图像501输入至第一级深度卷积神经网络503中进行人脸活体检测，如果检测结果为虚假人脸504，则检测结束506；如果检测结果为真实人脸505，则进入第二级深度卷积神经网络508，将与所述有效人脸深度图像对应的人脸区域彩色图像和红外图像输入至第二级深度卷积神经网络508进行人脸精确检测，最终判定为真实人脸509还是虚假人脸510。

在一个实施例中，第一级检测网络中的深度卷积神经网络503，其输入层用于对接收到的有效人脸深度图像进行图像大小和格式转换，包括：将正负人脸深度图像进行三次复制，并保存为三通道的彩色图像png格式，并利用双线性插值法将图像分辨率归一化成55*47大小；第二级检测网络中的深度卷积神经网络503，其输入层将人脸区域彩色图像联合人脸区域红外图像并联组成四通道的彩色图像png格式，并利用双线性插值法将图像分辨率归一化成55*47大小。

图6为根据本发明一个实施例的级联深度卷积神经网络的训练步骤示意图。步骤601为接收多幅人脸深度图像、彩色图像和红外图像，检测人脸区域的深度图像、彩色图像和红外图像并保存到存储器103；再通过步骤602对人脸区域深度图像进行深度预处理实现图像增强，并提取有效人脸深度图像；最后通过步骤603将有效人脸深度图像输入至第一级深度卷积神经网络进行训练，得到一个大小为1×2的向量输出，用于人脸活体二分类判别；同时将与所述人脸区域深度图像对应的人脸区域彩色图像和人脸区域红外图像输入至第二级深度卷积神经网络进行训练，得到一个大小为1×2的向量输出，用于人脸活体二分类判别。

步骤601为接收多幅人脸深度图像、彩色图像和红外图像，检测人脸区域的深度图像、彩色图像和红外图像并保存到存储器；在本发明一个实施例中，可通过上文中提到的人脸区域图像的检测方案，即，通过深度相机同时采集多幅经配准的包含人脸的彩色图像、深度图像和红外图像，再通过人脸检测方案检测到多幅人脸区域深度图像、彩色图像和红外图像并保存到存储器103制作成人脸活体检测数据库。

在一个实施例中，人脸正样本数据库主要包含采集人脸姿态在俯仰、航偏、翻滚角在(-30°，30°)范围内的包含人脸的深度图像；人脸负样本数据库主要通过模拟数据生成和虚假人脸拍摄两种手段完成。

处理器102根据存储器103内部的指令程序执行步骤602，对人脸区域深度图像分别进行深度预处理实现图像增强，并提取有效人脸深度图像，在一个具体实施例中，可通过如上文提到的深度预处理技术对多幅人脸区域深度图像进行深度预处理，并将提取到的多幅有效人脸深度图像保存到存储器103中。

本发明实施例的技术效果：通过设计一种多源信息融合的人脸活体检测方法及设备，解决了传统单目彩色相机无法较好恢复出人脸三维信息的问题，并且通过人脸尺度信息嵌入剔除了类似人脸深度信息的干扰，多源信息的融合检测提升了人脸识别的准确率。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。