一种人脸识别活体检测方法及装置与流程

本发明实施例涉及计算机视觉处理技术领域，具体涉及一种人脸识别活体检测方法及装置。

背景技术：

人脸识别是通过捕捉人脸图像后，进行数据库比对来完成识别过程，与指纹、虹膜等信息相比，人脸信息是较容易获取的生物信息，因此被广泛应用于高精度需求的人脸识别系统。作为一项生物识别技术，人脸识别技术不断成熟，如今已经普及到安全认证、电子商务等诸多领域，例如生活中的门禁系统、签到打卡和远程交易等。传统的人脸识别算法中，虽然人脸特征识别已经十分精确，但是仅能判别人脸图像的身份信息，无法准确辨别出所输入人脸的真伪。因此，传统的人脸识别技术面临着各种恶意欺骗以通过验证的方法，例如通过打印翻拍图片、视频回放、佩戴3d面具来伪造合法的身份信息，达到欺骗人脸验证的目的，这些欺骗攻击使得传统的验证方法失效。

因此，需要使用活体检测方法作为人脸识别的辅助技术，来高效地判别捕捉到的人脸是真实人脸还是伪造的人脸攻击，以验证当前目标是否是合法用户本人，解决现有技术中存在的照片或者视频欺骗问题。传统的活体检测方法主要有三种，一是利用假人脸经过傅利叶频谱分析、图像多尺度和多区域lbp特征等方法二次采集呈现出的与真人图片在纹理细节上的差异进行检测；二是通过人脸部位的时序运动结合视频、音频数据对特定运动信息进行判定；三是基于红外成像技术和线性判别分析对皮肤和其他材质在光谱反射率上的差异来进行活体检测。传统的活体检测方法对采集条件或用户交互要求较高，且容易受到翻拍重放等手段的欺骗攻击，鲁棒性不够强。

技术实现要素：

为此，本发明实施例提供一种人脸识别活体检测方法及装置，以解决现有的活体检测方法对采集条件或用户交互要求较高，且容易受到翻拍重放等手段的欺骗攻击，鲁棒性不够强的问题。

为了实现上述目的，本发明实施例提供如下技术方案：

根据本发明实施例的第一方面，提出了一种人脸识别活体检测方法，所述方法包括：

对待检测图片进行人脸检测；

对检测到的人脸图像进行人脸对齐；

将经过人脸对齐的人脸图像输入至训练好的第一卷积神经网络，生成所输入人脸图像的特征图，并输出基于特征的欺骗程度评分f；

生成所输入人脸图像的深度图，利用训练好的第二卷积神经网络输出基于深度的欺骗程度评分d；

对所述基于特征的欺骗程度评分f和基于深度的欺骗程度评分d进行加权计算得出活体评分s，并根据预设阈值范围对所述活体评分s进行判断；

若活体评分s的值属于预设的阈值范围，则生成不同动作的随机序列，并根据对目标用户是否在规定时间内完成随机序列要求的动作的检测结果给出最终的活体检测结果；

若活体评分s的值高于预设的阈值范围，则判定当前检测目标为合法真人，活体检测通过；

若活体评分s的值低于预设的阈值范围，则判定当前检测目标为非法用户，活体检测不通过。

进一步地，所述对待检测图片进行人脸检测包括：

采用人脸检测算法检测出待检测图片中人脸框位置；

若未检测到人脸，则判定活体检测失败；

若检测到人脸，则根据检测到的人脸框，提取出人脸特征点。

进一步地，所述对检测到的人脸图像进行人脸对齐包括：

采用人脸对齐算法，计算所述人脸特征点在人脸框中的相对坐标；

根据迭代模型中预设的标准脸特征点坐标，对人脸特征点进行人脸对齐操作，得到相对精确的人脸特征点坐标。

进一步地，将经过人脸对齐的人脸图像输入至训练好的第一卷积神经网络，生成所输入人脸图像的特征图，并输出基于特征的欺骗程度评分f包括：

所述第一卷积神经网络包括多个卷积层和全连接层，每个卷积层之后均采用标准化批处理，并接入激活层和池化层，使用软标签损失监督第一卷积神经网络的训练，在训练阶段，若人脸图像是活体样本，则为其分配二进制标签为1，若人脸图像是欺骗样本，则为其分配二进制标签为0，在测试阶段，第一卷积神经网络会对人脸图像的特征图中的每个人脸特征点给出[0,1]之间的欺骗分数，若输入为图片形式，则计算特征图中所有特征点欺骗分数的平均欺骗分数得到最终的基于特征的欺骗程度评分f，若输入为视频流形式，则计算视频流中所有帧的平均欺骗分数得到最终的基于特征的欺骗程度评分f，f为[0,1]之间的实数，其数值越接近0则代表欺骗程度越高。

进一步地，所述生成所输入人脸图像的深度图包括：

人脸三维模型m通过以下形式表示，

其中x、y表示人脸的平面信息，z表示人脸的深度信息，q为三维顶点的个数，人脸三维模型m的计算方式如下：

m＝m*[s′+∑pⁱsⁱ]，

式中，s′为平均脸三维模型，m为预设投影矩阵，sⁱ表示单个脸型，pⁱ为三维模型拟合算法估计的形状参数，对于输入的人脸图像，采用三维人脸拟合算法估计出形状参数pⁱ和投影矩阵m，计算后获取三维形状顶点z值的深度图，由深度图组成平滑的深度信息，对应着人脸图像输入的纹理信息，进行归一化后作为第二卷积神经网络的标签，其中，在欺骗样本的假人脸中，深度图的z值为0。

进一步地，所述利用第二卷积神经网络输出基于深度的欺骗程度评分d包括：

进一步地，所述根据目标用户是否在规定时间内完成随机序列要求的动作给出相应的活体检测结果包括：

目标用户根据要求做出张嘴闭嘴和眨眼的动作，其中，对于眨眼动作的检测包括对左眼眨眼和右眼眨眼的动作检测；

根据目标用户的特定特征点位置变化计算动作点宽高比s，获得人脸当前所处的动作状态，动作点宽高比s计算公式为：

对于张嘴闭嘴的动作判定中，p0为左嘴角特征点位置，p1为右嘴角特征点位置，p0(x)表示左嘴角特征点横坐标，p1(x)表示右嘴角特征点横坐标，p2为上嘴唇特征点位置，p3为下嘴唇特征点位置，p2(y)表示上嘴唇特征点纵坐标，p3(y)表示下嘴唇特征点纵坐标；

对于左眼眨眼和右眼眨眼的动作判定中，p0为左眼或右眼的左眼角特征点位置，p1为左眼或右眼的右眼角特征点位置，p0(x)表示左眼或右眼的左眼角特征点横坐标，p1(x)表示左眼或右眼的右眼角特征点横坐标，p2为左眼或右眼的上眼皮特征点位置，p3为左眼或右眼的下眼皮特征点位置，p2(y)表示上眼皮特征点纵坐标，p3(y)表示左眼或右眼的下眼皮特征点纵坐标。

进一步地，所述根据目标用户是否在规定时间内完成随机序列要求的动作给出相应的活体检测结果还包括：

根据张嘴闭嘴和眨眼动作状态变化建立相应的有限状态机，初始状态设置为0，检测到张嘴或闭眼动作则停留在状态0，检测到闭嘴或睁眼动作后转为状态1；在状态1中，检测到闭嘴或睁眼动作则停留在状态1，检测到张嘴或闭眼动作后转为状态2；在状态2中，检测到张嘴或闭眼动作则停留在状态2，检测到闭嘴或睁眼动作则转为状态3；状态3为相应动作的终止状态，若检测到目标用户在规定的时间内进入了状态3，则判定目标用户完成了指定的随机动作，否则判定目标用户没有完成指定的随机动作，当检测到目标用户连续完成了张嘴闭嘴、左眼眨眼和右眼眨眼三个指定的随机动作，则判定当前检测目标为合法真人，活体检测通过。

所述根据目标用户是否在规定时间内完成随机序列要求的动作给出相应的活体检测结果还包括：

对目标用户的人脸框进行跟踪，若发现人脸框丢失，则判定当前检测目标为非法用户，活体检测不通过。

根据本发明实施例的第一方面，提出了一种基于深度特征和随机序列的活体检测装置，所述装置包括：

人脸检测模块，用于对待检测图片进行人脸检测；

人脸对齐模块，用于对检测到的人脸图像进行人脸对齐；

特征评分模块，用于将经过人脸对齐的人脸图像输入至训练好的第一卷积神经网络，生成所输入人脸图像的特征图，并输出基于特征的欺骗程度评分f；

深度评分模块，用于生成所输入人脸图像的深度图，利用训练好的第二卷积神经网络输出基于深度的欺骗程度评分d；

活体评分模块，用于对所述基于特征的欺骗程度评分f和基于深度的欺骗程度评分d进行加权计算得出活体评分s，并根据预设阈值范围对所述活体评分s进行判断；

动作检测模块，用于当活体评分s的值属于预设的阈值范围时，生成不同动作的随机序列，并对目标用户是否在规定时间内完成随机序列要求的动作进行检测；

输出模块，用于输出相应的活体检测结果。

本发明实施例具有如下优点：

本发明实施例提出的一种人脸识别活体检测方法及装置，利用卷积神经网络对大量数据通过学习区分活体样本和欺骗样本，对待检测图片进行人脸检测和人脸对齐处理，通过训练好的第一卷积神经网络和第二卷积神经网络分别对处理后的人脸图像给出基于特征的欺骗程度评分f和基于深度的欺骗程度评分d，综合两种评分给出最终的活体评分s，对于活体评分s处于预设阈值范围内即基于活体评分的区分相对不够明确的目标用户，通过生成不同动作的随机序列，并检测目标用户是否在规定时间内完成随机序列要求的动作实现进一步的检测，提高了活体检测的健壮性，综合考虑多种因素，较其他经典活体检测方法，具备更好的分类和学习能力，并能较好的应对翻拍重放等手段的欺骗攻击，区分结果准确率较高，如将其应用于人脸识别系统中，利用活体评分可以直接拒绝欺骗样本，保护系统的安全性，防止各类欺骗手段骗过识别系统。

附图说明

为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。

图1为本发明实施例1提供的一种人脸识别活体检测方法的流程示意图。

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

如图1所示，本实施例提出了一种人脸识别活体检测方法，该方法包括：

s100、对待检测图片进行人脸检测。具体包括：

采用人脸检测算法检测出待检测图片中人脸框位置；

若未检测到人脸，则判定活体检测失败；

若检测到人脸，则根据检测到的人脸框，提取出人脸特征点。

s200、对检测到的人脸图像进行人脸对齐。

人脸对齐是指使用仿射变换矩阵将形状各异的人脸图像进行归一化处理，将形状尽可能地贴近预设标准脸形状，主要通过平移，放缩和旋转变换来实现，计算方式如下：

式中，s为缩放比例，θ为旋转角度，t代表平移的位移，其中r是正交矩阵。人脸对齐任务即根据输入的人脸图像，自动定位出面部关键特征点，如眼睛、鼻尖、嘴角点、眉毛以及人脸各部件轮廓点等，根据关键点的信息，将人脸图像进行仿射变换、缩放到统一大小，结合形状回归框架进一步提升定位模型的精度，以提高后续任务的精度。

具体的，对检测到的人脸图像进行人脸对齐包括：

采用人脸对齐算法，计算所述人脸特征点在人脸框中的相对坐标；

根据迭代模型中预设的标准脸特征点坐标，对人脸特征点进行人脸对齐操作，得到相对精确的人脸特征点坐标。在预设的迭代模型中，算法给定了人脸检测结合标准脸计算得到的256个特征点的位置pi，根据下式最小化进行人脸对齐：

min|f(pi+δl)-f(gi)|，

其中，gi为训练集中手工标注的特征点位置，△l为pi与gi之间的偏移，f为特征提取函数。

s300、将经过人脸对齐的人脸图像输入至训练好的第一卷积神经网络，生成所输入人脸图像的特征图，并输出基于特征的欺骗程度评分f。

作为一种强大的学习器，卷积神经网络能够从原始图像中的人脸特征点映射到损失函数的特征判别表示，使用训练好的第一卷积神经网络对输入的人脸图像转化为特征图表示，提取输入特征的定量结果。第一卷积神经网络包括多个卷积层和全连接层，每个卷积层之后均采用标准化批处理，并接入激活层和池化层，使用软标签损失监督第一卷积神经网络的训练，在训练阶段，若人脸图像是活体样本，则为其分配二进制标签为1，若人脸图像是欺骗样本，则为其分配二进制标签为0，在测试阶段，第一卷积神经网络会对人脸图像的特征图中的每个人脸特征点给出[0,1]之间的欺骗分数，若输入为图片形式，则计算特征图中所有特征点欺骗分数的平均欺骗分数得到最终的基于特征的欺骗程度评分f，若输入为视频流形式，则计算视频流中所有帧的平均欺骗分数得到最终的基于特征的欺骗程度评分f，f为[0,1]之间的实数，其数值越接近0则代表欺骗程度越高。

s400、生成所输入人脸图像的深度图，利用训练好的第二卷积神经网络输出基于深度的欺骗程度评分d。

人脸三维模型m通过以下形式表示，

其中x、y表示人脸的平面信息，z表示人脸的深度信息，q为三维顶点的个数，人脸三维模型m的计算方式如下：

m＝m*[s′+∑pⁱsⁱ]，

式中，s′为平均脸三维模型，m为预设投影矩阵，sⁱ表示单个脸型，pⁱ为三维模型拟合算法估计的形状参数，对于输入的人脸图像，采用三维人脸拟合算法估计出形状参数pⁱ和投影矩阵m，计算后获取三维形状顶点z值的深度图，由深度图组成平滑的深度信息，对应着人脸图像输入的纹理信息，进行归一化后作为第二卷积神经网络的基于深度的标签，其中，在欺骗样本的假人脸中，深度图的z值为0。

使用训练好的第二卷积神经网络对深度图给出得分，第二卷积神经网络的结构为瓶颈型，包括上采样模块和下采样模块，下采样模块用于使用卷积层提取深度特征，上采样模块使用反卷积层还原深度信息，第二卷积神经网络的每个卷积层之后均连接bn层和激活层。损失函数定义为像素级。在测试时，第二卷积神经网络会对深度图给出[0，1]之间的欺骗分数，此欺骗分数即为基于深度的欺骗程度评分d，其数值越接近0则代表欺骗程度越高。

上采样是下采样的逆过程，也称增取样或内插。双线性插值是目前在语义分割中用的比较多的一种方式，设置的参数就是中心值需要乘以的系数，利用待求象素四个邻象素的灰度在两个方向上作线性内插。

对于(i，j+v)，f(i，j)到f(i，j+1)的灰度变化为线性关系，则有：

同理对于(i+1，j+v)，则有：

从f(i，j+v)到f(i+1，j+v)的灰度变化也为线性关系，由此可推导出待求象素灰度的计算式如下：

f(i+u，j+v)＝(1-u)*(1-v)*f(i，j)+(1-u)*v*f(i，j+1)+u*(1-v)*f(i+1，j)+u*v*f(i+1，j+1)

双线性内插法没有灰度不连续的缺点，结果基本令人满意，它具有低通滤波性质，使高频分量受损，图像轮廓可能会有一点模糊。

s500、对基于特征的欺骗程度评分f和基于深度的欺骗程度评分d进行加权计算得出活体评分s，并根据预设阈值范围对活体评分s进行判断。本实施例中，预设的阈值范围设置为[0.5，0.8]，此范围内，根据活体评分s值的区分度相对不够明确。

s600、若活体评分s的值属于预设的阈值范围，在[0.5，0.8]之内，则生成不同动作的随机序列，并根据对目标用户是否在规定时间内完成随机序列要求的动作的检测结果给出最终的活体检测结果。

使用算子生成基于张嘴闭嘴、左眼眨眼、右眼眨眼的长度为3的随机序列，要求目标用户在规定时间内完成随机序列要求的动作，目标用户根据要求做出张嘴闭嘴和眨眼的动作，其中，对于眨眼动作的检测包括对左眼眨眼和右眼眨眼的动作检测。

根据目标用户的特定特征点位置变化计算动作点宽高比s，获得人脸当前所处的动作状态，动作点宽高比s计算公式为：

对于张嘴闭嘴的动作判定中，p0为左嘴角特征点位置，p1为右嘴角特征点位置，p0(x)表示左嘴角特征点横坐标，p1(x)表示右嘴角特征点横坐标，p2为上嘴唇特征点位置，p3为下嘴唇特征点位置，p2(y)表示上嘴唇特征点纵坐标，p3(y)表示下嘴唇特征点纵坐标。

对于左眼眨眼和右眼眨眼的动作判定中，p0为左眼或右眼的左眼角特征点位置，p1为左眼或右眼的右眼角特征点位置，p0(x)表示左眼或右眼的左眼角特征点横坐标，p1(x)表示左眼或右眼的右眼角特征点横坐标，p2为左眼或右眼的上眼皮特征点位置，p3为左眼或右眼的下眼皮特征点位置，p2(y)表示上眼皮特征点纵坐标，p3(y)表示左眼或右眼的下眼皮特征点纵坐标。

根据张嘴闭嘴和眨眼动作状态变化建立相应的有限状态机，初始状态设置为0，检测到张嘴或闭眼动作则停留在状态0，检测到闭嘴或睁眼动作后转为状态1；在状态1中，检测到闭嘴或睁眼动作则停留在状态1，检测到张嘴或闭眼动作后转为状态2；在状态2中，检测到张嘴或闭眼动作则停留在状态2，检测到闭嘴或睁眼动作则转为状态3；状态3为相应动作的终止状态，若检测到目标用户在规定的时间内进入了状态3，则判定目标用户完成了指定的随机动作，否则判定目标用户没有完成指定的随机动作，当检测到目标用户连续完成了张嘴闭嘴、左眼眨眼和右眼眨眼三个指定的随机动作，活体评分s置为0，则判定当前检测目标为合法真人，活体检测通过。

进一步地，根据目标用户是否在规定时间内完成随机序列要求的动作给出相应的活体检测结果还包括：

对检测到的目标用户的人脸框进行跟踪，若发现人脸框丢失，则判定当前检测目标为非法用户，活体检测不通过。

s700、若活体评分s的值高于预设的阈值范围[0.5,0.8]，则判定当前检测目标为合法真人，活体检测通过。

s800、若活体评分s的值低于预设的阈值范围[0.5,0.8]，则判定当前检测目标为非法用户，活体检测不通过。

本实施例的一种人脸识别活体检测方法，利用卷积神经网络对大量数据通过学习区分活体样本和欺骗样本，对待检测图片进行人脸检测和人脸对齐处理，通过训练好的第一卷积神经网络和第二卷积神经网络分别对处理后的人脸图像给出基于特征的欺骗程度评分f和基于深度的欺骗程度评分d，综合两种评分给出最终的活体评分s，对于活体评分s处于预设阈值范围内即根据活体评分s值区分不够明确的目标用户，通过生成不同动作的随机序列，并检测目标用户是否在规定时间内完成随机序列要求的动作实现进一步的检测，提高了活体检测的健壮性，综合考虑多种因素，较其他经典活体检测方法，具备更好的分类和学习能力，并能较好的应对翻拍重放等手段的欺骗攻击，区分结果准确率较高，如将其应用于人脸识别系统中，利用活体评分可以直接拒绝欺骗样本，保护系统的安全性，防止各类欺骗手段骗过识别系统。

实施例2

与上述实施例1相对应的，本实施例提出了一种基于深度特征和随机序列的活体检测装置，该装置包括：

人脸检测模块，用于对待检测图片进行人脸检测；

人脸对齐模块，用于对检测到的人脸图像进行人脸对齐；

特征评分模块，用于将经过人脸对齐的人脸图像输入至训练好的第一卷积神经网络，生成所输入人脸图像的特征图，并输出基于特征的欺骗程度评分f；

深度评分模块，用于生成所输入人脸图像的深度图，利用第二卷积神经网络输出基于深度的欺骗程度评分d；

活体评分模块，用于对所述基于特征的欺骗程度评分f和基于深度的欺骗程度评分d进行加权计算得出活体评分s，并根据预设阈值范围对所述活体评分s进行判断；

动作检测模块，用于当活体评分s的值属于预设的阈值范围时，生成不同动作的随机序列，并对目标用户是否在规定时间内完成随机序列要求的动作进行检测；

输出模块，用于输出相应的活体检测结果。

虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。