一种人脸识别活体检测方法与流程

[0001]
本发明涉及人脸识别系统，特别涉及一种人脸识别活体检测方法。


背景技术：

[0002]
目前，人脸识别技术已日趋成熟并得到广泛的应用，但在无人值守的场合，人脸识别系统很容易受到人脸模型、人脸照片以及人皮面具等方式的攻击，因此需要活体人脸检测。基于运动信息的检测方法是一种常用的活体人脸检测方法，其原理是让用户完成转头、眨眼等动作，通过对这些动作的检测来实现活体人脸检测；但是该类方法耗时较长，且需要用户配合，同时攻击者也可以通过预设动作进行攻击。基于人脸三维信息的检测方法是一种新型的活体人脸检测方法，通过计算人脸整体的三维信息来防止诸如人脸照片的攻击；但不仅需要预先建模，识别时也需要重建三维人脸模型，实现时存在较多困难。基于主动式近红外图像的活体人脸检测方法，充分利用活体人脸的近红外纹理特征，基本不受外界光照影响，可实现对电子屏或视频人脸、普通人脸照片和人脸模型的检测，但面对高质量的经特殊处理的人脸照片也会由于纹理差异减小而导致检测失败。


技术实现要素：

[0003]
针对活体人脸检测技术存在的问题，本方法提出了一种在无需用户配合的场景下，采用近红外与可见光双目视觉技术的活体人脸检测方法。其中，利用近红外成像特性可以防止电子屏、视频以及光滑照片人脸的攻击；利用双目视觉获取的深度信息进行特征点三维重建，利用检测到的深度差异防止高质量伪造图的攻击。相较于单纯采用红外特征和建立全脸三维模型的方法，本方法方法具有简单高效、鲁棒性好的特点。
[0004]
本发明解决其技术问题所采用的技术方案为：一种人脸识别活体检测方法，包括如下步骤：a、人脸特征点检测采用dlib数据库，设置68个特征点，对近红外图像和可见光图像进行人脸特征点检测，由于电子设备和表面光滑的照片在近红外相机中成像效果差，若没有检测到近红外图像的人脸特征点，则直接判定为非活体人脸，能够在人脸检测开始阶段就直接排除电子屏或视频人脸；b、人脸特征点校正和匹配将特征点中左侧编号1到8的三角形特征点向内侧移动，右侧10到17的圆形特征点向内侧移动，偏移量为脸颊内侧点和外侧点1到17号的平均距离；c、人脸特征点三维坐标获取在对人脸轮廓特征点匹配的基础上，根据双目视觉三维测量原理得到每一个人脸轮廓特征点的三维深度信息和坐标信息，通过对左右摄像机分别进行单目标定，左右摄像机立体标定，以及立体校正，使得左右摄像机平面共面并且进行对准；与表示左右摄像机投影中心，与之间的连线t为基线距离，p表示物体点，f
表示焦距，与表示物体点 p在左右摄像机图像平面的投影点，即左图像与右图像中同一个特征点，两者互为匹配点，与分别表示左右摄像机图像平面的光心，z表示物体点p到基线t的距离，直接得到物体点p在左右摄像机的视差：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（1）以左摄像机坐标系为基准，右摄像机相当于左摄像机平移一个基线距离t，空间物体点p在左图像投影点的坐标为，在右图像投影点的坐标为，经过立体校正后，可得到空间物体点p在左右图像中的投影点的y坐标相同，再由几何中的三角关系可得：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（2）式(1)表示了空间物体点p在左右摄像机图像中的视差，根据此视差值以及式（2），可获得以左摄像机为基准的坐标系下真实场景中物体点p在的三维坐标：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（3）；d、人脸特征点三维特征提取以获得的人脸68个特征点的深度信息作为初始的数据，根据人脸的整体分布以及五官的关系计算若干个特征点深度值的方差，并组成特征向量进行 svm分类，并使用svm分类器进行识别判定活体人脸；svm分类方差计算公式为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（4）
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（5）式中：表示人脸每个特征点的深度值；m表示相应的特征点深度值的均值；表示相应的特征点深度值的方差。
[0005]
所述步骤d中人脸特征点三维特征提取方案，根据人脸的整体分布以及五官的关系计算若干个特征点深度值的方差，将人脸的68个特征点划分为四个部分，第一部分为整个人脸，即全部68个特征点；第二部分为鼻子、嘴巴、两只眼睛的特征点组合；第三部分为鼻子、两只眼睛的特征点；第四部分为鼻子、嘴巴的特征点，用、、、依次表示上述的
四个部分的特征点对应的深度值构成的一维数据，分别计算这四部分的一维数据的方差并分别记为、、、，用这四个方差组成四维向量，采用svm分类器对其进行分类。
[0006]
本方法方法的总体思路是：通过对近红外和可见光人脸图像进行特征点检测和匹配，计算特征点的深度信息，进行特征点三维重建，并基于深度信息构造相应的特征，用svm进行分类，其中特征点的匹配和校正以及特征提取最为关键。首先，对近红外和可见光相机进行标定，获取相机的参数；然后，同步采集左右相机的图像，通过立体校正使得两幅图像共面行对准；其次，对两幅图像进行人脸特征点检测、校正和匹配，通过双目视觉计算获得人脸特征点的深度信息并实现点云重建；最后，利用深度信息中的方差和距离进行特征提取并建立深度样本库，使用svm方法进行样本分类，进而实现对活体人脸的判断。
附图说明
[0007]
图1为人脸特征点示意图；图2为双目立体坐标系；图3为双目成像原理图；图4人脸活体识别流程图。
具体实施方式
[0008]
一种人脸识别活体检测方法，包括如下步骤：a、人脸特征点检测采用dlib数据库，设置68个特征点，对近红外图像和可见光图像进行人脸特征点检测，由于电子设备和表面光滑的照片在近红外相机中成像效果差，若没有检测到近红外图像的人脸特征点，则直接判定为非活体人脸，能够在人脸检测开始阶段就直接排除电子屏或视频人脸；b、人脸特征点校正和匹配将特征点中左侧编号1到8的三角形特征点向内侧移动，右侧10到17的圆形特征点向内侧移动，偏移量为脸颊内侧点和外侧点1到17号的平均距离；c、人脸特征点三维坐标获取在对人脸轮廓特征点匹配的基础上，根据双目视觉三维测量原理得到每一个人脸轮廓特征点的三维深度信息和坐标信息，通过对左右摄像机分别进行单目标定，左右摄像机立体标定，以及立体校正，使得左右摄像机平面共面并且进行对准；与表示左右摄像机投影中心，与之间的连线t为基线距离，p表示物体点，f表示焦距，与表示物体点 p在左右摄像机图像平面的投影点，即左图像与右图像中同一个特征点，两者互为匹配点，与分别表示左右摄像机图像平面的光心，z表示物体点p到基线t的距离，直接得到物体点p在左右摄像机的视差：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（1）以左摄像机坐标系为基准，右摄像机相当于左摄像机平移一个基线距离t，空间物体点p在左图像投影点的坐标为，在右图像投影点的坐标为，经过立体校正后，可得到空间物体点p在左右图像中的投影点的y坐标相同，再由几何中的三角
关系可得：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（2）式(1)表示了空间物体点p在左右摄像机图像中的视差，根据此视差值以及式（2），可获得以左摄像机为基准的坐标系下真实场景中物体点p在的三维坐标：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（3）；d、人脸特征点三维特征提取以获得的人脸68个特征点的深度信息作为初始的数据，根据人脸的整体分布以及五官的关系计算若干个特征点深度值的方差，并组成特征向量进行 svm分类，并使用svm分类器进行识别判定活体人脸；svm分类方差计算公式为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（4）
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（5）式中：表示人脸每个特征点的深度值；m表示相应的特征点深度值的均值；表示相应的特征点深度值的方差。
[0009]
所述步骤d中人脸特征点三维特征提取方案，根据人脸的整体分布以及五官的关系计算若干个特征点深度值的方差，将人脸的68个特征点划分为四个部分，第一部分为整个人脸，即全部68个特征点；第二部分为鼻子、嘴巴、两只眼睛的特征点组合；第三部分为鼻子、两只眼睛的特征点；第四部分为鼻子、嘴巴的特征点，用、、、依次表示上述的四个部分的特征点对应的深度值构成的一维数据，分别计算这四部分的一维数据的方差并分别记为、、、，用这四个方差组成四维向量，采用svm分类器对其进行分类。
[0010]
与普通双目视觉相比，近红外与可见光双目视觉的异源匹配误差可能较大，也是难点所在。本方法提出一种根据人脸特征点的位置信息进行异源匹配和校正的方法，虽然较粗略但简单有效地减小了误差。本方法使用的双目装置由一个近红外摄像头，一个可见光摄像头，以及一个主动近红外发光模组组成。传统的人脸识别技术大多针对可见光人脸图像，可见光图像是由物体反射自然光所形成的，对自然光照变化比较敏感，而红外光图像则较少受到自然光照变化的影响，也可用于人脸识别。该方法因为红外光对表面光滑的物
体如镜面、油纸面的反射微弱，近红外图像几无信息，无法检测出人脸，可防止电子屏及视频中的人脸的伪造攻击。
[0011]
本方法的重点是活体人脸判断，因此直接采用dlib库进行人脸特征点检测，其能够实时且准确地根据人脸姿态和表情的变化检测到人脸及其特征点。考虑到本方法的活体人脸检测是个典型的二分类问题，而svm对此有较为突出的优点，它没有局部最优，对于非线性、高维度、少样本的情况有着较好的效果，因此选择svm作为活体人脸检测分类器。
[0012]
a、人脸特征点检测本方法采用dlib库，设置68个特征点，对近红外图像和可见光图像进行人脸特征点检测。由于电子设备和表面光滑的照片在近红外相机中成像效果差，若没有检测到近红外图像的人脸特征点，则可直接判定为非活体人脸，所以本方法能够在人脸检测开始时就直接排除电子屏或视频人脸，从而较容易地抵御此类攻击。
[0013]
b、人脸特征点校正和匹配考虑到活体检测中最重要的是检测出人脸的立体特征，而人脸特征点作为通常人脸检测的依据，如果能直接得到其深度方向的信息，则在活体检测中比用全脸的深度方便很多。因此本方法采用了一种简单的对特征点进行匹配并校正的方法，来获取特征点的深度信息。
[0014]
观察近红外和可见光图像的特征点信息发现，在68个特征点中，人脸中部的点在两幅图像中是可以对应的，而脸颊部分的点则可能不是一一对应的。为了便于观察，将两幅图像的人脸轮廓点重叠。以近红外图像为基准，并以两图像鼻尖点对准重合的方式，将可见光图像的特征点标记到近红外图像中，其中形状为圆形的点是近红外人脸图像的特征点，形状为三角形的点是可见光人脸图像的特征点。但由于68个特征点中，鼻尖点重合后，人脸的嘴巴，鼻子，眼睛，眉毛部分的轮廓特征点基本重合，而脸颊特征点位置存在一定差异。
[0015]
这种差异一方面是双目视觉本身的差异造成的，另一方面是红外图像和可见光图像特征点检测过程造成的。其中，非脸颊部分的特征点遮挡少，可以简单认为是立体匹配的点；而脸颊部分的特征点，因为遮挡的原因，不是一个物理点在两个不同位置相机成像得到的，不是立体匹配的，必须进行校正后才能视为匹配。
[0016]
本方法的校正策略是：以脸颊内侧的点为准，将向外侧偏移的点向内靠拢。具体做法为：将特征点中左侧编号1到8的三角形特征点向内侧移动，右侧10到17的圆形特征点向内侧移动，偏移量为脸颊内侧点和外侧点（1到17号）平均距离。注意这种方式也是比较粗略的方式，目的是为了得到人脸特征点的近似深度。
[0017] c、人脸特征点三维坐标获取在对人脸轮廓特征点匹配的基础上，根据双目视觉三维测量原理得到每一个人脸轮廓特征点的三维深度信息和坐标信息。通过对左右摄像机分别进行单目标定，左右摄像机立体标定，以及立体校正，使得左右摄像机平面共面并且行对准，校正后的双目立体坐标系如下图所示。
[0018]
与表示左右摄像机投影中心，与之间的连线t为基线距离，p表示物体点，f表示焦距，与表示物体点 p在左右摄像机图像平面的投影点，即左图像与右图像中同一个特征点，两者互为匹配点，与分别表示左右摄像机图像平面的光心，z表示
物体点p到基线t的距离。可以直接得到物体点p在左右摄像机的视差：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（1）上图直观展示了两摄像机平面的关系，以左摄像机坐标系为基准，右摄像机相当于左摄像机平移一个基线距离t。空间物体点p在左图像投影点的坐标为，在右图像投影点的坐标为。经过立体校正后，可得到空间物体点p在左右图像中的投影点的y坐标相同，再由几何中的三角关系可得：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（2）式(1)表示了空间物体点p在左右摄像机图像中的视差，根据此视差值以及式（2），可获得以左摄像机为基准的坐标系下真实场景中物体点p在的三维坐标：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（3）d、人脸特征点三维特征提取方案获取人脸特征点三维信息后，需要构造相应的特征来实现对真实人脸与伪造人脸的检测。本方法的做法是从人脸特征点三维深度信息变化强弱出发，以鼻尖点为参照，分别提取深度值的方差以及空间特征点之间的距离值组成相应的特征向量进行svm分类。
[0019]
考虑到真实人脸图像特征点在三维结构上的信息要明显好于以弯曲和扭曲照片的方式模仿真实人脸，本方法考虑以获得的人脸68个特征点的深度信息作为初始的数据，根据人脸的整体分布以及五官的关系计算若干个特征点深度值的方差，并组成特征向量进行 svm分类。方差是表现数据变化强弱的指标，针对一组一维数据，当数据之间大小变化剧烈，那么这组数据的方差就会相对较大，而当数据之间大小基本相同，那么这组数据的方差就会相对较小。针对本方法的人脸68个特征点的深度值构成的一维数据，由于真实人脸的深度值变化相较于伪造人脸的深度变化强，则前者的深度值的方差要明显大于后者。
[0020]
方差计算公式为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（4）
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（5）式中：表示人脸每个特征点的深度值；m表示相应的特征点深度值的均值；表示相
应的特征点深度值的方差。
[0021]
在二维平面中人脸68个特征点的相对位置关系，考虑到弯曲照片的攻击方式，本方法将人脸的68个特征点划分为四个部分，第一部分为大矩形框内的整个人脸，即全部68个特征点；第二部分为图中小的矩形框内的特征点，即为鼻子、嘴巴、两只眼睛的特征点组合；第三部分为图中上方的椭圆内的特征点；第四部分为图中下方的椭圆内的特征点。这里用依次表示上述的四个部分的特征点对应的深度值构成的一维数据，分别计算这四部分的一维数据的方差并分别记为，本方法用这四个方差组成四维向量，采用svm分类器对其进行分类。
[0022]
在svm分类时需要选择核函数，svm提供了多种核函数，不同的核函数具有不同的预测特性。在使用交叉验证的方法去测试不同的核函数对初始数据的预测结果后，本方法选用速度较快且性能好的高斯核函数，并将核宽设置为1。使用svm分类时，首先获取人脸特征点三维数据，然后用方差信息进行三维特征提取，并建立三维特征样本库，最后将深度特征进行训练并实现分类，总体流程如下图所示。
[0023]
本方法考虑到人脸在红外条件下的成像特性以及双目视觉系统的优点，提出一种基于近红外和可见光双目系统的活体人脸检测方法，旨在解决无需用户配合场景下的活体人脸检测易受光照影响和伪造攻击的问题。用本方法所提方法对近红外和可见光人脸图像进行异源匹配，提取特征点的深度信息并进行点云重建，按本方法提出的方差深度特征方案对真伪人脸进行判别。总的来说，本方法所提方法能够实现对活体人脸检测和伪造攻击防御。进一步的研究方向是思考如何更好地融合近红外与可见光的特征，实现更好的异源匹配方法，并且利用深度学习的方法进行特征提取与分类，以及实现算法在智能监控上的应用。