基于活体检测和人脸验证的身份认证系统的制作方法

本发明涉及身份认证技术领域，特别是涉及一种基于活体检测和人脸验证的身份认证系统。

背景技术：

身份认证技术是在计算机系统中确认操作者身份的过程而产生的有效解决方法。计算机网络世界中一切信息包括用户的身份信息都是用一组特定的数据来表示的，计算机只能识别用户的数字身份，所有对用户的授权也是针对用户数字身份的授权。如何保证以数字身份进行操作的操作者就是这个数字身份合法拥有者，也就是说保证操作者的物理身份与数字身份相对应，身份认证技术就是为了解决这个问题，作为防护网络资产的第一道关口，身份认证有着举足轻重的作用。在真实世界，对用户的身份认证基本方法可以分为这三种：(1)基于信息秘密的身份认证；(2)基于信任物体的身份认证；(3)基于生物特征的身份认证。

随着人脸识别技术在身份认证领域的应用，假冒攻击(或复制攻击)对人脸认证系统构成了很大的威胁。人脸活体检测技术是一种防止攻击者利用照片或者视频假冒他人与计算机进行交互的一种安全防范技术。在许多依赖于人脸进行自动认证的应用中，稳定可靠的人脸识别活体检测技术可以避免系统被攻击者欺骗。目前的人脸活体检测技术主要利用人机交互的方法，在检测过程中要求用户执行相应的动作，如张闭眼、张闭嘴、摇头点头等。或者添加辅助硬件设备，通过检测人脸器官的距离进行判定。cn201310384572.x中介绍的让用户在指定的时间内完成随机选定的若干动作若干次，根据完成情况判定是否为活体。这种方法只对头部进行简单的动作检测，并没有提及肢体的动作配合以及实时图像对比功能。cn201510300584.9中利用超声波测量摄像头与障碍物之间的距离，同时利用逻辑回归模型获取分类概率值f；通过计算得到衡量两幅图像相似度的新指标structuralsimilarityindexmeasurementsystem，简称ssim值，其值越大越好，最大为1。由ssim值和f值线性组合，得到最终结果，通过设定阈值判定是否为欺骗攻击。但这种方法要求添加辅助设备，大大限制了应用场景，且没有提及具体的人证校验方法。

技术实现要素：

本发明的目的是针对现有技术中存在的技术缺陷，而提供一种基于活体检测和人脸验证的身份认证系统，可以对进入检测区域的人脸进行活体检测和人脸验证，提高了身份认证系统的精度，进而增强了身份认证系统的安全性和可靠性。

本发明是这样实现的，一种基于活体检测和人脸验证的身份认证系统，包括：

人脸验证模块，用于将获得的被验证者的人脸与身份证上人脸进行对比，判断是否匹配；

唇语识别验证模块，用于在所述人脸验证模块验证通过后，提示被验证者读出随机提供的数字组合，判断摄像区域中被验证者的嘴唇外唇轮廓动作是否与读出所述数字组合的嘴唇外唇轮廓动作匹配，若匹配则认定为活体并身份认证通过。

所述人脸验证模块包括：

人脸检测单元，用于在摄像模块采集的实时图像中检测人脸；

提示单元，用于在人脸检测单元检测到人脸后，提示被验证者将身份证放在指定的身份证验证区域以获取身份证的图像；

人脸验证单元，用于被验证者将身份证放在指定的身份证验证区域后，通过人脸对齐、人脸特征提取和人脸相似度对比的处理顺序来对比被验证者身份证上人脸与人脸检测单元检测到的人脸的图像，判断是否匹配。

所述唇语识别验证模块在进行唇语识别时，是通过唇动检测、口型特征提取以及唇语识别的顺序步骤进行识别验证。

所述身份证验证区域为多个，所述指定的身份证验证区域由所述提示单元随机在所述身份证验证区域中指定并在人机交互界面上通过弹出方框并输出文字来提示。

所述人脸验证模块在首次验证成功后，至少进行第二次验证，在第二次验证成功后再进入唇语识别验证模块的验证。

所述唇语识别验证模块验证至少检测三次，并在多次检测成功后提示身份认证成功。

所述数字组合为1-9中随机产生的数字组合。

所述基于活体检测和人脸验证的身份认证系统，还包括结果指示模块，所述结果指示模块包括：

第一指示灯，用于在摄像区域检测到被验证者的人脸时进行指示；

第二指示灯，用于在人脸验证匹配成功后进行指示；

第三指示灯，用于唇语识别验证成功后进行提示。

所述基于活体检测和人脸验证的身份认证系统，还包括摄像模块，用于获取被验证者的实时图像及身份证图像，所述摄像模块为网络摄像机。

所述基于活体检测和人脸验证的身份认证系统，包括工控机、液晶显示器；所述网络摄像模块通过网络连接所述工控机的网口，所述液晶显示屏通过hdmi线与所述工控机连接。

本发明系统克服了不轨分子利用照片和视频进行欺骗的问题，能够实现人证合一的身份鉴别功，能达到高精确度人脸识别与活体检测的功能，具有检测效果好、准确性高、检测速度快等特点，可用于自助身份认证。

附图说明

图1所示为本发明的基于活体检测和人脸验证的身份认证系统的结构图；

图2所示为基于活体检测和人脸验证的身份认证系统人机交互界面的示意图；

图3所示为基于活体检测和人脸验证的身份认证系统的检测流程图；

图4所示为基于活体检测和人脸验证的身份认证系统的硬件结构图。

具体实施方式

以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，一种基于活体检测和人脸验证的身份认证系统，包括：

人脸验证模块，用于将获得的被验证者的人脸与身份证上人脸进行对比，判断是否匹配；

唇语识别验证模块，用于在所述人脸验证模块验证通过后，提示被验证者读出随机提供的数字组合，判断摄像区域中被验证者的嘴唇外唇轮廓动作是否与读出所述数字组合的嘴唇外唇轮廓动作匹配，若匹配则认定为活体并身份认证通过。

在具体实现时，采集被验证者的图像以及身份证图像，对被验证者图像中的人脸与身份证上的人脸进行处理后，通过提取特征来比对，判断是否匹配。如果匹配成功，则进入唇语识别验证的步骤，由所述唇语识别验证模块，提示被验证者读出随机提供的数字组合，然后根据唇语识别技术识别唇语是否与要求读出的数字组合信息相匹配，进行唇语识别验证，根据验证结果对是否为活体进行认定并给出验证结果，并在验证成功后，身份认证通过。

在进行人脸验证识别检测时，系统会随机显示身份证放入区域，在唇语识别阶段，系统会让被验证者读出随机数字组合，因此可防止照片和视频的攻击，从而实现人脸活体检测。

本发明通过将人脸验证与唇语识别验证相结合，解决了利用照片和视频进行验证而容易欺骗的问题，能够实现人证合一的身份鉴别功，能达到高精确度人脸识别与活体检测的功能。

其中，所述身份证验证区域为多个，可以在人机交互界面上显示，具体是所述指定的身份证验证区域由所述提示单元随机在所述身份证验证区域中指定并在人机交互界面上通过弹出方框并输出提示说明文字来提示。本发明中，所述身份证验证区域1优选为6个，分布在被验证者的人机交互界面上的图像显示区域2的上下位置，各三个，如图2所示。

具体实现上，所述数字组合为1-9中随机产生的数字组合，如1234，3456或是4367等，当然了，唇语识别验证也可以是文字组合等可以由被验证者读出的语言信息。

进一步的，本发明中，所述基于活体检测和人脸验证的身份认证系统，还包括结果指示模块，实现对人脸检测结果、人脸验证结果以及唇语识别结果的提示，具体的，如图2所示，可位于人机交互界面的相应的位置，具体的所述结果指示模块包括：

第一指示灯3，用于在摄像区域检测到被验证者的人脸时进行指示；

第二指示灯4，用于在人脸验证匹配成功后进行指示；

第三指示灯5，用于唇语识别验证成功后进行提示。

所述结果指示模块具体在指示时，可以是通过指示灯变绿来指示相应阶段的验证成功，否则为变红状态。

具体实现上的，本发明中，所述的人脸验证模块包括：

人脸检测单元，用于在摄像模块采集的实时图像中检测人脸；

提示单元，用于在人脸检测单元检测到人脸后，提示被验证者将身份证放在指定的身份证验证区域以获取身份证的图像；

人脸验证单元，用于被验证者将身份证放在指定的身份证验证区域后，通过人脸对齐、人脸特征提取和人脸相似度对比的处理顺序来对比被验证者身份证上人脸与人脸检测单元检测到的人脸的图像，判断是否匹配。

需要说明的是，本发明中，所述人脸验证模块及唇语识别验证模块可利用相应的人脸识别验证以及唇语识别验证软件程序进行实现。

其中，所述人脸验证模块在进行人脸验证时，包括人脸对齐、人脸特征提取和人脸相似度对比三个步骤，所述唇语识别验证模块验证时，包括唇动检测、特征提取以及唇语识别。下面进行具体的说明如下：

具体的，本发明可利用网络摄像机配套的sdk实现视频帧的采集，通过qt开发的人机界面实现图像实时显示以及人机互动。人脸检测单元以网络摄像机采集到的图像为输入得到人脸位置信息。在检测到人脸图像之后，第一指示灯变绿，并通过提示单元提示用户将身份证放在指定的身份证验证区域，同时在指定的身份证验证区域检测身份证中的人脸。

其中，人脸检测可利用opencv的haarcascade_frontalface_atl2.xml模型检测，如在人脸检测单元检测到人脸，则提示单元提示被验证者将身份证放在指定的身份证验证区域以获取身份证的图像，以进行一步的人脸对应验证。

当用户配合肢体动作将身份证放入指定的身份证验证区域后，同样用opencv的haarcascade_frontalface_atl2.xml模型检测身份证中的人脸，检测到身份证中的人脸以后，对人脸检测单元检测到的人脸和检测到的身份证人脸进行特征提取并实时对比，以判断身份是否一致。过程主要分为将摄像机显示区域和身份证显示区域检测到的人脸进行人脸对齐、特征提取和相似度对比：

1.人脸对齐

检索输入图像，对输入图像进行平移、缩放等操作，与人脸模板进行匹配。通过对齐算法得到匹配结果。

设人脸模板的灰度矩阵为：

t＝{tij}(i＝0,1,…,m-1；j＝0,1,…,n-1)(1)

输入图像矩阵为：

r＝{rij}(i＝0,1,…,m-1；j＝0,1,…,n-1)(2)

输入图像与人脸模板的欧几里得距离为：

图像矩阵的宽度为m和高度为n，i,j为像素坐标。当距离d小于预设阈值且d值越小，则表示输入图像与模板之间的匹配度越高。

对待检测的图像矩阵做对称约束处理。分别求得输入图像矩阵r以纵向中心轴为界限的左半部分图像rl和右半部分图像rr，求两部分图像的灰度值之差θ＝rl-rr。当θ的值取得最小值时，则可以认为输入的图像左右最为对称，即为人脸图像的最佳位置。可以将求得的欧氏距离d和对称约束值θ相加，δ＝d+θ。当δ取得最小值时，则认为输入图像具备欧氏距离与对称约束之和最小，这时的图片与模板的对齐效果最好。δ即为最后结果。本系统采用的人脸模板规格为36×36像素，如果检测出的人脸图像与人脸模板大小不一致，则对检测出的图像进行缩放操作，使其与人脸模板大小一致，并在此基础上将图像区域边缘扩大8像素，为后续模板匹配预留空间。

2.特征提取

对输入的人脸图像进行人脸对齐后，通过alexnet网络模型对人脸特征提取，得到人脸的特征向量以及特征变换矩阵。

卷积神经网络(cnn)作为一种深度学习架构，在精确提取图像特征的同时降低模型复杂度。针对cnn在图像识别方面的优势，提出一种基于cnn的人脸图像特征提取方法。在cnn中，图像的一小部分(局部感受区域)作为层级结构的最低层的输入，信息再依次传输到不同的层，每层通过一个数字滤波器去获得观测数据的最显著的特征。这个方法能够获取对平移、缩放和旋转不变的观测数据的显著特征，因为图像的局部感受区域允许神经元或者处理单元可以访问到最基础的特征。该系统使用具有8层网络结构的alexnet模型对融合的人脸图像进行特征提取，再使用支持向量机(svm)进行分类预测。alexnet共有8层，其中5个为卷积层，2个为全连接层，1个是输出分类层。其中：(1)第一和第二个卷积层后分别紧跟一个归一化层(norm层)；(2)子采样操作紧跟在第一第二个norm层，以及第5个卷积层后；(3)alexnet的倒数第二层能够很好地描述图像的全局特征，所以使用其倒数第二层的输出作为图像的特征，能够很好地描述图像，很适合用于图像分类。

3.相似度对比

把提取身份证图像与实时人脸图像的人脸特征进行比对，得到识别结果。如果对比成功，系统会再次随机选取另外一个区域要求用户将身份证放入指定区域进行验证，当两次验证的结果都正确后，第二指示灯变绿，人脸验证通过。

本发明中，所述唇语识别验证模块在进行唇语识别时，按顺序包括唇动检测、特征提取以及唇语识别的步骤。唇动检测用于对输入图像的嘴唇进行定位，并检测是否存在张闭嘴动作；特征提取，用于提取唇语的有效口型特征；唇读识别，是通过提取的有效口型特征来识别唇语内容。

具体的，本发明中，所述唇语识别验证模块采取支持向量机算法(supportvectormachine,svm)来进行检测嘴唇的外唇轮廓来进行口型的提取，在很好地消除无关脸部信息的同时，保证了其准确性和速度。采用基于k-means算法的动态聚类算法对嘴唇进行识别，并对嘴唇紧闭、微张以及张开的情况进行了验证，在唇语识别验证通过后，第三指示灯变绿，指示唇语识别验证通过。

为了进一步提高人脸验证的可靠性，本发明中，在所述人脸验证模块在首次验证成功后，还要进行第二次验证，在第二次验证成功后，再进入唇语识别验证模块的验证。如果第二次验证不成功，则验证失败，可重新进行人脸验证，只有在要求的人脸验证步骤成功后才可进入唇语识别验证阶段。当然，也可以根据需要设置更多次的验证，具体不限。

为了进一步提高唇语识别验证的可靠性，本发明中，所述唇语识别验证模块验证至少检测三次，并在多次检测成功后提示身份认证成功。具体是，第一次验证成功后，系统在提供了第一次数字组合后，再随机提供第二组数字组合，由被验证者读出该第二组数字组合，再进行验证，如果第二次唇语识别验证通过，则进行第三次验证，由系统再随机提供第三组数字组合，由被验证者读出该第三组数字组合，再进行验证，三次验证成功后，提示验证通过。当然，也可以根据需要设置更多次的验证，具体不限。

具体实现上，本发明中，所述基于活体检测和人脸验证的身份认证系统，还包括摄像模块，用于获取被验证者的实时图像及身份证图像，所述摄像模块为网络摄像机。所述网络摄像机在获取被验证者的实时图像及身份证图像后，由所述人脸验证模块按前面所述的方法进行人脸验证，以及由所述唇语识别验证模块进行唇语识别验证。

工作时，从网络摄像机实时获取图像；在图像指定区域内检测人脸；随机显示身份证放入身份证验证区域，提示用户在指定的身份证验证区域放入身份证；对实时采集的人脸图像与随机显示的身份证验证区域内的身份证图像进行人脸检测、人脸对齐、特征提取、相似度对比；对比分数达到预设阈值后进入唇语识别阶段，被验证者按照系统发送的指令读出随机显示的数字，若识别成功，则判定为活体。

进一步的，所述基于活体检测和人脸验证的身份认证系统，还包括工控机、可在显示界面上显示实时采集的被验证者的图像以及身份证图像的液晶显示器；所述网络摄像模块通过网络连接所述工控机的网口，所述液晶显示屏通过hdmi线与所述工控机连接。所述网络摄像模块采集的实时的被验证者的图像以及身份证图像，可以显示在该液晶显示器的显示界面上，实现进行人脸验证及唇语识别验证。

所述基于活体检测和人脸验证的身份认证系统，还包括键盘与鼠标，分别与所述工控机相连接。

需要说明的是，本发明中，由于系统提示的放入身份证的身份证验证区域以及提示读出的数字组合是随机的，用户不可能通过播放视频的方式来通过活体检测，所以本发明可以更好地防止活体检测中的照片和视频剪辑方式等欺诈行为，使得活体检测的可靠性和安全性更高，与此同时，也实现了高精确度的人脸识别。

与现有技术相比，本发明添加了人脸对比和活体检测技术，有针对性地解决了现有身份认证系统易受照片和视频攻击的问题，采用该身份认证技术，能够准确地判断出验证人的身份以及是否为活体，增强了身份认证系统的可靠性和安全性。

以上所述仅是本发明的优选实施方式，应当指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。