一种人脸和唇语相融合的身份认证方法及系统与流程

本发明涉及信息安全领域，具体涉及一种人脸和唇语相融合的身份认证方法及系统。

背景技术

近年来，随着网络信息技术的飞速发展，智能手机的功能越发高效便捷，移动电商和网上银行等虚拟支付平台也随之兴起，但是与此同时，网络病毒、黑客以及电信诈骗等网络犯罪时刻威胁着手机用户的信息安全，甚至可能造成重大的经济损失。因此，亟待一个高度可靠的身份认证系统，将生物特征识别和智能手机平台进行融合由此应运而生。

目前已有多种生物特征认证系统在智能手机上被应用，但随着相关技术的发展，人们需要新的认证技术来提高智能手机的安全性。人脸认证在应用方面具有独到的优势，譬如要认证的人脸图像可用普通相机拍摄，降低了使用成本，以非接触的方式即可完成认证过程，具有高度的用户友好性。然而，由于人脸出现在开放的环境中，这也带来了信息泄露的风险，而且在应对双胞胎时往往无法区分。这使得人脸认证具有一定的局限性。

为了解决这个难题，在人脸认证的基础上融合唇语认证，根据信息采集过程中的就近原则，有效提高便利性与采集者的用户体验。同时，唇语中的动态信息不易受健康状况的影响，并且能够适应一些特殊场景下的人机交互，如在嘈杂的环境中或受限制不能出声的情况。目前，唇语识别在技术上难以完整实现，只能作为其他认证技术的辅助手段。

技术实现要素：

本发明的目的在于针对上述现有技术中的问题，提供一种人脸和唇语相融合的身份认证方法及系统，能够有效保护信息安全，防止恶意入侵，认证结果准确可靠，鲁棒性强。

为了实现上述目的，本发明人脸和唇语相融合的身份认证方法，包括以下步骤：

1)基于adaboost算法进行人脸检测并基于线性保持投影变换进行人脸特征提取；

2)利用面部特征位置关系进行唇部定位并采用局部投影时空特征描述符提取唇语特征；

3)根据欧氏距离分别得到人脸和唇语的匹配分数，利用极速学习机在匹配层进行融合，将融合得到的融合分数与设定阈值进行比较，根据比较结果得到认证结果。

步骤1)中所述基于adaboost算法进行人脸检测的具体过程包括：

1.1.1)初始化训练数据的权值分布，每一个训练样本被赋予相同权值，如下式：

其中，dt(i)表示训练样本集的权值分布，wi表示每个训练样本的权值大小；

1.1.2)进行t＝1,2,...,t次迭代，h表示弱分类器，h表示基本分类器；选取一个当前误差率最低的弱分类器h作为第t个基本分类器ht，并计算该分类器在dt上的误差et；

其次，计算该弱分类器在最终分类器中所占比重，其中弱分类器权重用α表示；

按下式更新训练样本的权值分布dt+1：

其中zt为归一化常数，

1.1.3)按照弱分类器权重组合各分类器，通过符号函数sign的作用得到强分类器hfinal：

步骤1)中所述基于线性保持投影变换进行人脸特征提取的具体过程包括：

1.2.1)创建k近邻域图；

设人脸样本xi∈r^1×n,i＝1,2,…,m，无向赋权图g＝{x,w}由顶点集x∈r^m×n和相似矩阵w∈r^m×m组成，xi是x的第i行；每个样本有n个节点，第i个节点对应第i张人脸图像；若节点i在节点j的k近邻域中或者节点j在节点i的k近邻域中，则将节点i和节点j相连；

1.2.2)确定权重；

若节点i和节点j相连，则根据下式确定权矩阵w的值，否则，w＝0；

wij＝exp(-||xi-xj||²/t)；

上式中的t表示高斯分布；

1.2.3)计算投影图；

求解下式的广义特征值和特征向量：

x^tlxa＝λx^tdxa；

其中，dii为对角矩阵，且l为拉普拉斯矩阵，l＝d-w；求解上式，根据特征值λ1＞λ2＞…＞λl得到ai∈r^n×1,i＝1,2,…,l；最后得到转换矩阵a＝[a1,a2,…,al]，并通过yi＝xia(yi∈r^1×l)得到提取特征；通过lpp算法得到人脸特征中前10个特征向量。

步骤2)中利用面部特征位置关系进行唇部定位的具体过程包括：首先，定位眼睛中心位置e1和e2，并计算两个眼睛中心的中点e(ex,ey)；然后，将图像围绕e点旋转，直到眼睛中心处于同一水平位置；d为眼睛中心之间的距离，口腔中心位于(ex,ey+1.2d)，嘴唇区域的宽度和高度分别设置为1.12d和0.84d；最后，将嘴唇的区域调整到一个统一的尺寸，提取需要的区域，并将该方法应用于每个视频帧，得到只包含嘴唇区域的视频序列。

步骤2)中采用局部投影时空特征描述符提取唇语特征的具体过程包括：

通过比较临近像素值产生二值码，如下式：

其中，r表示圆的半径，gi表示该圆内的像素值，gc是中心像素点的值，p代表该圆内像素值gi的数量；依据坐标系xyt的图像序列，得到沿着时间轴t的xy平面以及分别沿着空间坐标系x和y的yt平面和xt平面的嘴唇运动图像序列帧；

获得以下坐标系的lbp图像：对于每张lbp图像，计算三个平面上的直方图，分别为histxy，histxt和histyt；hist中的每一列表示一帧的lbp直方图；

按下式利用奇异值分解得到最优投影向量pvector和特征向量fvector：

[u,s,v^t]＝svd(hist)；

fvector＝hist*pvector；

s是一个对角元素非负且递减的对角矩阵，u和v是酉阵，pvector是v的第一个列向量；因此得到和histxy，histxt和histyt相关的fvectorxy，fvectorxt和fvectoryt。

对于样本i，xi1表示人脸认证的匹配分数，xi2表示唇语认证的匹配分数，xi＝[xi1xi2]表示人脸和唇语的多模匹配分数；给定训练集{xi,ti},i＝1,2,…,m，m是样本的个数，并且ti∈{-1,1}＝{假,真}；激活函数如下式所示：

其中，wj∈r^2×1是连接输入结点和隐含层结点jth的输入权值向量，bj是隐含层结点jth的偏移量，βj是连接隐含层结点jth和输出结点的输出权值向量；

hβ＝t；

其中，和

为了训练该模型，根据公式求出得到：

其中，表示广义moore-penrose逆矩阵；

最后，通过比较融合分数gf和预定阈值thre，得到认证结果；

若gf＞thre，则测试样本为真，否则，测试样本为假。

本发明人脸和唇语相融合的身份认证系统，包括人脸特征参数采集模块与唇语特征参数采集模块，待认证的人脸图像依次经过人脸图像预处理模块、adaboost人脸检测模块及线性保持投影变换模块输入人脸特征参数采集模块，待认证的唇部视频序列依次经过唇部视频预处理模块和局部投影时空特征描述符模块输入唇语特征参数采集模块，人脸特征参数采集模块与唇语特征参数采集模块将采集到的特征信息同时输入极速学习机匹配层融合模块进行融合，将融合得到的融合分数与设定阈值进行比较，根据比较结果得到认证结果。

基于java的应用程序开发具体涉及到手机权限的申请、摄像头模块的开发、基于javacv库的函数调用以及系统功能的模块化实现；利用androidstudio软件平台进行应用程序开发，在android7.0手机版本中测试运行，并对软件的强健性和兼容性进行测试。

与现有技术相比，本发明具有如下的有益效果：采用人脸和唇语相结合的多模生物特征进行身份认证，提高了身份认证系统的强健性。基于adaboost算法的人脸检测，将不同的分类算法作为弱分类器，并考虑每个分类器的权重，具有很高的精度；利用线性保持投影变换算法和局部投影时空特征描述符算法进行特征提取，能够提取到最具有判别性的特征来进行降维；利用极速学习机在匹配层进行融合，极速学习机的整个学习过程通过数学变化一次完成，无需迭代，具有很好的泛化性、鲁棒性和可控性。本发明能够保障智能终端用户的信息安全，尤其是android智能手机用户，认证结果准确可靠，鲁棒性强，适用范围广。本发明的身份认证方法及系统能够为社会经济安全提供保障，应用前景广阔。

附图说明

图1adaboost级联分类器检测原理；

图2前10个特征向量结果图；

图3唇部定位示意图：(a)定位眼睛；(b)定位唇部；(c)唇部roi；

图4三个平面上嘴唇运动图像序列帧：(a)xy平面；(b)xt平面；(c)yt平面；

图5三个平面上的lbp图像序列帧：(a)xy平面；(b)xt平面；(c)yt平面；

图6本发明人脸和唇语身份认证系统匹配层融合框图；

图7android智能手机系统总体界面框图；

图8人脸唇语身份认证系统主界面：

(a)应用程序主界面；(b)数据库管理界面；(c)摄像头预览界面；

图9人脸唇语身份认证系统认证界面及结果图：

(a)认证模块主界面；(b)认证成功示意图；(c)认证失败示意图；

图10人脸唇语身份认证系统数据库界面：

(a)志愿者存储文件夹；(b)浏览志愿者人脸图片；(c)浏览志愿者唇语视频。

具体实施方式

下面结合附图对本发明做进一步的详细说明。

本发明人脸和唇语相融合的身份认证方法具体包括以下步骤：

1.人脸检测及特征提取；

(1)本发明基于adaboost算法进行人脸检测，利用大量的分类能力一般的弱分类器组合起来，形成一个强分类器，再将若干强分类器级联成分级分类器，完成对图像的搜索检测功能，如图1所示。利用弱学习的反馈，自适应调整假设的错误率，使得在保证检测效率的前提下，提高准确率。

若给定n个训练数据集l＝{(x1,y1),(x2,y2),...,(xn,yn)}，其中x表示样本特征向量，y表示训练样本类别标签，yi＝0表示为非人脸，yi＝1表示为人脸，假设其迭代次数为t。

adaboost算法包括如下步骤：

步骤1：初始化训练数据的权值分布，每一个训练样本被赋予相同权值，即wi＝1/n，训练样本的初始权值分布d1(i)如式(1)

其中，dt(i)表示训练样本集的权值分布，wi表示每个训练样本的权值大小。

步骤2：进行t＝1,2,...,t次迭代，h表示弱分类器，h表示基本分类器。

选取一个当前误差率最低的弱分类器h作为第t个基本分类器ht，并计算该分类器在dt上的误差et。

其次，计算该弱分类器在最终分类器中所占比重，其中，弱分类器权重用α表示。

更新训练样本的权值分布dt+1，如式(4)所示：

其中zt为归一化常数

步骤3：按照弱分类器权重组合各分类器，通过符号函数sign的作用，得到一个强分类器hfinal为：

(2)本发明基于线性保持投影变换(linearitypreservingprojection；简称：lpp)进行人脸特征提取，lpp是一种用于流形学习的算法，提取最具有判别性的特征来进行降维，并保留有效布局特征，具体步骤为：

步骤1：创建k近邻域图。假设人脸样本xi∈r^1×n,i＝1,2,…,m，无向赋权图g＝{x,w}由顶点集x∈r^m×n和相似矩阵w∈r^m×m组成，xi是x的第i行。其中，每个样本具有n个节点，第i个节点对应着第i张人脸图像。如果节点i在节点j的k近邻域中或者节点j在节点i的k近邻域中，则将节点i和节点j相连。

步骤2：确定权重。若节点i和节点j相连，则根据公式(6)确定权矩阵w的值，否则，w＝0。其中，t表示高斯分布。

wij＝exp(-||xi-xj||²/t)(6)

步骤3：计算投影图，求解公式(7)的广义特征值和特征向量。

x^tlxa＝λx^tdxa(7)

其中，dii是一个对角矩阵，且l＝d-w是一个拉普拉斯矩阵。求解式(7)，根据特征值λ1＞λ2＞…＞λl可以得到ai∈r^n×1,i＝1,2,…,l。最后，得到转换矩阵a＝[a1,a2,…,al]，并通过yi＝xia(yi∈r^1×l)得到提取特征。通过lpp算法得到人脸特征中前10个特征向量，如图2所示。

2.唇语检测及特征提取；

(1)本发明利用面部特征位置关系进行唇部roi定位，如图3所示。首先定位眼睛中心位置e1和e2，并计算两个眼睛中心的中点e(ex,ey)。然后将图像围绕e点旋转，直到眼睛中心处于同一水平位置。d为眼睛中心之间的距离，口腔中心位于(ex,ey+1.2d)，嘴唇区域的宽度和高度分别设置为1.12d和0.84d。最后，将嘴唇的区域调整到一个统一的尺寸，提取需要的区域，并将该方法应用于每个视频帧，得到只包含嘴唇区域的视频序列。

(2)本发明采用局部投影时空特征描述符(projectionlocalspatiotemporaldescriptor；简称：plsd)进行唇语特征提取，plsd是局部二值模式(localbinarypatterns；简称：lbp)在时空特征层次的改进算法，通过比较临近像素值产生二值码，如下公式(8)：

其中，r表示圆的半径，gi表示该圆内的像素值，gc是中心像素点的值，p代表该圆内像素值gi的数量。

如图4所示，依据坐标系xyt的图像序列，得到沿着时间轴t的xy平面以及分别沿着空间坐标系x和y的yt平面和xt平面的嘴唇运动图像序列帧。为了提取时空特征，必须获得以下坐标系的lbp图像，如图5。

对于每张lbp图像，计算三个平面上的直方图，分别为histxy，histxt和histyt。hist中的每一列表示一帧的lbp直方图。根据公式(9)(10)可知，利用奇异值分解(singularvaluedecomposition；简称：svd)得到最优投影向量pvector和特征向量fvector。

[u,s,v^t]＝svd(hist),(9)

fvector＝hist*pvector,(10)

其中，s是一个对角元素非负且递减的对角矩阵，u和v是酉(矩)阵，pvector是v的第一个列向量。因此，可以得到和histxy，histxt和histyt相关的fvectorxy，fvectorxt和fvectoryt。

3.基于极速学习机的匹配层融合策略；

本发明使用极速学习机将人脸和唇语的匹配分数进行融合，极速学习机是基于单隐含层前馈神经网络提出的，通过不断测试来设置合适的隐含层节点的个数，随机的对输入权和隐含层偏差赋值，再由最小二乘法得到输出层权值。整个学习过程通过数学变化一次完成，无需迭代，训练速度与传统的基于梯度下降的bp算法相比有了显著提高(通常在10倍以上)。该算法具有更好的泛化性、鲁棒性和可控性且学习速率快。

对于样本i，xi1表示人脸认证的匹配分数，xi2表示唇语认证的匹配分数，xi＝[xi1xi2]表示人脸和唇语的多模匹配分数。给定训练集{xi,ti},i＝1,2,…,m，m是样本的个数，并且ti∈{-1,1}＝{假,真}。激活函数如公式(11)

其中，wj∈r^2×1是连接输入结点和隐含层结点jth的输入权值向量，bj是隐含层结点jth的偏移量，βj是连接隐含层结点jth和输出结点的输出权值向量，可以理解为：

hβ＝t(12)

其中，和

为了训练该模型，根据公式求出得到：

其中，示广义moore-penrose逆矩阵。

最后，通过比较融合分数gf和预定阈值thre，得到认证结果。若gf＞thre，则测试样本为真，否则，测试样本为假。

4.基于android智能手机平台的身份认证系统实现；

图7为本发明基于android智能手机的人脸和唇语身份认证系统总体界面框图，系统主界面包括注册、认证、数据库和摄像头预览等四个界面。其中认证界面和数据库界面都可以启动摄像头预览界面进行身份信息采集。

本发明的主界面如图8(a)，可以实现界面间的切换，点击三个图片按钮后可以切换到不同的界面。同时实现数据库的初始化，以及存储方式的初始化。

在本发明中，身份认证系统数据库管理界面和摄像头预览界面如图8(b)、图8(c)所示。其中，摄像头预览界面录入人脸和唇语信息，数据库管理界面包含已录入样本人员标识符和具体样本数，并可调用摄像头预览界面，录入新的样本。

基于android智能手机的人脸和唇语身份认证系统中，认证模块主界面是整个系统开发的核心部分，系统界面如图9所示。确定测试样本后，后台程序处理测试样本，并显示人脸样本roi，得到如图9(b)、图9(c)所示认证结果。

在本认证系统中，每个志愿者存在一个文件夹里，以注册名称作为文件夹名，点击后可以看到人脸和唇语的缩略图，浏览志愿者人脸图片和唇语视频，如图10所示。