一种人脸识别系统中的防欺骗方法与流程

本发明涉及一种防欺骗方法，尤其涉及一种人脸识别系统中的防欺骗方法，属于机器视觉技术领域。

背景技术：

人脸识别以其快速性、有效性、用户友好性，逐渐成为了一种重要的加解密方式，但是目前许多人脸识别系统无法辨别人脸的真伪，因此，为了防止由假人脸引起的视觉欺骗，在人脸识别系统中引入活体检测方法将会提高人脸识别的实用性与安全性。目前人脸活体检测的主要方法有：

(1)基于视频流交互式的主动活体检测：首先系统进行人脸检测及人脸关键点定位，如果视频中存在人脸，则随机生成若干个动作，如果测试人员在规定时间内完成指定动作，则系统判定测试人员为活体，反之则判定为非活体。但是这种检测方法需要用户配合，且用时较长。

(2)基于亮瞳效应的人脸活体检测方法：通过检测人脸的眼睛区域是否存在亮瞳效应来区分活体人脸与非活体人脸。这种检测方法需要增加额外的光源设备，存在成本较高的缺陷。

(3)基于图像失真分析的人脸欺骗检测方法：首先系统进行人脸检测及人脸关键点定位。如果图片中存在人脸的话，则提取图片中的4种特征(镜面反射特征、模糊程度特征、矩特征、颜色多样性特征),应用支持向量机进行训练和预测。该方法提取的特征相对简单，判别能力不强且泛化能力不强，因此不能很好的在现实场景中应用。

技术实现要素：

为了解决上述技术所存在的不足之处，本发明提供了一种人脸识别系统中的防欺骗方法。

为了解决以上技术问题，本发明采用的技术方案是：一种人脸识别系统中的防欺骗方法，具体步骤为：

步骤s1、获取图像并做归一化处理：

通过摄像头设备获取rgb图像，然后将获取的rgb图像输入到cascadecnn人脸检测模块；人脸检测模块在rgb图像上进行人脸检测，若检测到人脸，则将图中的人脸区域图片输入给深度神经网络进行人脸关键点定位，并通过计算关键点到标准关键点的仿射变换，将不同姿态下的人脸图片变换到标准姿态下的人脸图片；

步骤s2、特征提取阶段：

提取以下七种特征：

a、颜色多样性特征：从颜色分布中抽取如下两种特征：最常出现的60种颜色的像素个数占总像素点个数的百分比；人脸图片中出现的所有颜色个数；

b、模糊程度特征：首先计算输入图片相邻像素间的颜色变化程度，然后对该图片进行低通滤波器处理，并计算经过低通滤波器处理后的相邻像素间颜色变化程度；再将原始输入图片和模糊图片的相邻像素间的变化程度总和进行对比，将此对比结果作为模糊程度特征；

c、图片矩特征：保存rgb图片每个颜色通道的第一二三个中心矩特征；第一个矩特征是均值，即图片的平均颜色，第二个矩特征是每个颜色通道的方差，第三个中心矩特征是每个颜色通道的偏度；

d、清晰度特征：应用tenengrad梯度方法计算人脸的清晰度程度；

e、光谱特征：在rgb视频的绿色通道中对人脸进行跟踪，检测人脸关键点，选择人脸前额、左脸颊、右脸颊、左耳旁、右耳旁的五个区域检测ppg信号；然后计算光谱特征，在得到五个区域的ppg信号后，进行减均值运算，并通过一个0.5hz到5hz的带通滤波器，从而变成五组新的信号；将这五组新信号作为光谱特征；

f、镜面特征：基于双色反射模型，光照在物体特定位置x的反射率i可以分解为漫反射分量id和镜面反射分量is：

i(x)＝id+is＝wd(x)s(x)e(x)+ws(x)e(x)公式一

其中，e(x)是入射光强度，wd(x)和ws(x)分别是漫反射和镜面反射的权重系数，s(x)是局部漫反射率；

按照以下方式建模，从真实人脸图像重获取得到2d攻击人脸：

i'(x)＝i'd+i's＝f(i(x))+w's(x)e'(x)公式二

由于漫反射可以由原始图像的扭曲变换决定，因此，用f(i(x))替换i’d；

对于打印照片的攻击人脸，i(x)首先转化为印刷油墨在纸张上的强度，然后通过纸张表面的漫反射达到最终的图像强度；对于视频攻击，i(x)转化为在lcd屏幕的像素的辐射强度；同样的，镜面反射也会由于攻击介质的表面不同而区别于真实人脸；对于单张图像首先分离出镜面反射分量，然后计算镜面反射分量中像素点的比例、镜面反射像素平均强度和方差作为镜面反射特征；

g、卷积特征：整理用于训练卷积网络的数据；将训练数据输入给建立的卷积网络开始训练；将摄像头读入的图像输入给训练过的卷积神经网络模型；提取卷积神经网络输出的特征向量；

步骤s3、模型设计阶段：

residual-mlp模型设计如下：模型整体记为m，其由深度神经网络a和residual结构c两部分组成；在神经网络a的每两层间增加一个residual结构c，将原始神经网络所要学的函数h(x)转换成f(x)+x，增加residual结构并不会给网络增加额外的参数和计算量，但是f(x)的优化会比h(x)更加简单，在很大程度上增加了模型的训练速度，提高了训练效果，在模型的层数加深时，很好的解决了消失梯度问题；

步骤s4、训练阶段：

训练阶段包括以下步骤：

s41、将带有标注信息的人脸活体检测图像集合d分为训练集t和校验集v；

s42、将residual-mlp网络模型记为m，则其共有m1,…mn层；模型对输入的人脸图像p提取人脸微纹理特征组合i，经过模型的各层后输出识别结果o，每一层网络都由很多神经元组成，每个神经元都有预设的权值，然后根据当前网络输出与输入特征的标签差异应用批次随机梯度下降方法算法进行模型训练，不断的调整这些权值；

s43、利用校验集v验证模型训练效果，即当模型在校验集v上获得较好的活体检测精度并且该精度不能随着训练过程再提升时，停止训练；最终训练完成获得模型m’；

s44、在进行人脸活体检测时，支持向量机将找到一个线性分类的最佳超平面f(x)＝x*w^t+b＝0；首先通过两个分类点的最近点，找到f(x)的约束条件，然后通过拉格朗日乘子法和kkt条件进行求解，最终训练完成获得模型n’；

s45、经过训练后的residual-mlp网络m’与支持向量机n’，会对训练集中的图片微纹理特征有一个相对较好的识别结果；根据这两种分类器的识别结果与置信度在训练集上挑选出一个相对较好的融合权重，将residual-mlp网络与支持向量机相融合，最终训练完成获得模型b；

步骤s5、预测阶段：

首先通过摄像头读入rgb图像p，将图像p输入给人脸检测器，如果图像中存在人脸则对检测到的人脸进行归一化，得到归一化人脸图像c；提取归一化人脸图像c的七种微纹理特征i；将微纹理特征i输入步骤s45获得的融合分类器b，预测人脸活体检测的结果。

本发明将residual-mlp网络与人脸微纹理特征、支持向量机配合使用，极大地提高了人脸活体检测的精确度与速度；特别的，增加的residual结构可以使得模型达到更好的检测效果。此外，本发明使用的活体检测方法不需要增添摄像头以外的硬件设备，且不需要待测人员配合即能够达到超实时的人脸活体检测速度，与传统技术相比具有检测速度快、防欺骗识别精度高、节省检测成本的优点。

附图说明

图1为本发明的整体流程示意图。

图2为residual-mlp模型设计的过程展示图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1所示的一种人脸识别系统中的防欺骗方法，具体步骤为：

步骤s1、获取图像并做归一化处理：

通过摄像头设备获取rgb图像，然后将获取的rgb图像输入到cascadecnn人脸检测模块；人脸检测模块在rgb图像上进行人脸检测，若检测到人脸，则将图中的人脸区域图片输入给深度神经网络进行人脸关键点定位，并通过计算关键点到标准关键点的仿射变换，将不同姿态下的人脸图片变换到标准姿态下的人脸图片；

步骤s2、特征提取阶段：

提取以下七种特征：

a、颜色多样性特征：由于攻击媒介在展示人脸时通常会丢失彩色的多样性，从颜色分布中抽取如下两种特征：(1)最常出现的60种颜色的像素个数占总像素点个数的百分比；(2)人脸图片中出现的所有颜色个数；

b、模糊程度特征：攻击媒介通常距离摄像头较近，所以欺骗人脸会出现散交现象，因此本发明将模糊程度作为活体检测的一个线索，提取该特征的算法如下：首先计算输入图片相邻像素间的颜色变化程度，然后对该图片进行低通滤波器处理，并计算经过低通滤波器处理后的相邻像素间颜色变化程度；再将原始输入图片和模糊图片的相邻像素间的变化程度总和进行对比，将此对比结果作为模糊程度特征；

c、图片矩特征：保存rgb(红绿蓝三通道)图片每个颜色通道的第一二三个中心矩特征；第一个矩特征是均值，即图片的平均颜色，第二个矩特征是每个颜色通道的方差，第三个中心矩特征是每个颜色通道的偏度；

d、清晰度特征：应用tenengrad梯度方法计算人脸的清晰度程度。该方法利用solel算子分别计算水平和垂直方向的梯度，同一场景下梯度值越高，则图像越清晰

e、光谱特征：血液流动会带来的人脸皮肤颜色发生细微变化，这种细微变化产生的信号称为ppg(photoplethysmogram)信号，ppg信号只能够在真实的人脸视频中检测到。光线经过皮肤后，有些光会被反射，而面部有覆盖物品的话，光源会被覆盖物体反射或者吸收，从而不会检测到足够的光源，该特征的提取算法步骤如下：(1)在rgb视频的绿色通道中对人脸进行跟踪，检测人脸关键点，选择人脸前额、左脸颊、右脸颊、左耳旁、右耳旁的五个区域检测ppg信号；(2)然后计算光谱特征，在得到五个区域的ppg信号后，进行减均值运算，并通过一个0.5hz到5hz的带通滤波器，从而变成五组新的信号；(3)将这五组新信号作为光谱特征；

f、镜面特征：基于双色反射模型，光照在物体特定位置x的反射率i可以分解为漫反射分量id和镜面反射分量is：

i(x)＝id+is＝wd(x)s(x)e(x)+ws(x)e(x)公式一

其中，e(x)是入射光强度，wd(x)和ws(x)分别是漫反射和镜面反射的权重系数，s(x)是局部漫反射率；

按照以下方式建模，从真实人脸图像重获取得到2d攻击人脸：

i'(x)＝i'd+i's＝f(i(x))+w's(x)e'(x)公式二

由于漫反射可以由原始图像的扭曲变换决定，因此，用f(i(x))替换i’d；

对于打印照片的攻击人脸，i(x)首先转化为印刷油墨在纸张上的强度，然后通过纸张表面的漫反射达到最终的图像强度；对于视频攻击，i(x)转化为在lcd屏幕的像素的辐射强度；同样的，镜面反射也会由于攻击介质的表面不同而区别于真实人脸；对于单张图像首先分离出镜面反射分量，然后计算镜面反射分量中像素点的比例、镜面反射像素平均强度和方差作为镜面反射特征；

g、卷积特征：卷积神经网络是一种前馈神经网络,够得出原始图像的有效表征，这使得cnn能够直接从原始像素中准确地识别图片上的规律,对于图像处理具有出色表现。提取卷积神经网络特征主要步骤如下：(1)整理用于训练卷积网络的数据；(2)将训练数据输入给建立的卷积网络开始训练；(3)将摄像头读入的图像输入给训练过的卷积神经网络模型；(4)提取卷积神经网络输出的特征向量；

步骤s3、模型设计阶段：

residual-mlp模型设计如下：模型整体记为m，其由深度神经网络a和residual结构c两部分组成，如图2所示；在神经网络a的每两层间增加一个residual结构c，将原始神经网络所要学的函数h(x)转换成f(x)+x，增加residual结构并不会给网络增加额外的参数和计算量，但是f(x)的优化会比h(x)更加简单，在很大程度上增加了模型的训练速度，提高了训练效果，在模型的层数加深时，很好的解决了消失梯度问题；

步骤s4、训练阶段：

训练阶段包括以下步骤：

s41、将带有标注信息的人脸活体检测图像集合d分为训练集t和校验集v；

s42、将residual-mlp网络模型记为m，则其共有m1,…mn层；模型对输入的人脸图像p提取人脸微纹理特征组合i，经过模型的各层后输出识别结果o，每一层网络都由很多神经元组成，每个神经元都有预设的权值，然后根据当前网络输出与输入特征的标签差异应用批次随机梯度下降方法算法进行模型训练，不断的调整这些权值；

s43、利用校验集v验证模型训练效果，即当模型在校验集v上获得较好的活体检测精度并且该精度不能随着训练过程再提升时，停止训练；最终训练完成获得模型m’；

s44、在进行人脸活体检测时，支持向量机将找到一个线性分类的最佳超平面f(x)＝x*w^t+b＝0；首先通过两个分类点的最近点，找到f(x)的约束条件，然后通过拉格朗日乘子法和kkt条件进行求解，最终训练完成获得模型n’；

s45、经过训练后的residual-mlp网络m’与支持向量机n’，会对训练集中的图片微纹理特征有一个相对较好的识别结果；根据这两种分类器的识别结果与置信度在训练集上挑选出一个相对较好的融合权重，将residual-mlp网络与支持向量机相融合，最终训练完成获得模型b；将两种分类器融合后的效果比单一的分类器识别效果更好；

步骤s5、预测阶段：

首先通过摄像头读入rgb图像p，将图像p输入给人脸检测器，如果图像中存在人脸则对检测到的人脸进行归一化，得到归一化人脸图像c；提取归一化人脸图像c的七种微纹理特征i；将微纹理特征i输入步骤s45获得的融合分类器b，预测人脸活体检测的结果。

本发明提出了一种residual-mlp与传统支持向量机相融合的分类器，并利用人脸纹理特征进行人脸活体检测的方法及系统，它与现有技术相比，其关键点以及创新点如下：

一、人脸的微纹理特征：1)人脸的微纹理特征包括：模糊程度特征、图片矩特征、颜色多样性、图像清晰度特征、镜面反射特征、光谱特征、卷积特征；2)该特征从归一化的人脸图片中计算得到。利用上述特征可以极大地提升人脸活体检测的精度与速度，特别的，该方法不需要增添摄像头以外的硬件设备，且不需要待测试人员配合。

二、residual-mlp活体检测框架：该活体检测框架在传统神经网络的基础上，增加了residual(残差)结构，可以解决传统活体检测模型在层数加深时，错误率反而提高的问题，使得模型达到更好的检测效果。

三、residual-mlp与传统支持向量机相融合的分类器：利用residual-mlp与传统支持向量机相融合的分类器对人脸的真实性进行分类，二者的融合相对于单一分类器具有更好的活体检测效果。

上述实施方式并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的技术方案范围内所做出的变化、改型、添加或替换，也均属于本发明的保护范围。