活体检测方法及装置与流程

本发明涉及生物特征识别技术领域，特别是涉及一种基于图像唇语识别的活体检测方法及装置。

背景技术：

随着生物特征识别技术的发展，人脸识别方法已经成为一种确认用户身份的常用方法。现有技术中，一些人脸识别方法中增加了人脸活体鉴别的方法，可以较好的进行人脸检测与识。

然而，现有人脸识别过程，特别是基于面部识别的过程中，非法登录者可以通过伪造人脸来“欺骗”摄像头或者其他图像采集设备，使得图像采集设备获取的照片并非是活体人脸照片。例如使用注册者的人脸照片或者人脸视频片段置于图像采集设备之前，图像采集设备所获取的当前用户的面部照片实则是来自于照片或者视频片段，或者，非法登录者还可以伪造三维人脸模型，将该三维人脸模型置于图像采集设备之前，此时图像采集设备所获取的人脸照片为三维人脸模型的照片，但是在进行基于五官的特征和分布的比对时，是无法察觉这一点的，这就造成了身份识别系统的防伪能力弱，安全性低的问题。

技术实现要素：

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种活体检测方法及装置，用于解决现有技术中无法确定检测对象的人脸是否为活体，导致身份识别系统的防伪能力弱，安全性低的问题。

为实现上述目的及其他相关目的，本发明提供一种活体检测方法，用于检测鉴别对象的人脸图像以识别其是否为活人，所述活体检测方法包括：

采集鉴别对象读取随机验证码的视频图像；

获取每帧所述视频图像中嘴唇区域的嘴唇图像序列的特征向量；

根据连续多帧所述特征向量调用预先训练的唇语识别模型识别鉴别对象的嘴唇信息；

检测所述嘴唇信息与随机验证码中字符是否一致；当所述嘴唇信息与随机验证码中字符一致时，鉴别对象为活体。

本发明的另一目的在于提供活体检测装置，用于检测鉴别对象的人脸图像以识别其是否为活人，包括：

采集模块，用于采集鉴别对象读取随机验证码的视频图像；

特征提取模块，用于获取每帧所述视频图像中嘴唇区域的嘴唇图像序列的特征向量；

唇语识别模块，用于根据连续多帧所述特征向量调用预先训练的唇语识别模型识别鉴别对象的嘴唇信息；

检测模块，用于检测所述嘴唇信息与随机验证码中字符是否一致；当所述嘴唇信息与随机验证码中字符一致时，鉴别对象为活体。

如上所述，本发明的活体检测方法及装置，具有以下有益效果：

通过采集鉴别对象读取随机验证码的视频图像，依次对该视频图像进行预处理、分割、对齐，从而提取到鉴别对象的嘴唇图像序列的特征向量；根据预设训练的唇语识别模型识别嘴唇图像序列的特征向量的对应的唇语信息，检测所述唇语信息与随机验证码中字符是否一致，根据字符是否完全一致确定鉴别对象是否为活体。相对于传统鉴别方法在使用时，摄像设备采集人脸的同时也采集了嘴唇特征，无需额外新增任何硬件设备，减少了验证系统的成本，更加方便使用；鉴别对象读取随机验证码就可直接判断是否为活体，不仅提高了识别系统的安全性与防伪能力，还提高了活体验证的效率。

附图说明

图1显示为本发明提供的一种活体检测方法流程图；

图2显示为本发明提供的一种活体检测方法中步骤S2的流程图；

图3显示为本发明提供的基于唇部图像分割对齐结构示意框图；

图4显示为本发明提供的时刻特征提取方式结构框图；

图5显示为本发明提供的ISA网络结构框图；

图6显示为本发明提供的基于堆叠卷积ISA网络结构框图；

图7显示为本发明提供的基于堆叠卷积ISA网络计算视频特征的流程图；

图8显示为本发明提供的基于时间序列切分与隐马尔科夫模型产生观测分布的流程图；

图9显示为本发明提供的隐马尔科夫模型状态转移图；

图10显示为本发明提供的一种活体检测方法中步骤S3的流程图；

图11显示为本发明提供的一种活体检测方法中步骤S4的流程图；

图12显示为本发明提供的一种活体检测装置结构框图；

图13显示为本发明提供的一种活体检测装置中特征提取模块的结构框图；

图14显示为本发明提供的一种活体检测装置中唇语识别模块的结构框图；

图15显示为本发明提供的一种活体检测装置中检测模块的结构框图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

请参阅图1，本发明提供一种活体检测方法流程图，用于检测鉴别对象的人脸图像以识别其是否为活人，所述活体检测方法包括：

步骤S1，采集鉴别对象读取随机验证码的视频图像；

具体地，所述随机验证码是根据预先的训练集中随机生成的，通过图像采集设备采集鉴别对象读取随机验证码的视频图像，其中，需要通过相关的图像采集设备进行人脸图像的获取；即时通过图像采集设备进行获取，这样，可以保证所获取的图像是当前处于图像采集设备的图像采集区域的人的图像。

步骤S2，获取每帧所述视频图像中嘴唇区域的嘴唇图像序列的特征向量；

具体地，本申请中嘴唇区域所对应嘴唇变化包含唇部形状、唇部纹理与唇部颜色中任意一种，其中，嘴唇图像序列包含唇部形状序列、唇部纹理序列与唇部颜色序列中任意一种，而嘴唇变化与嘴唇图像序列一一对应。

步骤S3，根据连续多帧所述特征向量调用预先训练的唇语识别模型识别鉴别对象的嘴唇信息；

具体地，在使用唇语识别模型之前，以隐马尔科夫模型为基础采用大量字符所对应的唇部图像序列(状态转移矩阵)对所述唇语识别模型进行训练，然后，以随机验证码将鉴别对象所对应的嘴唇图像序列的特征向量反向识别，识别出嘴唇读取随机验证码的嘴唇信息。

步骤S4，检测所述嘴唇信息与随机验证码中字符是否一致；当所述嘴唇信息与随机验证码中字符一致时，鉴别对象为活体。

具体地，如图11所示，为本发明提供的一种活体检测方法中步骤S4的流程图，包括：

步骤S401，检测鉴别对象的唇语信息与随机验证码中字符是否一致；

步骤S402，当所述唇语信息与随机验证码中字符一致时，鉴别对象为活体；

步骤S403，当所述唇语信息与随机验证码中字符不一致时，鉴别对象不为活体。

目前常见的人脸活体鉴别方法是通过辅助光源利用红外热成像探测温度来确定被鉴别对象是否为活体；或者通过接收预设指令，头部进行偏转，以确认鉴别对象是否为活体。

在本实施例中，在使用时，摄像设备采集人脸的同时也采集了嘴唇特征，无需额外新增任何硬件设备，减少了验证系统的成本，更加方便使用；鉴别对象读取随机验证码就可直接判断是否为活体，不仅提高了识别系统的安全性与防伪能力，还提高了活体验证的效率。

请参阅图2，为本发明提供的一种活体检测方法中步骤S2的流程图，详述如下：

步骤S201，对每帧所述视频图像进行预处理得到预设规格的视频图像；

步骤S202，分割预设规格的视频图像得到嘴唇区域，对所述嘴唇区域进行仿射变换得到对齐的嘴唇图像序列；

步骤S203，基于堆叠卷积独立子空间分析网络的特征提取算法计算所述嘴唇图像序列的特征向量。

在本实施例中，基于人脸检测技术与关键点提取技术，定位所述视频图像中人脸嘴唇；如图3所示，所述人脸图像中嘴唇的关键点为13个，嘴角的两个关键点为角点，采用两个关键点计算相对于标准嘴的平移与旋转因子。由于不同人和不同帧的人脸图像嘴部大小各异，为了排除尺寸大小对识别的影响，所处预处理除了旋转和平移变换之外，还要对所有图像进行基于标准嘴的尺度变换。现有技术中，仿射变换只需嘴部的3个关键点即可，按照上述角点采用几何关系即可完成归一化对齐。然而，该方式将失去的帧间相对变化性，因为基于嘴角关键点进行变换会使所有分割对齐后的嘴部具有相同的宽度。嘴唇的对齐难点在于如何保留帧间的相对变化，又将不同帧的嘴归一化到相同的尺度下。

为克服不同人的嘴唇厚度和宽度差异较大的问题，使用眼间距作为基准来将不同人的嘴唇变换到相同的尺度；具体地，在图3中基于唇部图像分割对齐结构示意框图，眼角的两个关键点并根据眼间距来计算尺度因子，得到了仿射变换的平移、旋转和尺度因子；对人脸图像进行上述基于关键点的嘴唇分割和仿射变换后便得到对齐的嘴唇图像序列。

为了得到具有一致性与类间区分性特征向量，便于后续识别特征向量；例如，传统的唇动视觉特征包括：由关键点的位置及其差分向量构成的特征，如，HoG、SIFT等图像统计特征等。传统特征提取的算法是人工根据经验和对问题的分析来设计的，由于影响特征表达能力的因素非常多，因而上述特征的鲁棒性都存在明显的局限。因为采集的视频图像中同时同时包含人脸与嘴部图像以及其运动信息，因此，一个特征向量从多帧连续图像形成的子图像序列中提取，如图4所示，为本发明中时刻特征提取方式结构框图，为了确保特征包含尽量多的有用信息，子图像序列之间有一定帧数的重叠，即，每个特征向量序列对应的多个子图像序列F均与其它特征向量序列有帧数重叠。

如图5所示，为本发明提供的ISA网络结构框图，构成堆叠卷积ISA网络的基础是ISA网络，它是一个两层神经网络，第一层和第二层的非线性节点分别执行平方和开方运算，输入节点和第一层节点之间、第二层和第三层节点之间分别依靠权重矩阵W和V来连接。令输入向量为x^t，那么第二层的第i个节点的响应为其中，W、V分别为权重矩阵，x^t为输入向量，m、n、i、j分别为大于1的整数。ISA网络中的参数W和V通过投影梯度下降法解决优化问题，具体如下：为最小值，T为采样样本，subject to为约束条件。

subject to WW^T＝I

采用了基于堆叠卷积独立子空间分析网络的特征提取算法。堆叠卷积独立子空间分析(ISA)网络是一种为提取视频特征而设计的深度学习算法，它的优点包括：1)提取的特征同时包含图像和运动信息，适用于嘴唇动作的识别；2)非线性单元简单，运算速度快，适用于从视频高维大数据中提取特征；3)网络结构简单清晰，易于实现；4)训练方式是无监督的，无需人工标注大量数据，非常方便。

如图6所示，基于堆叠卷积ISA网络结构框图，当输入视频像素为高维数据时，ISA网络的训练过程十分缓慢，采用堆叠卷积ISA网络可克服该问题。堆叠卷积ISA网络由ISA和主成分分析(PCA)逐层堆叠构成。堆叠卷积ISA网络计算视频特征的方式，如图7所示，为本发明提供的基于堆叠卷积ISA网络计算视频特征的流程图，首先，将较小的视频块内的像素拉成一个向量后输入到第一层ISA网络，然后，更大区域内相邻的视频块的ISA输出被联合起来，经过PCA降维预处理后，输入到第二层ISA网络，并以此类推，最后，每层ISA网络的输出被串联成一个向量作为该视频块的特征向量。由于每一层ISA网络的输入数据的维数都不会太高，并且可以逐层训练，因此可提高堆叠卷积ISA网络的训练速度。

为了得到特征向量F_t，由多张连续唇语图像构成的视频块被划分为多个如图7所示的小视频块，每个小视频块被输入到堆叠卷积ISA网络中提取特征向量，最终，将各个小视频块的特征向量串联成得到的特征向量F_t。

优选地，所述预先训练的唇语识别模型，包括：

训练集包含若干个字符，所述随机验证码为训练集中随机生成；所述训练集内每个字符均基于隐马尔科夫模型进行训练得到对应唯一的预测模型序列，所述隐马尔科夫模型包含N个预测模型，N≥1；计算隐马尔科夫模型的状态转移矩阵与混合高斯模型，得到预设训练的唇语识别模型；其中，每个字符对应的时间序列片段由隐马尔科夫模型产生；且所述时间序列片段中每个时刻均对应一个隐状态，将所述隐状态的变化由状态转移矩阵表示，每个隐状态还对应一个观测分布，将所述观测分布建模为混合高斯模型。

在本实施例中，如图8所示，为本发明提供的基于时间序列切分与隐马尔科夫模型产生观测分布的流程图，从一段唇语特征序列中识别出其中包含的多个单字需要对时间序列进行分段，并识别出各段所对应的单字，该过程与语音识别相似，因此可利用语音识别中常用的隐马尔可夫模型(HMM)来实现唇语识别。具体地，每个单字所对应的时间序列片段由一个HMM产生，片段中的每个时刻t对应一个隐状态St，如S1为初始状态，St为最终状态。如图9所示，隐马尔科夫模型状态转移图，在HMM中，每个时刻的隐状态St的产生概率只与上一个时刻的隐状态St-1有关，相邻时刻的隐状态依靠状态转移矩阵A来联结，A中第i行第j列的元素aij表示由状态i转移到状态j的概率，状态转移矩阵可由状态转移图来更直观地表示，如图9所示。每个状态拥有一个属于自己的观测分布，并从中产生特征向量，该观测分布被建模为混合高斯模型(GMM)，它可以表示复杂的多模态分布。

唇语识别模型学习的目的是估计HMM模型中的状态转移矩阵和GMM参数。唇语在线识别则是在模型参数已经确定的情况下，估计出待识别的特征序列的一条最佳状态路径，并由状态路径组合成单字路径，这一任务由著名的维特比(Viterbi)解码算法来完成。基于HMM的唇语识别模型学习和识别可借助语音识别领域的一些成熟的工具箱如Kaldi和HTK来完成。

图10显示为本发明提供的一种活体检测方法中步骤S3的流程图，包括：

步骤S301，根据隐马尔科夫模型匹配嘴唇图像序列的特征向量，按照时间序列计算所述嘴唇图像序列的特征向量的最佳状态路径，根据所述最佳状态路径识别单个字符；

在本实施例中，运用时间序列的连续隐马尔科夫模型，逐帧解析语音，根据每帧语音的静态特征以及相对于前一帧的动态变化即动态特征，判断出当前帧所对应的字符以及在该宇符的标准语音信号中所处的时间状态，串联每帧的解析结果，即获得用户音频信号的语音信息以识别为对应字符。其中，所采用的时间序列的连续隐马尔科夫模型为两级结构:第一级是字符级别的隐马尔科夫时间序列模型，每个字符的标准语音由一个包含四个语音状态的一阶时间序列模型表示，每一个语音状态的变化只和前一个语音状态相关，如图9所示，其中0.4为起始状态，1为终止状态，每个状态的高斯混合度为4；第二级是字符串级别的连续隐马尔科夫模型，随机验证码的标准语音由任意串联字符"隐马尔科夫"级别的模型所构成，其中含N个预测模型，N≥1。

步骤S302，将所述特征向量所对应识别的单个字符按时间序列组合生成鉴别对象的唇语信息。

根据特征向量对应识别的单个字符，将单个字符按照时间序列排列，即可得到鉴别对象读取随机验证码的唇语信息。

请参阅图12，本发明的另一目的在于提供活体检测装置，用于检测鉴别对象的人脸图像以识别其是否为活人，包括：

采集模块1，用于采集鉴别对象读取随机验证码的视频图像；

特征提取模块2，用于获取每帧所述视频图像中嘴唇区域的嘴唇图像序列的特征向量；

唇语识别模块3，用于根据连续多帧所述特征向量调用预先训练的唇语识别模型识别鉴别对象的嘴唇信息；

检测模块4，用于检测所述嘴唇信息与随机验证码中字符是否一致；当所述嘴唇信息与随机验证码中字符一致时，鉴别对象为活体。

请参阅图13，为本发明提供的一种活体检测装置中特征提取模块的结构框图，包括：

预处理单元21，用于对每帧所述视频图像进行预处理得到预设规格的视频图像；

分割对齐单元22，用于分割已预设处理的视频图像得到嘴唇区域，对所述嘴唇区域进行仿射变换得到对齐的嘴唇图像序列；

特征提取单元23，用于基于堆叠卷积独立子空间分析网络的特征提取算法计算所述嘴唇图像序列的特征向量。

优选地，预先训练所述唇语识别模型具体为：

训练集包含若干个字符，所述随机验证码为训练集中随机生成；所述训练集内每个字符均基于隐马尔科夫模型进行训练得到对应唯一的预测模型序列，所述隐马尔科夫模型包含N个预测模型，N≥1；计算隐马尔科夫模型的状态转移矩阵与混合高斯模型，得到预设训练的唇语识别模型；其中，每个字符对应的时间序列片段由隐马尔科夫模型产生；且所述时间序列片段中每个时刻均对应一个隐状态，将所述隐状态的变化由状态转移矩阵表示，每个隐状态还对应一个观测分布，将所述观测分布建模为混合高斯模型。

请参阅图14，为本发明提供的一种活体检测装置中唇语识别模块的结构框图，包括：

识别单元31，用于根据隐马尔科夫模型匹配嘴唇图像序列的特征向量，计算所述嘴唇图像序列的特征向量的最佳状态路径，按照图像采集的时间序列将状态路径组合确定单字路径以识别单个字符；

组合单元32，用于将所述特征向量所对应识别的单个字符按时间序列组合生成鉴别对象的唇语信息。

请参阅图15，为本发明提供的一种活体检测装置中检测模块的结构框图，包括：

检测单元42，用于检测鉴别对象的唇语信息与随机验证码中字符是否一致；

第一确认单元42，用于当所述唇语信息与随机验证码中字符一致时，鉴别对象为活体；

第二确认单元43，用于当所述唇语信息与随机验证码中字符不一致时，鉴别对象不为活体。

综上所述，本发明通过采集鉴别对象读取随机验证码的视频图像，依次对该视频图像进行预处理、分割、对齐，从而提取到鉴别对象的嘴唇图像序列的特征向量；根据预设训练的唇语识别模型识别嘴唇图像序列的特征向量的对应的唇语信息，检测所述唇语信息与随机验证码中字符是否一致，根据字符是否完全一致确定鉴别对象是否为活体。相对于传统鉴别方法在使用时，摄像设备采集人脸的同时也采集了嘴唇特征，无需额外新增任何硬件设备，减少了验证系统的成本，更加方便使用；鉴别对象读取随机验证码就可直接判断是否为活体，不仅提高了识别系统的安全性与防伪能力，还提高了活体验证的效率。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。