基于唇部运动的深度学习身份识别方法与流程

本发明涉及计算机视觉、模式识别、机器学习、信息安全等技术领域，特别是一种基于唇部运动的深度学习身份识别方法。

背景技术：

互联网技术创造了一个相互关联的世界，需要保证安全性的商业信息的数量是惊人的。但随着技术的发展，欺诈手段的不断变化，身份安全已经成为每个人必须重视的问题。传统的身份认证由于极易伪造和丢失，越来越难以满足社会的需求，目前最为便捷与安全的解决方案无疑就是生物识别技术。

众所周知，由于生长环境和教育方式的不同，每个人的说话方式也不尽相同，即使在说同样的话语时，细节上也一定存在着差异。这是因为每个人说同样的语句时会有不同的嘴唇运动过程。同时，研究也表明，嘴唇特征和指纹、人脸、掌纹、虹膜，步态等特征一样，具有一定的身份鉴别能力，可以视为身份识别领域的生物特征。所以在嘴唇特征的基础上结合讲话方式的独特性，可以更高效地识别身份。在传统生物特征识别方法不能更进一步提升的情况下，本发明提出了基于深度学习算法利用嘴唇运动视频识别身份的方法。

技术实现要素：

本发明的目的是提出一种基于唇部运动的深度学习身份识别方法，以弥补传统生物识别方法准确率难再提升的现状。

为实现对不同身份的高识别率，本发明将深度神经网络模型和唇部运动视频相结合，利用卷积神经网络提取高质量的图像特征信息，利用长短时记忆网络对时序数据的记忆功能防止传统递归神经网络可能发生的梯度消失和爆发，同时结合具有更多独特特征的唇部运动视频数据完成对不同人员身份的识别。

所述基于唇部运动的深度学习身份识别方法包括以下几个步骤：

步骤S1：采集视频数据样本；

步骤S2：对所述视频数据样本进行预处理，得到样本数据库；

步骤S3：将所述样本数据库分为多个对应的训练数据集和测试数据集，并基于多个训练数据集训练得到相应的深度神经网络模型；

步骤S4：将多个测试数据集输入至所述深度神经网络模型中，提取得到对应的特征，并将提取得到的特征与对应训练数据集的特征进行比对，计算特征之间的相似度，根据所述相似度的大小得到身份识别结果。

可选地，所述步骤S1包括以下步骤：

步骤S11：随机选取多名实验对象；

步骤S12：对实验对象进行实验前的实践操作教育；

步骤S13：完成视频数据样本的采集。

可选地，所述步骤S2包括以下步骤：

步骤S21：对所述步骤S1采集得到的视频数据样本进行筛选，去除无效图像得到有效图像；

步骤S22：在所述有效图像中截取得到唇部图像；

步骤S23：将单个视频所包含的唇部图像数量进行统一化处理，组成样本数据库。

可选地，所述无效图像包括：显示不清晰图像、非读取过程图像、未含有完整唇部区域的图像中的一种或多种。

可选地，所述步骤S21包括以下步骤：

步骤S211，将单个视频数据样本处理得到多帧图像；

步骤S212，在多帧图像中筛选得到有效图像。

可选地，所述步骤S22还包括通过缩放操作对所述唇部图像进行归一化的步骤。

可选地，所述步骤S3包括以下步骤：

步骤S31：将所述样本数据库进行训练数据集和测试数据集的分组；

步骤S32：将所述训练数据集中的训练数据输入深度神经网络模型的特征提取功能模块，提取出每个训练数据对应的特征；

步骤S33：将所述步骤S32到的特征序列送入深度神经网络模型的感知机功能模块输出识别结果；

步骤S34：计算识别结果与真实结果之间的误差，根据得到的误差训练得到所述深度神经网络模型。

可选地，所述深度神经网络模型由卷积神经网络和长短时记忆网络构成。

可选地，所述深度神经网络模型包含特征提取功能模块和感知机功能模块。

可选地，所述步骤S4还包括输出相应数据的识别准确率的步骤。

本发明构建了基于深度卷积神经网络和长短时记忆网络的深度神经网络模型，按照上述步骤逐步进行，利用人物唇部的运动行为完成身份识别，具有较好的效果。

附图说明

图1为根据本发明一实施例的基于唇部运动的深度学习身份识别方法的流程图；

图2为根据本发明一实施例的深度神经网络模型的结构示意图；

图3为本发明的测试结果示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

本发明提供一种基于唇部运动的深度学习身份识别方法，面对传统身份验证易伪造和诈骗案件频繁发生的情况下，利用人固有的生物特征的识别技术来有效地防止此类事件的发生是非常必要的。本发明结合当下广泛使用的卷积神经网络和长短时记忆网络组成的网络模型来对唇部运动行为进行识别，模型一经训练便可以方便地使用，对人员身份具有很好的识别效果。

本发明主要包括视频数据采集、视频数据预处理、深度神经网络模型训练和图像特征提取及比对等步骤：

步骤S1：视频数据采集，采集视频数据样本；

所述步骤S1进一步包括以下步骤：

步骤S11：随机选取有意愿参加实验的多名实验对象，例如，选取57名志愿参加实验的志愿者；

步骤S12：对视频采集系统的使用进行人员教育，即对实验对象进行实验前的实践操作教育，保证相应人员均可熟练掌握操作步骤；

步骤S13：完成视频数据样本的采集工作。例如，通过采集得到每人单个数字读取过程的25个视频，在本发明一实施例中，所述数字包括0～9这10个数字。

步骤S2：视频数据预处理，对所述视频数据样本进行预处理，得到样本数据库；

所述步骤S2进一步包括以下步骤：

步骤S21：对步骤S1采集得到的视频数据样本进行筛选，去除图像显示不清晰、非读取过程图像和未含有完整唇部区域的图像等无效图像，得到有效图像；

在本发明一实施例中，所述步骤S21包括以下步骤：

步骤S211，将单个视频数据样本处理得到多帧图像，比如40帧图像；

步骤S212，在多帧图像中筛选得到有效图像。

步骤S22：在所述有效图像中截取得到实验所需区域图像，即唇部图像；

在本发明一实施例中，所述步骤S22还包括通过缩放操作对所述唇部图像进行归一化的步骤，由此，即可得到具有统一尺寸的唇部图像。

步骤S23：将单个视频所包含的唇部图像数量进行统一化处理，组成样本数据库。

例如，最终得到每个视频含20帧唇部图像的数据库。

步骤S3：深度神经网络模型训练，将所述样本数据库分为多个对应的训练数据集和测试数据集，并基于多个训练数据集训练得到相应的深度神经网络模型；

所述步骤S3进一步包括以下步骤：

步骤S31：将所述步骤S23处理后得到的样本数据库进行训练数据集和测试数据集的分组；

比如，可按单个数字对所述样本数据库进行训练数据集和测试数据集的分配。

步骤S32：将所述训练数据集中的训练数据输入深度神经网络模型的特征提取功能模块，提取出每个训练数据对应的特征；

在本发明一实施例中，共需训练10个数字对应的10个深度神经网络模型，所述深度神经网络模型为基于卷积神经网络和长短时记忆网络的模型，即由卷积神经网络和长短时记忆网络所构成，所述深度神经网络模型的匹配模型包含特征提取功能模块和感知机功能模块，所述深度神经网络模型通过卷积神经网络提取高质量的图像特征信息，利用长短时记忆网络对时序数据的记忆功能防止传统递归神经网络可能发生的梯度消失和爆发。

该步骤中，采用前向传播算法提取每个训练数据对应的特征，在本发明一实施例中，所述卷积神经网络的参数配置为：第一层有96个7×7的卷积子，步长为2，并带有3×3且步长为2的空间聚集层；第二层有384个5×5的卷积子，步长为2，并带有3×3且步长为2的空间聚集层；第三层有512个3×3的卷积子，步长为1；第四层有512个3×3的卷积子，步长为1；第五层有384个3×3的卷积子，步长为1，并带有3×3且步长为2的空间聚集层。

步骤S33：将所述步骤S32到的特征序列送入深度神经网络模型的感知机功能模块输出识别结果；

步骤S34：计算识别结果与真实结果之间的误差，根据得到的误差训练得到所述深度神经网络模型。

在本发明一实施例中，所述步骤S34采用误差反向传播算法来训练所述神经网络模型，待训练迭代次数足够多以至结果收敛时，即可完成深度神经网络模型的训练，图2为根据本发明一实施例的深度神经网络模型的结构示意图。

上述误差反向传播算法主要用于多层模型的训练，其主体是激励传播以及权重更新两个环节的反复迭代，直至达到收敛条件时停止。在激励传播阶段，先将特征序列送入基于卷积神经网络和长短时记忆网络的模型的感知机功能模块输出识别结果，然后将识别结果与真实结果求差，从而获得输出层与监督层的误差。在权重更新阶段，先将已知误差与本层响应对前一层响应的函数的导数相乘，从而获得两层之间权重矩阵的梯度，然后沿着这个梯度的反方向以某个比例调整权重矩阵。随后，将该梯度当作前一层的误差从而计算前一层的权重矩阵。以此类推完成对整个模型的更新。

步骤S4：特征提取和比对，将多个测试数据集输入至所述深度神经网络模型中，提取得到对应的特征，并将提取得到的特征与对应训练数据集的特征进行比对，计算特征之间的相似度，根据所述相似度的大小得到身份识别结果。

在本发明一实施例中，所述步骤S4还包括输出相应数据的识别准确率的步骤。

与目前已有的生物特征识别技术相比，本发明方法是一种新的基于深度学习的生物识别方法。实验结果表明，数字“0”具有最好的识别效果，可达99.20％；数字“8”效果最差，仍达91.01％；10个数字的平均准确率是96.01％，如图3所示。上述结果表明利用深度学习方法对唇部运动行为进行身份识别是一个可行有效的方法。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。