一种基于深度学习的手持人证比对系统及方法与流程

本发明涉及计算机视觉，机器学习，图像处理，信息安全和生物识别技术领域，具体涉及一种基于深度学习，用于验证人证是否一致的手持人证比对系统及方法，以提高现代生活的信息安全程度。

背景技术：

随着现代社会的发展，整个社会对信息安全的要求也越来越高。身份证作为标识持证人身份的有效证件，在各个场合都起着举足轻重的作用。

如何确认个人身份是一个亟待解决的社会问题。这一问题包括两个部分：第一部分是身份证的安全性，这里包括证件的真伪，证件是否过期，该身份是否属于黑名单等。这一部分的检查是目前身份证检查关注的重点。第二部分是指持证人员是否就是证件所属人员的问题，即人证一致性检查。在各种需要进行验证人证一致性的场所，多数采取的方式还是安全检查人员简单观察持证人员的性别是否符合，面部明显特征是否一致。人工识别具有较大的误差，识别的准确率不高，而且一个一个地识别，识别速度非常慢，工作人员的工作量也大，非常的耗费人力，效率低下。

近年来，人脸识别的飞速发展使基于人脸识别的人证比对系统得以实现并应用。市面上的人证一致性检验系统大多采取的方案是：通过高清摄像头采集人脸图像，身份证阅读器提取身份证证件照图像，后台服务器安装比对软件，并审核比对结果。这种做法的缺点是:

(1)系统的各个部分相对分散，部署不是很方便，整体移动困难；

(2)与后台服务器之间的交互有延时；

(3)必须联网。

技术实现要素：

为了解决以上的缺陷和问题，本发明提供了一种基于深度学习的手持人证比对系统及方法，将人脸识别技术与身份证读取技术相结合，提供了便携、实时的手持人证一致性识别解决方案，能有效提高身份安全的程度。

本发明提供一种基于深度学习的手持人证比对系统，系统包括身份证信息读取模块，图像采集模块，人脸识别模块，人证比对模块和显示模块。其中身份证信息读取模块包括身份证读卡区域和身份证阅读器芯片，模块完成的工作是读取身份证证件照和身份证基本信息，其中身份证基本信息包括身份证号码，姓名，性别，出生日期等信息。图像采集模块调用摄像头并获取持证人现场照片。人脸识别模块包括图像预处理，人脸检测和人脸对齐三个部分。人证比对模块进行特征提取以及比对证件照与持证人现场照片的特征值。显示模块显示的内容包括读取到的身份证信息，采集的现场持证人的图像，操作提醒和比对结果。

上述基于深度学习的手持人证比对系统，所述身份证信息读取模块，图像采集模块，人脸识别模块，人证比对模块和显示模块之间的关系如下：身份证信息读取模块将读取到的身份证证件照传到人脸识别模块进行人脸检测和对齐等处理，同时也将读取到的身份证所有信息传到显示模块，图像采集模块将持证人现场照片分别传到显示模块和人脸识别模块进行处理，经过人脸识别模块处理后，提取出的照片中人脸信息被送往人证比对模块进行特征提取和比对，人证比对模块将比对的结果返回给显示模块。

本发明进一步提供了一种基于深度学习的手持人证比对方法，利用上述基于深度学习的手持人证比对系统，按照如下步骤进行：

s1读取身份证证件照信息

使用时，将身份证放置于身份证信息读取模块的身份证读卡区域，内置的身份证阅读器芯片将读取到此身份证相关信息，其中就有身份证证件照信息；

s2读取身份证基本信息

身份证阅读器芯片读取的除了身份证证件照信息之外，还有身份证基本信息，这里读取的身份证基本信息包括身份证号码，姓名，性别，出生日期等；

s3调用摄像头

在读取到身份证相关信息之后，利用图像采集模块，调用摄像头，摄像头大致朝向持证人面部方向即可；

s4获取持证人照片

摄像头采集的照片不一定是含有持证人面部信息，人脸识别模块中的检测步骤用于检测图像中的人脸，当返回检测到人脸时，即表示获取到了持证人的照片，否则，继续采集；

s5图像预处理

为了提高人脸检测和识别的精度，人脸识别模块对摄像头采集的照片进行图像预处理；而身份证身份证的证件照照片是在一定要求下采集，所以暂不对身份证证件照进行预处理，此处的输入图像只有采集的现场持证人照片；所述人脸识别模块中的图像预处理可以采用某一种或者多种方法结合，主要处理方法有直方图均衡化、中值滤波、灰度拉伸、同态滤波，对图像的rgb色彩空间进行归一化处理去除光照和阴影的影响；对图像进行预处理能够去除图像中的不相关信息，准确定位人脸部分，使图像细节更明显，进一步提高人脸图像的特征提取、匹配和识别的可靠性；

s6人脸检测

人脸检测是人脸识别模块中的一个重要环节；对经过预处理之后的图像进行人脸检测，即可定位出图像中的人脸大致范围，为接下来的环节做准备。此处的输入图像是身份证证件照和采集的现场持证人照片，后面的人脸对齐，特征提取和特征值比对环节都是对这两者进行处理。所述人脸识别模块中人脸检测的方法可以采用多种方法，主要分类如下：(1)基于模板的方法：该类方法主要是用设计好的模板和待测的人脸图像进行匹配，计算两者相似度，通过阈值判别人脸；(2)基于特征的方法：基于特征的方法是根据人脸的一些特征或特征点，包括几何特征、空间特征、灰度特征等各种度量或者它们之间的关系组成一个矢量，然后用这个矢量作为人脸识别系统的输入；(3)基于外观学习的方法：将人脸检测视为区分“非人脸样本”与“人脸样本”的模式分类问题，通过对人脸和非人脸样本集的学习产生分类器；

s7人脸对齐

人脸对齐即人脸特征点定位，利用人脸识别模块根据输入的人脸图像自动定位出面部关键特征点，如眼睛、鼻尖、嘴角点、眉毛以及人脸各部件轮廓点。目前主要的人脸对齐技术有以下几类：(1)asm与aam类方法：asm和aam是针对人脸等特定类别物体进行特征点提取的两个最为经典的方法，asm方法更强调特征点特征的匹配，有更好的定位精度，而aam方法在速度方面则更有优势；(2)统计能量函数类方法：人脸特征点定位问题实际是各类不同类型信息的综合利用问题。近年来，许多学者将人脸特征点定位问题转化为统计能量函数的优化问题进行求解，丰富了信息的融合方式，也取得了较好的实际效果；(3)回归分析方法：回归分析是一种经典的分析预测判断方法，可以方便地建立从输入信息到输出信息之间的映射关系；(4)深度学习方法：深度学习技术基于多层神经网络架构实现对复杂模型的模拟和逼近，具有突出的揭示数据内在联系和结构的能力；

s8特征提取

输入的图像在经过人脸对齐之后，利用人证比对模块将进行人脸特征提取；所谓的特征提取，就是从图像信息中利用各种方法挑选出对分类最有利最有效的特征，同时进行适当的降维。

s9特征值比对

特征提取之后的特征比对时可以选用距离度量或者相似度度量；主要用于计算个体间差异的距离有欧式距离，明氏距离(欧氏距离的推广)，马氏距离等；距离值越大，个体差异越大；与距离度量相反，相似度度量用于计算个体间的相似程度，主要有向量空间余弦相似度，皮尔森相关系数，jaccard相似系数等，相似度越趋近于1表明个体相似度越高；

s10比对结果显示

将特征值比对结果与设定阈值比较，显示模块上返回比对的结果，即人证一致或者人证不一致。阈值的设定对系统的使用有关键的作用，尤其是在照片的特征距离值在人证不一致但距离较近的情况和人证一致但距离较远的情况；不同的应用场景下，阈值的设定也需要调整。

本发明提供一种基于深度学习的手持人证比对系统及方法，其有益成果在于：本发明为一体式结构，各个模块集成于同一块嵌入式开发板，可支持单手持机操作，使用方便，便于携带，系统识别速度快，应用范围广泛；此外本发明内置的人脸检测和识别模块拟采用基于深度学习的算法，目前在人脸识别领域，基于深度学习的人脸识别算法已经被证明在人脸识别领域比传统的人脸识别算法具有更高的精度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，以下将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，以下描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图所示实施例得到其它的实施例及其附图。

图1是本发明系统的功能模块示意图。

图2是本发明系统的模块关系示意图。

图3是本发明系统的系统流程示意图。

具体实施方式

下面将结合附图对本发明的具体实施方式作进一步详细说明。

如图1所示，本发明基于深度学习的手持人证比对系统包括五大模块：身份证信息读取模块，图像采集模块，人脸识别模块，人证比对模块和显示模块。所述身份证信息读取模块完成的工作是读取身份证证件照和身份证基本信息，身份证基本信息包括姓名，性别，出生年月等信息。所述图像采集模块调用摄像头并获取持证人现场照片。所述人脸识别模块对身份证证件照和持证人现场照片进行预处理，人脸检测和对齐。所述人证比对模块进行特征提取以及比对证件照与持证人现场照片的特征值。所述的显示模块显示的内容包括读取到的身份证相关信息，采集的现场持证人的图像，操作提醒和比对结果。各个模块集成于同一块嵌入式开发板，可支持单手持机操作。

(1)身份证信息读取模块：身份证信息读取模块读取的证件照作为人证比对的输入照片之一，而读取的身份证基本信息可用于简单核查证件所有者的基本情况，如身份证号码，姓名，性别，出生日期等。

(2)图像采集模块：图像采集模块目的在于采集持证人现场照片，读取到身份证之后开始调用摄像头采集持证人现场照片。如果摄像头采集的照片并没有检测到人脸，则继续采集。

(3)人脸识别模块：人脸识别模块包括图像预处理，人脸检测和人脸对齐三个部分。其中人脸检测是自动人脸识别系统中的一个关键环节。采集的图像可能不只有人脸部分，所以人脸识别的第一步就是做人脸检测，对图像中的人脸区域检测出来。人脸对齐也叫人脸特征点定位，即根据输入的人脸图像，自动定位出面部关键特征点，如眼睛、鼻尖、嘴角点、眉毛以及人脸各部件轮廓点等。人脸图像预处理是为了去除光照，角度等对人脸的影响。去除图像中的干扰信息，使图像细节更明显，提高识别的可靠性。

(4)人证比对模块：人证比对模块包括特征提取和特征值比对。这里特征提取是指提取预处理后的人脸图像的特征值。将预处理后的证件中人脸图像的特征记为第一特征值；将预处理后的持证人现场照片中人脸图像的特征记为第二特征值；特征值比对是指身份证证件照和持证人人脸图像的信息比对，即将第一特征值和第二特征值匹配比对，记录其特征距离度量值或者相似度；若比较时采用距离度量值，则将特征距离度量值与设定阈值进行比较，若距离度量值度不高于对比阈值，判定身份证件不属于持证人，否则判定身份证属于持证人。若比较时采用相似度，则将相似度值与设定阈值进行比较，若相似度值高于对比阈值，判定身份证件属于持证人，否则判定身份证不属于持证人。

(5)显示模块：显示模块是系统的界面部分，显示的内容包括读取到的身份证相关信息，采集的现场持证人的图像，操作提醒和比对结果。其中身份证相关信息由阅读器读取，包括身份证证件照和身份证基本信息，身份证基本信息可供检查人员简单核查证件所有者的性别，出生年月等基本信息。显示的持证人照片选取用于比对的那张持证人面部照片。比对的结果即人证是否一致的判断结果，人证一致或者人证不一致。如果在读取到身份证之后一直检测不到镜头捕捉的人脸，显示提醒：“请对准持证人人脸”。

上述基于深度学习的手持人证比对系统包括身份证信息读取模块，图像采集模块，人脸识别模块，人证比对模块和显示模块五个部分，模块之间关系如图2所示：身份证信息读取模块将读取到的身份证证件照传到人脸识别模块进行人脸检测和对齐等处理，同时也将读取到的身份证所有信息(包括身份证证件照和身份证基本信息)传到显示模块。图像采集模块将持证人现场照片分别传到显示模块和人脸识别模块进行处理。经过人脸识别模块处理后，提取出的照片中人脸信息被送往人证比对模块进行特征提取和比对。人证比对模块将比对的结果返回给显示模块。

上述基于深度学习的手持人证比对系统，其执行流程如图3所示：

s1读取身份证证件照信息

使用时，将身份证放置于身份证信息读取模块的身份证读卡区域。内置的身份证阅读器芯片将读取到此身份证相关信息，其中就有身份证证件照信息。身份证证件照信息是系统使用中的关键信息，也是人脸识别和人证比对模块中的输入之一。

s2读取身份证基本信息

身份证阅读器芯片读取的除了身份证证件照信息之外，还有身份证基本信息。这里读取的身份证基本信息包括姓名，性别，出生年月，家庭地址等。身份证基本信息的读取便于检查人员简单核查姓名，性别等基本信息。

s3调用摄像头

在读取到身份证相关信息之后，图像采集模块调用摄像头，摄像头大致朝向持证人面部方向即可。如果开启摄像头捕捉的照片在一分钟之内都没有被检测出人脸，系统会返回显示提醒“请对准持证人人脸”。

s4获取持证人照片

摄像头采集的照片不一定是含有持证人面部信息，人脸识别模块中的检测步骤用于检测图像中的人脸，当返回检测到人脸时，即表示获取到了持证人的照片，否则，继续采集。

s5图像预处理

为了提高人脸检测和识别的精度，人脸识别模块对摄像头采集的照片进行图像预处理。而身份证的证件照照片是在一定要求下采集，所以暂不对身份证证件照进行预处理。根据实际情况的需要，人脸识别模块通过对图像的rgb色彩空间进行归一化处理去除光照和阴影的影响。

s6人脸检测

系统在人脸检测，人脸对齐和特征提取部分都采用基于深度学习的方法。近几年，深度学习因其出色的性能，成为了研究的热点。与其它方法相比，利用神经网络的方法提取人脸特征，使复杂的特征提取工作更加简单，同时能够学习到人脸图像中的一些隐性规律和规则。神经网络以并行的方式处理信息，速度较快，耗时较小，识别效率更高。

s7人脸对齐

人脸对齐的问题，很大程度上依赖信息的综合融合，而基于模拟生物智能的神经网络技术的深度学习方法在该方面无疑具有独特的优势。

s8特征提取

输入的图像在经过人脸对齐之后，将进行人脸特征提取。深度学习与传统模式识别方法的最大不同在于它是从大数据中自动学习特征，而非采用手工设计的特征。好的特征可以极大提高模式识别系统的性能。由于依赖手工调参数，特征的设计中只允许出现少量的参数。而深度学习可以从大数据中自动学习特征的表示，其中可以包含成千上万的参数。深度学习可以充分利用大数据，针对新的应用从训练数据中很快学习得到新的有效的特征表示。

s9特征值比对

提取特征后，人证比对模块使用欧式距离度量两者的特征值距离。距离大于设定阈值表明不是同一人，否则表明是同一人。

s10比对结果显示

显示模块返回比对的结果，人证一致或者人证不一致。