一种基于身份证件信息的人脸验证方法
【专利摘要】本发明公开了一种基于身份证件信息的人脸验证方法，该方法对身份证件芯片信息电子图A，身份证件表面人脸图像B，以及实时采集的人脸图像C进行；通过对图像A和B的比对，以及芯片信息文字W1和证件表面文字W2的比对，来判断证件的真伪；再通过图像B与C比对，来判断是否人证合一；由于身份证件的有效期较长，在长时间跨度下，身份证件持有人与证件照之间可能存在较大差异，该差异极大的影响了验证的准确度；本发明提出一种对时间跨度鲁棒性较强的频谱采样结构子空间特征算法来进行人脸验证，通过该算法对身份证件表面人脸图像与实时采集的人脸照片进行比对进行识别，具有有效提高识别率的优点。
【专利说明】
-种基于身份证件信息的人脸验证方法
技术领域
[0001] 本发明属于图像处理领域，更具体地，设及一种基于身份证件信息的人脸验证方 法。
【背景技术】
[0002] 目前使用的二代身份证件中内置了非接触式IC智能忍片，其中存储了证件持有人 的人脸图像信息，W及证件持有人的身份信息；身份证件的表面印刷有证件持有人的人脸 图像及身份信息。现有的身份证件人脸验证系统，是利用身份证件忍片内存储的人脸图像 与证件持有人现场采集的人脸图像比对来进行身份验证；由于身份证件忍片内存储图像分 辨率过低（只有102 X 126像素），存在误判的可能性。
[0003] 专利文件CN 104021397 A公开了一种基于二代身份证件和人脸特征识别的身份 验证系统，采用Gabor滤波器对人脸图像进行滤波变换得到Gabor特征，然后利用人脸图像 特征向量和身份证件人脸图像特征向量，建立多个马儿可夫模型，通过计算每个马儿可夫 模型对应的似然值来得到匹配结果;该系统提高了身份验证的准确度，但是该系统没有验 证身份证件的真实性，也没有针对身份证件照和持有人的长时间跨度做出处理；当身份证 时间跨度较长，而持有者的面部特征随着时间而发生变化时，识别率偏低。
【发明内容】
[0004] 针对现有技术的W上缺陷或改进需求，本发明提供了一种基于身份证件信息的人 脸验证方法，其目的在于提高长时间跨度下基于身份证件信息的人脸验证方法的识别率。
[0005] 为实现上述目的，按照本发明的一个方面，提供了一种基于身份证件信息的人脸 验证方法，包括如下步骤：
[0006] (1)获取身份证件忍片内存储的第一人脸图像A，W及身份信息Wl;获取身份证件 表面扫描图像W及文字信息W2;
[0007] (2)对上述身份信息Wl与文字信息W2进行比对，判断两者是否匹配，若是，则进入 步骤(3);若否，则表明身份证件为伪造；
[000引（3)对上述身份证件表面扫描图像进行固定分割，获得证件表面的第二人脸图像 B；
[0009] (4)对上述第一人脸图像A和第二人脸图像B分别进行预处理，获得第一人脸图像 的归一化校正图像A'，和第二人脸图像B的归一化校正图像B' ；
[0010] (5)采用局部二值模式化BP，Local Binary Patterns)对上述两幅归一化校正图 像进行处理，获得第一人脸图像的归一化校正图像A'与第二人脸图像B的归一化校正图像 B '的特征矢量；
[0011] (6)对步骤(5)获得的两个归一化校正图像的特征矢量进行比对，获取余弦相似 度;并根据余弦相似度获取第一匹配结果Rl，根据第一匹配结果确定身份证件的真伪。
[0012] 优选地，上述基于身份证件信息的人脸验证方法，其步骤（5)中，在特征矢量提取 之前，先采用双=次插值方法将两个归一化校正图像进行放大，W对损失信息进行补偿，达 到最低识别分辨率阔值;其中，最低识别分辨率阔值为128X 128像素。
[0013] 优选地，上述基于身份证件信息的人脸验证方法，其步骤(5)中，采用LBP描述符采 样的密集网格对图像进行划分，并且用一个8*8像素的滑动窗口 W6像素为步进单位根据划 分获得的图像逐步提取LBP直方图；
[0014] 对获得的LBP直方图进行拼接获得LBP特征;根据LBP特征分别获取归一化校正图 像的特征矢量。
[0015] 优选地，上述基于身份证件信息的人脸验证方法，其步骤(6)之后，还包括如下步 骤：
[0016] (7)获取身份证件持有人的实时人脸图像C;
[0017] (8)对实时人脸图像C进行预处理，获得实时人脸图像C的归一化校正图像C'；
[0018] (9)对实时人脸图像C的归一化校正图像C'，W及第二人脸图像B的归一化校正图 像B'，采用频谱采样结构子空间特征算法(4SF)提取人脸特征，获得实时人脸图像C和第二 人脸图像B的特征矢量；
[0019] (10)对实时人脸图像C和第二人脸图像B的特征矢量进行比对，获取卡方距离;根 据卡方距离获取第二匹配结果R2;
[0020] (11)将第二匹配结果R2并与预设阔值L2进行比对，根据比对结果确定身份证件与 证件持有人是否人证合一。
[0021] 优选地，上述基于身份证件信息的人脸验证方法，步骤(9)所述的频谱采样结构子 空间特征算法，具体如下：
[0022] (i)采用AdaBoost算法对待处理图像进行检测，获得人脸图像上眼睛所在处的坐 标;并对人眼定位到的图像进行归一化处理；
[0023] (ii)对归一化处理后的图像采用局部对比度增强算法进行光场校正；其中，局部 对比度增强算法是指将包含图像细节信息的高频信号进行增强，使下面人脸匹配步骤对光 照变化的鲁棒性更好；
[0024] (iii)对待处理图像用一个8*8像素的滑动窗口 W6像素为步进单位，进行密集采 样，W提取LBP直方图；
[0025] (iv)对待处理图像各个特征区域块进行加权处理，获取加权后的LBP增强直方图； 根据所述LBP增强直方图，拼接获取加权处理后的人脸特征向量。
[00%]优选地，上述基于身份证件信息的人脸验证方法，其步骤(iv)中，进行加权处理后 的卡方距焉
[0027] 其中，X是指图像B的增强直方图信息(特征向量），|是指图像C的直方图信息(特征 向量），xi,J是指位于图像B第i个直方图对应的第j个图像块的特征向量，Cl,J是指图像C第i 个直方图对应的第j个图像块的特征向量，指数i和j是指第i个直方图对应的第j个局部区 域，是指第j个局部区域的权重，义^是指卡方距离。
[0028] 现有的LBP算子在对人脸进行描述时，对各个特征区域取相同权重，但是人脸特征 随时间变化较大，采用相同的权重对特征进行描述，当时间跨度过大时，一部分特征发生变 化较大，运样会导致特征向量之间的差别较大，相似度低，从而导致误识率增高；
[0029] 数据跟踪分析表明，人眼和嘴己部位的特征随时间变化较小，而脸型轮廓W及鼻 子随时间变化较大;对于人脸验证而言，随时间变化较小的面部特征比其它特征具有更大 贡献，在本发明中，利用运种特点，对随时间变化小得区域所包含的信息的重要性进行加 权，运样得到的LBP特征对时间鲁棒性更强，在对比过程中可W有效的提高两张图像特征向 量的相似度，降低误识率。
[0030] 总体而言，通过本发明所构思的W上技术方案与现有技术相比，能够取得下列有 益效果：
[0031] (1)本发明提供的基于身份证件信息的人脸验证方法，基于身份证件忍片内存储 信息与身份证件表面信息，实现了对身份证真伪的识别；
[0032] (2)本发明提供的基于身份证件信息的人脸验证方法，基于身份证件表面信息与 人脸实时图像，实现了是否人证合一的识别；
[0033] (3)本发明提供的基于身份证件信息的人脸验证方法，采用对长时间跨度鲁棒性 强的频谱采样结构子空间算法，针对随时间变化较小的特征（如人眼）取较高权重，对随时 间变化较大特征(如脸部轮廓)取较小权重，通过特征点权重设置来减少长时间跨度对人脸 识别的影响，提高了识别精度，尤其是在长时间跨度下，实时采集到的人脸图像与身份证忍 片内存储的图像信息W及身份证件表面的图片信息存在差异时，利用该方法，可在保证误 识率为0.1 %的基础上提高识别率。
【附图说明】
[0034] 图1为实施例提供的基于身份证件信息的人脸验证方法的流程图；
[0035] 图2为实施例中文字信息验证的流程图；
[0036] 图3为实施例中人脸验证步骤的流程图；
[0037] 图4为实施例中对人脸图像分割W及权重设置的示意图；图4(a)为采用7X7分割 的人脸图像示意图，图4(b)为对应图4(a)图像的权重设置示意图。
【具体实施方式】
[0038] 为了使本发明的目的、技术方案及优点更加清楚明白，W下结合附图及实施例，对 本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用W解释本发明，并 不用于限定本发明。此外，下面所描述的本发明各个实施方式中所设及到的技术特征只要 彼此之间未构成冲突就可W相互组合。
[0039] 实施例提供的基于身份证件信息的人脸验证方法，其流程如图1所示，具体包括如 下步骤：
[0040] (1)获取身份证件忍片内存储的第一人脸图像A，W及身份信息Wl;获取身份证件 表面扫描图像W及文字信息W2;
[0041] (2)对上述身份信息Wl与文字信息W2进行比对，判断两者是否匹配，若是，则进入 步骤(3);若否，则表明身份证件为伪造；
[0042] (3)对所述身份证件表面扫描图像进行分割，获得证件表面的第二人脸图像B;
[0043] (4)对上述第一人脸图像A和第二人脸图像B分别进行预处理，获得第一人脸图像 的归一化校正图像A'，和第二人脸图像B的归一化校正图像B' ；
[0044] (5)对上述两幅归一化校正图像进行处理，用LBP表述人脸特征，得到两个归一化 校正图像的特征矢量；
[0045] (6)对两个归一化校正图像的特征矢量进行比对，获取余弦相似度;并根据余弦相 似度获取第一匹配结果Rl;当Rl大于第一相似阔值Ll时，进入步骤(7);否则，将该身份证件 判定为伪造；
[0046] 其中，第一相似阔值Ll是在误识率为0.1%时设定的阔值；
[0047] (7)获取身份证件持有人的实时人脸图像C;
[0048] (8)对实时人脸图像C进行预处理，获得实时人脸图像C的归一化校正图像C'；
[0049] (9)对实时人脸图像C的归一化校正图像C'，W及第二人脸图像B的归一化校正图 像B'，采用频谱采样结构子空间特征算法(4SF)提取人脸特征，获得实时人脸图像C和第二 人脸图像B的特征矢量；
[0050] (10)对实时人脸图像C和第二人脸图像B的特征矢量进行比对，获取卡方距离;根 据卡方距离获取第二匹配结果R2;
[0051] (11)将第二匹配结果R2并与预设阔值L2进行比对；当R2大于第二相似阔值L2时， 判定人证统一，否则判定为身份证件与持有人不符；
[0052] 其中，第二相似阔值L2是在误判率为0.1%时设定的阔值。
[0053] 图2所示，是实施例中步骤(2)对身份信息Wl与文字信息W2进行比对的流程图，在 获取身份证件忍片信息后，提取身份信息W1。获取身份证件表面信息后，通过字符识别获取 证件表面信息W2;通过对信息的比对，如性别，出生年月，身份证号等信息的逐一比对，得到 验证结果RO，通过分析RO来判断证件真伪。
[0054] 图3所示，是实施例中人脸验证步骤的流程图，该过程具体包括如下步骤：
[0055] (1)获取身份证件忍片内照片图像A;
[0056] (2)获取证件表面人脸图像B;
[0057] (3)对A，B图像进行人脸检测，得到A，B的人脸图像；
[0058] (4)对A，B人脸图像进行预处理，得到A，B固定大小为128X128的归一化校正图像；
[0059] (5)对上述归一化校正图像，采用LBP来表述人脸特征，得到A，B图像的特征矢量；
[0060] (6)对A，B图像的特征矢量进行比对，获取余弦相似度;根据余弦相似度获取匹配 结果Rl;判断Rl是否大于预设相似度阔值LI,若是，则进入步骤(7);若否，则表明验证未通 过；
[0061] (7)获取身份证件持有人的实时人脸图像C;
[0062] (8)对实时人脸图像C进行预处理，得到固定大小为128X128的归一化校正图像C;
[0063] (9)对B，C的归一化校正图像提取人脸特征，得到B，C图像的特征矢量；
[0064] (10)对B，C图像的特征矢量进行比对，获取卡方距离;根据卡方距离获取匹配结果 R2;并将匹配结果R2与预设阔值L2进行比对分析。
[0065] 图4所示，是实施例中对人脸图像分割W及权重设置的示意图；其中，图4(a)为采 用7X7分割的人脸图像示意图，图4(b)为对应图4(a)图像的权重设置示意图；其中，根据对 人脸特征随时间变化的大小，黑色方块区域的权重为〇(黑色区域主要是人脸无关的周围信 息），深灰色方块区域的权重为1.0(运部分区域覆盖了人脸轮廓W及鼻子等随时间变化较 大的部位），浅灰色方块区域的权重为2.0(嘴己部位），白色区域的权重设为4.0(眼睛部 位）；通过权重设置，对随时间变化较小的特征(人眼部位)取较高权重，对随时间变化较大 特征(脸部轮廓)取较小权重，由此来减少长时间跨度对人脸识别的影响，提高识别精度。
[0066] 本发明提供的运种人脸验证方法，一方面对身份证件忍片信息和身份证件表面信 息进行比对，W识别证件的真伪；另一方面，对证件照与持有人现场采集照片的年龄跨度， 提出了一种对长时间跨度鲁棒性较好的人脸验证方法，通过特征点权重设置来尽可能的减 少长时间跨度对人脸识别的影响，达到提高识别精度的目的。
[0067] 本领域的技术人员容易理解，W上所述仅为本发明的较佳实施例而已，并不用W 限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含 在本发明的保护范围之内。
【主权项】
1. 一种基于身份证件信息的人脸验证方法，其特征在于，包括如下步骤： (1) 获取身份证件芯片内存储的第一人脸图像A，以及身份信息W1;获取身份证件表面 扫描图像以及文字信息W2; (2) 对所述身份信息W1与文字信息W2进行比对，判断所述身份信息与文字信息是否匹 配，若是，则进入步骤(3);若否，则表明身份证件为伪造； (3) 对所述身份证件表面扫描图像进行分割，获得第二人脸图像B; (4) 对所述第一人脸图像A和第二人脸图像B分别进行预处理，获得第一人脸图像的归 一化校正图像A'，第二人脸图像B的归一化校正图像B' ； (5) 采用局部二值模式对所述两幅归一化校正图像进行处理，获得第一人脸图像的归 一化校正图像A'与第二人脸图像B的归一化校正图像B'的特征矢量； (6) 对所述特征矢量进行比对，获取余弦相似度;并根据余弦相似度获取第一匹配结果 R1，根据第一匹配结果确定身份证件的真伪。2. 如权利要求1所述的人脸验证方法，其特征在于，所述步骤(5)中，在特征矢量提取之 前，对两个归一化校正图像采用双三次插值方法进行放大，对损失信息进行补偿，以达到分 辨率阈值。3. 如权利要求1或2所述的人脸验证方法，其特征在于，所述步骤(5)中，采用LBP描述符 采样的密集网格对图像进行划分，并且用一个8*8像素的滑动窗口以6像素为步进单位根据 划分获得的图像逐步提取LBP直方图； 对获得的LBP直方图进行拼接获得LBP特征;根据所述LBP特征分别获取归一化校正图 像的特征矢量;其中，LBP是指局部二值化模式。4. 如权利要求1或2所述的人脸验证方法，其特征在于，所述步骤(6)之后，还包括如下 步骤： (7) 获取身份证件持有人的实时人脸图像C; (8) 对实时人脸图像C进行预处理，获得实时人脸图像C的归一化校正图像C'； (9) 对实时人脸图像C的归一化校正图像C'，以及第二人脸图像B的归一化校正图像B'， 采用频谱采样结构子空间特征算法提取人脸特征，获得实时人脸图像C和第二人脸图像B的 特征矢量； (10) 对所述实时人脸图像C的特征矢量与第二人脸图像B的特征矢量进行比对，获取卡 方距离;并根据卡方距离获取第二匹配结果R2; (11) 将第二匹配结果R2与预设阈值L2进行比对，根据比对结果确定身份证件与证件持 有人是否人证合一。5. 如权利要求4所述的人脸验证方法，其特征在于，步骤(9)所述的频谱采样结构子空 间特征算法，具体如下： (i) 对待处理图像进行检测，定位人脸图像上眼睛所在处的坐标;并对定位后获得的图 像进行归一化处理； (ii) 对归一化处理后的图像采用局部对比度增强算法进行光场校正；（iii)采用一个 8*8像素的滑动窗口，以6像素为步进单位，对待处理图像进行密集采样，以提取LBP直方图； (iv)对待处理图像各个特征区域块进行加权处理，获取加权后的LBP增强直方图；根据 所述LBP增强直方图，拼接获取加权处理后的人脸特征向量。6.如权利要求5所述的人脸验证方法，其特征在于，进行加权处理后的卡方距离其中，X是指第二人脸图像B的特征向量，ξ是指实时人脸图像C的特征向量，xu是指第 二人脸图像Β第i个直方图对应的第j个图像块的特征向量，是指实时人脸图像C第i个直 方图对应的第j个图像块的特征向量，指数i和j是指第i个直方图对应的第j个局部区域， ?j是指第j个局部区域的权重，乂是指卡方距离。
【文档编号】G06K9/00GK105956578SQ201610343814
【公开日】2016年9月21日
【申请日】2016年5月23日
【发明人】尤新革, 陈鹏旭, 李政
【申请人】深圳华中科技大学研究院