专利名称：一种人脸认证系统及方法
一种人脸认证系统及方法
技术领域：
本发明涉及领域人脸处理领域，特别涉及一种人脸认证系统及方法。
背景技术：
随着当前计算机技术的迅速发展，计算机处理能力得到大幅度的提升；与此同时， 模式识别、计算机视觉等领域的相关技术也取得了快速发展，人脸认证作为相关领域研究 和应用的热点，在安全、娱乐、人机交互等许多领域都具有重要的实用价值并得到了广泛应用。人脸认证是人脸识别的一个分支，人脸认证首先需要利用待认证的人的脸部图像 对分类器进行训练，建立该人的分类器模型。当一个人进行人脸认证时，通常先声明自己的 身份信息，认证系统根据声明的信息从验证数据库中找到该信息对应的分类器模型，采用 该分类器模型对该人进行人脸认证，若认证的结果与此人声明的身份信息吻合，则表示认 证通过，否则表示认证未通过。虽然人脸认证对同一个人是一个区分是否是库中所申明身 份人的两类分类问题，但是由于库中保存了多个合法用户，因而现有方法需要为每个人训 练一个分类模型。此外，在应用中视频采集的多张人脸一般都具有不同的姿态和表情，而查询数据 库里的人脸也具有不同的姿态和表情，如果采用一对一的单张匹配方式，由于光照，姿态和 表情的影响会产生比较大的偏差，造成投票方式的不准确。因此，有必要提出一种改进的人脸认证方案来解决上述问题。
发明内容本发明的目的在于提供一种人脸认证系统和方法，其可以减少人脸姿态表情对于 认证结果的影响。为了达到本发明的目的，根据本发明的一个方面，本发明提供一种人脸认证系统， 其包括采集图像序列的图像采集模块；在采集到的图像序列中检测和跟踪人脸并得到多 张人脸图像的人脸检测跟踪模块；将得到的多张人脸图像进行平均得到平均人脸图像的平 均人脸获取模块；从平均人脸图像中提取人脸特征向量的人脸特征提取模块；为多个合法 用户存储有人脸特征向量的人脸特征数据库；人脸认证模块，利用人脸特征数据库中的申 明合法用户的人脸特征向量对人脸特征提取模块提供的待认证目标的人脸特征向量进行 人脸认证。进一步的，其还包括有在得到的多张人脸图像上进行特征点定位的特征点定位模 块，所述平均人脸获取模块根据每张人脸图像中定位出的人脸特征点将多张人脸图像对齐 并归一化尺寸，求取对齐且尺寸归一化后的多张人脸图像的亮度均值得到平均人脸图像。进一步的，所述人脸特征向量为LBP直方图特征向量，所述人脸认证模块将人脸 特征数据库中的申明合法用户的人脸特征向量与人脸特征提取模块提供的待认证目标的 人脸特征向量作差得到人脸特征向量差，采用支持向量机模型对所述人脸特征向量差进行认证，如果待认证目标与申明合法用户为同一人，则认证通过，如果待认证目标与申明合法 用户不为同一人，则认证拒绝。进一步的，所述人脸特征数据库中的合法用户的人脸特征向量为从根据该合法用 户的多张人脸图像得到的平均人脸图像中提取的LBP直方图特征向量。进一步的，所述支持向量机模型系通过训练得到，所述训练过程为采集M个合法 用户的人脸图像，第m个人有Nm张人脸图像，需要满足Nm ^ 2*Navg，Navg为 平均人脸数；则从 第m个人的Nm张人脸图像中任意选取Navg张，并从剩余的Nm-Navg张图像中任意选取Navg张， 对齐归一化后分别求取平均人脸，并计算平均人脸的LBP直方图特征向量的差值，并作为 正样本特征向量；从M个人中任意取出两个人，假定当前的两个人分别为第ρ个人和第q个 人，从第P个人的Np张人脸图像中任意选取Navg张，从第q个人的Nq张图像中任意选取Navg 张，对齐归一化后分别求取平均人脸，并计算平均人脸的LBP直方图特征向量的差值，并将 所述差值向量作为反样本特征向量；对于上述得到的正样本和反样本特征向量，选择其中 分类能力强的前M个作为最终使用的特征向量；对于M个特征向量，采用支持向量机训练人 脸认证模型，得到最终的人脸认证模型。根据本发明的另一个方面，本发明提供一种人脸认证方法，其包括采集图像序 列；在采集到的图像序列中检测和跟踪人脸并得到多张人脸图像；将得到的多张人脸图像 进行平均得到平均人脸图像；从平均人脸图像中提取人脸特征向量；人脸特征数据库为多 个合法用户存储有人脸特征向量；利用人脸特征数据库中的申明合法用户的人脸特征向量 对人脸特征提取模块提供的待认证目标的人脸特征向量进行人脸认证。进一步的，所述人脸认证方法还包括在得到的多张人脸图像上进行特征点定位， 那么所述将得到的多张人脸图像进行平均得到平均人脸图像包括根据每张人脸图像中定 位出的人脸特征点将多张人脸图像对齐并归一化尺寸，求取对齐且尺寸归一化后的多张人 脸图像的亮度均值得到平均人脸图像。进一步的，所述人脸特征向量为LBP直方图特征向量，那么所述利用人脸特征数 据库中的申明合法用户的人脸特征向量对人脸特征提取模块提供的待认证目标的人脸特 征向量进行人脸认证包括将人脸特征数据库中的申明合法用户的人脸特征向量与人脸特 征提取模块提供的待认证目标的人脸特征向量作差得到人脸特征向量差，采用支持向量机 模型对所述人脸特征向量差进行认证，如果待认证目标与申明合法用户为同一人，则认证 通过，如果待认证目标与申明合法用户不为同一人，则认证拒绝。进一步的，所述人脸特征数据库中的合法用户的人脸特征向量为从根据该合法用 户的多张人脸图像得到的平均人脸图像中提取的LBP直方图特征向量。进一步的，所述支持向量机模型系通过训练得到，所述训练过程为采集M个合法 用户的人脸图像，第m个人有Nm张人脸图像，需要满足Nm ^ 2*Navg，Navg为平均人脸数；则从 第m个人的Nm张人脸图像中任意选取Navg张，并从剩余的Nm-Navg张图像中任意选取Navg张， 对齐归一化后分别求取平均人脸，并计算平均人脸的LBP直方图特征向量的差值，并作为 正样本特征向量；从M个人中任意取出两个人，假定当前的两个人分别为第ρ个人和第q个 人，从第P个人的Np张人脸图像中任意选取Navg张，从第q个人的Nq张图像中任意选取Navg 张，对齐归一化后分别求取平均人脸，并计算平均人脸的LBP直方图特征向量的差值，并将 所述差值向量作为反样本特征向量；对于上述得到的正样本和反样本特征向量，选择其中分类能力强的前M个作为最终使用的特征向量；对于M个特征向量，采用支持向量机训练人 脸认证模型，得到最终的人脸认证模型。与现有技术相比，本发明在 人脸认证模型的训练、人脸特征向量的提取以及人脸 认证过程中均采用不同姿态表情下多张人脸的平均人脸进行处理，这样能够减少单张人脸 姿态表情对于认证结果的影响。
结合参考附图及接下来的详细描述，本发明将更容易理解，其中同样的附图标记 对应同样的结构部件，其中图1为本发明中人脸认证系统在一个实施例中的结构方框图；图2为标准人脸模型；和图3为本发明中人脸认证方法在一个实施例中的方法流程图。
具体实施方式为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实 施方式对本发明作进一步详细的说明。请参考图1所示，其示出了本发明中的人脸认证系统100在一个实施例中的结构 方框图。所述人脸认证系统100包括图像采集模块110、人脸检测跟踪模块120、特征点定 位模块130、平均人脸获取模块140、人脸特征提取模块150、人脸特征数据库160和人脸认 证模块150。在训练过程和认证过程中，所述图像采集模块110、人脸检测跟踪模块120、特 征点定位模块130、平均人脸获取模块140、人脸特征提取模块150可以共用。所述图像采集模块110可以用来采集图像序列。在一个实施例中，所述图像采集 模块110可以为摄像头，当用户面对摄像头时，所述摄像头可以采集用户的正面人脸图像。所述人脸检测跟踪模块120可以在采集到的图像序列中进行人脸检测，在检测 到人脸时进行人脸跟踪，并最后得到多张人脸图像，这些人脸图像可以被称为待处理人脸 图像。在一个实施例中，所述人脸检测跟踪模块120中的人脸检测与跟踪方法包括以下步 骤采用实时人脸检测算法对输入的视频图像进行人脸检测；再采用粗细两级人脸检测算 法对检测到的人脸进行检测验证；采用物体跟踪算法跟踪验证后的人脸；通过对跟踪区域 的验证对跟踪的人脸进行验证处理。具体的，可以采用2006年6月28日公开的申请号为 200510135668. 8的专利申请中公开的人脸检测与跟踪方案来实现所述人脸检测跟踪模块 120。所述特征点定位模块130可以对得到的每一张待处理人脸图像中进行特征点定 位以得到其内的人脸特征点，比如定位人脸的左眼、右眼和嘴巴等特征点。在一个实施例 中，所述特征点定位模块130中的特征点定位方法包括以下步骤采用预先训练得到的双 眼区域检测器，检测得到输入图像上的双眼区域；确定所述双眼区域上的左眼搜索区域和 右眼搜索区域；并且，采用左眼局部特征检测器对所述左眼搜索区域进行检测，得到左眼候 选位置；采用右眼局部特征检测器对所述右眼搜索区域进行检测，得到右眼候选位置；选 择若干左眼候选位置和右眼候选位置进行配对；并且，采用双眼区域验证器对所述若干对 左眼候选位置和右眼候选位置进行验证，确定左眼位置和右眼位置。具体的，可以采用2008年4月9日公开的申请号为200710177541. 1的专利申请中公开的人脸特征点定位方案来 实现所述特征点定位模块130。所述平均人脸获取模块140根据每张待处理人脸图像中定位出的人脸特征点将 多张待处理人脸图像对齐并归一化尺寸，求取对齐且尺寸归一化后的多张待处理人脸图像 的亮度均值得到平均人脸图像。在一个实施例中，所述平均人脸获取模块140根据标准人 脸模型将每张待处理人脸图像进行对齐，并将每张对齐后的待处理人脸图像分割缩放到归 一化大小。下面介绍有关所述平均人脸获取模块140的一种具体实现方式。图2是出了一种标准人脸模型，对于标准人脸模型，标定该图像中左眼中心点 (xsle, ysJ，右眼中心点(X_，ysre)的位置，根据上述左眼中心点和右眼中心点定义人脸区 域为以点(xs。，ysc)为中心、宽度为Wf的正方形区域。对于待处理人脸图像，定位得到的左 眼中心点(xle，yj和右眼中心点(xre，yj。为了能够得到对齐后的当前待处理人脸图像， 需要找到使得标准人脸特征点经过该彷射变换后得到的位置最接近当前待处理人脸图像 中的特征点位置，下面将推导变换的数学模型。假设标准人脸模型上的某特征点为(X，y)，经过仿射变换到当前待处理人脸图像 上对应特征点为(χ'，y')，可以表示为下式
权利要求
1. 一种人脸认证系统，其特征在于，其包括 采集图像序列的图像采集模块；在采集到的图像序列中检测和跟踪人脸并得到多张人脸图像的人脸检测跟踪模块； 将得到的多张人脸图像进行平均得到平均人脸图像的平均人脸获取模块； 从平均人脸图像中提取人脸特征向量的人脸特征提取模块； 为多个合法用户存储有人脸特征向量的人脸特征数据库；人脸认证模块，利用人脸特征数据库中的申明合法用户的人脸特征向量对人脸特征提 取模块提供的待认证目标的人脸特征向量进行人脸认证。
2.根据权利要求1所述的人脸认证系统，其特征在于，其还包括有在得到的多张人脸 图像上进行特征点定位的特征点定位模块，所述平均人脸获取模块根据每张人脸图像中定位出的人脸特征点将多张人脸图像对 齐并归一化尺寸，求取对齐且尺寸归一化后的多张人脸图像的亮度均值得到平均人脸图 像。
3.根据权利要求1所述的人脸认证系统，其特征在于，所述人脸特征向量为LBP直方图 特征向量，所述人脸认证模块将人脸特征数据库中的申明合法用户的人脸特征向量与人脸特征 提取模块提供的待认证目标的人脸特征向量作差得到人脸特征向量差，采用支持向量机模 型对所述人脸特征向量差进行认证，如果待认证目标与申明合法用户为同一人，则认证通 过，如果待认证目标与申明合法用户不为同一人，则认证拒绝。
4.根据权利要求3所述的人脸认证系统，其特征在于，所述人脸特征数据库中的合法 用户的人脸特征向量为从根据该合法用户的多张人脸图像得到的平均人脸图像中提取的 LBP直方图特征向量。
5.根据权利要求4所述的人脸认证系统，其特征在于，所述支持向量机模型系通过训 练得到，所述训练过程为采集M个合法用户的人脸图像，第m个人有Nm张人脸图像，需要满足Nm ^ 2*Navg，Navg 为平均人脸数；则从第m个人的Nm张人脸图像中任意选取Navg张，并从剩余的Nm-Navg张图像中任意选 取Navg张，对齐归一化后分别求取平均人脸，并计算平均人脸的LBP直方图特征向量的差 值，并作为正样本特征向量；从M个人中任意取出两个人，假定当前的两个人分别为第P个人和第q个人，从第P个 人的Np张人脸图像中任意选取Navg张，从第q个人的Nq张图像中任意选取Navg张，对齐归 一化后分别求取平均人脸，并计算平均人脸的LBP直方图特征向量的差值，并将所述差值 向量作为反样本特征向量；对于上述得到的正样本和反样本特征向量，选择其中分类能力强的前M个作为最终使 用的特征向量；对于M个特征向量，采用支持向量机训练人脸认证模型，得到最终的人脸认证模型。
6. 一种人脸认证方法，其特征在于，其包括 采集图像序列；在采集到的图像序列中检测和跟踪人脸并得到多张人脸图像；将得到的多张人脸图像进行平均得到平均人脸图像；从平均人脸图像中提取人脸特征向量；利用人脸特征数据库中的申明合法用户的人脸特征向量对待认证目标的人脸特征向 量进行人脸认证，其中人脸特征数据库为多个合法用户存储有人脸特征向量。
7.根据权利要求6所述的人脸认证方法，其特征在于，其还包括在得到的多张人脸图 像上进行特征点定位，所述将得到的多张人脸图像进行平均得到平均人脸图像包括根据每张人脸图像中定 位出的人脸特征点将多张人脸图像对齐并归一化尺寸，求取对齐且尺寸归一化后的多张人 脸图像的亮度均值得到平均人脸图像。
8.根据权利要求6所述的人脸认证方法，其特征在于，所述人脸特征向量为LBP直方图 特征向量，所述利用人脸特征数据库中的申明合法用户的人脸特征向量对人脸特征提取模块提 供的待认证目标的人脸特征向量进行人脸认证包括将人脸特征数据库中的申明合法用户的人脸特征向量与人脸特征提取模块提供的待 认证目标的人脸特征向量作差得到人脸特征向量差，采用支持向量机模型对所述人脸特征 向量差进行认证，如果待认证目标与申明合法用户为同一人，则认证通过，如果待认证目标 与申明合法用户不为同一人，则认证拒绝。
9.根据权利要求8所述的人脸认证方法，其特征在于，所述人脸特征数据库中的合法 用户的人脸特征向量为从根据该合法用户的多张人脸图像得到的平均人脸图像中提取的 LBP直方图特征向量。
10.根据权利要求9所述的人脸认证系统，其特征在于，所述支持向量机模型系通过训 练得到，所述训练过程为采集M个合法用户的人脸图像，第m个人有Nm张人脸图像，需要满足Nm ^ 2*Navg，Navg 为平均人脸数；则从第m个人的Nm张人脸图像中任意选取Navg张，并从剩余的Nm-Navg张图像中任意选 取Navg张，对齐归一化后分别求取平均人脸，并计算平均人脸的LBP直方图特征向量的差 值，并作为正样本特征向量；从M个人中任意取出两个人，假定当前的两个人分别为第P个人和第q个人，从第P个 人的Np张人脸图像中任意选取Navg张，从第q个人的Nq张图像中任意选取Navg张，对齐归 一化后分别求取平均人脸，并计算平均人脸的LBP直方图特征向量的差值，并将所述差值 向量作为反样本特征向量；对于上述得到的正样本和反样本特征向量，选择其中分类能力强的前M个作为最终使 用的特征向量；对于M个特征向量，采用支持向量机训练人脸认证模型，得到最终的人脸认证模型。
全文摘要
本发明揭露了一种人脸认证系统，其包括采集图像序列的图像采集模块；在采集到的图像序列中检测和跟踪人脸并得到多张人脸图像的人脸检测跟踪模块；将得到的多张人脸图像进行平均得到平均人脸图像的平均人脸获取模块；从平均人脸图像中提取人脸特征向量的人脸特征提取模块；为多个合法用户存储有人脸特征向量的人脸特征数据库；人脸认证模块，利用人脸特征数据库中的申明合法用户的人脸特征向量对人脸特征提取模块提供的待认证目标的人脸特征向量进行人脸认证。这样能够减少单张人脸姿态表情对于认证结果的影响。
文档编号G06K9/62GK102004899SQ20101053150
公开日2011年4月6日 申请日期2010年11月3日 优先权日2010年11月3日
发明者邓亚峰 申请人:无锡中星微电子有限公司