专利名称：一种人脸比对方法
技术领域：
本发明涉及生物特征识别技术领域，尤其涉及一种人脸比对的方法。
背景技术：
人脸是人的重要信息，是区分不同的人的重要依据，因此人脸比对是较指纹、虹膜 等技术更自然、更直接的比对方式。人脸比对是将图像或视频输入的人脸通过提取特定的人脸特征信息，与数据库中 已注册的人脸特征信息相比较，获得匹配的人脸极其相似度，确认是否与数据库中人脸为同一。人脸比对在很多场合下都具有非常重要的作用，例如手机彩信中的视频彩信、人 机界面、权限控制、智能监视系统等。比对的准确性、精度和鲁棒性问题一直是业界关心的 主要问题。另外，在人脸比对中，如果当前输入一张静态照片，其与数据库中已注册人脸相比 对，也会得出匹配的结果，这将导致识别的客体并不是真实的人脸，导致无权限的人得到权 限。因此，判断当前输入为真实的人的脸还是静态的照片非常重要，而现有技术还无法解 决。因此，业界急需一种能够确保输入真实、具有较高准确性与鲁棒性的人脸比对技 术。
发明内容
为弥补现有技术的不足，本发明目的是提供一种人脸比对方法，解决人脸表情变 化和姿态变化的影响，提高比对的准确性、精度和鲁棒性，保障比对的真实性。为了实现上述目的，本发明的技术方案如下一种人脸比对方法，包含人脸比对方法，其特征在于，包含步骤601，人脸跟踪，获取特征点；步骤603，提取详细的人脸特征数据；步骤605人脸比对，将该人脸特征数据与人脸数据库中的每一个人脸的特征数据 进行比对，获得其相似性；具体方法为(1)选取数据库中的一个人脸k的特征模板库pj，k = 0，. . .，K ；(2)对特征模板成计算输入人脸的特征与氕之间的 相似度Skji ；(3)计算输入人脸与特征模板戈的相似度& = +Σ‘ ；(4)计算输入人脸与人脸k的相似度为民=max{^}；(5)重复步骤(1)-(4)，获得输入人脸与数据库中所有K个人脸的相似度，取其中最大者^nax= max^J，得到其对应的人脸k’ ；
K步骤607，判断是否已找到匹配的人脸；δ为相似度阈值，若Smax> δ，则判断输入 人脸与数据库中的人脸k’相匹配；步骤608，判断表情是否有显著变化；根据连续多帧人脸特征点进行分析，包括但 不限于嘴巴的张开与闭合，眼睛的张开与闭合，判断人脸的表情是否发生了显著的变化；在人脸表情有显著变化时，执行步骤609，输出比中的人脸。其中，该步骤603提取详细的人脸特征数据的具体方法为根据步骤601人脸检测跟踪得到的精确的人脸特征点位置，插值获得其他选取的 人脸特征点的位置；根据双眼位置对图像进行归一化处理；计算得到人脸特征点i的Gabor特征}\，所有特征点的Gabor特征即组成一个人
脸特征数据€ = [y·},! = 1，2，. . .，N，N为选取的人脸特征点个数。其中，该人脸特征点为人脸上的显著特征点，人脸特征点的特征选取所有80个 Gabor复系数，表达完整的人脸信息，完整表达不同人脸之间的差异性。其中，该步骤601人脸跟踪，获取特征点所选取的人脸特征为人脸的共同性的特 征。进一步的，该人脸比对方法还包含步骤604人脸注册；保存人脸特征数据至人脸 数据库；具体方法为将步骤603获得的详细人脸特征数据加入此人的人脸特征模板库 = pj，j = 0，. . .，M，M为此人的特征模板个数，保存至数据库。其中，该步骤601人脸跟踪，获取特征点的具体包含离线训练方法和在线跟踪方 法；该离线训练方法包含多层结构人脸模型训练方法和人脸特征点的离线模板训练 方法；该多层结构人脸模型训练方法为该在线跟踪方法提供人脸模型，该离线模板训练 方法为该在线跟踪方法提供人脸特征点离线模板；该多层结构人脸模型训练方法包含如下步骤步骤301，选取适当的人脸图像作为训练样本；步骤302，对人脸图像的特征点进行标记；步骤3031-3061，得到基准形状模型；步骤3032-3062，得到全局形状模型；步骤3033-3063，得到局部形状模型。其中，该基准形状模型、该全局形状模型与该局部形状模型的获得方法为用s表示一个人脸形状向量 S = S + Pb, 其中，；为平均人脸形状；P为一组正交的主形状变化模式；b为形状参数向量；
人脸形状向量s表示为(sK，sG,、)Τ，其中SK、Se和分别表示基准特征点、全局特 征点和局部特征点；刚性基准形状的点分布模型& +‘全局基准形状的点分布模型Sfj =^ + PGbG
局部形状模型的点分布模型权利要求
一种人脸比对方法，其特征在于，包含步骤601，人脸跟踪，获取特征点；步骤603，提取详细的人脸特征数据；步骤605人脸比对，将该人脸特征数据与人脸数据库中的每一个人脸的特征数据进行比对，获得其相似性；具体方法为(1)选取数据库中的一个人脸k的特征模板库k＝0，...，K；(2)对特征模板j＝0，...，M，计算输入人脸的特征与之间的相似度Skji；(3)计算输入人脸与特征模板的相似度(4)计算输入人脸与人脸k的相似度为(5)重复步骤(1) (4)，获得输入人脸与数据库中所有K个人脸的相似度，取其中最大者得到其对应的人脸k’；步骤607，判断是否已找到匹配的人脸；δ为相似度阈值，若Smax＞δ，则判断输入人脸与数据库中的人脸k’相匹配；步骤608，判断表情是否有显著变化；根据连续多帧人脸特征点进行分析，包括但不限于嘴巴的张开与闭合，眼睛的张开与闭合，判断人脸的表情是否发生了显著的变化；在人脸表情有显著变化时，执行步骤609，输出比中的人脸。FSA00000205786400011.tif,FSA00000205786400012.tif,FSA00000205786400013.tif,FSA00000205786400014.tif,FSA00000205786400015.tif,FSA00000205786400016.tif,FSA00000205786400017.tif,FSA00000205786400018.tif
2.如权利要求1所述的人脸比对方法，其特征在于，该步骤603提取详细的人脸特征数 据的具体方法为根据步骤601人脸检测跟踪得到的精确的人脸特征点位置，插值获得其他选取的人脸 特征点的位置；根据双眼位置对图像进行归一化处理；计算得到人脸特征点i的Gabor特征&，所有特征点的Gabor特征即组成一个人脸特 征数据^=·^’,}“ = 1，2，...，N，N为选取的人脸特征点个数。
3.如权利要求2所述的人脸比对方法，其特征在于，该人脸特征点为人脸上的显著特 征点，人脸特征点的特征选取所有80个Gabor复系数，表达完整的人脸信息，完整表达不同 人脸之间的差异性。
4.如权利要求1所述的人脸比对方法，其特征在于，该步骤601人脸跟踪，获取特征点 所选取的人脸特征为人脸的共同性的特征。
5.如权利要求1所述的人脸比对方法，其特征在于，还包含步骤604人脸注册；保存人 脸特征数据至人脸数据库；具体方法为将步骤603获得的详细的人脸特征数据与此人已有的人脸特征模板库进行比较，若其相似度S > St，则不保存该特征，否则将该特征加入此人的人脸特征模板库，j = 0，. . .，M，M为此人的特征模板个数，保存至数据库；其相似度S的具体计算方法为(υ对特征模板戈={y’,}e占，j = ο，...，m，根据式(9)计算输入人脸的特征}；与y,,之间的相似度Sji ；(2)计算输入人脸与特征模板《的相似度为·β』=达Sjl；(3)计算输入人脸与人脸k的相似度为々= m^x{^_j。
6.如权利要求1所述的人脸比对方法，其特征在于，该步骤601人脸跟踪，获取特征点 的具体包含离线训练方法和在线跟踪方法；该离线训练方法包含多层结构人脸模型训练方法和人脸特征点的离线模板训练方法；该多层结构人脸模型训练方法为该在线跟踪方法提供人脸模型，该离线模板训练方法 为该在线跟踪方法提供人脸特征点离线模板； 该多层结构人脸模型训练方法包含如下步骤 步骤301，选取适当的人脸图像作为训练样本； 步骤302，对人脸图像的特征点进行标记； 步骤3031-3061，得到基准形状模型； 步骤3032-3062，得到全局形状模型； 步骤3033-3063，得到局部形状模型。
7.如权利要求6所述的人脸比对方法，其特征在于，该基准形状模型、该全局形状模型 与该局部形状模型的获得方法为用s表示一个人脸形状向量s = S +Pb,其中，I为平均人脸形状；ρ为一组正交的主形状变化模式；b为形状参数向量；人脸形状向量s表示为(巧，知，^”，其中SK、Se和&分别表示基准特征点、全局特征点 和局部特征点；刚性基准形状的点分布模型~ =^" + PRbR 全局基准形状的点分布模型= 7G+pGbG局部形状模型的点分布模型J - e~一 + P b^Gi,Li ~ liGi,Li ^ 1 Gi,Li GiM第i个局部形状向量为SeiJi= Isei，SlJ，其中Sei，Su分别表示属于第i个局部形状 的全局和局部特征点。
8.如权利要求6所述的人脸比对方法，其特征在于，该人脸特征点的表达方法为给定灰度图像/(灼中的一个像素Jf = (U)，一系列Gabor系数J/ft可表达该点附近的局部外观， 可定义为其中Gabor核^为高斯包络函数限定的平面波，
9.如权利要求6所述的人脸比对方法，其特征在于，该人脸特征点的离线模板训练方 法如下步骤401，选取N张适当的人脸图像作为训练样本； 步骤402，对人脸图像的特征点进行标记； 步骤403，对图像进行归一化处理； 步骤404，计算所有样本的Gabor特征； 步骤405，获得各样本Gabor特征之间的相似度；
10.如权利要求6所述的人脸比对方法，其特征在于，该在线跟踪方法包含 步骤501，初始化，初始化变量和参数设置，参数包含但不限于图像格式、分辨率、颜色 空间，跟踪模式；步骤502，输入一帧图像；步骤503，图像归一化，将输入图像转换成标准尺寸的图像； 步骤504，判断是否重新检测；若步骤504的判断结果为是，则执行步骤505，利用基准形状模型，基于ASM形状约束， 对齐基准特征点；步骤506，利用全局形状模型，基于ASM形状约束，对齐全局特征点； 步骤507，利用局部形状模型，基于ASM形状约束，对齐局部特征点； 步骤508，更新在线特征模板，根据得到的脸部特征点的位置更新其小波特征作为该人 脸的在线特征模板；步骤515，估计人脸姿态，根据六个基础点的位置估计人脸的姿态； 返回步骤502循环执行本方法各步骤并执行步骤516，输出人脸特征点及人脸姿态信息；若步骤504的判断结果若为否，则执行步骤509，基于在线特征模板更新眼角点； 然后执行步骤510，基于离线特征模板调整眼角点； 然后执行步骤511，更新其他特征点；然后执行步骤512，根据前一帧的人脸姿态更新各形状模型的平均形状； 然后执行步骤513，基于形状约束更新全局特征点； 然后执行步骤514，基于形状约束更新局部特征点； 然后返回步骤508，继续执行本方法各步骤。
全文摘要
本发明公开的是一种人脸特征比对方法，包含人脸跟踪，获取特征点；提取详细的人脸特征数据；人脸比对，将该人脸特征数据与人脸数据库中的每一个人脸的特征数据进行比对，获得其相似性；判断是否已找到匹配的人脸，δ为相似度阈值，若Smax＞δ，则判断输入人脸与数据库中的人脸k’相匹配；判断表情是否有显著变化；根据连续多帧人脸特征点进行分析，包括但不限于嘴巴的张开与闭合，眼睛的张开与闭合，判断人脸的表情是否发生了显著的变化，输出比中的人脸。本发明属于生物特征识别技术领域，用于人脸跟踪与比对，广泛应用于各种人脸比对系统。
文档编号G06T7/20GK101964064SQ20101023741
公开日2011年2月2日 申请日期2010年7月27日 优先权日2010年7月27日
发明者唐霖, 姜涛, 董初宁 申请人:上海摩比源软件技术有限公司