专利名称：基于多阶局部显著模式特征统计的人脸识别方法
技术领域：
本发明涉及计算机视觉、数字图像处理和模式识别等技术领域，特别是基于多阶局部显著模式特征统计的人脸识别方法。
背景技术：
随着国民经济水平的不断提高，人均购买能力逐渐越强，在支付时需要进行身份认证的场合越来越多。基于人体生理特征的生物特征识别技术将在和国民经济发展、公共安全相关的多个重要领域都发挥越来越重要的作用。其中，人脸识别可以说是目前潜力最大、最可能开展广泛应用的生物特征识别模态之一。因为，其采集设备的普及程度发展空前，几乎每个移动终端和PC终端都原装携带，同时设备的采集精度也从早期的几十万像素到几百万像素发展到现在的千万像素级别，而其他主流的生物特征模态(如:指纹、掌纹、虹膜、静脉)在图像获取时却需要特殊的采集设备，不论在易用性还是在设备价格，人脸识别都有有一定的优势。然而，人脸图像会随着年龄增长、表情变化、化妆、环境光照变化、面部遮挡(如墨镜、围巾)以及姿态的变化而发生一定的改变。因此如何设计一种高区分性和强鲁棒性的人脸特征表示方法变得尤为重要。特别是当人脸识别要在一些计算能力弱、功耗要求高的移动设备上应用时，一些计算复杂度高的人脸特征提取方法并不适用。因此，开发一种计算复杂度低且鲁棒性高的人脸识别系统在计算量要求高的低功耗移动设备具有重要的应用价值。
发明内容
本发明的目的是提出一种基于多阶局部显著模式特征统计的人脸识别方法，即利用多阶分析和显著性编码的局部差分模式进行统计分析来表示人脸图像，用于人脸识别。为实现上述目的，基于多阶局部显著模式统计描述的人脸识别方法包括步骤:人脸图像预处理；对归一化的人脸图像的每个像素所在局部邻域计算不同阶数的局部差分模式特征向量；将人脸图像每个像素的每一阶局部差分模式特征向量编码成相应局部显著模式特征；对人脸图像每一尺度、每一阶的局部显著模式特征图分块并进行空间直方图统计；将人脸图像每一阶的所有局部显著模式特征直方图进行拼接，并用白化的主成分分析进行增强；根据每一阶增强后的局部显著模式直方图特征的判别能力，计算相应的权重；两幅人脸图像的特征相似度用加权的余弦距离度量。本发明的人脸识别方法通过多阶分析计算不同阶的人脸局部差分模式特征向量，以获得多阶的人脸特征表达，同时通过显著性编码获得鲁棒的特征表示，并且通过分块直方图统计和每阶特征的子空间分析使该特征得到进一步增强，最后在匹配时通过计算所有阶增强的局部显著模式特征加权的余弦距离来度量两幅人脸图像之间的相似性。该方法在人脸图像特征编码时一方面通过多阶分析丰富了人脸局部模式的表达能力，能更好的抵抗外界不同噪声的影响；另一方面又汲取了基于显著性编码方式的鲁棒性，即仅选用了最稳定的局部差分模式进行编码；最后通过直方图统计描述和子空间分析的方法使总的特征维度得到进一步压缩，不但增强了不同个体人脸图像之间的判别能力，同时还能容忍一定的噪声干扰。本发明具有计算速度快、鲁棒性高和匹配速度快的特点。本发明可用于移动互联环境下的低功耗设备一对一的身份认证系统或者一对多的身份识别系统。
图1为基于多阶局部显著模式特征统计的人脸识别流程框图；图2为人脸图像归一化不意图，其中图2a是摄像头米集到的人脸图像，图2b是图2a归一化结果；图3为多阶局部显著模式人脸特征的提取过程示意图；图4的图4a、4b、4c、4d、4e分别为归一化的人脸图像和其O阶、I阶、2阶、3阶局部显著模式特征图。
具体实施例方式为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。现有的人脸识别系统总体分为软件和硬件两大模块:即人脸图像的获取装置和人脸识别算法。人脸识别算法包括人脸归一化、特征提取和特征相似度度量三个步骤。本发明提出的方法将应用于人脸识别的软件模块，即通过计算机软件实现。本发明的人脸识别算法通 过多阶局部差分的方式获得人脸图像在不同阶下的局部模式特征向量；其后根据显著性仅选用最鲁棒的两个局部差分模式特征进行编码以获得更稳定、更紧凑的人脸表示；同时利用空间直方图统计和子空间分析的方法使人脸图像的空间结构特征得到保持同时使整体的特征判别能力得到增强。本方法充分描述了不同个体的不同人脸图像在不同阶局部差分模式下的差异，同时利用显著性编码的方式在某种程度上也抑制了同一个体在类内发生的局部变化。由于采用了空间直方图统计的策略，能克服一定的噪声干扰。度量时，采用余弦距离进行匹配速度非常快，适用于移动终端设备一对多身份识别系统，和一对一的访问控制系统等诸多应用系统中。本发明对硬件配置不高，仅需普通个人电脑的摄像头或移动终端的摄像头即可实现，易于在实际应用中快速搭建系统。本发明提出了一种基于多阶分析和显著性编码的局部模式统计描述的人脸识别方法，其流程图如图1所示。用户在使用前需要向系统注册自己的人脸模板，然后才能进行识别。该系统可以运行于人脸识别系统常见的两种模式:I)验证模式:又称I对I的匹配模式。该模式要求用户向系统提出身份认证的申请，同时向系统声明自己的身份，系统通过对比即时从用户身上提取的人脸特征和用户声称的个体在注册时存储于数据库中的人脸特征模板，若相似度大于一定的阈值，则系统判定为身份认证通过，该模式广泛应用于需要进行访问控制的情形，例如手机解锁、电脑系统
登录等等。2)识别模式:即I对多的匹配模式。该模式用户不需申明自己的身份信息，系统完全自动识别给出用户的身份，或者给出该用户不在注册名单之列的结论。因为在识别模式中包含验证模式，因此识别模式是一种比验证模式更高级同时难度也越大的识别方式。该模式在国防、刑侦和司法鉴定的应用较多。本发明既可以用于验证模式，也能用于识别模式。和现有的其他人脸识别方法相比具有以下优势:1)现有方法仅采用圆形采样的方式进行局部差分模式的计算，而本发明将其推广到同心圆的方式，能使内圆局部模式表达更加丰富；2)现有的方法利用局部差分模式的所有信息进行编码，而本发明采用最鲁棒的两个显著差分模式的结果进行编码；3)现有的方法仅采用一阶局部差分模型进行特征统计，而本发明的方法将其扩展到更高阶，通过多阶局部差分模式特征计算，丰富了人脸在不同阶下的人脸局部差分模式的特征表达。图1为本发明的基于多阶局部显著模式特征统计的人脸识别方法的流程图，包括注册和识别两个模块。参照图1，该方法主要包括以下各步骤:步骤1，首先用摄像头或者数码相机对人脸图像进行采集。步骤2，对采集的人脸图像归一化。在该步骤，针对采集到的如图2a所示的人脸图像，将检测到的人脸的双眼坐标中心平移到图像中心并旋转，使两眼的y坐标相同。然后进行图像的缩放变化，使人脸的瞳距保持在设定值。以两眼中心为坐标原点，按同一尺寸上下左右分割出归一化后的人脸图像，如图2b所示。步骤3，人脸图像特征提取。(如图3所示)。图3是人脸图像特征提取过程示意图。在该步骤，针对归一化的人脸图像先计算O阶的局部差分模式特征向量，公式如下所示:V0 (x y) — {V0j1j V0,2，...，V0jk}`
V0ji = PWj1-Pn,i i = 1，2，3，...，k其中，V0 (x, y)表示以归一化后人脸图像坐标为(X，y)的像素O阶局部差分模式特征向量，Vchi表示Vtl(Xd)中的第i个元素，其值由以像素坐标(x，y)为中心半径分别为rw和rn的同心圆的第i个采样的值Pw, i和Pn, i的差分结果计算而得，默认rw > rn, k为总的采样点数，即特征向量y)的长度，采样点的位置在圆周上呈均匀分布。在O阶的局部差分模式特征向量的基础上，可以计算更高阶的局部差分模式特征向量，计算公式如下表示:Vt (X, y) = IVta, Vtj2,..., Vt, J , t = 1,2,3...
Vtj j — Vt_lj i_Vt_lj (i+1)% k，i — I，2，3，...，k其中，Vt(x，y)表示以归一化后人脸图像坐标为(x，y)的像素t阶局部差分模式特征向量，Vtii表示Vt(x，y)中的第i个元素，其值由以t-Ι阶局部差分模式特征值Vt^的第i个元素和第(i+1) % k个元素的差分结果计算而得，％为取模符号，k为总的采样点数，即特征向量Vt (X，y)的长度，采样点的位置在圆周上呈均匀分布，其中高阶是指阶数t > O且t为整数。在计算完不同阶数的局部差分模式特征向量后，根据显著性，计算其相应的局部显著模式特征，具体计算公式如下表示:LSPt (x, y) = [max_pos (Vt (x, y) )min_pos (Vt (x, y)) ], t = 0,1, 2, 3...
其中，LSPt (x，y)是坐标为(x，y)的t阶局部显著模式，是一个二元组，其第一个元素为特征向量Vt (X，y)中值最大元素的位置，第二个元素为Vt (X，y)特征向量中值最小元素的位置，位置在采样圆周按顺时针方向排列，排列序号为1，2，...，k。对每个像素的局部显著模式根据其类型数(A(k，2)+1)进行编码，例如图像4(a)的O阶、I阶、2阶、3阶局部显著模式示意图分别如，图4(b)、4 (c)、4(d)、4 (e)所示。并且在此基础上对人脸图像每一阶的局部显著模式编码后的特征图分块并进行空间直方图统计可由如下公式表示:
权利要求
1.一种基于多阶局部显著模式特征统计的人脸识别方法，包括步骤: 人脸图像预处理； 对归一化的人脸图像的每个像素所在局部邻域计算不同阶数的局部差分模式特征向量; 将人脸图像每个像素的每一阶局部差分模式特征向量编码成相应局部显著模式特征； 对人脸图像每一阶的局部显著模式特征图分块并进行空间直方图统计； 将人脸图像每一阶的所有局部显著模式特征直方图进行拼接，并用白化的主成分分析进行增强； 根据每一阶增强后的局部显著模式直方图特征的判别能力，计算相应的权重； 两幅人脸图像的特征相似度用加权的余弦距离度量。
2.根据权利要求1所述的方法，其特征在于，所述的对归一化的人脸图像的每个像素所在局部邻域计算不同阶数的局 部差分模式特征向量包括步骤: 对归一化的人脸图像的每个像素计算O阶局部差分模式特征向量； 在O阶局部差分模式特征向量的基础上，对归一化的人脸图像的每个像素计算更高阶局部差分模式特征向量。
3.根据权利要求2所述的方法，其特征在于所述的归一化人脸图像的O阶局部差分模式特征向量其计算公式如下所示: Vo(X, y) 一 {Vo’l, Vo,2，...，v0’i = Pw’1-Pn’i，i = 1，2，3，...，k 其中，V0(x, y)表示以归一化后人脸图像坐标为(X，y)的像素O阶局部差分模式特征向量，Vthi表示V。(x，y)中的第i个元素，其值由以像素坐标(x，y)为中心半径分别为^和rn的同心圆的第i个采样的值Pw,i和Pn,i的差分结果计算而得，默认rw > rn, k为总的采样点数，即特征向量y)的长度，采样点的位置在圆周上呈均匀分布。
4.根据权利要求2所述的方法，其特征在于所述的归一化人脸图像的高阶局部差分模式特征向量其计算公式如下表示:Vt (X，y) = {Vta，Vt,2，...，VtjkI，t = 1,2,3...Vt, i — Vt-1, (i+1) % k i — I，2，3，...，k 其中，Vt(x, y)表示以归一化后人脸图像坐标为(X，y)的像素t阶局部差分模式特征向量，Vt,i表示Vt(x，y)中的第i个元素，其值由以t-Ι阶局部差分模式特征值Vt_Ui的第i个元素和第(i+1) % k个元素的差分结果计算而得，％为取模符号，k为总的采样点数，SP特征向量Vt(x，y)的长度，采样点的位置在圆周上呈均匀分布，其中高阶是指阶数t> O且t为整数。
5.根据权利要求1中所述的方法，其特征在于，所述的将人脸图像每个像素的每一阶局部差分模式特征向量编码成相应局部显著模式特征包括步骤: 计算人脸图像每个像素的每一阶局部差分模式特征向量相应的局部显著模式特征； 将计算所得的人脸图像每个像素的每一阶局部显著模式特征进行编码。
6.根据权利要求5中所述的方法，其特征在于，所述的计算人脸图像每个像素的每一阶局部差分模式特征向量相应的局部显著模式特征，其计算公式如下表示:LSPt (x, y) = [max_pos (Vt (x, y) )min_pos (Vt (x, y)) ], t = 0,1, 2, 3...其中，LSPt (x,y)是坐标为(x，y)的t阶局部显著模式，是一个二元组，其第一个元素为特征向量Vt(x，y)中值最大元素的位置，第二个元素为Vt (x，y)特征向量中值最小元素的位置，位置在采样圆周按顺时针方向排列，排列序号为1，2，...，k，k为采样点数。
7.根据权利要求5中所述的方法，其特征在于所述的将计算所得的人脸图像每个像素的每一阶局部显著模式特征进行编码，包括步骤: 根据采样点数构造局部显著模式编码字典； 根据字典对每一阶的人脸图像每个像素对应的局部显著模式进行特征编码。
8.根据权利要求7中所述的方法，其特征在于根据采样点数构造局部显著模式编码字典方式如下: 采样点数为k，则局部显著模式的构成方式有A(k，2)+1种，其中AO为k的排列数，即Vt(x,y)中最大和最小两个显著位不相等的时候，则从k个位置有顺序的选择两个非重复的位置；而当Vt(x，y)中两个显著位相等，则只有I种可能，即局部模式特征向量Vt(x，y)中的所有元素都相等。
9.根据权利要求1中所述的方法，其特征在于对人脸图像每一阶的局部显著模式特征图分块并进行空间直方图统计可由如下公式表示:
10.根据权利要求1中所述的方法，其特征在于将人脸图像每一阶的所有局部显著模式特征直方图进行拼接，并用白化的主成分分析进行增强包括步骤: 在人脸训练库中的每幅人脸图像的每个区域分别提取t个局部显著模式直方图，并将其按阶数分别拼接组成t个该幅图像的特征向量，若一共有M个非重叠人脸区域，则第t阶局部显著模式直方图特征为: HLSP (t) = [HLSP (t, I) HLSP (t, 2) — HLSP (t, M)]； 若人脸库中每个个体有充足的样本时采用线性判别分析LDA训练投影矩阵，若每个个体的样本不足或每个个体仅有一个样本时，则采用带白化过程的主成分分析WPCA进行投影矩阵训练，每阶的投影矩阵用T(t)表示，增强后的特征用EHLSP(t)来表示，所述阶数为O 到 t-1。
11.根据权利要求1中所述的方法，其特征在于，对于人脸图像每一阶增强后的局部显著模式直方图特征的判别能力不同设不同的权重，阶数位t的局部显著模式直方图特征的权重用w(t)表示。
12.根据权利要求1中所述的方法，其特征在于，用加权的按阶数增强的局部显著模式直方图特征的余弦距离来度量第P幅人脸图像和第q幅人脸图像的相似度，若相似度大于某一阈值，则识别为同一个人，否则认为是不同的人。
全文摘要
本发明公开了一种基于多阶局部显著模式特征统计的人脸识别方法，包括步骤人脸图像预处理；对归一化的人脸图像的每个像素所在局部邻域计算不同阶数的局部差分模式特征向量；将人脸图像每个像素的每一阶局部差分模式特征向量编码成相应局部显著模式特征；对人脸图像每一阶的局部显著模式特征图分块并进行空间直方图统计；将人脸图像每一阶的所有局部显著模式特征直方图进行拼接，并用白化的主成分分析进行增强；根据每一阶增强后的局部显著模式直方图特征的判别能力，计算相应的权重；两幅人脸图像的特征相似度用加权的余弦距离度量。本发明可以用于低功耗的移动设备上的人脸识别系统，计算的时间复杂度和空间复杂度都比较低。
文档编号G06K9/00GK103246880SQ201310178619
公开日2013年8月14日 申请日期2013年5月15日 优先权日2013年5月15日
发明者谭铁牛, 孙哲南, 柴振华 申请人:中国科学院自动化研究所