专利名称：基于类内变化字典和训练图像的稀疏表示人脸识别方法
技术领域：
本发明涉及一种人脸识别方法，确切地说，涉及一种基于类内变化字典和训练图像的稀疏表示人脸识别方法，属于计算机的图像处理和模式识别技术领域。
背景技术：
人脸识别是利用计算机对人脸图像进行分析，从中提取有效的鉴别特征，实现身份认证的一种技术。与指纹、虹膜、掌纹等生物特征相比，利用人脸进行身份认证的优势是使用方便、成本低廉、操作隐蔽等。其应用场景十分广泛，例如公安监控、司法认证、民航安检、口岸出入控制、智能门禁等。
人脸识别系统通常包括人脸检测、特征提取和识别算法三个部分。传统的人脸识别技术的研究侧重于特征提取和识别算法，并已经形成了一些经典方法，例如，主成分分析、线性鉴别分析、弹性匹配、神经网络等。有一些识别算法在实验数据中取得了较好的效果，然而，在现实应用中，人脸识别方法仍然面临着下述诸多挑战(I)小样本问题训练集合中的每个类别(人脸)仅有一个或几个训练图像，训练图像的单一性和测试图像的多态性就会导致识别精度较低。(2)光照问题光照的角度、强度和传感器的不同，都会导致同一人脸在不同环境下采集的人脸图像存在巨大差异。(3)人脸遮挡和/或表情问题墨镜、胡须、发型、化装等因素和/或喜怒哀乐悲恐惊等不同表情都会导致人脸图像模式的多样性。上述多重因素的相互干扰和叠加，使得人脸识别技术成为一项极富挑战性的课题，因此，面向现实环境的人脸识别技术已经成为当前计算机图像处理和模式识别领域的研究热点。2009年John Wright等人将压缩感知理论引入人脸识别技术的研究中，提出了基于稀疏表示的人脸识别方法，该方法开创性地指出测试人脸图像一旦能够表示为训练图像的稀疏线性组合，则特征提取和识别算法将不再重要。基于稀疏表示的人脸识别方法为解决噪声、光照、遮挡、表情等人脸识别难题提供了全新的思路。但是，其高精度识别结果是在严格限定的条件下获得的对于每个候选人脸图像，至少需要32个不同光照下的训练图像，才足以线性表示复杂环境下的光照。显然，在目前的大部分现实应用中，无法提供如此充分的训练数据，所以传统的基于稀疏表示的人脸识别方法在现实环境中的应用至今非常有限。因此，如何寻找更加简便、实用的基于稀疏表示的人脸识别方法，已经成为业内科技人员关注的焦点课题。
发明内容
有鉴于此，本发明的目的是提供一种基于类内变化字典和训练图像的稀疏表示人脸识别方法，利用类内变化字典和训练图像的稀疏表示来解决现有技术在人脸图像处于小样本、光照不均、人脸遮挡和表情变化情况时差异描述上的不足，并在降低对人脸训练图像数量需求的同时，提高光照、遮挡或表情等复杂环境下的人脸识别精度。为了达到上述目的，本发明提供了一种基于类内变化字典和训练图像的稀疏表示人脸识别方法，其特征在于所述方法包括下列操作步骤(I)对训练图像集合中的所有人脸图像进行特征提取，得到训练图像矩阵A :A=[A1； A2,. . . , Ai,. . . , Ak]，且Ae Rrfix"，并对该训练图像矩阵A中的每一列进行归一化处理，使每一列向量的模都为I ;式中，自然数下标i为人脸类别序号，其最大值为k 和η分别为训练图像的维数和个数，且第i类训练人脸图像矩阵為,其中的Iii为第i类训练人
脸图像的个数，且》=，R为实数集；
;=!(2)对测试图像进行特征提取，得到测试图像向量yeR"2'并对该测试图像向量y进行归一化处理；式中，d2为测试图像的维数；(3)从训练图像集合或其他开放人脸图像集合中获取用于描述相同类别人脸在不同环境因素下的类内变化，构成类内变化字典，即矩阵D e Rrfjxp ;式中，d3为类内变化字典的行数，且d3与d2、Cl1的数值都相等；p为类内变化字典中描述设定的人脸图像变化的列数；(4)用训练图像矩阵A和类内变化字典D线性表示测试图像向量y G R^i，其表达式为:y=Ax+Di3+z，式中，X和β分别为线性的稀疏系数，Z为噪声项，且Xe RnX1，β e RpX1,z G Rdixl ；(5)因稀疏系数X和β具有多值性，故采用基于LI范数最小化方法求解得到其最优稀疏系数和α其目标函数为λ =argmin X ，且满足[A，D] X -y <ε式中，ε
i β ■>U」 L^J!L^J 2
为预设的误差，且最优稀疏系数i = [xl5x2,和淇中，自然数下标t为最优稀疏系数序号，其最大值为n，该i中的第t个元素Xt是重构测试图像向量y时第t个训练图像的系数；(6)分别保留最优稀疏系数中与第i类训练图像相对应的系数，并将i中与第i类训练图像无关的系数全部置零，得到下述带通系数4伏)e Rnxl J1 (X) = [^1, X2, ···, Xnj, O, ···, θ]Τ,—
本发明首创提出一种将测试图像表示为训练图像矩阵和类内变化字典的稀疏线性组合的方法。该类内变化字典用于描述同一人脸在光照、遮挡和/或表情变化时的图像纹理差异。通过补偿测试图像与其相同类别的训练图像之间的差异，类内变化字典可以提高人脸识别算法在表情、遮挡和/或光照变化环境下的识别精度。另外，在每类训练图像较少或者每类只有单个训练图像的情况下，本发明首创提出的类内变化字典可从独立于训练图像集合的其他开放人脸图像集合中获取，为解决小样本和单样本情况下的人脸识别问题提供了一种全新思路。因为传统的稀疏表示方法只适用于样本充足的情况，基于该性能，本发明使得训练图像稀疏表示方法在小样本和单样本情况下同样能够获得较高的识别精度，因此该方法的推广应用前景看好。
图I是本发明基于类内变化字典和训练图像的稀疏表示人脸识别方法示意图。图2是本发明基于类内变化字典和训练图像的稀疏表示人脸识别方法操作步骤流程图。·图3是本发明实施例中采用的训练图像和测试图像样例的示意图。
具体实施例方式为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步的详细描述。众所周知，人脸识别的核心问题是寻找出同一人脸的共性特征和差异特征，一旦能够有效刻画同一人脸的差异，就能实现复杂、真实环境下的高精度人脸识别。本发明旨在克服现有技术在人脸差异刻画上的不足，提供一种基于类内变化字典和训练图像的稀疏表示人脸识别方法。类内变化是指同一人脸在不同外部环境下所呈现的差异。例如，某一人脸在佩戴墨镜时图像与其正常光照和表情下的图像的差异表现为墨镜。本发明首创的类内变化字典D用于描述每类人脸在包括不同光照和/或遮挡、和/或表情的复杂外部环境下所呈现的各种图像纹理差异的集合，以便能够设法找出同一人脸的差异特征。类内变化字典中的每一列描述人脸的一种设定的差异变化，也就是将某一个人脸在异常光照和/或遮挡、和/或表情的图像与其在正常光照和表情、且无遮挡的图像相减得到的差值(例如，将某一人脸在佩戴墨镜时的图像和其正常光照和表情下的图像做减法所得的结果即为墨镜；将某一人脸在异常光照下的图像和其正常光照和表情下的图像做减法时的结果就是某种特殊光照)。不同人脸的差异往往存在共性，因此一旦能够有效刻画同一人脸图像的差异，就能实现复杂、真实环境下的高精度人脸识别。分别用每个类别的训练图像矩阵和类内变化字典的线性组合得到重构图像，根据原测试图像与重构图像的残差来实现高精度的人脸识别。图I展示了本发明人脸识别方法的工作原理即基于类内变化字典和训练图像的稀疏表示人脸识别方法。参见图2，介绍本发明方法的具体操作步骤步骤1，对训练图像集合中的所有人脸图像进行特征提取，得到训练图像矩阵A :A=LA11A2,. . . ,Ai,. . .，Ak]，且A e R"lXW ,并对该训练图像矩阵A中的每一列进行归一化处理，使每一列向量的模都为I ;式中，自然数下标i为人脸类别序号，其最大值为k 和η分别为训练图像的维数和个数，且第i类训练人脸图像集合為，其中的Iii为第i类训练人
脸图像的个数，且"=i>,, R为实数集。
/=1步骤2，对测试图像进行特征提取，得到测试图像向量yeR1^1，并对该测试图像向量I进行归一化处理； 式中，d2为测试图像的维数。步骤3，从训练图像集合或其他开放人脸图像集合中获取用于描述相同类别的人脸在不同环境因素下的类内变化，构成类内变化字典，即矩阵DeRrfW ;式中，d3为类内变化字典的行数，且d3与C^d1的数值都相等；p为类内变化字典中描述设定的人脸图像变化的列数。该步骤使用其他开放人脸图像集合构建或获取类内变化字典时，若发生该人脸图像集合中的图像维数与训练图像维数Cl1不相等的情况，则采用包括插值法的图像缩放方法，使得其他开放人脸图像集合中图像的维数等于训练图像的维数Cl1，以保证类内变化字典的行数d3与训练图像的维数Cl1相等。构建类内变化字典有下述两种方法第一种方法是求解得到用不同光照和/或遮挡、和/或表情的某个人脸图像减去其在所有环境中的平均图像所得到的差值向量的集合，其操作步骤如下(Al)从人脸数据库中随机选择与训练人脸不同的m个人，再对每个人选取w幅人脸图像，用于计算类内变化字典；还对每幅人脸图像进行特征提取，将每幅人脸图像表示成一个d3维的列向量；(A2)分别将每个人的w幅人脸图像标记为矩阵!^.，再求解每个人的w幅图
W
像的平均人脸图像式中，自然数下标j为计算类内变化字典时的人脸类
JW
别序号，其最大值为m ;矩阵I的第b列向量D, ，自然数下标b为矩阵h的列序号，其最大值为w ；(A3)从m个人的所有人脸图像中，计算得到人脸的类内变化字典D: D = [D1 — C1 X e,，D2 — C2 X …,D 厂 Cj xep··· ,Om — cm xeje R W);式中，Cj 为列向量，e」为全I的行向量,且efefce」=…=em=[l, . . .，I] e RixwjCjXej是每列均为Cj且维数为d3XW的矩阵，(Dj-CjXej)表示矩阵Dj的每一列都减去其对应的平均人脸图像Cj ；(A4)采用上述方法得到类内变化字典的列数p=wXm ;(A5)对类内变化字典D中的每列元素进行归一化处理，使得每列元素的模值都为
Io第二种方法是求解得到同一人脸在包括不同光照和/或遮挡、和/或表情的各种环境下获取的不同图像之间每两个图像的差值向量集合，其操作步骤为(BI)从人脸数据库中随机选择与训练人脸不同的m个人，再对每个人选取w幅人脸图像，用于计算类内变化字典；还对每幅人脸图像进行特征提取，将每幅人脸图像表示成一个d3维的列向量；(B2)从每个人的w幅人脸图像中，任意选取其中两幅人脸图像，并计算这两幅人脸图像的差值向量，共完成G种选取和计算后，将所有差值向量组合成差异矩阵Qj: Q, =[an-aJ2,aaJse;式中，自然数下标 j 为计
算类内变化字典时的人脸类别序号，其最大值为m ;第j个人脸图像集合中的第s幅图像ajs e Rdixl，且自然数序号s的最大值为w ；(B3)从m个人的所有人脸图像中，计算得到人脸的类内变化字典D :
权利要求
1.一种基于类内变化字典和训练图像的稀疏表示人脸识别方法，其特征在于所述方法包括下列操作步骤 (O对训练图像集合中的所有人脸图像进行特征提取，得到训练图像矩阵A :A=[A1； A2,. . . , Ai,. . . , Ak]，且A e ，并对该训练图像矩阵A中的每一列进行归一化处理，使每一列向量的模都为I ;式中，自然数下标i为人脸类别序号，其最大值为k 和η分别为训练图像的维数和个数，且第i类训练人脸图像矩阵4.，其中的Hi为第i类训练人脸图像的个数，且
2.根据权利要求I所述的方法，其特征在于所述类内变化是指同一人脸在不同外部环境下所呈现的差异；所述类内变化字典D是由描述同一人脸在包括不同光照和/或遮挡、和/或表情的干扰因素下的各种图像纹理差异的集合，类内变化字典中的每一列描述一种设定的人脸差异变化，也就是将某一个人脸在异常光照和/或遮挡、和/或表情的图像与其在正常光照和表情、且无遮挡的图像相减得到的差值。
3.根据权利要求I所述的方法，其特征在于所述类内变化字典的第一种获取方法是求解得到用不同光照和/或遮挡、和/或表情的某个人脸图像减去其在所有环境中的平均图像所得到的差值向量的集合，其操作步骤如下 (Al)从人脸数据库中随机选择与训练人脸不同的m个人，再对每个人选取w幅人脸图像，用于计算类内变化字典；还对每幅人脸图像进行特征提取，将每幅人脸图像表示为一个d3维的列向量； (A2)分别将每个人的w幅人脸图像标记为矩阵h e ，再求解每个人的w幅图像的平均人脸图像
4.根据权利要求I所述的方法，其特征在于所述类内变化字典的第二种获取方法是求解得到同一人脸在包括不同光照和/或遮挡、和/或表情的各种环境下获取的不同图像之间每两个图像的差值向量的集合，其操作步骤如下 (BI)从人脸数据库中随机选择与训练人脸不同的m个人，再对每个人选取w幅人脸图像，用于计算类内变化字典；还对每幅人脸图像进行特征提取，将每幅人脸图像表示成一个d3维的列向量； (B2)从每个人的w幅人脸图像中，任意选取其中两幅人脸图像，并计算这两幅人脸图像的差值向量，共完成0种选取和计算后，将所有差值向量组合成差异矩阵Qj Q, = Ian -αΓ_, _αη，…，αβ — aJ^D，…，flJiw-D S ]e R#114’—1)'2];式中，自然数下标 j 为计算类内变化字典时的人脸类别序号，其最大值为m ;第j个人脸图像集合中的第s幅图像a]s ，且自然数序号s的最大值为w ； (B3)从m个人的所有人脸图像中，计算得到人脸的类内变化字典D :
5.根据权利要求I所述的方法，其特征在于所述步骤(3)中，使用其他开放人脸图像集合获取类内变化字典时，若发生该人脸图像集合中的图像维数与训练图像维数Cl1不相等的情况，则采用包括插值法的图像缩放方法，使得其他开放人脸图像集合中图像的维数等于训练图像的维数屯，以保证类内变化字典的行数d3与训练图像的维数Cl1相等。
6.根据权利要求I所述的方法，其特征在于所述步骤(4)中，当测试图像的维数d2与训练图像的维数Cl1不相等时，使用包括插值法的图像缩放方法，使得测试图像的维数d2与训练图像的维数Cl1相等。
全文摘要
本发明公开了一种基于类内变化字典和训练图像的稀疏表示人脸识别方法，用于解决现有方法在小样本、光照不均、人脸遮挡和表情变化下的局限性问题，提高了人脸识别精度。该方法的实现步骤为(1)对训练图像集合和测试人脸图像进行图像特征提取，形成训练图像矩阵和测试图像向量，并分别进行归一化处理；(2)从人脸数据库中统计相同人脸在不同外部环境影响下呈现出来的图像纹理差异，形成人脸的类内变化字典；(3)将测试图像表示成为训练图像矩阵和类内变化字典的线性组合，通过L1范数最小化准则求得最优稀疏表示系数；(4)求得原测试图像与由各类别训练图像和类内变化字典重构得到的重构图像的残差，代入类别判定公式得到识别结果。
文档编号G06K9/00GK102915436SQ20121041177
公开日2013年2月6日 申请日期2012年10月25日 优先权日2012年10月25日
发明者邓伟洪, 胡佳妮, 郭军 申请人:北京邮电大学