专利名称：基于监督等度规投影的人脸识别方法
技术领域：
本发明涉及一种图像处理技术领域的方法，具体地说，涉及一种基于监督等 度规投影的人脸识别方法。(二) 背景技术近年来，人脸识别在模式识别领域受到广泛的关注，其中子空间分析是人脸 识别领域的重要方法，子空间分析法具有描述性强、计算代价小、易实现及可分 性好等特点，因此成为人脸识别领域的研究热点，其中最广泛应用的两个算法是 PCA(Principal Components Analysis ， PCA)禾口LDA(Linear Discriminant Analysis ， LDA)。 PCA是一种非监督学习方法，目标是寻找在最小平方意义下给出数据最 优表征的子空间。LDA是一种监督学习方法，通过最大化类间散度和类内散度比 率来寻找最佳线性判别空间，得到最佳判别能力特征。因此，LDA所生成的子空 间实现了数据可分，比PCA更适合分类任务。然而，目前有研究表明人脸阁像很有可能存在于非线性子流形中，基于PCA 和LDA的全局算法是基于欧式空间的，因此它们所提取的特征对于分类问题未必 最优。自2000年以来，出现了很多非线性流形算法，比如局部线性嵌入(Locally Linear Embedding, LLE)，等距映射(Isometric map, ISOMAP)和拉普拉斯映射 (LaplacianEigenmap,LE)等，它们在数据的可视化方面都比较出色。但当前此类 非线性流形学习算法存在一大缺点就是对新数据处理困难，即只在训练数据上进 行了处理，测试数据点在做识别时计算复杂度较高。这一缺陷导致非线性算法在 实际应用中具有较大的局限性。为解决该问题，有学者提出了上述非线性流形学 习算法的线性化算法，如局部保局投影(Locality Preserving Projection, LPP)和邻域 保持嵌入(Neighborhood Preserving Embedding, NPE)，作为线性算法，这几种算 法能直接获得新数据点的低维映射结果，同时能够有效描述数据的流形结构，在 人脸识别等模式识别领域具有较强的实用性，但是由于此类算法均是非监督的算 法，在做模式分类时，具有-.定局限性。此外，流形学习算法不能有效地消除图 像中如高阶相关等冗余信息，影响了算法的识别率。
发明内容本发明的目的在于提供一种能够提取样本新的特征来消除图像高阶冗余信 息，不仅能保持样本的流形结构，而且能直接得到高维数据到低维空间的投影矩 阵，大大减小计算成本，还能增强分类判别能力的基于监督等度规投影的人脸识 别方法。本发明的目的是这样实现的其实现步骤如下 (l)人脸样本训练过程① 首先对人脸训练图像进行预处理，获取高维空间中原始训练样本矩阵I;② 用Gabor小波对图像进行滤波，得到新的图像特征。③ 引入训练样本的类别信息，采用距离公式计算训练样本的邻接矩阵，得到训练样本的权值距离所述距离公式为在得到样本点权值距离矩阵后，应用A近邻或S邻域算法得到训练样本的邻 接矩阵^^;其中^x,，;c》为样本间的欧式距离，-为经验参数，C,表示样本X,所属的类别；④ 由训练样本邻接矩阵Z^计算训练样本间的最短路径距离矩阵。，用两点间最短路径近似两点间测地线距离；⑤ 计算投影转换矩阵，通过保持映射前后人脸训练样本测地线距离给出目标 函数，通过求解目标函数求取描述人脸训练样本数据的低维投影矩阵； 通过投影转换矩阵^计算训练样本在低维空间的投影，令y = [乂，>v .:M为训练样本的低维投影'贝化=^义；(2)人脸样本测试过程① 对人脸测试图像进行预处理，获取高维空间中原始测试样本x ;② 计算测试样本在低维空间的投影，通过投影转换矩阵^，测试样本^的低 维投影为>> =#;^6③采用最近邻算法判断测试样本的类别，在低维空间中对》.与7采用最近邻算法，则与y最近的训练样本所对应的类别即为测试样本类别。 本发明还可以包括1、人脸样本训练过程中所述预处理是将每幅人脸训练图像进行裁剪,将其分 辨率设置为64 X64 ，然后进行下采样，以达到32 X32的分辨率。最后将每幅 图像都进行均值为0 、方差为l的规格化。2、 所述Gabor小波对图像进行滤波，得到新的图像特征，处理过程是，将原 始训练图像/Oc，力与Gabor小波滤波器进行巻积计算，二维Gabor小波滤波器定义为 0"v =fc^Le(-ik,fiMV2力(,,_^v2) (2)、v = 、, (3)其中，w,v表示Gabor核的方向和尺度，z-(x,力为坐标值，||.||表示向量模。&=^ ax/X， A=^V8。 、ax为最高采样频率，y;为频率域中的采样步长。3、 所述Gabor小波对图像进行滤波，得到新的图像特征是将图像进行Gabor 小波滤波，若x,'为滤波后的新特征，将Jc,'堆叠为一Af维长向量，即构成一个原始训练样本，所有训练图像构成一个原始训练样本矩阵X = [;cp:c2 ...xje ，W为训练样本个数，矩阵Z的每一列代表了一个原始训练样本。4、 所述由训练样本邻接矩阵Z^计算训练样本间的最短路径距离矩阵"为直 接用邻接矩阵Z)e中权值距离代替。5、 所述由训练样本邻接矩阵/^计算训练样本间的最短路径距离矩阵"为通过最短路径算法得到，即通过下式计算 ￡ y-minU^O^xAZ^C^x^ + Z^Op,;^}'由此可得到描述样本全局流形结构并含训练样本类别信息的距离矩阵"。6、 所述计算投影转换矩阵的具体过程为函数/为高维空间到低维空间的投影函数，x为《的低维投影，_y, 目标函数为保持映射前后训练样本7的测地线距离(最短路径)，艮|]:
<formula>formula see original document page 8</formula>
其中c/(/(x,)，/(x,))为对应低维空间的欧式距离；令&=^/，采用与原始
ISOMAP算法相同的处理方式，用中心化矩阵H = / -丄e/中心化后得
附<formula>formula see original document page 8</formula>; Z^表示降维后子空间中的欧式距离矩阵，T(AO为对应的内积 矩阵，则上述的目标函数等价于argm^:r(i^:)-r(Z)。^
其中，IML2=L,4'/ ;考虑映射函数/(" = a7x ，则 r(￡>y) = rr;r = Z7aa7'Z;则arg股'"lr(DG)-rCD》l丄2式的目标函数转化为
义[r(DG )] X7 = ;LQ:7(5) 对公式(5)求解得到的前J个最大特征值对应的特征向量构成了投影转换矩
7、人脸样本测试过程中所述对人脸测试图像进行预处理，是将每幅测试图 像进行裁剪，将其分辨率设置为64 X64 ，然后进行下采样，以达到32 X32的 分辨率。最后将每幅图像都进行均值为O 、方差为1的规格化人并堆叠为一M维
长向量，xei w,即构成一个原始测试样本。
本发明所涉及的人脸识别方法，不同于上述的线性及非线性流形算法，本质 上是监督等距映射的线性化算法。因此具有上述算法无法比拟的优点，这些优点 主要体现在
(1) .保持了样本数据的流形结构信息，相对于传统线性算法如PCA、 LDA等 算法中基于全局欧式距离的假设，本发明克服了传统线性算法在处理非线性问题
时的不足，其对样本数据的结构描述更强。
(2) .去除了图像的高阶冗余信息，从而使流形学习方法能够充分地提取人脸图 像中最为有效的鉴别特征。
(3) .能获得低维空间的投影转换矩阵，通过该投影转换矩阵可直接获取训练及
测试样本在低维空间的投影，克服了非线性流形算法在测试阶段难以获得测试数 据低维投影的问题，计算代价小。(4).作为监督算法，考虑了样本的类别信息，使得不同类样本远离，增强了 算法的分类判别能力，更适合于模式分类任务。
(四)
图l是本发明算法步骤的流程图2是采用改进后的距离计算公式得到的样本距离描述图3是ORL人脸库的部分人脸图像；
图4是YaleB人脸库的部分人脸图像。
具体实施方式
下面结合附图举例对本发明做更详细地描述
其实现步骤如下
(l)人脸样本训练过程
① 首先对人脸训练图像进行预处理，以获取高维空间中原始训练样本矩阵
I;这里的处理是将每幅训练图像进行裁剪,将其分辨率设置为64 X64 ，然后 进行下采样，以达到32 X32的分辨率。最后将每幅图像都进行均值为O 、方差 为1的规格化。
② Gabor小波对图像进行滤波，若/0c，力表示原始图像，则新的图像特征
V = /(x，>0 O v(x,_y)， (g)表示巻积，将新特征堆叠为一M维长向量x,，即构
成一个原始训练样本。则所有训练图像构成一个原始训练样本矩阵 X = [^12 ...xw] e，^为训练样本个数，矩阵Z的每一列代表了一个原始
训练样本。
③ 引入训练样本的类别信息，采用改进后的距离公式计算训练样本的邻接矩 阵；给定所有训练样本的类别信息后，则可采用改进后的距离计算公式(l)得到
训练样本的权值距离。在得到样本点权值距离矩阵后，应用^近邻或s邻域算法 可得到训练样本的邻接矩阵Z^。采用上述公式在&近邻的计算中，增大了不同
类样本的距离，使得算法保持同类样本距离并使不同类样本远离，从而提高了算 法的分类判别能力。
④ 由训练样本邻接矩阵Z^..计算训练样本间的最短路径距离矩阵D ，用两点间最短路径近似两点间测地线距离；具体的处理可以分为两种情况距离较近的 点直接用邻接矩阵06.中权值距离代替，而距离较远的点则通过最短路径(Floyd)
算法得到，即通过下式计算￡>y ^min《2^(x,，x》,Z)G(x,，Xp) + Dc(XpA"，由此
可得到描述样本全局流形结构并含训练样本类别信息的距离矩阵D。
⑤ 计算投影转换矩阵，通过保持映射前后人脸训练样本测地线距离(最短路 径)给出目标函数，通过求解目标函数求取描述人脸训练样本数据的低维投影矩
阵而目标函数可转化为一般的特征值求解问题。对公式(5)求解得到的前d个最大
特征值对应的特征向量构成了投影转换矩阵^ = [q，& ... J 。
⑥ 通过投影转换矩阵^计算训练样本在低维空间的投影，令
r = [乂，K. 1W1为训练样本的低维投影，则有y = #1 。 (2)人脸样本测试过程
① 对人脸测试图像进行预处理，以获取高维空间中原始测试样本h这里的 处理是将每幅训练图像进行裁剪,将其分辨率设置为64 X64 ，然后进行下采样， 以达到32 X32的分辨率。最后将每幅图像都进行均值为O 、方差为l的规格化。
② Gabor小波对图像进行滤波，若/(x,力表示原始测试图像，则新的图像特 征y,、/O,力0①wO,少)，③表示巻积，将新特征矩阵堆叠为一M维长向量乂，
即构成一个原始测试样本。
③ 计算测试样本在低维空间的投影，通过投影转换矩阵J，测试样本x的低
维投影为;^f;c。
④ 采用最近邻算法判断测试样本的类别。在低维空间中对j与y采用最近邻
算法，则与y最近的训练样本所对应的类别即为测试样本类别。 通过以上步骤可完成最终的人脸识别。
为验证算法有效性，下面的实施例采用两类公用人脸库，即ORL和YaleB人 脸库，ORL人脸库有40个人，每人10张图片， 一共400张。图像是在不同时间拍 摄的，人的面部表情和面部细节有着不同程度的变化(比如眼睛睁或闭、笑或严 肃、戴或不戴眼镜)；人脸姿态也有相当程度的变化，深度旋转或平面旋转可达
1020° ，人脸的尺度也有多达IO。的变化，原始图像大小为U2X92。图2是取自 ORL人脸库的某个人的部分样本。YaleB人脸库有38人，每人在9种不同姿态和64 种不同光照情况下， 一共16128张；在实验中,选取每个人在不同光照下的正面图 像，每人64张，原始图像尺寸大小为640X480。图3是来自YaleB人脸库某个人的 部分样本。为了便于处理，两类人脸库的每张图像均数字化为64X64的像素矩阵，
每个人脸库都可分成训练集及测试集，令/为每类人脸训练样本个数，剩余样本 作为测试样本，对于ORL人脸库，/可取(2,3,4,5,6,7)，对于YaleB人脸库，/可取 (5,10,20,30，40,50)。以下以ORL人脸库为例，训练样本个数/取5时算法的具体实
施方案。
(l)人脸样本训练过程
① 对人脸训练图像进行处理，获取高维空间中原始训练样本矩阵X;将每 幅训练图像进行裁剪,将其分辨率设置为64 X64 ，然后进行下采样，以达到32 X32的分辨率。最后将每幅图像都进行均值为O 、方差为l的规格化。
② Gabor小波对图像进行滤波，若/0c,力表示原始图像，则新的图像特征 V = /(x,_y) (l>wv(x,>0，⑧表示巻积，",v分别取值2、 4，把滤波后得到的图像
特征按行堆叠为一2x4x32x32-8192维向量，作为一个原始训练样本。对于每
个人，随机选择5个训练样本进行训练，剩余5个作为测试样本，生成一组训练-测试样本集。所有的训练样本组成--个8192X200的样本矩阵Z，即训练样本个 数为200，样本维数为8192，矩阵义的每一列代表一个训练样本。
③ 引入样本的类别信息，采用改进后的距离公式计算训练样本的邻接矩阵； ORL人脸库样本类别数为10类，令C^-l,…10)为样本x,对应的类别，对所有训
练样本标定其类别信息，则可采用改进后的距离计算公式得到训练样本的权值距 离，该距离公式为
公式中参数/ 的值取所有训练样本欧式距离的平均值，图l表示采用该距离
11公式进行样本间距离的计算结果，可以看出，同类样本间距离小于不同类样本间距离，这在一定程度上提高了算法的分类判别能力。在得到样本点两两距离矩阵后，应用A:近邻算法可得到训练样本的邻接矩阵De，实施例中A取值4,得到的邻
接矩阵i^的大小为200X200。
④ 用最短路计算法计算样本最短路径来近似样本间测地线距离，令Dy为x,和jf]最短路径距离，Z)v可近似视为两点间测地线距离，&的求解可以分两种
情况求解对于距离较近的点(邻接点)可以直接用"^,^)代替，对于距离较远
的点则通过下式计算得到，-mir^Z^Op^.Xi^O'jJ + i^O^A)};由此可
得到描述样本全局流形结构并含训练样本类别信息的距离矩阵"。
⑤ 计算投影转换矩阵；计算义[^"6.)];^"=义1、的特征值及特征向量，求
解得到的前d个最大特征值对应的特征向量构成了投影转换矩阵爿=[apC^… ]°
◎通过投影转换矩阵X计算训练样本在低维空间的投影，令
i^b,，nJ为训练样本的低维投影，则有y-H
(2)人脸样本测试过程
① 对人脸测试图像进行处理，以获取高维空间中原始测试样本x;这里的处理是将每幅训练图像进行裁剪，将其分辨率设置为64 X64 ，然后进行下采样，以达到32 X32的分辨率。最后将每幅图像都进行均值为O 、方差为l的规格化。
② Gabor小波对图像进行滤波，若/(x，力表示原始测试图像，则新的图像特征乂、/(x,力(E)(D""x,y)，②表示巻积，w,v分别取值2、 4，把滤波后得到的图
像特征按行堆叠为一2x4x32x32二8192维向量，作为一个原始测试样本。
③ 通过投影转换矩阵^计算测试样本的低维投影，测试样本^的低维投影为少=Zrx 。
④ 采用最近邻算法判断测试样本的类别；在低维空间中对_y与y采用最近邻
12算法，则与y最近的训练样本所对应的类别即为测试样本类别。
对不同的训练样本个数/值，从每类人脸样本中随机选取/个作为训练集， 剩余作为测试集，构成一组训练-测试集，并统计所有测试样本的识别率，重复 做20次，最后取20次识别率的平均值作为最终的识别率。
1权利要求
1、基于监督等度规投影的人脸识别方法，其特征是(1)人脸样本训练过程①首先对人脸训练图像进行预处理，获取高维空间中原始训练样本矩阵X＝[x1，x2…xN]，N为训练样本个数；②采用Gabor小波进行滤波得到训练样本的小波特征；③引入训练样本的类别信息，采用距离公式计算训练样本的邻接矩阵，得到训练样本的权值距离，所述距离公式为 id="icf0001" file="A2009100730770002C1.tif" wi="64" he="24" top= "80" left = "103" img-content="drawing" img-format="tif" orientation="portrait" inline="yes"/>在得到样本点权值距离矩阵后，应用k近邻或ε邻域算法得到训练样本的邻接矩阵DG，其中d(xi，xj)为样本间的欧式距离，β为经验值，Ci为样本xi所属的类别；④由训练样本邻接矩阵DG计算训练样本间的最短路径距离矩阵D，用两点间最短路径近似两点间测地线距离；⑤计算投影转换矩阵，通过保持映射前后人脸训练样本测地线距离给出目标函数，通过求解目标函数求取描述人脸训练样本数据的低维投影矩阵；⑥通过投影转换矩阵A计算训练样本在低维空间的投影，令Y＝[y1，y2…yN]为训练样本的低维投影，则Y＝ATX；(2)人脸样本测试过程①对人脸测试图像进行预处理，获取高维空间中原始测试样本x；②采用Gabor小波进行滤波得到测试样本的小波特征；③计算测试样本在低维空间的投影，通过投影转换矩阵A，测试样本x的低维投影为y＝ATx；④采用最近邻算法判断测试样本的类别，在低维空间中对y与Y采用最近邻算法，则与y最近的训练样本所对应的类别即为测试样本类别。
2、 根据权利要求l所述的基于监督等度规投影的人脸识别方法，其特征是 人脸样本训练过程中所述预处理是将每幅人脸训练图像进行裁剪,将其分辨率 设置为64 X64 ，然后进行下采样，以达到32 X32的分辨率；最后将每幅图 像都进行均值为0 、方差为l的规格化。
3、 根据权利要求2所述的基于监督等度规投影的人脸识别方法，其特征是采用Gabor小波滤波器对图像进行滤波得到图像的新特征，《'表示第/个样本计 算后的新特征，将x,'堆叠为一A/维长向量;c,， x,ei^构成一个原始训练样本， 所有训练图像构成一个原始训练样本矩阵Z-[;c,，x「.xJe^xw ， W为训练样本个数，矩阵X的每一列代表了一个原始训练样本。
4、 根据权利要求3所述的基于监督等度规投影的人脸识别方法，其特征是所述由训练样本邻接矩阵D 计算训练样本间的最短路径距离矩阵"为直接用邻接矩阵i^中权值距离代替。
5、 根据权利要求3所述的基于监督等度规投影的人脸识别方法，其特征是 所述由训练样本邻接矩阵/^计算训练样本间的最短路径距离矩阵"为通过最短路径算法得到，即通过下式计算& =min{De(x,,x》,JDCJ0,,、) +Aj(xp,xy)}，由此可得到描述样本全局流形结构并含训练样本类别信息的距离矩阵"。
6、 根据权利要求4或5所述的基于监督等度规投影的人脸识别方法，其特征是所述计算投影转换矩阵的具体过程为函数/为高维空间到低维空间的投影函数，x为x,的低维投影，y,=/0O，目标函数为保持映射前后训练样本的测地线距离，艮口厂'=arg m/"2 — "(/(x, )， / )))2其中t/(/0O,/(x,》为对应低维空间的欧式距离；令^=/)/，采用与原始 ISOMAP算法相同的处理方式，用中心化矩阵H = / -丄e^中心化后得 t^:^-HSH/2; i^表示降维后子空间中的欧式距离矩阵，"A)为对应的内积矩阵，则上述的目标函数等价于arg^"^(A^-r("y;t其中，IML 二^/E^7 ;考虑映射函数/(x) = ^x '则 ) = )^;r = X7a"71;则argm/"|r(DG)-r(Dy)||i2式的目标函数转化为 flf* =腿'"|卜(A;) - f a"7 vYJ|引入约束条件Wxr" = i ，上述目标函数转化为x[r(A)];r" = ;lot、的 特征求解问题，对公式i[^z)j]z^:/ux^求解得到的前^个最大特征值对 应的特征向量构成了投影转换矩阵j^^,^…&]。
7、 根据权利要求6所述的基于监督等度规投影的人脸识别方法，其特征是人脸样本测试过程中所述对人脸测试图像进行预处理，是将每幅人脸训练图像进行裁剪,将其分辨率设置为64 x64 ，然后进行下采样，以达到32 x32的分 辨率，最后将每幅图像都进行均值为O 、方差为l的规格化，构成一个原始测试 样本。
8、 根据权利要求7所述的基于监督等度规投影的人脸识别方法，其特征是 人脸样本测试过程中所述对人脸测试图像进行滤波得到测试样本的小波特征是 指采用Gabor小波滤波器对图像进行滤波得到图像的新特征，若/表示测试样本计算后的新特征，需要将/堆叠为一m维长向量得到y ， yeiT即构成一个 原始测试样本。
全文摘要
本发明提供的是一种基于监督等度规投影的人脸识别方法。包括人脸样本训练过程和人脸样本测试过程。人脸样本训练过程有包括首先对人脸训练图像进行预处理、采用Gabor小波对图像进行滤波、提出新的距离公式计算训练样本的邻接矩阵、由训练样本邻接矩阵D<sub>G</sub>计算训练样本间的最短路径距离矩阵D、求取描述人脸训练样本数据的低维投影矩阵、通过投影转换矩阵A计算训练样本在低维空间的投影等步骤；人脸样本测试过程又包括对人脸测试图像进行预处理、采用Gabor小波对图像进行滤波、计算测试样本在低维空间的投影和采用最近邻算法判断测试样本的类别等过程。本发明具有对样本数据的结构描述更强，可以消除高阶冗余、计算代价小，更适合于模式分类任务等特点。
文档编号G06K9/66GK101673348SQ20091007307
公开日2010年3月17日 申请日期2009年10月20日 优先权日2009年10月20日
发明者刘佰龙, 刘冠群, 史长亭, 张子迎, 张汝波, 东 徐, 歌 杨, 王庆军 申请人:哈尔滨工程大学