专利名称：基于统计不相关和正交特性的局部保留映射人脸识别方法
技术领域：
本发明涉及一种图像处理技术领域的方法，具体是一种基于统计不相关和正交特性的局部保留映射人脸识别方法。可用于视频监控系统、自动门卫系统、军事目标跟踪识别系统等各类民用及军用系统中。
背景技术：
人脸识别技术已经成为当今研究的热点。该项技术已成功应用于身份鉴别、人机界面、自动取款机、视频监控等领域。目前人脸识别的难点主要是人脸在发生光照、肤色、表情、姿态等变化情况下，识别精度比较低。
作为人脸识别关键环节之一的特征提取方法，就是将原始的高维数据映射到一个低维的特征空间。该技术已经成为机器学习和模式识别的一个研究热点。常用的特征提取方法可分为两类基于全局几何结构的分析方法和基于局部结构信息的分析方法。在基于全局几何结构的分析法中，主成分分析方法(PCA)是一种经典的特征提取和数据表出技术，它保留了原始数据空间的全局结构，而且投影矩阵任意两个互异的基向量是统计不相关且正交的。不相关和正交性是模式识别中两个非常重要的特性。不相关能使数据具有最小的冗余，而正交性可以保持人脸空间的度量结构，实现原始数据的重构。局部保留映射方法(LPP)基于数据的局部结构分析，是最近发展的一种线性的特征提取方法，算法简单且易于实现。局部保留映射方法只保留原始数据空间的局部信息，而在人脸识别中，局部信息起到了非常重要的作用。
经对现有技术文献的检索发现，X.He等人在《IEEE Trans.on PatternAnalysis and Machine Intelligence》(模式分析与机器智能IEEE杂志，2005，vol.27，no.3，pp.328-340)上发表“Face Recognition Using Laplacianfaces”(基于拉普拉斯脸的人脸识别方法)。该文首先提出了利用局部保留映射的特征提取方法进行人脸识别。文章通过实验说明，该方法能够得到优于主成分分析的识别结果。但是，局部保留映射方法的投影矩阵基向量是统计相关和非正交的，因此提取的特征含有冗余，交迭的信息会导致特征的实际分布发生歪曲，而且非正交的特征也不利于原始数据的重构，这两个缺点严重影响了局部保留映射算法的性能。迄今为止，还没有人提出能够同时满足统计不相关和正交特性的局部保留映射方法。
发明内容
本发明的目的在于克服现有局部保留映射方法的不足，提供一种基于统计不相关和正交特性的局部保留映射人脸识别方法，使其用于人脸识别，能够提高人脸识别的精度。
本发明是通过以下技术方案实现的，本发明建立一个连接图，得到任意两个节点的相似性，在相似性中按照最近邻原则，确定所有节点的邻接点，得到输入数据的相似矩阵，并计算出对角矩阵和拉普拉斯矩阵；再将这一相似矩阵应用到局部保留映射方法中，加入统计不相关和正交两个约束条件，采用迭代算法，根据特征值问题求出不相关且正交的投影矩阵，得到训练投影系数矩阵和测试投影系数矩阵，最后进行识别。由于人脸图像是稀疏超高维向量，其维数远远高于人脸的图片数，为保证数据矩阵非奇异，在上述技术方案前还必须对输入数据先进行主成分分析。本发明应用到FERET/ORL数据库中，获得了比其它几种特征提取算法(主成分分析法、局部保留映射法、不相关的局部保留映射法、正交拉普拉斯脸算法)更好的识别性能。
以下对本发明方法作进一步的说明，具体步骤如下第一步，主成分分析将每张人脸图像表示为一个列向量，组成训练样本集，计算训练样本集的协方差矩阵的特征值，并选取大的特征值对应的特征向量作为基向量，从而构成主成分分析的投影矩阵；第二步，相似矩阵确定建立一个连接图，使得属于同一类的节点完全连接，得到任意两个节点的相似性，再根据最近邻原则，求出输入节点的相似矩阵，并由这一相似矩阵推出对角矩阵和拉普拉斯矩阵；第三步，统计不相关且正交的局部保留映射投影矩阵确定根据第二步中得到的相似矩阵，再根据局部保留映射的思想，并加入统计不相关和正交两个约束条件，采用迭代算法，解特征值问题求出投影矩阵，最后再将此投影矩阵与第一步中得到的主成分分析投影矩阵相乘，求出不相关且正交的局部保留映射投影矩阵；
第四步，识别将所有训练图像向量投影到第三步中得到的投影矩阵，得到训练系数矩阵，再将测试图像投影到投影矩阵，得到测试系数矩阵，采用最小距离分类器进行分类识别。
本发明同传统的局部保留映射方法相比，能够在保留原始数据空间的局部信息的同时，使提取的特征满足统计不相关和正交性，从而具有最小的冗余，并有利于实现原始数据的重构，应用到人脸识别中，可以提高识别性能。本发明可应用于视频监控系统、视频会议系统、军事目标跟踪识别系统等各类民用及军用系统中，具有广阔的市场前景和应用价值。
图1为本发明方法总体框图。
图2为本发明与其它几种特征提取算法的识别率比较，其中横坐标为特征值的维数，纵坐标为识别率。
具体实施例方式
为了更好地理解本发明的技术方案，以下结合附图对本发明的实施方式作进一步描述。
如图1所示，首先通过主成分分析，计算主成分分析的投影矩阵，然后计算出相似矩阵，根据相似矩阵解特征值问题求出投影矩阵，再联合主成分分析的投影矩阵得到统计不相关且正交的局部保留映射投影矩阵，最后将训练图像和测试图像都投影到投影矩阵中，得到训练系数矩阵和测试系数矩阵，利用最小距离分类器进行识别。各部分具体实施细节如下1.主成分分析令人脸图Γ(x，y)为一个2维的N×N矩阵，它同时也可以表示为一个N2的向量Γn。令训练库的人脸图为Γ1，Γ2，Γ3，…，ΓM。库中人脸的平均值定义为ψ=1MΣn=1MΓn---(1)]]>每张人脸与平均值的差值为Φn＝Γn-Ψ。协方差矩阵由下式确定C=1MΣn=1MΦnΦnT=AAT---(2)]]>
其中矩阵A＝[Φ1，Φ2，…，ΦM]，投影矩阵可以通过计算C的特征向量un得到。
仅取前M′个最大特征值对应的特征向量构成投影矩阵，这样，特征向量的数目由M降为M′。令主成分分析的投影矩阵为ΦPCA，则一张新的人脸图Γ可由下式映射得到它的特征元向量ΩT=ΦPCAT(Γ-ψ)---(3)]]>2.相似矩阵的确定在训练样本集{Γ1，Γ2，…，ΓM}中，M为训练数据的个数，令每一训练数据代表一个节点，并假设每一节点的邻接点个数为K，建立一个连接图，使得属于同一类的节点完全连接，任意两个节点的相似性可以表示成Sij=Sji=xiTxji≠jandi,jbelongtothesameclass0otherwise---(4)]]>相似性Sij反映了两个节点的相似程度。在相似性中按照最近邻原则，找出所有节点的近邻节点，得到输入数据的相似矩阵Wij，Wij可以表示为Wij=Sijifxiisamongknearstneighboursofxjorxjisamongknearstneighboursofxi0otherwise---(5)]]>最后，再根据相似矩阵W，分别计算出对角矩阵D和拉普拉斯矩阵LD＝diag(Dii) (6)L＝D-W(7)其中Dii=Σjwij(i,j=1,2,···,M)。]]>3.统计不相关且正交的局部保留映射投影矩阵的确定设训练样本集X＝{x1，x2，…，xM}，SL＝XLXT，SD＝XDXT，I＝diag(1，1，...，1)，协方差矩阵ST＝E[(X-EX)(X-EX)T]，Φ＝[φ1，φ2，...，φk]为投影矩阵，并定义Φk-1＝[φ1，φ2，...，φk-1] (8)局部保留映射方法的目标函数是minΣi,j‖yi-yj‖2wij---(9)]]>其中，yi是节点xi对应于低维空间的投影结果。通过一些简单的几何知识，上述目标函数可化为如下的最小化问题argmintrace(ΦTXLXTΦ)ΦΦTXDXTΦ=1---(10)]]>满足最小化目标函数的投影矩阵可以转化为一般的特征值问题XLXTФ＝λXDXTФ(11)为了得到不相关且正交的投影向量φk，在式(11)的基础上增加统计不相关和正交两个约束φkTSTφi=0φkTφi=0(i=1,2,···,-1)---(12)]]>由于φk是归一化的向量，满足φkTφk=1]]>，则局部保留映射又增加了一个约束φkTSDφk=1---(13)]]>采用拉格朗日乘子法，联合式(11)～(13)进行求解，问题等价于求φk使下述函数取到最大值L(φk)=φkTSLφk-λ(φkTSDφk-1)-Σi=1k-1γiφkTSTφi-Σi=1k-1μiφkTφi---(14)]]>关于φk求导数，并令导数为零，可得到2SLφk-2λSDφk-Σi=1k-1γiSTφi-Σi=1k-1μiφi=0---(15)]]>在式(15)的两边左乘上φkT，利用式(12)的约束，可知后两项为零，于是可解得λ=φkTSLφkφkTSDφk---(16)]]>问题就是要使λ取到最大值。
再在式(15)的两边分别左乘上φjTSTSD-1和φjTSD-1，推导整理可得2φjTSTSD-1SLφk-Σi=1k-1γiφjTSTSD-1STφi-Σi=1k-1μiφjTSTSD-1φi=0---(17)]]>2φjTSD-1SLφk-Σi=1k-1γiφjTSD-1STφi-Σi=1k-1μiφjTSD-1φi=0---(18)]]>
其中j＝1，2，...，k-1。
设μ＝[μ1，μ2，...，μk-1]，γ＝[γ1，γ2，...，γk-1]，则式(17)和(18)可表示成2Φk-1TSTSD-1SLφk-Φk-1TSTSD-1STΦk-1γ-Φk-1STSD-1Φk-1Tμ=0---(19)]]>2ΦkSD-1SLφk+1-ΦkSD-1STΦkTγ-ΦkSD-1ΦkTμ=0---(20)]]>联合式(19)和(20)求出μ和γ，并根据Σi=1k-1γiSTφi=STΦk-1γ,Σi=1k-1μiφi=Φk-1μ,]]>式(15)进一步表示为2SLφk-2λSDφk-STΦk-1γ-Φk-1μ＝0 (21)将γ和μ的解代入式(21)，并经过一系列数学推导和整理，最终，不相关且正交的投影向量φk可按照如下步骤迭代计算(a)计算矩阵SD-1SL的特征值，并选取最小特征值对应的特征向量作为投影向量φ1。
(b)求解如下特征方程(式(22))的特征值，并取最小特征值对应的特征向量作为不相关且正交的投影向量φk。
R(k)SLφ＝λSDφ (22)其中R(k)＝I-STΦk-1M-1N-Φk-1P-1Q(23)M=(Φk-1TSTSD-1Φk-1)-1(Φk-1TSTSD-1STΦk-1)-(Φk-1TSD-1Φk-1)-1(Φk-1TSD-1STΦk-1)----(24)]]>N=(Φk-1TSTSD-1Φk-1)-1(Φk-1TSTSD-1)-(Φk-1TSD-1Φk-1)-1(Φk-1TSD-1)---(25)]]> Q=(Φk-1TSTSD-1STΦk-1)-1(Φk-1TSTSD-1)-(Φk-1TSD-1STΦk-1)-1(Φk-1TSD-1)(27)]]>最后，令投影矩阵Φ*＝[φ1，φ2，...，φd]，联合步骤(1)得到的主成分分析的投影矩阵ΦPCA，则统计不相关且正交的局部保留映射投影矩阵ΦUOLPP可表示为
ΦUOLPP＝ΦPCAΦ*(28)设x为测试图像，则测试图像在投影矩阵中的投影系数向量可表示为y=ΦUOLPPTx---(29)]]>4.识别将训练图像和测试图像分别投影到投影矩阵中，得到训练系数矩阵和测试系数矩阵。采用最小距离分类器，即可获得识别结果。
实验选用FERET人脸数据库，从中选取了72个对象，每个对象有6张图像。实验中，分别在每个对象中随机选取Num张(Num＝2，3，4，5)图像创建训练库，并用剩余的图像组成相应的测试库。在每个训练库和相应的测试库上都重复实验20次，并取平均值作为识别结果。
图2显示了主成分分析法(PCA)、拉普拉斯脸算法(局部保留映射法，LPP)、不相关的局部保留映射法(ULPP)、正交的拉普拉斯脸算法(OLPP)以及本发明提出的算法(UOLPP)在FERET数据库中的识别结果(取Num＝3)。从图中可看出，本发明提出的UOLPP方法明显优于其它几种特征提取算法，能获得更具判别性的特征，应用到人脸识别中，可以提高识别性能。
权利要求
1.一种基于统计不相关和正交特性的局部保留映射人脸识别方法，其特征在于，具体步骤如下第一步，主成分分析将每张人脸图像表示为一个列向量，组成训练样本集，计算训练样本集的协方差矩阵的特征值，并选取大的特征值对应的特征向量作为基向量，从而构成主成分分析的投影矩阵；第二步，相似矩阵确定建立一个连接图，使得属于同一类的节点完全连接，得到任意两个节点的相似性，再根据最近邻原则，求出输入节点的相似矩阵，并由这一相似矩阵推出对角矩阵和拉普拉斯矩阵；第三步，统计不相关且正交的局部保留映射投影矩阵确定根据第二步中得到的相似矩阵，再根据局部保留映射的思想，并加入统计不相关和正交两个约束条件，采用迭代算法，解特征值问题求出投影矩阵，最后再将此投影矩阵与第一步中得到的主成分分析投影矩阵相乘，求出不相关且正交的局部保留映射投影矩阵；第四步，识别将所有训练图像向量投影到第三步中得到的投影矩阵，得到训练系数矩阵，再将测试图像投影到投影矩阵，得到测试系数矩阵，采用最小距离分类器进行分类识别。
2.根据权利要求1所述的基于统计不相关和正交特性的局部保留映射人脸识别方法，其特征是，所述第二步，具体实现如下设训练样本集{Γ1，Γ2，…，ΓM}，M为训练数据的个数，令每一训练数据代表一个节点，并假设每一节点的邻接点个数为K，建立一个连接图，使得属于同一类的节点完全连接，则任意两个节点的相似性表示成Sij=Sij=xiTxji≠jandi,jbelongtothesameclass0otherwise]]>在相似性中按照最近邻原则，找出所有节点的近邻节点，得到输入数据的相似矩阵Wij，Wij表示为Wij=Sijifxiisamongknearestneighboursofxjorxjisamongknearestneighboursofxi0otherwise]]>最后，再根据相似矩阵W，分别计算出对角矩阵D和拉普拉斯矩阵LD＝diag(Dii)L＝D-W其中Dii=Σjwij(i,j=1,2,...,M).]]>
3.根据权利要求1所述的基于统计不相关和正交特性的局部保留映射人脸识别方法，其特征是，所述第三步，具体实现如下根据求得的相似矩阵Wij，对角矩阵D和拉普拉斯矩阵L，设训练样本集X＝{x1，x2，…，xM}，SL＝XLXT，SD＝XDXT，I＝diag(1，1，...，1)，协方差矩阵ST＝E[(X-EX)(X-EX)T]，Φ＝[φ1，φ2，...，φk]为投影矩阵，并定义Φk-1＝[φ1，φ2，...，φk-1]局部保留映射方法的目标函数是minΣi,j||yi-yj||2wij]]>其中，yi是节点xi对应于低维空间的投影结果，通过几何知识，满足最小化目标函数的投影矩阵最终转化为一般的特征值问题XLXTΦ＝λXDXTΦ为了得到不相关且正交的投影向量φk，在式XLXTΦ＝λXDXTΦ的基础上增加统计不相关和正交两个约束ΦkTSTΦi=0ΦkTΦi=0(i=1,2,...,k-1)]]>由于φk是归一化的向量，满足ΦkTΦk=1,]]>则局部保留映射又增加了一个约束ΦkTSDΦk=1]]>采用拉格朗日乘子法，联合以上公式进行求解，统计不相关且正交的投影向量φk，按照如下步骤迭代计算a.计算矩阵SD-1SL的特征值，并选取最小特征值对应的特征向量作为投影向量φ1；b.求解如下特征方程式的特征值，并取最小特征值对应的特征向量作为不相关且正交的投影向量φk，R(k)SLφ＝λSDφ其中R(K)=I-STΦk-1M-1N-ΦK-1P-1Q]]>M=(Φk-1TSTSD-1Φk-1)-1(Φk-1TSTSD-1STΦk-1)-(Φk-1TSD-1Φk-1)-1(Φk-1TSD-1STΦk-1)]]>N=(Φk-1TSTSD-1Φk-1)-1(Φk-1TSTSD-1)-(Φk-1TSTΦk-1)-1(Φk-1TSD-1)]]> Q=(Φk-1TSTSD-1STΦk-1)-1(Φk-1TSTSD-1)-(Φk-1TSD-1STΦk-1)-1(Φk-1YSD-1)]]>最后，令投影矩阵Φ*＝[φ1，φ2，...，φd]，并联合主成分分析的投影矩阵ΦPCA，则统计不相关且正交的局部保留映射投影矩阵ΦUOLPP表示为ΦUOLPP＝ΦPCAΦ*。
全文摘要
一种图像处理技术领域的基于统计不相关和正交特性的局部保留映射人脸识别方法。本发明首先对输入训练样本图像进行主成分分析，得到主成分分析的投影矩阵；然后建立一个连接图，得到任意两个节点之间的相似性，并按照最近邻原则，确定所有节点的邻接点，计算出输入数据的相似矩阵；再将这一相似矩阵应用到局部保留映射方法中，加入统计不相关和正交两个约束条件，采用叠代算法，根据特征值问题并结合主成分分析的投影矩阵求出不相关且正交的投影矩阵，得出训练投影系数矩阵和测试投影系数矩阵；最后再用最小距离方法进行识别。本发明具有最小的冗余，并有利于实现原始数据的重构，应用到人脸识别中，可以提高识别性能。
文档编号G06K9/00GK1936924SQ20061011704
公开日2007年3月28日 申请日期2006年10月12日 优先权日2006年10月12日
发明者敬忠良, 邱亚丹, 赵海涛 申请人:上海交通大学