一种基于稀疏保持典型相关分析的低分辨率人脸识别方法与流程

本发明涉及一种基于稀疏保持典型相关分析的低分辨率人脸识别方法，属于计算机视觉和模式识别的
技术领域：
。
背景技术：
：人脸识别技术近几十年来获得了快速地发展，尤其是在可控场景下，人脸识别技术已经开始得到应用。但是，人脸识别是一个极其复杂的问题，其困难在于模式的可变性，主要影响因素有年龄、肤色、表情等人脸内在因素，光照、遮挡等环境因素以及视频采集设备带来的变化因素。目前，为了克服人脸内在因素以及环境因素的影响，研究者已经设计出各种不同的算法，并且取得了很好的效果；但是，低分辨率问题一直是人脸识别中难以克服的难点。低分辨人脸识别问题的难度主要在于高分辨率人脸和低分辨率人脸之间数据维数不匹配以及数据之间的差异性。在非可控场景下，远距离、被测试者无意识的条件下，人脸图像被低质量摄像头捕获。由于人脸图像质量比较低，低分辨率人脸图像中缺少大量判别信息，这大大挑战了传统的人脸识别算法。目前，基于低分辨率的人脸识别方法主要分成两类：一是通过把低分辨率人脸图像和高分辨率人脸图像归一化到相同的尺寸，然后通过主成分分析、线性判别分析及局部保持投影等传统子空间降维方法进行特征提取。这类方法虽然克服了高分辨率人脸图像和低分辨率人脸图像之间维数不匹配的问题，但是不能获得好的识别效果。二是基于耦合度量学习的方法，其思想是通过耦合子空间学习将高分辨率人脸图像和低分辨率人脸图像学习一组映射，并投影到一个共同的子空间，缩小类内人脸图像数据间的差异，增大类间人脸图像间的散度。基于这种思想，Zhou等人受到线性判别分析的启发，提出联立判别分析(SimultaneousDiscriminantAnalysis,SDA)算法，将监督信息引入到子空间学习中；类似地，Siena等人受启发于大间距Fisher分析，提出一种耦合间距Fisher分析(CoupledMarginalFisherAnalysis,CMFA),CMFA与SDA具有相似的目标函数，但是对投影后低维空间内数据做出了不同的假设；Ben等人提出了一种耦合距离度量学习方法，引入了相似性度量，不仅在低分辨率人脸识别取得了较好的效果还应用于跨域步态认证；另外，典型相关分析往往用来衡量两组数据之间的相似性，近年来在低分辨率人脸识别中获得较好的效果，另外，稀疏的思想在人脸识别中也得到广泛的应用。低分辨率人脸识别问题由于人脸图像质量低以及维数不匹配，大大挑战了传统的人脸识别方法。技术实现要素：针对现有技术所存在的问题，本发明提供一种基于稀疏保持典型相关分析的低分辨率人脸识别方法。本发明结合稀疏以及典型相关分析的思想，提出了一种基于稀疏保持典型相关分析的低分辨率人脸识别方法，采用典型相关分析的思想满足提取的特征的最大相关性要求，实现了高、低分辨率人脸特征鉴别信息的融合，采用稀疏的思想保持结构信息，提高低分辨率人脸识别的鲁棒性。本发明不仅实现了高、低分辨率人脸特征集鉴别信息的有效融合，而且增强了特征表示和鉴别能力，满足相关性和保持结构信息要求。本发明的技术方案如下：一种基于稀疏保持典型相关分析的低分辨率人脸识别方法包括训练部分和测试部分；所述训练部分包括步骤如下：首先，通过主成分分析分别提取高分辨率人脸图像和低分辨率人脸图像的有效特征并分别得到对应于高分辨率人脸图像和低分辨率人脸图像的主成分分析投影矩阵；然后，构造稀疏重构权重矩阵，使稀疏重构误差最小，学习一组线性变换矩阵，使得高分辨率人脸图像和低分辨率人脸图像数据间相关性最大，将低分辨率训练样本集和高分辨率训练样本集投影到一个共同的子空间中；所述测试部分包括步骤如下：首先，使用训练部分得到的对应于低分辨率人脸图像的主成分分析投影矩阵对待测的低分辨率人脸图像样本进行初步特征提取；然后，再通过稀疏保持典型相关分析方法得到的对应于低分辨率训练样本集的投影矩阵将上步主成分分析提取的特征进行线性映射；最后，通过基于欧氏距离的最近邻分类器对映射后的样本进行分类识别。根据本发明优选的，所述训练部分的具体步骤如下：令高分辨率人脸图像构成的高分辨率人脸图像训练样本集为H＝[h1,h2,…,hN]∈RM×N，低分辨率人脸图像构成的低分辨率人脸图像训练样本集为L＝[l1,l2,…,lN]∈Rm×N，其中，hi∈RM,li∈Rm分别表示高分辨率人脸图像训练样本集和低分辨率人脸图像训练集中第i个样本，M,m分别表示高分辨率人脸图像和低分辨率人脸图像样本的维数；a.主成分分析以高分辨率人脸样本集为例，给出主成分分析算法。主成分分析是一种有效的特征线性变换方法，从本质上讲，PCA将高维的数据通过线性变换投影到低维空间中，最大化方差，投影得到的数据能够代表原始数据，去掉了噪声和冗余成分；首先计算N个高分辨率人脸图像样本的均值人脸图像根据主成分分析原理，对于N个高分辨率人脸图像样本目标函数为a=argmaxuTu=IaT1NΣi=1N(hi-h‾)(hi-h‾)Ta---(1)]]>令则上述公式(1)表示为根据拉格朗日函数，式(1)转化为解如下特征值问题∑a＝λa(2)公式(2)中，λ是∑的特征值，a是特征值对应的特征向量；对协方差矩阵进行特征值分解，得到的前dh个最大特征值对应的特征向量就是最佳的dh维新特征，因此，样本集映射到低维空间中，X＝ATH(3)类似地，对于低分辨率人脸图像构成的低分辨率人脸图像训练样本集通过上述主成分分析过程学习投影矩阵将低分辨率人脸图像训练样本映射到低维空间Y＝BTL；b.稀疏保持典型相关分析假定经上述主成分分析过程后高分辨率人脸图像训练样本集和低分辨率人脸图像训练样本集分别映射为和对于每一个高分辨人脸图像样本xi，都存在一个对应的子样本集基于1范数稀疏表示的目标就是寻找一组系数αi∈RN-1，满足xi＝Miαi，并且要求αi中系数绝对值之和尽可能小，用数学形式表示如下：min||αi||1s.t.xi=Miαi---(4)]]>在实际应用中，式(4)条件很难成立，因此在上述优化模型中考虑样本的重构误差，提出一种稳定的稀疏表示，表示如下：min||αi;ti||s.t.xi=[MiI]αiti---(5)]]>式(5)，表示与特征维数同维的单位矩阵，上述优化模型可以转化为凸规划问题；当获取样本xi在对应子集Mi上的稀疏表示系数αi后，据此构造当前的稀疏重构权重矩阵S＝[s1,s2,…,sN]，其中，si＝[αi,1,…,αi,i-1,0,αi,i,…,αi,N-1]T，αi,j表示αi的第j个系数；稀疏表示由于能够在无监督信息指导的情况下，赋予同类样本更大的权重值；因此，这种样本间的稀疏重构关系可以作为度量特征表示与鉴别能力的一项重要衡量指标；假设高分辨率人脸图像训练样本集和低分辨率人脸图像训练样本集分别进行主成分分析后获得的特征矩阵分别为采用上述稀疏重构权重矩阵方法，分别构造两个特征集的稀疏重构权重矩阵R＝[r1,r2,…,rN]∈RN×N和S＝[s1,s2,…,sN]∈RN×N；稀疏保持典型相关分析旨在寻找一对投影向量w和u，使提取后的高分辨率人脸图像特征和低分辨率人脸图像特征之间不仅具有最大的相关系数，同时投影后两种特征集内的稀疏重构误差尽可能小；综上，稀疏保持典型相关分析目标函数定义为maxw,uwTSxyuminw≠0wTX(I-R)(I-R)TXTwminu≠0uTY(I-S)(I-S)TYTu---(6)]]>式(6)中，Sxy表示X和Y的互协方差矩阵，描述了两组变量之间的相关性；由于式(6)无法直接求解，本文运用评价函数法中的乘除法将式(6)转化为以下单目标优化模型：argmaxw,u≠0ρ=wTSxyuwTS~xxwuTS~yyu---(7)]]>式(7)中，和分别为特征集X和Y的稀疏保持散度矩阵；它们需要同时满足矩阵的正定性条件，否则分母可能为0导致模型退化；采用典型相关分析模型优化中经常使用的拉格朗日乘子法，式(7)的优化问题转化为如下两个广义特征值问题：SxyS~yy-1SxyTw=λ2S~xxwSxyTS~xx-1Sxyu=λ2S~yyu---(8)]]>并且w和u之间满足{Sxyu=λS~xxwSxyTw=λS~yyu---(9)]]>对于式(8)、(9)中广义特征值问题，前d组最大特征值对应的特征向量wi,ui(i＝1,…,d)构成高分辨率人脸图像样本集和低分辨率人脸图像样本集上的投影矩阵W＝[w1,…,wd]∈Rm×d和U＝[u1,…,ud]∈Rn×d；因此，高分辨率人脸图像和低分辨率人脸图像投影后的特征为Z=WTXQ=UTY---(10).]]>根据本发明优选的，所述测试部分具体包括如下步骤：给定一个低分辨率人脸图像测试样本ltest，经过主成分分析和稀疏保持典型相关分析得线性变换后特征为qtest＝UTBTltest(11)最后采用最近邻分类器验证所述基于稀疏保持典型相关分析的低分辨率人脸图像识别方法特征提取的有效性，通过计算训练样本和测试样本特征值之间的欧氏距离进行分类，若Dis(li,ltest)=argminiDis(qi,qtest)=||qi-qtest||2---(12)]]>则ltest属于li所在的类别，否则，ltest不属于li所在的类别，其中，||·||2表示2范数。本发明的有益效果是：1、本发明提出一种基于稀疏保持典型相关分析的低分辨率人脸识别方法，将稀疏鉴别思想融入典型相关分析模型中，不仅保持了两类特征之间的相关性，而且保持了数据的结构信息。2、本发明将稀疏保持典型相关分析算法应用到低分辨率人脸识别，避免了高分辨率人脸图像和低分辨率人脸图像之间维数不匹配的问题。3、本发明提供一种有效的低分辨率人脸识别方法，不仅使投影后的高分辨率人脸图像和低分辨率人脸图像具有最大的相关系数，而且使投影后两特征集内的重构误差最小。附图说明图1本发明的流程图；图2本发明中，所述高分辨率人脸图像与低分辨人脸图像的对比图；图3本发明所提出方法识别率随维数变化情况。具体实施方式下面结合附图和实例对本发明进行详细的描述，但不限于此。实施例、一种基于稀疏保持典型相关分析的低分辨率人脸识别方法，附图1所示，包括训练部分和测试部分；所述训练部分包括步骤如下：首先，通过主成分分析分别提取高分辨率人脸图像和低分辨率人脸图像的有效特征并分别得到对应于高分辨率人脸图像和低分辨率人脸图像的主成分分析投影矩阵；然后，构造稀疏重构权重矩阵，使稀疏重构误差最小，学习一组线性变换矩阵，使得高分辨率人脸图像和低分辨率人脸图像数据间相关性最大，将低分辨率训练样本集和高分辨率训练样本集投影到一个共同的子空间中；所述测试部分包括步骤如下：首先，使用训练部分得到的对应于低分辨率人脸图像的主成分分析投影矩阵对待测的低分辨率人脸图像样本进行初步特征提取；然后，再通过稀疏保持典型相关分析方法得到的对应于低分辨率训练样本集的投影矩阵将上步主成分分析提取的特征进行线性映射；最后，通过基于欧氏距离的最近邻分类器对映射后的样本进行分类识别。所述训练部分的具体步骤如下：令高分辨率人脸图像构成的高分辨率人脸图像训练样本集为H＝[h1,h2,…,hN]∈RM×N，低分辨率人脸图像构成的低分辨率人脸图像训练样本集为L＝[l1,l2,…,lN]∈Rm×N，其中，hi∈RM,li∈Rm分别表示高分辨率人脸图像训练样本集和低分辨率人脸图像训练集中第i个样本，M,m分别表示高分辨率人脸图像和低分辨率人脸图像样本的维数；高分辨率人脸图像与低分辨率人脸图像对比如附图2所示,低分辨率人脸图像较高分辨率人脸图像而言，缺少大量的判别性信息，图像视觉效果也急剧下降。a.主成分分析以高分辨率人脸样本集为例，给出主成分分析算法。主成分分析是一种有效的特征线性变换方法，从本质上讲，PCA将高维的数据通过线性变换投影到低维空间中，最大化方差，投影得到的数据能够代表原始数据，去掉了噪声和冗余成分；首先计算N个高分辨率人脸图像样本的均值人脸图像根据主成分分析原理，对于N个高分辨率人脸图像样本目标函数为a=argmaxuTu=IaT1NΣi=1N(hi-h‾)(hi-h‾)Ta---(1)]]>令则上述公式(1)表示为根据拉格朗日函数，式(1)转化为解如下特征值问题∑a＝λa(2)公式(2)中，λ是∑的特征值，a是特征值对应的特征向量；对协方差矩阵进行特征值分解，得到的前dh个最大特征值对应的特征向量就是最佳的dh维新特征，因此，样本集映射到低维空间中，X＝ATH(3)类似地，对于低分辨率人脸图像构成的低分辨率人脸图像训练样本集通过上述主成分分析过程学习投影矩阵将低分辨率人脸图像训练样本映射到低维空间Y＝BTL；b.稀疏保持典型相关分析假定经上述主成分分析过程后高分辨率人脸图像训练样本集和低分辨率人脸图像训练样本集分别映射为和对于每一个高分辨人脸图像样本xi，都存在一个对应的子样本集基于1范数稀疏表示的目标就是寻找一组系数αi∈RN-1，满足xi＝Miαi，并且要求αi中系数绝对值之和尽可能小，用数学形式表示如下：min||αi||1s.t.xi=Miαi---(4)]]>在实际应用中，式(4)条件很难成立，因此在上述优化模型中考虑样本的重构误差，提出一种稳定的稀疏表示，表示如下：min||αi;ti||s.t.xi=[MiI]αiti---(5)]]>式(5)，表示与特征维数同维的单位矩阵，上述优化模型可以转化为凸规划问题；当获取样本xi在对应子集Mi上的稀疏表示系数αi后，据此构造当前的稀疏重构权重矩阵S＝[s1,s2,…,sN]，其中，si＝[αi,1,…,αi,i-1,0,αi,i,…,αi,N-1]T，αi,j表示αi的第j个系数；稀疏表示由于能够在无监督信息指导的情况下，赋予同类样本更大的权重值；因此，这种样本间的稀疏重构关系可以作为度量特征表示与鉴别能力的一项重要衡量指标；假设高分辨率人脸图像训练样本集和低分辨率人脸图像训练样本集分别进行主成分分析后获得的特征矩阵分别为采用上述稀疏重构权重矩阵方法，分别构造两个特征集的稀疏重构权重矩阵R＝[r1,r2,…,rN]∈RN×N和S＝[s1,s2,…,sN]∈RN×N；稀疏保持典型相关分析旨在寻找一对投影向量w和u，使提取后的高分辨率人脸图像特征和低分辨率人脸图像特征之间不仅具有最大的相关系数，同时投影后两种特征集内的稀疏重构误差尽可能小；综上，稀疏保持典型相关分析目标函数定义为maxw,uwTSxyuminw≠0wTX(I-R)(I-R)TXTwminu≠0uTY(I-S)(I-S)TYTu---(6)]]>式(6)中，Sxy表示X和Y的互协方差矩阵，描述了两组变量之间的相关性；由于式(6)无法直接求解，本文运用评价函数法中的乘除法将式(6)转化为以下单目标优化模型：argmaxw,u≠0ρ=wTSxyuwTS~xxwuTS~yyu---(7)]]>式(7)中，和分别为特征集X和Y的稀疏保持散度矩阵；它们需要同时满足矩阵的正定性条件，否则分母可能为0导致模型退化；采用典型相关分析模型优化中经常使用的拉格朗日乘子法，式(7)的优化问题转化为如下两个广义特征值问题：SxyS~yy-1SxyTw=λ2S~xxwSxyTS~xx-1Sxyu=λ2S~yyu---(8)]]>并且w和u之间满足{Sxyu=λS~xxwSxyTw=λS~yyu---(9)]]>对于式(8)、(9)中广义特征值问题，前d组最大特征值对应的特征向量wi,ui(i＝1,…,d)构成高分辨率人脸图像样本集和低分辨率人脸图像样本集上的投影矩阵W＝[w1,…,wd]∈Rm×d和U＝[u1,…,ud]∈Rn×d；因此，高分辨率人脸图像和低分辨率人脸图像投影后的特征为Z=WTXQ=UTY---(10).]]>所述测试部分具体包括如下步骤：给定一个低分辨率人脸图像测试样本ltest，经过主成分分析和稀疏保持典型相关分析得线性变换后特征为qtest＝UTBTltest(11)最后采用最近邻分类器验证所述基于稀疏保持典型相关分析的低分辨率人脸图像识别方法特征提取的有效性，通过计算训练样本和测试样本特征值之间的欧氏距离进行分类，若Dis(li,ltest)=argminiDis(qi,qtest)=||qi-qtest||2---(12)]]>则ltest属于li所在的类别，否则，ltest不属于li所在的类别，其中，||·||2表示2范数。验证试验：在ExtendYaleB人脸库上，对38个人进行低分辨率人脸识别实验。其中，每个人选10张人脸图像并抽样成大小为24×21的高分辨率人脸图像作为训练样本，相似地，10张人脸图像抽样成8×7的低分辨率人脸图像作为测试样本，剩余的11张人脸图像抽样成大小为8×7的低分辨率人脸图像进行测试，本发明所述方法在不同保留维数下，识别率变化如附图3所示。试验分别选择主成分分析(PCA)，线性判别分析(LDA)，局部保持投影(LPP)、多线性尺度分析(MDS)以及典型相关分析(CCA)进行对比实验，各种方法下最高识别率对比结果如下表1所示。表1：各种方法最高识别率对比方法PCALDALPPMDSCCASPCCA识别率0.420.670.660.760.700.88由附图3可以看出，本发明提出的基于稀疏保持典型相关分析(SPCCA)的低分辨率人图像识别方法识别率受到维数的影响，其最高识别率为0.88，由表1对比结果可以看出，本发明所提出的方法具有最好的识别效果。当前第1页1 2 3