专利名称：一种基于典型相关分析空间超分辨率的人脸识别方法
技术领域：
本发明涉及人脸识别领域，具体的涉及一种基于典型相关分析空间的低分辨率人
脸识别方法。
背景技术：
人脸识别技术在当今社会的安全保障系统中具有非常重要的意义。作为模式识别 及机器学习领域的主要研究方向之一，已经有大量的人脸识别算法被提出。但是，由于距 离和硬件条件等的限制，在大场景视频监控系统中拍摄的感兴趣人脸图像分辨率往往比较 低，降低了人脸识别的性能。如何在低分辨率条件下提高识别效果，是近年来人脸识别方面 需要解决的问题。 图像超分辨率(Super-resolution， SR)是指利用某种算法从一幅或者一系列低分 辨率图像(low resolution, LR)中获得一幅或者一系列高分辨率图像(highresolution， HR)的技术。因此，人脸图像超分辨率算法很自然地被作为提高低分辨率人脸图像识别效果 的解决方案之一。具体而言，先利用超分辨率重建算法得到视觉效果较好的人脸图像，然后 再进行人脸识别。但是，该方案中人脸图像超分辨率重建部分与识别部分独立进行，且超分 辨率的目标定位在提高图像视觉效果，而不是提高识别率。 基于以上原因，G皿turk等人提出了基于特征脸域超分辨率重建的人脸识别方法。 该方法不再试图提高图像的视觉效果，而是直接重建人脸识别系统所需的高分辨率特征脸 域信息。首先采用KL变换提取人脸图像特征脸，使用成像模型建立高低分辨率图像特征之 间的联系，假设所求高分辨率特征向量的先验概率为联合高斯分布，利用迭代最速下降算 法对此特征向量进行最大后验概率估计，最后根据求得的特征向量进行人脸识别。该方法 提供了一种很好的直接利用超分辨率进行人脸识别的框架，但该方法计算复杂度较高，而 且在性能上此方法有进一步改善的空间。 Pablo等人提出了超分辨率重建和特征提取相结合的低分辨率人脸识别方法。先 利用经典的人脸特征提取算法获得训练图像的特征作为先验信息，然后利用此先验信息以 及用于识别的分类器目标函数建立正则化目标函数，并通过学习的方法获得正则化目标函 数的参数，在应用中以正则化目标函数最小来同时获得超分辨率重建结果以及识别结果。 该方法所提出的正则化目标函数模型能同时清晰表达对超分辨率重建结果以及识别结果 的限制，但目标函数参数的学习过程比较复杂。为了降低算法复杂度、提高识别率，需要寻 找更好的方法来解决低分辨率人脸识别问题。
发明内容
本发明的目的在于克服上述现有技术的缺点，提出了一种基于典型相关分析 (Canonical Correlation Analysis, CCA)空间超分辨率的人脸识别方法。
为了达到上述目的，本发明采用的技术方案是 1)首先，利用经典特征提取方法提取高低分辨率训练人脸图像识别特征，利用所提取的两组识别特征作为训练数据，根据CCA算法要求，得映射基向量，根据此映射基向量 将识别特征转换到CCA相关子空间； 2)其次，在相关子空间内，利用邻域重构求得测试低分辨率人脸图像识别特征在 高分辨率域对应的识别特征，实现识别特征的超分辨率重建； 3)最后，利用基于L2范数的最近邻分类器，按照求得的CCA空间内的识别特征进 行最近邻分类识别，从而获得识别率。 本发明的识别特征转换到CCA相关子空间包括以下步骤 1)设去除均值后的高分辨率和低分辨率训练人脸图像集合分别为
..，/。 .."/:]，其中I,为第i幅高分辨率图像，
为第i幅低分辨率图像，m为训练图像总的样本数目；定义(^T/f =xf ，其中BH是高分辨 率图像对应的特征提取矩阵，XiH是代表人脸图像I,的特征向量；同理，可以得到低分辨率 图像的特征表示为《，其中B^是低分辨率人脸图像对应的特征提取矩阵，xJ代表 低分辨率人脸图像I,的特征向量；由此，得到表示对应的高低分辨率训练图像的特征向量 集为JfH ={xf }「=1和^ ={xf}「=1 ，其中x,为第i幅高分辨率人脸图像对应的特征向量，x)为 第i幅低分辨率人脸图像的特征向量； 2)对于特征向量集XH、^分别减去其均值xH和x、得到中心化的数据集 P =[^,《,...,《]和^ 4《，g，…,《]淀义C,, =￡[P(P)r]，C22 =￡[^(》丫]分别为
p和f的自协方差矩阵，c12 =五[P(f;n和C2, = ￡[f 、^T]分别为p和f的互协方差 矩阵，其中E[ ]代表数学期望，T代表转置运算；计算《=c「/C12C2—〗Ch ，及2 :c^(^q;1(^;
&和R2的特征向量即为所求基向量VH和f ; 3)利用所求基向量，将特征向量集XH、 变换到CCA子空间，得到高分辨率和 低分辨率训练人脸图像对应的投影系数集C" }「=1 、e ={cf}"=1 ，即cf =("f《和 cf =(")Sf 。 本发明识别特征超分辨率重建步骤如下 1)对输入的低分辨率人脸测试图像Ii，求得其对应的特征向量A，进一步将A变 换到CCA子空间，得到Cl，即Cl = (V力T(XfX力； 2)依据邻域重构的思想，在(^中寻找c^的K近邻(c^i^K，其中c^为Ci的第 i个近邻，并求重构权值^5 ={wf}f=,，其中Wie为第i个近邻对应的权值系数，使得目标函数
s = ||。 -￡ ||达到最小，且满足l;nf = 1 ; 3)将权值『G-(wfd应用于CH中与(c^i^K对应的(c^i^K，即重构出I丄对 所述经典特征提取方法采用主成分分析或线性判决分析。 本发明将高低分辨率人脸图像的识别特征看作两个不同维数的变量，利用典型相 关分析提取高低分辨率人脸图像识别特征的相关子空间，从而增强高低分辨率人脸图像识 别特征拓扑结构的一致性。在相关子空间内，本发明利用邻域重构求得测试低分辨率人脸 图像对应的高分辨率人脸图像域的识别特征，并利用基于L2范数的最近邻分类器进行分
应的高分辨图像的识别特征为A =￡wfcf 。类识别，从而获得识别率。
图l本发明算法框架； 图2CAS-PEAL表情库中某一人物的五幅表情图像；
图3利用CAS-PEAL表情图库所得识别率结果；
图4利用LDA提取特征所得识别率结果； 图5AR人脸图像库示例，其中(a)为32X32的高分辨率训练人脸图像，(b)为8X8 的低分辨率训练人脸图像，(c)为8X8的低分辨率测试人脸图像；
图6特征向量维数大小对识别率的影响。
具体实施例方式
为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实例，对 本发明做进一步详细说明。这些实例仅仅说明性的，而并非对本发明的限制。
人脸图像超分辨率识别问题可描述为已知两个相互对应的高低分辨率人脸图像 训练集IH和I"或者两个相互对应的人脸图像识别特征的训练集XH和X、输入一幅低分辨 率人脸图像L，求其对应的高分辨率人脸图像的识别特征ch。 流形学习的理论假设人脸子空间是一种嵌入流形结构，即嵌入在高维欧式空间的 低维流形。这表明人脸数据集构成的高维结构在局部意义下与某个低维欧式空间拓扑同 胚。对应的高低分辨率人脸数据集之间仅仅分辨率不同，也就是维数不同。因此，可以认为， 高低分辨率人脸数据集是由相关的内在结构生成的。在满足流形学习的假设条件下，可以 根据流形学习中的局部线性嵌入(Locallylinear embedding, LLE)算法的原理，采用邻域 重构的思想，进行人脸图像超分辨率重建，即将低分辨率空间求得的测试数据的邻域和重 构权值应用于高分辨率空间，从而重构出测试低分辨率数据对应的高分辨率空间数据。
近年来，基于以上理论，提出了一些基于流形学习的人脸超分辨率算法，取得了良 好的效果。同样，如果将高低分辨率人脸图像的识别特征分别看作高低维数据，也有理由认 为这两个数据集是由相关的内在结构生成的。因此，也可以使用基于流形学习的思路直接 重建高分辨率的识别特征。 但在实际中由于训练图库数目的限制等原因，关于高低分辨率数据集流形局部拓
扑同胚的假设往往不能得到很好的满足。CCA最初是用来分析两组数据线性关系的方法，其
目的是分别为每组数据寻找一组基向量，使得通过这两组基向量变换后的数据相关性达到
最大。本发明以高、低分辨率图像的识别特征作为两组待处理数据，通过CCA来建立相关子
空间，以增强高低分辨率人脸图像识别特征的邻域关系的一致性，以更好地满足基于流形
学习方法中邻域重构思想的假设，从而更准确地重构高分辨率人脸图像识别特征。 本发明算法框架如图1所示，主要包含三个部分人脸图像特征提取，识别特征的
超分辨率重建以及最终的识别过程。 设去除均值后的高分辨率和低分辨率训练人脸图像集合分别为 ,={f }「=1=[《,《，...,^]、, ={"}「=1 ，其中m为样本个数。人脸图像特征可以
通过经典的主成分分析(Principal Component Analysis,PCA)或者线性判决分析(LinearDiscriminant Analysis, LDA)等来获取。在此，定义0^)、"=《，其中bh是高分辨率人脸 图像对应的特征提取矩阵，XiH是代表人脸图像I,的特征向量。同理，可以得到低分辨率图 像的特征表示为《，其中B^是低分辨率人脸图像对应的特征提取矩阵，xJ代表低 分辨率人脸图像的特征向量。由此，得到表示对应的高低分辨率训练图像的特征向量集 为f ={xf }"=1和^ ，其中m为样本个数。 在识别特征的超分辨率重建部分，先将高低分辨率训练图像的特征向量转换到 CCA子空间。具体的，对于特征向量集XH、^分别减去其均值xH和x、得到中心化的数据集
=[3^,^, .,^]和11 …,《]。CCA的目标是分别为样本集p和f寻找两组基
向量VH、VM吏得利用基向量映射后的变量C、(^fJ^和ci-(mz之间的相关系数p达
到最大，即有
V邻rtf )r P )r ]邻"y ^ )r"〗 取得最大值，其中E[ ]代表数学期望。 为了求解基向量VIP V、定义Cu "y]，Q = ￡[^(^门分别为义^口^
的自协方差矩阵，c,2=￡[p(》￡)，pc2I=￡[f 、py]分别为p和JN勺互协方差矩阵。计
算《=0^120^21 ，及2 = C^(^Q"/Q 。 R和R2的特征向量即为所求基向量VH和V、 利用所求基向量，将特征向量集XH、X"变换到CCA子空间，得到对应的投影系数集
《=(F"、" (2)
cf=( (3) 由于XH、 这两个数据集之间存在相关的内在结构，将其变换到CCA子空间，也就 是相关子空间后，两个数据集之间的线性相关性最大，使得两个数据集内部拓扑结构的一 致性增强。从而在CCA子空间，投影系数集C11、(^更好地满足局部线性嵌入算法的高低维空 间邻域间数据点的序保持的假设，因此可以利用邻域重构的思想求得测试低分辨率人脸图 像在高分辨率空间的识别特征。 对输入的低分辨率人脸测试图像I"求得其对应的特征向量Xl，进一步将Xl变换 到CCA子空间，得到q，即Ci = (v"t(XfX" (4) 依据邻域重构的思想，在中寻找Cl的K近邻{Cl,} i =,，并求重构权值 ^M《&，使得 s=c,-|>%
(5)
达到最小，且满足Swf =1。将此权值应用于(^中与{(^^ =,对应的
即可重构出L对应的高分辨图像在CCA子空间的识别特征为 <formula>formula see original document page 8</formula> 在识别部分，本发明根据CCA子空间的识别特征进行人脸识别。利用特征ch与 C" ={cf }「=1采用基于L2范数的最近邻分类器进行分类识别，即判决函数为
^(cj-min(llc「《||2)， / = 1,2"..附 (7)
其中cikH表示CH中属于第k类的第i个样本。 为了验证本发明的有效性，分别利用CAS-PEAL表情人脸图库以及AR人脸库进行 实验。所得实验结果分别与基于双三次插值的识别算法、文献中G皿turk的方法以及利用 原始高分辨率人脸图像进行识别所得识别率进行比较。其中，基于双三次插值识别算法是 指对低分辨率人脸图像利用双三次插值得到高分辨率人脸图像，然后提取此高分辨率人脸 图像的特征进行识别；利用原始高分辨率人脸图像进行识别，即直接提取此高分辨率人脸 图像的特征进行识别。 利用CAS-PEAL表情图库进行人脸识别实验中，从原始377个人物的表情图库中随 机选取190个人物，每一人物包含5幅不同表情的图像。图2给出了经过预处理后的某一 人物的一组人脸图像。 在此实验过程中，利用同一人物的前三幅图像进行训练，剩余两幅图像进行识别。 根据高低分辨率图像大小分三种情况进行人脸识别，分别为高分辨率训练图像大小为 64X64，低分辨率图像大小为16X16 ;高分辨率训练图像大小为64X64，低分辨率图像大 小为8X8 ;高分辨率训练图像大小为32X32，低分辨率图像大小为8X8。利用PCA提取特 征，并且高分辨率图像特征向量保留前50维，低分辨率图像保留前30维；本发明方法中，邻 域重构时的邻域数目为20。 Gunturk方法参考文献中的参数KL变换选择前50维特征向 量，最大迭代数目为7， A =0.5，后面实验过程所用参数与此相同。 由图3中结果可以看出，当待识别图像分辨率较低时，相比其它方法，本发明方法
识别率较高，并且整体性能较稳定。本发明方法所得识别率与利用原始高分辨率图像进行
识别所得识别率非常接近，这是因为本发明对于识别特征进行超分辨率重建，可以获得测
试低分辨率图像在高分辨率特征空间的识别特征，有效的提高了识别率。 为了全面分析本发明算法的性能，利用LDA提取人脸特征，对于本发明算法、基于
双三次的识别算法以及利用原始高分辨率图像进行识别的方法进行对比。实验中其它参数 设置以及计算过程与上面实验相同。所得结果如图4所示。比较图3和图4可知，本发明 方法以及利用原始图像识别的方法，利用LDA提取特征比利用PCA提取特征所得识别率要 高，这与理论相符合。 利用AR图像库中的部分图像进行人脸识别实验，选择图库中的135幅人脸图像， 每一人物选三幅图像，其中前两幅用于训练，最后一幅用于测试。在此组实验过程中，高分 辨率训练图像大小为32X32，低分辨率图像大小为8X8。列出一组人物的训练高低分辨率 人脸图像和测试低分辨率人脸图像如图5所示。 在本实验中同样利用PCA来提取人脸图像特征，高分辨率训练图像大小为32X32，低分辨率图像大小为8X8，邻域数目为IO，低分辨率图像利用PCA保留前30维特征向量，分析高分辨率图像特征向量维数变化对实验结果的影响。结果如图6所示。
由图6可以看出随着特征向量维数的增加，所得识别率均最初呈上升趋势，然后逐渐稳定在一个区间内，波动范围不超过0. 05 ;本发明方法所得识别率结果相比Gunturk的方法能较快的达到稳定区域，且识别率较高；当特征向量维数大于20，本发明方法所得识别率与利用原始图像所得识别率非常接近，有时候还稍微大于利用原始图像所得识别率，这是因为本发明方法利用识别特征的超分辨率重建，解空间限制在高分辨率特征空间内，可以获得有利于识别的信息。 综上所述，本发明针对低分辨率人脸图像识别率较低的问题，提出了一种利用识别特征的超分辨率重建得到低分辨率人脸图像在高分辨率空间对应的识别特征的方法。在识别特征的超分辨率重建过程中，本发明利用CCA获得高低分辨率图像的相关子空间，然后在此相关子空间内利用邻域重构得到测试低分辨率图像在高分辨率空间的识别特征。实验表明，本发明方法所得识别率受图像分辨率大小影响较小，所得识别率较高。
权利要求
一种基于典型相关分析空间超分辨率的人脸识别方法，其特征在于包含以下步骤1)首先，利用经典特征提取方法提取高低分辨率训练人脸图像识别特征，利用所提取的两组识别特征作为训练数据，根据CCA算法要求，得映射基向量，根据此映射基向量将识别特征转换到CCA相关子空间；2)其次，在相关子空间内，利用邻域重构求得测试低分辨率人脸图像识别特征在高分辨率域对应的识别特征，实现识别特征的超分辨率重建；3)最后，利用基于L2范数的最近邻分类器，按照求得的CCA空间内的识别特征进行最近邻分类识别，从而获得识别率。
2. 如权利要求1所述的基于典型相关分析空间超分辨率的人脸识别方法，其特征在 于所述的识别特征转换到CCA相关子空间包括以下步骤1) 设去除均值后的高分辨率和低分辨率训练人脸图像集合分别为 /"^/fK^^z/Vf ，...,C]、 ,={"=[《,《，...，/:]，其中I,为第i幅高分辨率图像， I，为第i幅低分辨率图像，m为训练图像总的样本数目；定义CB")、"=《，其中BH是高分 辨率图像对应的特征提取矩阵，XiH是代表人脸图像I,的特征向量；同理，可以得到低分辨 率图像的特征表示为《，其中B^是低分辨率人脸图像对应的特征提取矩阵，x,代 表低分辨率人脸图像I,的特征向量；由此，得到表示对应的高低分辨率训练图像的特征向量集为Z" ={《}f=1和y ={《}; —,，其中x,为第i幅高分辨率人脸图像对应的特征向量，xj为第i幅低分辨率人脸图像的特征向量；2) 对于特征向量集XH、 #分别减去其均值xH和Xl，得到中心化的数据集 P =[^,Xf ,…，《]和f =[#,《，...，《];定义C,, -￡[P(P)r]， C22 =￡[f 分 别为和f的自协方差矩阵，C12 = 和C21 = ￡[》")『]:分别为p和p 的互协方差矩阵，其中E[，]代表数学期望，T代表转置运算；计算/^-C^C^C^C^， A = CgC^C,—/C12 ; &和R2的特征向量即为所求基向量VH和;3) 利用所求基向量，将特征向量集XH、 X"变换到CCA子空间，得到高分辨率和低 分辨率训练人脸图像对应的投影系数集= {cf 、e = {《， g卩《=("f jff和
3. 如权利要求1或2所述的基于典型相关分析空间超分辨率的人脸识别方法，其特征在于所述识别特征超分辨率重建步骤如下1) 对输入的低分辨率人脸测试图像Iy求得其对应的特征向量A，进一步将A变换到CCA子空间，得到c工，艮卩:Cl = (VL)T(Xl-xL);2) 依据邻域重构的思想，在中寻找Cl的K近邻{c^}i =,，其中Cl，为Cl的第i个近邻，并求重构权值『"={wf}f=1 ，其中Wie为第i个近邻对应的权值系数，使得目标函数s=||c, -i:^l达到最小，且满足i;wf=1;<formula>formula see original document page 2</formula>3) 将权值『G^nf仏应用于cH中与(c^i^K对应的(Cu"i^K，即重构出L对应的高分辨图像的识别特征为<formula>formula see original document page 3</formula>
4.如权利要求1所述的基于典型相关分析空间超分辨率的人脸识别方法，其特征在于所述经典特征提取方法采用主成分分析或线性判决分析。
全文摘要
一种基于典型相关分析空间超分辨率的人脸识别方法。本发明针对低分辨率人脸图像识别率较低的问题，提出了一种利用识别特征的超分辨率重建得到低分辨率人脸图像在高分辨率空间对应的识别特征的方法。基于流形学习的理论，本发明认为高低分辨率人脸图像的识别特征是由共同的内在结构生成的，利用典型相关分析增强高低分辨率人脸图像识别特征邻域关系的一致性，以更好地满足邻域重构思想的假设；在典型相关分析变换得到的相关子空间内利用邻域重构获得测试低分辨率人脸图像对应的高分辨率人脸图像识别特征，最后利用此特征识别人脸。实验表明，本发明所得识别率受人脸图像分辨率大小影响较小，所得识别率较高。
文档编号G06K9/46GK101697197SQ20091020756
公开日2010年4月21日 申请日期2009年10月20日 优先权日2009年10月20日
发明者何惠婷, 黄华 申请人:西安交通大学;