专利名称：一种融合全局特征与局部细节信息的人脸图像超分辨率方法
技术领域：
本发明涉及数字图像处理，尤其涉及一种融合全局特征与局部细节信息的人脸图像超分辨率方法。
背景技术：
人脸超分辨率技术是一类特殊的图像超分辨率技术，目前的图像超分辨率技术大体上可以分为两类，即基于重建的图像超分辨率和基于学习的图像超分辨率，一般来说后者比前者更为有效。近年来出现了一些有代表性的基于学习的图像超分辨率技术，这些方法的主要思想是基于一个包含成对高分辨率和低分辨率图像的样本图像库进行图像超分辨率。Freeman等人提出一种基于样本的方法，他们通过马尔可夫网络(Markov Network)学习低分辨率图像和对应高分辨率图像之间的关系，并利用学习到的关系对其它低分辨率图像进行超分辨率，此项工作公布于1999年IEEE国际计算机视觉会议上(IEEE InternationalConference on Computer Vision，(1999)1182～1189)。Hertzmann等人在2001年的ACM图形学会议(ACM SIGGRAPH 2001)上提出一种通用的局部特征转换方法，称为“图像类推”(Image Analogies)。他们采用多尺度自回归(Multi-scaleAuto-regression)方法学习高-低分辨率图像对之间的局部相似性，并以此为依据进行图像超分辨率。这些方法更适合处理一般图像的超分辨率问题，因为他们没有考虑人脸图像的特殊属性。Baker和Kanade在2000年IEEE自动人脸和姿态识别国际会议上公布首次提出“人脸幻想”(Face Hallucination)技术，他们将人脸图像梯度信息的空间分布作为先验知识，并采用贝叶斯推理手段从低分辨率人脸图像得到高分辨率人脸图像。这种方法依赖于十分复杂的概率模型。Ce Liu在2001年IEEE计算机视觉与模式识别国际会议上(IEEE ComputerSociety Conference on Computer Vision and Pattern Recognition.Kauai Marriott，Hawaii(2001)192-198)公布了一种两步人脸幻想方法达到了同样的目的。Wang等人基于特征转换(Eigen-transformation)算法开发了一种高效的人脸超分辨率技术。他们基于主成分分析(PCA)，用低分辨率样本人脸图像的线性组合来逼近输入人脸图像并求解组合系数。保留这些组合系数，并将低分辨率人脸图像替换为高分辨率样本人脸图像，即可通过线性组合来合成高分辨率人脸图像。但是这种方法只考虑到全局图像特征，而忽略了局部细节信息，造成合成的图像在局部区域不清晰，缺乏细节特征，这项工作出现在2005年的IEEE汇刊上(IEEE Trans.on Systems，Man，and Cybernetics，Part-C.2005，35(3)425～434)。
在视频监控应用中，由于视频分辨率不高、人脸距镜头过远等原因，人脸部分的图像分辨率太低，辨识度太差，对人的身份识别造成困难。人脸超分辨率技术能够根据低分辨率的人脸图像合理“推导”出高分辨率人脸图像，增加图像中人脸的辨识度，将在人脸识别以及视频监控领域得到广泛应用。
发明内容
本发明的目的是提供一种融合全局特征与局部细节信息的人脸图像超分辨率方法，包括如下步骤 1)根据低分辨率和高分辨率人脸图像的样本数据，采用局部保持映射算法建立转换向量； 2)采用局部保持映射算法提取低分辨率样本人脸图像的本征特征； 3)采用径向基函数回归在低分辨率人脸图像的本征特征和对应高分辨率人脸图像间建立关联； 4)将输入的低分辨率人脸图像投影到转换向量上得到本征特征，将此本征特征作为径向基函数的输入，得到全局的高分辨率人脸图像； 5)根据样本图像建立高分辨率和低分辨率样本残差图像块矩阵； 6)计算由k个最接近的低分辨率样本残差图像块重建输入的低分辨率残差图像块的权重，然后将低分辨率残差图像块替换为高分辨率样本残差图像块，加权合成高分辨率残差图像块； 7)组合高分辨率残差图像块并用线性平滑算子进行平滑，得到高分辨率的残差人脸图像； 8)将步骤7)得到的高分辨率的残差人脸图像与步骤4)得到的全局高分辨率人脸图像相加得到最终超分辨率结果。
所述的采用局部保持映射算法建立转换向量包括如下步骤 1)设P是n幅高分辨率样本人脸图像，P＝p1，…，pn，维度为m；Q是对应的n幅低分辨率样本人脸图像，Q＝q1，…，qn，维度为d，采用主成分分析对低分辨率样本人脸图像Q进行降维，得到特征向量U和特征系数V； 2)在特征向量U表示的子空间中计算任意两幅人脸图像qi和qj间的距离，并在样本空间中为每幅图像q选择k个最近邻，构造反映数据集局部拓扑结构的邻域图； 3)如果人脸图像qi是人脸图像qj的k个近邻之一或人脸图像qj是人脸图像qi的k个近邻之一，权重设置为Wij＝‖qi-qj‖2，否则Wij＝0； 4)计算转换向量的公式为QLQTa1＝λQDQTa1其中Dii＝∑jWji，而L＝D-W是拉普拉斯矩阵，设求解得到的特征值为λi(l＝1，...L)，用表示与最小的前h个特征值对应的特征向量，则将原始高维人脸图像映射至低维流形空间中的转换向量表示为A＝US。
所述的采用局部保持映射算法提取低分辨率样本人脸图像的本征特征通过公式ytr＝ATQ计算样本低分辨率人脸图像的本征特征ytr，其中Q是低分辨率样本人脸图像，A是采用局部保持映射算法建立的转换向量。
所述的采用径向基函数回归在低分辨率人脸图像的本征特征和对应高分辨率人脸图像间建立关联方法如下径向基函数的基本形式为其中并且常量σ可由如下公式计算其中n表示样本图像的数目，nbs表示k个最近邻的数目，矩阵形式的径向基函数表示为P＝WK，其中关联系数为W＝采用yi＝1，...ntr和P＝p1，...pn来训练径向基函数并得到关联系数W。
所述的生成全局高分辨率人脸图像包括如下步骤 1)将输入的低分辨率人脸图像qin投影到转换向量A上，得到qin在低维流形空间中的坐标yin，yin＝ATqin； 2)将yin作为输入数据，根据k(yitr，yjtr)计算矩阵K，并根据P＝WK计算全局高分辨率人脸图像pout。
所述的根据样本图像建立高分辨率和低分辨率样本残差图像块矩阵方法如下设Il是样本低分辨率人脸图像，而Ih是对应的全局高分辨率人脸图像，则低分辨率的残差人脸Rl为Rl＝Il-D(Ih)，其中D(·)是下采样函数；高分辨率的残差人脸Rh为Rh＝Io-Ih，其中Io是原始高分辨率人脸图像，重新令Il为低分辨率样本残差人脸图像，令Ih为高分辨率样本残差人脸图像，将它们划分为相同数目的图像小块，每一对高-低分辨率图像小块均满足一一对应关系；定义Ptl(i，j)为Il中的低分辨率残差小块，中心为vijl，Pth(i，j)为Ih中的高分辨率残差小块，中心为vijh，将Ptl(i，j)固定为nl×nl大小，nl为奇数，将Pth(i，j)固定为nh×nh大小，nl和nh之间满足nh＝λnl，其中λ是缩放因子；Il中低分辨率小块之间的重叠尺寸设为(nl-1)/2，而Ih中高分辨率小块之间的重叠尺寸设为(odd(nh)-1)/2，其中函数odd(x)的作用是找到不大于x的最大的奇数；一旦确定vijl，Ptl(i，j)即为已知，而且Pth(i，j)的位置也确定，小块中心点的坐标可计算如下 ka和kb为 其中mod(·)为取模运算；每幅残差人脸图像就是一个图像小块矩阵，位于矩阵中第i行第j列的图像小块表示为Pt(i，j)。
计算由k个最接近的低分辨率样本残差图像块重建输入的低分辨率残差图像块的权重，然后将低分辨率残差图像块替换为高分辨率样本残差图像块，加权合成高分辨率残差图像块包括如下步骤 1)在输入的低分辨率图像上减除下采样后的全局高分辨率人脸图像得到输入的低分辨率残差人脸图像Rinl，将Rinl划分为相互重叠的残差小块Ptin(i，j)，i＝1，…，r；j＝1，…，c，其中r和c分别是图像块矩阵的行数和列数，i和j的初始值均为1； 2)如果i＞r或j＞c，算法终止； 否则，对于当前Ptin(i，j)，在Pt(m)l(i，j)中基于欧氏距离找到它的k近邻，m＝1，…，n，这些k近邻表示为Pt(k)l(i，j)，k＝1，…，K，K≤n； 3)为Pt(k)l(i，j)计算权重；这是通过在约束下最小化Ptin(i，j)的重建误差实现的，目标函数为定义C为其中ones是K个元素均为1的行向量，则局部协方差矩阵G可表示为G＝CTC，由k个最接近的低分辨率样本残差图像块重建输入的低分辨率残差图像块的权重w＝(G-1ones(K，1))/(ones(K，1)TG-1ones(K，1))，其中w是K维的权重向量； 4)基于w计算高分辨率的残差图像块 5)如果j＜c，则令j＝j+1；否则令i＝i+1和j＝1，转步骤2)。
所述的生成高分辨率残差人脸图像包括如下步骤 1)将残差图像小块叠加起来得到初始的高分辨率残差人脸图像； 2)假设Rh是所有残差图像块的简单叠加，在每个像素位置上定义平滑算子SMO对Rh(x，y)进行平滑，SMO定义为
其中1≤p≤r，1≤q≤c，r和c分别是图像块矩阵的行数和列数，对于Rh(x，y)的平滑操作是线性运算Rh(x，y)＝Rh(x，y)·SMO(x，y)。
本发明具有的有益效果 1)局部保持映射算法是线性的，而且象主成分分析一样显式的给出一组转换向量。这表明局部保持映射算法可以通过一个线性投影很容易的处理样本数据集外的数据，在推广性上要好于主成分分析方法。
2)本方法将局部保持映射和径向基函数有机结合在一起。局部保持映射捕捉样本图像的最本质特征，径向基函数回归在图像本征特征和原始图像间建立关联。与线性主成分分析相比，该算法合成的全局高分辨率人脸图像更接近真实人脸，而且计算效率很高。
3)第二阶段寻找kNN时的搜索策略是“位置相关的”，这就意味着当在样本图像块中搜索与特定位置上输入图像块最接近的数据时，只需遍历同一位置上的样本数据即可。这不会造成人脸图像质量的下降，因为出现在同一位置的人脸图像块大致反映人脸同一部位的特征，而kNN也最可能出现在这些样本块中。另外，kNN算法是应用在低分辨率图像块上。这些特点极大降低了kNN搜索的计算复杂度。
图1是本发明中具有不同参数的局部保持映射算法生成的全局高分辨率人脸示意图； 图2是本发明中高分辨率和低分辨率图像残差小块间的一一对应关系； 图3是本发明中相邻的四个残差小块相互重叠情况示意图； 图4是本发明中整幅图像上残差小块相互重叠情况示意图； 图5是本发明中全局高分辨率人脸和高分辨率残差人脸图像叠加形成的最终超分辨率效果示意图； 图6(a)是原始低分辨率图像； 图6(b)是根据原始低分辨率图像直接插值得到的高分辨率图像； 图6(c)是采用本发明所述方法得到的高分辨率图像； 图6(d)是真实的高分辨率图像； 图7(a)是在体育场中实际拍摄的低分辨率原始图像； 图7(b)中从左到右依次为低分辨率原始人脸图像、插值得到的高分辨率人脸图像、采用本发明所述方法得到的高分辨率人脸图像； 图8(a)是在实验室中实际拍摄的低分辨率原始图像； 图8(b)中从左到右依次为低分辨率原始人脸图像、插值得到的高分辨率人脸图像、采用本发明所述方法得到的高分辨率人脸图像；
具体实施例方式 融合全局特征与局部细节信息的人脸图像超分辨率方法实施如下 1)采用局部保持映射算法提取样本低分辨率人脸图像的本征特征。我们在亚洲人脸图像数据库上验证本发明所述方法。PF01数据库中的人脸图像来自56名男性和51名女性共107名志愿者，每人有17幅具有不同外观特征的图像(1幅正面人脸，4幅包含光照变化，8幅包含姿态变化，余下4幅具有表情变化)。在所有的志愿者中，24位男性和8位女性佩戴了眼镜。大部分志愿者的年龄在20到30岁之间。由于本发明的目的是在均匀光照条件下进行正面人脸图像的超分辨率，去除具有光照和姿态变化的人脸图像，构造一个包含321幅图像的新数据集(为每人保留1幅正面图像和2幅具有典型表情变化的图像)。所有样本图像经过了初步配准，保证人的瞳孔大致位于图像的同一位置。在此基础上，进一步手工调整图像分辨率为96×128。设P＝p1，…，p60是60幅高分辨率样本人脸图像，维度为12288；Q＝q1，…，q60是对应的60幅低分辨率样本人脸图像，维度为768，采用主成分分析对Q进行降维，得到特征向量U和特征系数V；在U表示的子空间中计算任意两幅人脸图像qi和qj间的距离，并在样本空间中为每幅图像q选择30个最近邻，构造反映数据集局部拓扑结构的邻域图；设置权重如果qi是qj的k个近邻之一或qj是qi的k个近邻之一，权重设置为Wij＝‖qi-qj‖2，否则Wij＝0；计算转换向量解如下推广的特征值问题QLQTa1＝λQDQTa1，其中Dii＝∑jWji，而L＝D-W是拉普拉斯矩阵，设求解得到 的特征值为λl(l＝1，...L)，用表示与最小的前50个特征值对应的特征向量，则将原始高维人脸图像映射至低维流形空间中的转换向量可表示为A＝US。样本低分辨率人脸图像的本征特征ytr可计算为ytr＝ATQ。
2)采用低分辨率样本图像的本征特征和对应的高分辨率样本图像训练径向基函数。RBF的基本形式为其中并且常量σ可由如下公式计算其中n表示样本图像的数目，这里是60，nbs表示步骤二中已定义的最近邻的数目，这里是30。矩阵形式的RBF表示为P＝WK，其中采用yitr(i＝1，...60)和P＝[p1，...p60]来训练RBF并得到W。
3)将输入的低分辨率人脸图像投影至转换向量。低分辨率人脸图像的维度是768，共提取了50个转换向量，则转换向量构成一个768×50矩阵，输入的低分辨率人脸图像是一个1×768向量，此向量与转换向量矩阵运算后得到一个1×50的向量，即为输入低分辨率人脸图像的本征特征，上面的运算可表示为yin＝ATqin，其中A是转换向量，qin是输入的低分辨率人脸图像，yin是本征特征。
4)利用径向基函数回归得到全局高分辨率人脸图像。设全局高分辨率人脸图像pout的维度为N，pout可以根据yin和前面获得的W运算得到，公式为pout＝yinW，其中W是50×12288矩阵。用k和h分别表示每幅人脸图像在局部保持算法中的近邻数目和转换向量的个数。我们在一个包含75幅图像的样本数据集上测试了该算法，在不同的k和h下合成的全局高分辨率人脸如图1所示。第一行中的图像是真实的高分辨率人脸，对第二、三、四行而言，将邻域大小分别指定为5、15和30。对每一个k，分别计算从10到70个不同数目的转换向量，从而形成一个3×7的人脸矩阵。图1表明当转换向量很少时，不同的k将使得合成的人脸图像有很大差别；而当转换向量个数逐渐增多时，算法将收敛到一个优化的值，在不同k下得到的结果趋于一致。这说明与邻域大小相比，转换向量的个数对于LPH算法而言是更为关键的因素。当k＝30，h＝70时得到最理想的结果。
5)通过对图像进行下采样和差分合成样本残差图像，并进一步将残差图像划分为图像小块。设Il是样本低分辨率人脸图像，而Ih是对应的全局高分辨率人脸图像，则低分辨率的残差人脸Rl为Rl＝Il-D(Ih)，其中D(·)是下采样函数，将图像从96×128下采样至24×32；高分辨率的残差人脸Rh为Rh＝Io-Ih，其中Io是原始高分辨率人脸图像，重新令Il为低分辨率样本残差人脸图像，令Ih为高分辨率样本残差人脸图像，将它们划分为相同数目的图像小块，每一对高-低分辨率图像小块均满足一一对应关系，高分辨率和低分辨率图像小块间的一一对应关系如图2所示；定义Ptl(i，j)为Il中的低分辨率残差小块，中心为vijl，Pth(i，j)为Ih中的高分辨率残差小块，中心为vijh，将Ptl(i，j)固定为nl×nl大小，nl设为3，将Pht(i，j)固定为nh×nh大小，nh设为12，nl和nh之间满足nh＝λnl，其中λ是缩放因子，这里是4；Il中低分辨率小块之间的重叠尺寸设为(nl-1)/2＝1，而Ih中高分辨率小块之间的重叠尺寸设为(odd(nh)-1)/2＝5，其中函数odd(x)的作用是找到不大于x的最大的奇数；一旦确定vijl，Ptl(i，j)即为已知，而且Pth(i，j)的位置也可唯一确定，小块中心点的坐标可计算如下 ka和kb为 其中mod(·)为取模运算； 6)根据输入的低分辨率图像提取残差图像，将此残差图像划分为小块，并在低分辨率样本图像小块中搜索30个近邻。提取输入图像的残差图像是通过下述方法完成用第五步中的D(·)对合成的高分辨率全局图像进行下采样，再用输入的低分辨率图像减除下采样后的图像。将每幅残差人脸图像看作一个图像小块矩阵，位于矩阵中第i行第j列的图像小块表示为Pt(i，j)，每个小块包含n×n像素，并且每个小块与它上下左右四个相邻小块重叠区域的尺寸为(n-1)/2，相互重叠的图像小块结构如图3所示。设Pt(k)l(i，j)是输入的低分辨率残差小块Ptin(i，j)在样本集合中的30个最近邻，Pt(k)l(i，j)可通过欧式距离直接计算得到。
7)计算由30个最近邻Pt(k)l(i，j)重建Ptin(i，j)的权重w1，...w30，根据低分辨率残差图像块和高分辨率残差图像块间的一一对应关系将30个最接近的低分辨率残差图像块替换为对应的高分辨率残差图像块，用同样的权重合成对应的高分辨率残差图像块Ptout(i，j)。为Pt(k)l(i，j)计算权重是通过在约束下最小化Ptin(i，j)的重建误差实现的，目标函数为这是一个基于约束的最小二乘问题，定义C为其中ones是30个元素均为1的行向量，则局部协方差矩阵G可表示为G＝CTC，上面基于约束的最小二乘问题的解是w＝(G-1ones(30，1))/(ones(30，1)TG-1ones(30，1))，其中w是30维的权重向量。基于w计算高分辨率的残差图像块Ptout(i，j) 8)将相互重叠的高分辨率残差图像块集成在一起，形成整幅的高分辨率残差图像，并采用平滑算子对图像进行平滑，再与全局高分辨率人脸图像叠加形成最终超分辨率效果。
合成的残差小块彼此重叠，带来了冗余的图像高频特征，这会使合成的人脸看起来比较尖锐。我们根据残差小块结构提出一个线性平滑算子解决这个问题。假设Rh是所有残差图像块的简单叠加，在每个像素位置(x，y)上定义平滑算子SMO对Rh(x，y)进行平滑，SMO定义为
其中1≤p≤r，1≤q≤c，r和c分别是图像块矩阵的行数和列数，显然SMO与Rh具有相同的维度。对于Rh(x，y)的平滑操作是一个简单的线性运算Rh(x，y)＝Rh(x，y)·SMO(x，y)。根据此线性平滑算子，对于几个相邻小块重叠的像素位置，平滑后的像素值是这些小块对应像素值的代数平均。相互重叠的残差小块可由图4描述。根据图像块矩阵，Rh中深灰色的区域被4个残差小块同时覆盖，浅灰色区域则被2个残差小块覆盖。
将平滑后的高分辨率残差人脸与先前得到的全局高分辨率人脸图像叠加即可得到最终的超分辨率结果，如图5所示。
为了验证本发明所述的方法，我们提供了两组超分辨率实例。即分别针对数据库中正面无遮挡的人脸图像和实际拍摄的图像进行超分辨率。
实施例1 数据库中正面无遮挡人脸图像的超分辨率实施例 目的是根据一幅中性表情的低分辨率正面人脸图像生成对应的高分辨率人脸。在数据库中107个志愿者中选择75名没有佩戴眼镜的，将他们的正面人脸图像作为实验数据集，其中60幅图像用来合成样本集，15幅图像用做测试数据。首先将60幅96×128的高分辨率人脸图像下采样至24×32，将这60个高-低分辨率人脸图像对作为样本数据。
在局部保持映射算法中转换向量的数目比邻域大小更为关键，这里将邻域大小固定为30，同时将转换向量的个数设定为50。在残差小块合成算法的kNN搜索中，近邻小块的数目同样设定为30。进行残差块合成时，将高-低分辨率的样本残差图像分别划分成同样数目的残差小块，低分辨率小块尺寸为3×3，高分辨率小块尺寸为12×12。在这组实验中，使用50个转换向量就能得到很理想的全局人脸图像。残差人脸图像蕴涵了图像高频信息，用来补偿全局人脸的细节特征，最终的结果不仅清晰而且很接近真实的图像，超分辨率结果如图6所示。图6中，(a)为输入的低分辨率人脸图像，(b)为通过简单双三次插值获得的超分辨率结果，(c)为通过本发明所述方法得到的超分辨率结果，(d)为真实的高分辨率人脸图像。
实施例2 实际拍摄图像的超分辨率实施例 为进一步验证本发明所述方法的效果，我们在实拍图像上进行超分辨率。依然采用实例1中所述的60个高-低分辨率人脸图像对作为样本数据，局部保持映射算法中的转换向量个数为50，邻域大小为30。进行图像残差块合成时，低分辨率小块尺寸为3×3，高分辨率小块尺寸为12×12，近邻小块的数目同样设定为30。
图7(a)是一幅在体育场中用手机拍摄的低分辨率人脸图像，在此图像上手工提取人脸区域并用不同的方法进行超分辨率，结果如图7(b)所示。图7(b)中的三幅图像从左到右分别为原始低分辨率图像、三次B样条插值的结果、用本发明所述方法得到的结果。
图8(a)是一幅在室内随意拍摄的图像，其中的人脸区域非常小。采用以上两种方法的超分辨率结果如图8(b)所示，图8(b)中的三幅图像从左到右分别为原始低分辨率图像、三次B样条插值的结果、用本发明所述方法得到的结果。
权利要求
1.一种融合全局特征与局部细节信息的人脸图像超分辨率方法，其特征在于包括如下步骤；
1)根据低分辨率和高分辨率人脸图像的样本数据，采用局部保持映射算法建立转换向量；
2)采用局部保持映射算法提取低分辨率样本人脸图像的本征特征；
3)采用径向基函数回归在低分辨率人脸图像的本征特征和对应高分辨率人脸图像间建立关联；
4)将输入的低分辨率人脸图像投影到转换向量上得到本征特征，将此本征特征作为径向基函数的输入，得到全局的高分辨率人脸图像；
5)根据样本图像建立高分辨率和低分辨率样本残差图像块矩阵；
6)计算由k个最接近的低分辨率样本残差图像块重建输入的低分辨率残差图像块的权重，然后将低分辨率残差图像块替换为高分辨率样本残差图像块，加权合成高分辨率残差图像块；
7)组合高分辨率残差图像块并用线性平滑算子进行平滑，得到高分辨率的残差人脸图像；
8)将步骤7)得到的高分辨率的残差人脸图像与步骤4)得到的全局高分辨率人脸图像相加得到最终超分辨率结果。
2.根据权利要求1所述的一种融合全局特征与局部细节信息的人脸图像超分辨率方法，其特征在于所述的采用局部保持映射算法建立转换向量包括如下步骤
1)设P是n幅高分辨率样本人脸图像，P＝p1，…，pn，维度为m；Q是对应的n幅低分辨率样本人脸图像，Q＝q1，…，qn，维度为d，采用主成分分析对低分辨率样本人脸图像Q进行降维，得到特征向量U和特征系数V；
2)在特征向量U表示的子空间中计算任意两幅人脸图像qi和qj间的距离，并在样本空间中为每幅图像q选择k个最近邻，构造反映数据集局部拓扑结构的邻域3)如果人脸图像qi是人脸图像qj的k个近邻之一或人脸图像qj是人脸图像qi的k个近邻之一，权重设置为Wij＝‖qi-qj‖2，否则Wij＝0；
4)计算转换向量的公式为QLQTa1＝λQDQTa1
其中Dii＝∑jWji，而L＝D-W是拉普拉斯矩阵，设求解得到的特征值为λl(l＝1，...L)，用表示与最小的前h个特征值对应的特征向量，则将原始高维人脸图像映射至低维流形空间中的转换向量表示为A＝US。
3.根据权利要求1或2所述的一种融合全局特征与局部细节信息的人脸图像超分辨率方法，其特征在于所述的采用局部保持映射算法提取低分辨率样本人脸图像的本征特征通过公式ytr＝ATQ计算样本低分辨率人脸图像的本征特征ytr，其中Q是低分辨率样本人脸图像，A是采用局部保持映射算法建立的转换向量。
4.根据权利要求1所述的一种融合全局特征与局部细节信息的人脸图像超分辨率方法，其特征在于所述的采用径向基函数回归在低分辨率人脸图像的本征特征和对应高分辨率人脸图像间建立关联方法如下径向基函数的基本形式为其中并且常量σ可由如下公式计算其中n表示样本图像的数目，nbs表示k个最近邻的数目，矩阵形式的径向基函数表示为P＝WK，其中关联系数为采用yi＝1，...ntr和P＝p1，...pn来训练径向基函数并得到关联系数W。
5.根据权利要求1所述的一种融合全局特征与局部细节信息的人脸图像超分辨率方法，其特征在于所述的生成全局高分辨率人脸图像包括如下步骤
1)将输入的低分辨率人脸图像qin投影到转换向量A上，得到qin在低维流形空间中的坐标yin，yin＝ATqin；
2)将yin作为输入数据，根据k(yitr，yjtr)计算矩阵K，并根据P＝WK计算全局高分辨率人脸图像pout。
6.根据权利要求1所述的一种融合全局特征与局部细节信息的人脸图像超分辨率方法，其特征在于所述的根据样本图像建立高分辨率和低分辨率样本残差图像块矩阵方法如下设Il是样本低分辨率人脸图像，而Ih是对应的全局高分辨率人脸图像，则低分辨率的残差人脸Rl为Rl＝Il-D(Ih)，其中D(·)是下采样函数；高分辨率的残差人脸Rh为Rh＝Io-Ih，其中Io是原始高分辨率人脸图像，重新令Il为低分辨率样本残差人脸图像，令Ih为高分辨率样本残差人脸图像，将它们划分为相同数目的图像小块，每一对高-低分辨率图像小块均满足一一对应关系；定义Ptl(i，j)为Il中的低分辨率残差小块，中心为vijl，Pth(i，j)为Ih中的高分辨率残差小块，中心为vijh，将Ptl(i，j)固定为nl×nl大小，nl为奇数，将Pth(i，j)固定为nh×nh大小，nl和nh之间满足nh＝λnl，其中λ是缩放因子；Il中低分辨率小块之间的重叠尺寸设为(nl-1)/2，而Ih中高分辨率小块之间的重叠尺寸设为(odd(nh)-1)/2，其中函数odd(x)的作用是找到不大于x的最大的奇数；一旦确定vijl，Ptl(i，j)即为已知，而且Pth(i，j)的位置也确定，小块中心点的坐标可计算如下
ka和kb为
其中mod(·)为取模运算；
每幅残差人脸图像就是一个图像小块矩阵，位于矩阵中第i行第j列的图像小块表示为Pt(i，j)。
7.根据权利要求1所述的一种融合全局特征与局部细节信息的人脸图像超分辨率方法，其特征在于计算由k个最接近的低分辨率样本残差图像块重建输入的低分辨率残差图像块的权重，然后将低分辨率残差图像块替换为高分辨率样本残差图像块，加权合成高分辨率残差图像块包括如下步骤
1)在输入的低分辨率图像上减除下采样后的全局高分辨率人脸图像得到输入的低分辨率残差人脸图像Rinl，将Rinl划分为相互重叠的残差小块Ptin(i，j)，i＝1，…，r；j＝1，…，c，其中r和c分别是图像块矩阵的行数和列数，i和j的初始值均为1；
2)如果i＞r或j＞c，算法终止；
否则，对于当前Ptin(i，j)，在Pt(m)l(i，j)中基于欧氏距离找到它的k近邻，m＝1，…，n，这些k近邻表示为Pt(k)l(i，j)，k＝1，…，K，K≤n；
3)为Pt(k)l(i，j)计算权重；这是通过在约束下最小化Ptin(i，j)的重建误差实现的，目标函数为定义C为其中ones是K个元素均为1的行向量，则局部协方差矩阵G可表示为G＝CTC，由k个最接近的低分辨率样本残差图像块重建输入的低分辨率残差图像块的权重w＝(G-1ones(K，1))/(ones(K，1)TG-1ones(K，1))，其中w是K维的权重向量；
4)基于w计算高分辨率的残差图像块
5)如果j＜c，则令j＝j+1；否则令i＝i+1和j＝1，转步骤2)。
8.根据权利要求1所述的一种融合全局特征与局部细节信息的人脸图像超分辨率方法，其特征在于所述的生成高分辨率残差人脸图像包括如下步骤
1)将残差图像小块叠加起来得到初始的高分辨率残差人脸图像；
2)假设Rh是所有残差图像块的简单叠加，在每个像素位置上定义平滑算子SMO对Rh(x，y)进行平滑，SMO定义为
其中1≤p≤r，1≤q≤c，r和c分别是图像块矩阵的行数和列数，对于Rh(x，y)的平滑操作是线性运算Rh(x，y)＝Rh(x，y)·SMO(x，y)。
全文摘要
本发明公开了一种融合全局特征与局部细节信息的人脸图像超分辨率方法。能基于样本图像，根据一幅低分辨率人脸图像合成相应的高分辨率人脸图像。首先将局部保持映射算法和径向基函数回归算法结合起来得到全局的高分辨率人脸图像；然后采用邻域重建的方法合成高分辨率人脸残差图像块，并组合形成高分辨率人脸残差图像；最后将高分辨率人脸残差图像叠加至高分辨率人脸图像得到最终超分辨率效果。本发明提供的技术能合成较清晰的高分辨率人脸图像，增加人脸图像的辨识度，在视频监控、人脸识别等方面具有重要应用意义。
文档编号G06K9/00GK101216889SQ200810059130
公开日2008年7月9日 申请日期2008年1月14日 优先权日2008年1月14日
发明者庄越挺, 剑 张, 俊 肖, 飞 吴 申请人:浙江大学