专利名称：一种基于最近特征线流形学习的人脸图像超分辨率方法
技术领域：
本发明涉及图像超分辨率领域，具体涉及一种基于最近特征线流形学习的人脸图像超分辨率方法。
背景技术：
超分辨率是一种由低分辨率(Low-Resolution，LR)图像产生高分辨率 (High-Resolution,HR)图像的技术，其在智能视频监控、公安刑事侦查、信息安全等领域具有广泛的应用背景。根据输入的图像的数目，超分辨率方法可以分成基于多帧低分辨率图像进行重建的方法和基于单帧低分辨率图像进行学习的方法这两大类，其中基于单帧学习的方法能获得更高的放大倍数和更好的效果，因而更受关注。Freeman(文献1 :W. Freeman, Ε. Pasztor, and 0. Carmichael. Learning low-level vision [J]. International Journal of Computer Vision, 2000, 40(1) : 25 - 47.)提出一种基于Markov网络的图像超分辨率方法，这也是最早提出的基于学习的超分辨率方法。Baker (文献2 :S. Baker and Τ. Kanade. Limits on super-resolution and how to break them [J]. IEEE Trans. PAMI, 2002, 24(9): 1167-1183.)专门针对人脸图像，提出了一种人脸幻构的方法。随后，Liu (文献 3 :C. Liu, H. Shum, and W. Freeman. Face Hallucination: Theory and Practice [J]· International Journal of Computer Vision, 2007，75(1) : 115—134.)提出人脸重构的两步法，分别合成人脸的全局和局部信息。至此，基于学习的人脸图像超分辨率方法引起了人们的广泛关注。近年来，机器学习理论表明，人脸图像嵌入在一个具有局部线性性的低维平滑流行空间(文献 4 :S. Roweis and L.Saul· Nonlinear dimensionality reduction by locally linear embedding [J], Science, 2000，290 (5500) : 2323 - 2326)。根据这一理论，Chang (文献 5 :Η· Chang, D. Yeung, and Y. Xiong. Super-resolution through neighbor embedding [A], In Proc. IEEE CVPR'04 [C], Washington, 2004. 275 - 282.) 提出一种邻域嵌入的图像超分辨率重构方法，首次将流形学习思想引入到图像超分辨率重构中。Wang(文献 6 :X. Wang and X. Tang. Hallucinating face by eigentransformation [J]· IEEE Trans. SMC (Part C), 2005，35 (3) : 425 - 434.)提出一种特征变换法，利用主成分分析将输入的低分辨率人脸图像投影到低分辨率训练样本的特征子空间中，再把投影系数直接映射到高分辨率图像上得到高分辨率图像。2010年Huang (文献7 :H. Huang， H. He, X. Fan, and J. Zhang. Super-resolution of human face image using canonical correlation analysis [J], Pattern Recognition, 2010，43 (7) :2532 - 2543.)提出利用典型相关分析提取高低分辨率人脸图像的相关子空间，将典型相关分析同时运用于全局脸重构的残差脸的补偿中，最终获得了很好的重构效果。上述流形学习的方法都是基于高低分辨率人脸图像样本所构成的流形空间具有相似局部几何结构这一假设。然而，在欠采样条件下(即小样本问题，目前，最大样本库的样本数也不过5000)，样本数据只能构成高维人脸流形空间的一个稀疏空间，即使最相邻的点也难以称其为局部。因此，对欠采样的样本数据，由局部形成全局的流形学习思想从本质上并不适合。基于流形学习的人脸图像超分辨率方法要想获得好的学习效果，必须通过扩大人脸图像样本规模来解决流形空间采样不够稠密的问题。然而，人脸库的建立是一个复杂又耗时的过程，即使能获得大量样本，方法在进行求解计算时也需要巨大的存储空间，并带来很高的运算复杂度。因此，通过简单地增加样本数量来改进传统流形学习方法在实际中并不可行。
发明内容
本发明目的在于提供一种基于最近特征线流形学习的人脸超分辨率方法。它可以有效地扩充已有人脸图像样本的表达能力，从而正确揭示高低分辨率人脸图像流形之间的局部相似结构特征。为达到上述目的，本发明采用的技术方案是一种基于最近特征线流形学习的人脸图像超分辨率方法，其特征在于，包括如下步骤
步骤1，输入低分辨率人脸图像，对输入的低分辨率人脸图像、低分辨率训练集中的低分辨率人脸样本图像以及高分辨率训练集中的高分辨率人脸样本图像划分相互重叠的图像块；
步骤2，对于输入的低分辨率人脸图像中每个图像块，取低分辨率训练集中每个低分辨率人脸样本图像相应位置的四像块作为样本点，建立低分辨率人脸样本块空间，计算在低分辨率人脸样本块空间上的个最近的投影点；
步骤3，对于输入的低分辨率人脸图像中每个图像块，使用步骤2所得低分辨率人脸样本块空间上的个最近的投影点进行线性重构，得到线性重构的权重系数；
步骤4，对于输入的低分辨率人脸图像中每个图像块，取高分辨率训练集中每个高分辨率人脸样本图像相应位置的图像块作为样本点，建立高分辨率人脸样本块空间，计算在高分辨率人脸样本块空间上与步骤2所得低分辨率人脸样本块空间上的Γ个最近的投影点分别对应的Γ个样本点；
步骤5，将步骤2所得低分辨率人脸样本块空间上的f个最近的投影点，替换为步骤4 所得高分辨率人脸样本块空间上的尤个样本点，使用步骤3所得权重系数，加权重构出高分辨率的图像块；
步骤6，将所有加权重构出的高分辨率的图像块按照位置叠加，然后除以每个像素位置交叠的次数，重构出高分辨率人脸图像。而且，设输入的低分辨率人脸图像&、高分辨率训练集& )Ζι和低分辨率训
练集化}己分别划分相互重叠的图像块后，所构成的图像块集分别为(Wl^jSi)、
b/丨1A S' N,\<j <M)和付11A S 幻 iV/)，其中，SKi表示高分辨率训练集中高
分辨率人脸样本图像的序号和低分辨率训练集中低分辨率人脸样本图像的序号，标识J表示每张图像上的块位置序号，#为低辨率训练集中低分辨率人脸样本图像的个数和高辨率训练集中高分辨率人脸样本图像的个数，#为每幅图像划分图像块的块数；
步骤2中，对低分辨率人脸图像中第0个图像块< 计算在低分辨率人脸样本块空间上的f个最近的投影点包括以下步骤，
步骤2. 1，分别提取高分辨率训练集中高分辨率人脸样本图像和低分辨率训练集中低
分辨率人脸样本图像的第 个图像块，形成高分辨率训练图像块集合Hi = Of I IASiV) 和低分辨率训练图像块集合C = Wli^^iV)；
步骤2. 2，从低分辨率训练图像块集合f中选出与图像块功欧氏距离最近的JT个图像块，形成筛选后的低分辨率训练图像块集合乌.=(好K, 表
示图像块的邻域集合，ICf(Xf)丨表示邻域集合σο<)中图像块的个数；
步骤2. 3，将筛选后的低分辨率训练图像块集合马·中所有图像块作为样本点两两相
连，形成4.= 、2 ‘条特征线，构成的特征线集合表示成马，其
中4和力低分辨率训练图像块集合ii.中的两个样本点，W为连接样本点<和< 生成的特征线；
步骤2. 4，计算图像块蛘在特征线集合i|中所有特征线上的投影点，构成投影集合 4 = 11^ <^2 ^ AO - 么=4 +心-4),其中，4h表示图像块4在特征线
力上的投影点，为位置参数,S^i =;
步骤2. 5，计算图像块功到特征线集合辽中所有特征线的距离，通过求取图像块功与
投影点的距离实现，距离W象4 Il ,其中，Il表示图像块4到投
影点的欧氏距离；
步骤2. 6，根据步骤2. 5所得图像块功到特征线集合趕中所有特征线的距离，查找
个距离最小的投影点4、，构成集合4 =,其中，Mq)为K个距离最小的投影
点4的下标号^而所构成的集合，集合乌为图像块 < 在低分辨率人脸样本块空间上的个最近的投影点；
步骤4中，对低分辨率人脸图像中第^个图像块^ ,计算在高分辨率人脸样本块空间 N"上与步骤2所得低分辨率人脸样本块空间上的^个最近的投影点分别对应的K个样本点时采用的公式如下，
yU =yl+ul (yl->i)，
其中，允为高分辨率人脸样本块空间进中与低分辨率图像块4相同序号的图像块， } 为高分辨率人脸样本块空间Η'中与低分辨率图像块功相同序号的图像块，为步骤2. 4所得^ji= “，I2 :b时的取值，(a,h)eA(q) , ^ )为步骤2. 6所得低分辨率人脸样本块空间中与图像块^ f个最近的投影点;的下标号^而所构成的集合，其中4和-< 为低分辨率训练图像块集合终ι中的两个样本点；
计算所得Γ个样本点么构成集合玛= O^Wmw ,集合Hmk 坳、为高分
辨率人脸样本块空间上与步骤2所得低分辨率人脸样本块空间上的Γ个最近的投影点分别对应的Γ个样本点。而且,步骤3中,通过求解线性方程=得到权重系数％ ,
其中
权利要求
1.一种基于最近特征线流形学习的人脸图像超分辨率方法，其特征在于，包括如下步骤步骤1，输入低分辨率人脸图像，对输入的低分辨率人脸图像、低分辨率训练集中的低分辨率人脸样本图像以及高分辨率训练集中的高分辨率人脸样本图像划分相互重叠的图像块；步骤2，对于输入的低分辨率人脸图像中每个图像块，取低分辨率训练集中每个低分辨率人脸样本图像相应位置的图像块作为样本点，建立低分辨率人脸样本块空间，计算在低分辨率人脸样本块空间上的‘个最近的投影点；步骤3，对于输入的低分辨率人脸图像中每个图像块，使用步骤2所得低分辨率人脸样本块空间上的i个最近的投影点进行线性重构，得到线性重构的权重系数；步骤4，对于输入的低分辨率人脸图像中每个图像块，取高分辨率训练集中每个高分辨率人脸样本图像相应位置的图像块作为样本点，建立高分辨率人脸样本块空间，计算在高分辨率人脸样本块空间上与步骤2所得低分辨率人脸样本块空间上的Γ个最近的投影点分别对应的Γ个样本点；步骤5，将步骤2所得低分辨率人脸样本块空间上的Γ个最近的投影点，替换为步骤4 所得高分辨率人脸样本块空间上的Γ个样本点，使用步骤3所得权重系数，加权重构出高分辨率的图像块；步骤6，将所有加权重构出的高分辨率的图像块按照位置叠加，然后除以每个像素位置交叠的次数，重构出高分辨率人脸图像。
2.根据权利要求1所述基于最近特征线流形学习的人脸图像超分辨率方法，其特征在于设输入的低分辨率人脸图像 、高分辨率训练集00。和低分辨率训练集{^} ι分别划分相互重叠的图像块后，所构成的图像块集分别为 4 IS J、Cv/|l<i<iV,l<j<il/}和^lijSJO,其中，标识r表示高分辨率训练集中高分辨率人脸样本图像的序号和低分辨率训练集中低分辨率人脸样本图像的序号，标识表示每张图像上的块位置序号，#为低辨率训练集中低分辨率人脸样本图像的个数和高辨率训练集中高分辨率人脸样本图像的个数，#为每幅图像划分图像块的块数；步骤2中，对低分辨率人脸图像中第？个图像块功，计算在低分辨率人脸样本块空间上的f个最近的投影点包括以下步骤，步骤2. 1，分别提取高分辨率训练集中高分辨率人脸样本图像和低分辨率训练集中低分辨率人脸样本图像的第g个图像块，形成高分辨率训练图像块集合Hi = Of和低分辨率训练图像块集合f =；步骤2. 2，从低分辨率训练图像块集合中选出与图像块^欧氏距离最近的￡〃个图像块，形成筛选后的低分辨率训练图像块集合4| =(功1< SC^XICi(OI=F) , 表示图像块4的邻域集合，丨丨表示邻域集合中图像块的个数；步骤2. 3，将筛选后的低分辨率训练图像块集合马·中所有图像块作为样本点两两相连，形成
3.根据权利要求2所述基于最近特征线流形学习的人脸图像超分辨率方法，其特征在于步骤3中,通过求解线性方程= oms(K,l)得到权重系数Wf ,其中，Gi = (x^ms(K,if -Ailf (^oms(KJf-Ml),巧为图像块4的局部格拉姆矩阵，渊拟％1)是尤维的全1向量，Μ!为I 4 [χΓ的矩阵，丨為丨为图像块彳中像素的个数，Mt的每一列元素由图像块在低分辨率人脸样本块空间上的ζ个最近的投影点构成。
全文摘要
一种基于最近特征线流形学习的人脸图像超分辨率方法，把人脸图像块样本空间中的样本点两两相连形成特征线，将已有样本点扩充为特征线上的无数多个样本点，从而增强人脸图像块样本空间的表达能力；在扩充之后的样本空间中，利用最近特征线准则来定义样本空间中样本点之间的近邻关系，通过保持高低分辨率图像块样本空间的这种邻域关系，从而正确揭示高低分辨率人脸图像块流形之间的局部相似结构特征；通过保持这种局部相似结构特征，重构输入的低分辨率人脸图像块对应的高分辨率块，融合所有高分辨率块得到高分辨率人脸图像。此外，本发明根据输入的低分辨率图像块，对原始样本空间进行预筛选，再利用上述方法对其分析，大大降低本方法的运算复杂度。
文档编号G06T5/50GK102402784SQ20111042181
公开日2012年4月4日 申请日期2011年12月16日 优先权日2011年12月16日
发明者冷清明, 卢涛, 江俊君, 王冰, 胡瑞敏, 韩镇, 黄克斌 申请人:武汉大学