专利名称：基于支撑集驱动稀疏编码的人脸图像超分辨率重建方法
技术领域：
本发明涉及图像超分辨率领域，具体涉及一种基于支撑集驱动稀疏编码的人脸图像超分辨率重建方法。
背景技术：
人脸超分辨率，或人脸幻构，是一种在人脸图像训练集的帮助下由低分辨率人脸图像产生高分辨率人脸图像的技术。人脸超分辨率常应用于视频监控。许多情况下，行人与摄像机距离较远，拍摄到的人脸为低分辨率图像从而缺乏的面部细节特征，而这些特征对于人脸图像的分析和识别是非常重要的。2000年，Baker和Kanade在文献I (S. Bakerand T. Kanade. Hallucinating faces.1n FG, Grenoble, France, Mar. 2000, 83-88.)中首次提出人脸超分辨率方法，又叫人脸幻构(face hallucination),他们采用贝叶斯方法,利用训练集中人脸图像的先验信息，通过学习的方法获得低分辨率人脸对应的高分辨率图像，以此来达到较大的放大倍数及较好的效果。随后，Liu等人在文献2 (C. Liu, H. Y. Shum, andC. S. Zhang. A two-step approach tohallucinating faces:global parametric model andlocal nonparametric model.1n CVPR, pp. 192 - 198, 2001.)中提出人脸重建的两步法，分别合成人脸的全局信息和局部信息。至此，基于学习的人脸图像超分辨率方法引起了人们的广泛关注。Wang等人在文献 3 (X. Wang and X. Tang. Hallucinating face by eigentransformation[J].1EEETrans. SMC(Part C), 2005, vol. 35, no. 3, pp. 425 - 434.)中提出一种基于特征转换的全局脸超分辨率方法。然而，这种全局脸的方法表达能力有限，合成出来的图像通常在人脸轮廓部分存在明显的重影。还有Chang等人在文献4 (H. Chang, D. Y. Yeung, and Y. M. Xiong.Super-resolution through neighborembedding.1n CVPR, pp. 275-282，2004.)中指出高低分辨率图像块所构成的流形空间具有相似局部几何结构。基于这一假设，他们提出一种基于邻域嵌入的图像超分辨率重建方法，通过K个近邻来估计高分辨率图像块。由于其近邻数K是固定，因此这种方法在对图像块进行表示时会造成过拟合或者拟合不当的问题，进而导致了重建图像的边缘模糊。为了解决这一问题，Yang等人在文献5(J. Yang, H. Tang, Y.Ma, and T. Huang,“Face hallucination via sparsecoding,，，ICIP,pp. 1264 - 1267, 2008.)中采用了稀疏编码的方法，自适应的选择与图像重建最相关的近邻块，获得了较好的重建效果。由于人脸是一类高度结构化的物体，其位置先验对人脸的表示与合成至关重要。近来，Ma等人利用人脸图像位置块信息，在文献6 (X. Ma, J. Zhang, andC. Qi, “Position-based facehallucination method, ” ICME, pp. 290 - 293, 2009.)和文献 7 (X. Ma, J. P Zhang, and C. Q1. Hallucinating face by position-patch. Pattern Recognition, vol. 43，no. 6，pp. 3178 - 3194，2010.)中提出基于位置图像块的人脸超分辨率方法，使用训练集中所有与输入图像块同位置的人脸图像块重建高分辨率人脸图像，避免流形学习或者特征提取等步骤，提高了重建效率和重建图像的质量。具体而言，对于输入低分辨率图像块，他们利用训练集中相同位置的所有低分辨率图像块来最小二乘表示该输入低分辨率图像块，得到表示系数，再将低分辨率训练图像块全部替换成对应的高分辨率块，合成表示保持系数不变，最后得到高分辨率块。然而，当训练图像块的数目远大于图像块维数时，最小二乘表示的结果并不唯一。为了解决这一问题，Jung等人在文献8 (C. Jung, L.Jiao, B. Liu, and M. Gong, “Position-Patch Based FaceHallucination Using ConvexOptimization, ” IEEE Signal Process. Lett. , vol. 18, no. 6, pp. 367 - 370, 2011.)中提出一种基于稀疏表达的图像块表示方法，增加一个关于表示系数的稀疏约束项，获得了稳定的解和更好的重建结果。然而，这种稀疏编码表示方法所选出来的图像块(非零系数对应的图像块)与输入图像的差异可能非常大，因此它不能正确揭示流形的几何结构，然而该流形结构对于图像的表示与分析是至关重要的。为了挖掘图像块流形的局部性，专利I (胡瑞敏、江俊君、王冰、韩镇、黄克斌、卢涛、王亦民.“一种基于局部约束表示的人脸超分辨率重建方法”申请号=201110421452. 3)提出一种局部约束表示方法，通过选择距离近的块，惩罚距离远的块，同时达到稀疏性和局部性。但是该方法并不能达到真正意义的稀疏，而且需要预先调节局部约束项参数，它所得到的局部约束表示模型只对某一人脸库的结果有效。总之，现有图像块的表示方法均不是最优的。
发明内容
本发明目的是提供一种基于支撑集驱动稀疏编码的人脸图像超分辨率重建方法，解决现有同类算法不能正确揭示图像块流形空间的几何结构的问题，通过利用流形的空间局部性和自然图像块的稀疏性获得最优(稳定、精确)的结果。为达到上述目的，本发明采用的技术方案是一种基于支撑集驱动稀疏编码的人脸图像超分辨率重建方法，包括如下步骤步骤1，输入低分辨率人脸图像，对输入的低分辨率人脸图像、低分辨率训练集中的低分辨率人脸样本图像以及高分辨率训练集中的高分辨率人脸样本图像划分相互重叠的图像块；步骤2，对于低分辨率人脸图像每一个位置上的图像块，算出在支撑集驱动稀疏编码下由低分辨率训练集中所有低分辨率人脸样本图像该位置上的图像块对它进行线性重建时的编码系数；步骤3，对于低分辨率人脸图像每一个位置上的图像块，把所有低分辨率人脸样本图像的图像块替换为位置对应的高分辨率人脸样本图像的图像块，用步骤2所得编码系数加权合成相应的高分辨率人脸图像块；步骤4，将步骤3合成所得高分辨率人脸图像块按照在人脸上的位置融合，得到一张高分辨率人脸图像。而且，记输入的低分辨率人脸图像为X、低分辨率人脸图像X中某一位置的图像块为X，高分辨率训练集中各高分辨率人脸样本图像分别与X对应位置的图像块构成图像块集Dh，低分辨率训练集中各低分辨率人脸样本图像分别与X对应位置的的图像块构成图像块集D1 ;低分辨率训练集中低分辨率人脸样本图像的个数和高分辨率训练集中高分辨率人脸样本图像的个数相同，记为N ；步骤2中，采用如下公式计算获得编码系数
权利要求
1.一种基于支撑集驱动稀疏编码的人脸图像超分辨率重建方法，其特征在于，包括如下步骤步骤1，输入低分辨率人脸图像，对输入的低分辨率人脸图像、低分辨率训练集中的低分辨率人脸样本图像以及高分辨率训练集中的高分辨率人脸样本图像划分相互重叠的图像块；步骤2，对于低分辨率人脸图像每一个位置上的图像块，算出在支撑集驱动稀疏编码下由低分辨率训练集中所有低分辨率人脸样本图像该位置上的图像块对它进行线性重建时的编码系数；步骤3，对于低分辨率人脸图像每一个位置上的图像块，把所有低分辨率人脸样本图像的图像块替换为位置对应的高分辨率人脸样本图像的图像块，用步骤2所得编码系数加权合成相应的高分辨率人脸图像块；步骤4，将步骤3合成所得高分辨率人脸图像块按照在人脸上的位置融合，得到一张高分辨率人脸图像。
2.根据权利要求1所述基于支撑集驱动稀疏编码的人脸图像超分辨率重建方法，其特征在于记输入的低分辨率人脸图像为X、低分辨率人脸图像X中某一位置的图像块为X，高分辨率训练集中各高分辨率人脸样本图像分别与X对应位置的图像块构成图像块集Dh，低分辨率训练集中各低分辨率人脸样本图像分别与X对应位置的的图像块构成图像块集D1 ； 低分辨率训练集中低分辨率人脸样本图像的个数和高分辨率训练集中高分辨率人脸样本图像的个数相同，记为N;步骤2中，采用如下公式计算获得编码系数V1- = argmin || μ,|| D1W-x||< sw其中，I |w| La为权重稀疏项，图像块集D1=W11, -,Clli, -,d1N],l ( i ^ N7D1的每一列为一个样本Clli,由一个低分辨率人脸样本图像中与X相同位置的图像块的像素值组成， w为长度为N的编码系数，W= [W1, -,Wi, - ,WnJtjW1为样本Clli对应的系数,arSfinO返回关于变量w的函数在得到最小值时w的取值A M〖表示欧氏平方距离；所述权重稀疏项I |w| lja的定义为Nf I I € Γ其中否則在此式中，IwiI为Wi的绝对值，Bi是编码系数Wi的权重，T是编码系数W的支撑集；所述支撑集T的定义如下T=Supp (dist I k)其中，dist是一个N维向量，distal | x~du | |2，I < i < N，dist Ik指的是dist中最小的k项，sup P (dist |k)是组成这些最小k项的索引的集合。
全文摘要
基于支撑集驱动稀疏编码的人脸超分辨率重建方法，将输入的低分辨率人脸图像、高低分辨率训练集内人脸图像分别划分为相互交叠的图像块；对输入的低分辨率人脸图像的每一个图像块，首先给编码系数分配不同的权重，然后通过求解权重稀疏问题获得最终编码系数；将低分辨率训练集内每个图像相应位置图像块，用一一对应的高分辨率训练集内每个图像相应位置图像块进行替换，加权合成高分辨率图像块；按照合成的高分辨率图像块在人脸上的位置，融合成高分辨率人脸图像。本发明提出局部约束表示模型，自适应地选择训练集内样本图像块空间中与输入图像块近邻的图像块来线性重建输入图像块，得到最优权重系数，合成出高质量的高分辨率图像。
文档编号G06T5/50GK103034974SQ201210523889
公开日2013年4月10日 申请日期2012年12月7日 优先权日2012年12月7日
发明者胡瑞敏, 江俊君, 董小慧, 韩镇, 陈军, 陈亮, 方稳华 申请人:武汉大学