专利名称：一种基于局部特征转换的人脸超分辨率重建方法
技术领域：
本发明涉及人脸图像超分辨率领域，具体涉及一种基于局部特征转换的人脸超分
辨率重建方法。
背景技术：
在监控视频中，由于目标与摄像头之间的距离远、环境噪声、成像模糊等因素，导致了目标人脸图像的成像质量低，目标人脸分辨率小，缺乏足够的人脸局部细节信息，给直接辨别目标人脸图像造成了困难。基于学习的人脸超分辨率算法利用样本库的先验知识，在训练样本库的高低分辨率样本的回归关系的指导下，从输入的低分辨率人脸图像重建高分辨率人脸图像。基于学习的人脸超分辨率算法能够获得较大的放大倍数同时保持较高的重建质量，相比与基于重建的人脸超分辨率算法具有更好的应用前景。基于学习的人脸超分辨率算法按照对人脸图像的处理方式分为全局脸算法和局部脸算法，全局脸算法将整副人脸作为一个向量进行处理，该方法重建的人脸图像在整体上与输入人脸相似、而且对噪声具有一定的鲁棒性，然而在重建图像的边缘部分存在着混叠效应。局部脸方法是将整副人脸图像划分成块，对输出高分辨率图像的重建过程按照分块进行，然后拼合成整副图像，这种方法重建的人脸图像主观质量较好，但是对噪声敏感。2001 年 Liu 等人在文献 I (C. Liu, H. Y. Shum, C. S. Zhang. A two-step approach tohallucination faces:Global Parametric model and Local Nonparametric model, inProc.1EEE conference CVPR. Dec. 2001. vol.1, pp. 723-728.)提出 了基于参数全局脸方法与非参数局部脸方法的两步法人脸超分辨率算法，该算法中利用主成份分析模型获得输入图像插值后在高分辨率样本空间的表达，仅仅考虑了高分辨率样本库的性质，忽略了低分辨率图像的内在特征，重建的人脸图像过于平滑，缺失局部细节信息。2005年Wang等人在文献 2 (X. Wang and X. Tang. Hallucinating face by eigen-transformation, IEEETransactions on SMC. Part C, vol. 35, no. 3, pp. 425 - 434, 2005.)中提出 了基于特征变换的全局脸超分辨率算法，该算法将超分辨率问题看成是低分辨率特征空间表达到高分辨率特征空间表达的转换问题，利用了低分辨率样本库的特性，从低分辨率图像的主成份表达转换到样本空间表达，该方法重建的人脸图像具有较好的主观质量，但是由于把整张人脸做到一个向量处理，部分人脸的细节信息缺失。为了解决全局脸重建方法中存在的具备细节信息表达能力不足的问题，2010年Yang等人在文献3 (J. Yang, J. Wright, T. Huang, andY. Ma.1mage super-resolution via sparse representation, IEEE Transactions onImage Processing, vol. 19, no. 11, pp. 2861-2873，2010.)中提出一种基于非负矩阵分解的全局脸超分辨率算法，该算法利用了非负矩阵分解对于局部语义信息的表达能力，用非负矩阵分解替代传统的主成份分析获得了相比传统算法更好的局部细节表达，然而该算法仅仅利用了高分辨率样本库的信息，没有考虑到全体样本的整体特性，因此全局脸的重建得到的图像过于平滑。该类全局脸超分辨率算法要么缺乏细节信息表达能力(文献2算法)，要么缺乏样本库的全局信息(文献I和3的算法)。
发明内容
本发明目的是提供一种基于局部特征变换的人脸超分辨率重建方法，解决现有同类全局脸算法中缺乏局部细节信息和样本库整体特性的问题。为实现上述目的，本发明采用的技术方案是一种局部特征变换的人脸超分辨率重建方法，包括如下步骤步骤1，设低分辨率样本库包括多幅低分辨率样本人脸图像，对低分辨率样本库进行非负矩阵分解，获得低分辨率样本库的非负局部特征表达基和非负表达系数矩阵；步骤2，基于步骤I所得低分辨率样本库的非负局部特征表达基和非负表达系数矩阵，将低分辨率样本库的非负局部特征转换到低分辨率样本库空间进行表达，获得在低分辨率样本库空间的表达系数；步骤3，对于输入的低分辨率人脸图像，保持低分辨率样本库空间的表达系数，用高分辨率样本人脸图像替换相应低分辨率样本人脸图像获得高分辨率重建图像；步骤4，利用最大后验概率算法优化步骤3所得高分辨率重建图像并输出。而且，步骤2实现方式如下，设込=[i1； i2, . . .1N]表示低分辨率样本人脸图像构成的低分辨率样本库，其中N是样本的个数，每一个列向量U iN表示一个低分辨率样本人脸图像；对低分辨率样本库进行非负矩阵分解，目标函数如下，
权利要求
1.一种基于局部特征转换的人脸超分辨率重建方法，其特征在于，包括如下步骤 步骤1，设低分辨率样本库包括多幅低分辨率样本人脸图像，对低分辨率样本库进行非负矩阵分解，获得低分辨率样本库的非负局部特征表达基和非负表达系数矩阵； 步骤2，基于步骤I所得低分辨率样本库的非负局部特征表达基和非负表达系数矩阵，将低分辨率样本库的非负局部特征转换到低分辨率样本库空间进行表达，获得在低分辨率样本库空间的表达系数； 步骤3，对于输入的低分辨率人脸图像，保持低分辨率样本库空间的表达系数，用高分辨率样本人脸图像替换相应低分辨率样本人脸图像获得高分辨率重建图像； 步骤4，利用最大后验概率算法优化步骤3所得高分辨率重建图像并输出。
2.根据权利要求1所述基于局部约束表示的人脸超分辨率重建方法，其特征在于步骤I实现方式如下， 设込=[i1； i2, · · · ij表示低分辨率样本人脸图像构成的低分辨率样本库，其中N是样本的个数，每一个列向量U i2，. . .1N表示一个低分辨率样本人脸图像； 对低分辨率样本库进行非负矩阵分解，目标函数如下，
3.根据权利要求2所述基于局部约束表示的人脸超分辨率重建方法，其特征在于步骤2实现方式如下， 对于输入的低分辨率人脸图像y，对应的非负局部特征表达基如下，
4.根据权利要求3所述基于局部约束表示的人脸超分辨率重建方法，其特征在于步骤3实现方式如下， 根据步骤2所得表达系数α，所得高分辨率重建图像X如下，
5.根据权利要求4所述基于局部约束表示的人脸超分辨率重建方法，其特征在于步骤4实现方式如下，
全文摘要
一种基于局部特征转换的人脸超分辨率重建方法，将低分辨率的样本库矩阵进行非负矩阵分解，获得低分辨率图像的局部特征表达基；利用局部表达基与样本空间重建系数之间的转换关系，将局部特征转换到全局特征空间；对于输入的低分辨率图像，首先获得低分辨率的图像的具备特征，然后转换到样本空间获得全局特征，最后用高分辨率样本库替换低分辨率样本库获得高分辨率图像；以重建获得的高分辨率图像作为初始值，利用最大后验概率框架对输入的低分辨率图像进行迭代优化，获得更好的图像重建质量。本发明提出了基于图像局部特征到全局特征转换的全局人脸超分辨率算法，提升了全局脸算法的细节表现能力，提高了高分辨率重建图像的客观图像质量。
文档编号G06T5/50GK103020940SQ201210575820
公开日2013年4月3日 申请日期2012年12月26日 优先权日2012年12月26日
发明者胡瑞敏, 卢涛, 王中元, 韩镇, 江俊君, 夏洋, 陈亮, 黄克斌, 高尚, 王冰 申请人:武汉大学