专利名称：一种位置块非线性映射的人脸图像超分辨率重建方法
技术领域：
本发明属于图像处理技术，具体涉及一种位置块非线性映射的人脸图像超分辨率
重建方法。
背景技术：
图像超分辨率(Super Resolution, SR)是指从一幅或一系列低分辨率图像(Low Resolution, LR)中得到一幅高分辨率(High Resolution, HR)图像的过程。近年来，视频监控已经在银行、机场等重要场所得到了广泛的应用。但在许多情况下，监控设备得到的人脸图像分辨率太低，以致于无法直接进行识别，因此人脸图像超分辨率问题的研究具有现实的意义。一般自然图像的超分辨率算法，可以给人脸图像超分辨率算法很多启示。但人脸图像是一类特殊的图像，有其特定的全局结构。因此将不考率全局结构信息的一般自然图像超分辨率算法推广到人脸图像超分辨率问题有一定的局限性，重建的效果还有进一步提高的空间。Liu等首次提出了人脸超分辨率的两步法，即将人脸超分辨率问题分解为人脸全局信息与局部细节信息的重建两部分，将全局信息与局部细节相加得到最终的高分辨率人脸图像。两步法是一个很好的框架，众多人脸超分辨率的方法都基于此框架对人脸全局信息的表示，主要思路是用人脸图像的特定约束来描述全局特征，实现上大多都通过建立高低分辨率图像全局特征之间的关系来重建全局信息；对于细节纹理特征的表示，主要思路是建立样本的图像块与训练集图像块之间的邻域关系，并采用各种局部模型来描述纹理特征。两步法通过建立高低分辨率人脸全局特征关系和细节补偿相结合，重建恢复效果有一定的提高，但建立高低分辨率人脸全局特征之间的关系时常常在重建结果中引入伪影，降低了重建的性能，与此同时两步法引入了额外的计算量，重建效率上也有一定下降。 基于此，Ma等提出了一种基于位置块重构的人脸超分辨率算法，用图像块的位置信息表征人脸的全局结构，用图像块的内容表征细节信息。然而Ma在恢复细节信息时采用的最小二乘法只考虑了高低分辨率位置块间的线性相关分量，而忽略了非线性相关分量，为了提高超分辨率重建的性能，需要寻找更好的方法来解决此处存在的问题。
发明内容
本发明的目的在于提供一种位置块非线性映射的人脸图像超分辨率重建方法，以解决现有技术中存在的上述问题。为了达到上述目的，本发明采取的技术方案是1)首先，将高低分辨率人脸图像分割成高低分辨率位置块图像；2)其次，利用径向基函数超分辨率重建对应位置块的高分辨率图像。在训练阶段， 利用径向基函数由训练图像为每一个位置的高低分辨率位置块训练一个非线性映射，用于表示每一个位置的高低分辨率位置块之间的非线性关系，在测试阶段，利用每一个位置训练得到的非线性关系从测试低分辨率位置块估计出对应的高分辨率位置块；3)最后，按照各个位置块的位置信息将估计得到的高分辨率位置块图像拼接成对应的高分辨率重建图像。所述步骤1)包含以下步骤1)将低分辨率人脸图像采用双线性插值，使得插值后的低分辨率人脸图像分辨率大小与高分辨率图像分辨率大小一致。2)采用p*p大小的窗口分别对高低分辨率图像进行分块，采用有重叠的分块方式，上下左右相邻位置块之间有重叠的部分，相邻块之间重叠像素为η。其中P为一个整数， 取值范围为2 16，η为一个整数且0彡η彡ρ/2。将高低分辨率图像中相同平面位置的图像块称为对应的相同位置的高低分辨率位置块。所述步骤2、利用径向基函数超分辨率重建对应位置块的高分辨率图像，其具体过程如下分别用IHq =[IHq1...,IHqm]和ILq=[ILq1,...,ILqm]表示第9个位置的高低分辨率训练
位置块，巧和砧分别表示第q个位置第一个训练样本的高低分辨率位置块图像，其中《和砧均为位置块图像灰度值展开成的列向量，上标H和L分别表示高分辨率和低分辨率，第一个下标q表示按照前述的位置块分割方法分割出的第q个位置，第二个下标1 m表示第 1 m个训练样本，用^和《分别表示位于位置q的双线性插值后的测试低分辨率位置块和
待求的高分辨率位置块，则利用径向基函数求得<，计算式为
权利要求
1.一种位置块非线性映射的人脸图像超分辨率重建方法，其特征在于包含以下步骤1)首先，将高低分辨率人脸图像分割成高低分辨率位置块图像；2)其次，利用径向基函数超分辨率重建对应位置块的高分辨率图像。在训练阶段，利用径向基函数由训练图像为每一个位置的高低分辨率位置块训练一个非线性映射，用于表示每一个位置的高低分辨率位置块之间的非线性关系，在测试阶段，利用每一个位置训练得到的非线性关系从测试低分辨率位置块估计出对应的高分辨率位置块；3)最后，按照各个位置块的位置信息将估计得到的高分辨率位置块图像拼接成对应的高分辨率重建图像。
2.根据权利要求1所述的位置块非线性映射的人脸图像超分辨率重建方法，其特征在于所述步骤1)包含以下步骤1)将低分辨率人脸图像采用双线性插值，使得插值后的低分辨率人脸图像分辨率大小与高分辨率图像分辨率大小一致。2)采用p*p大小的窗口分别对高低分辨率图像进行分块，采用有重叠的分块方式，上下左右相邻位置块之间有重叠的部分，相邻块之间重叠像素为η。其中ρ为一个整数，取值范围为2 16，η为一个整数且0彡η彡ρ/2。将高低分辨率图像中相同平面位置的图像块称为对应的相同位置的高低分辨率位置块。
3.根据权利要求1所述的位置块非线性映射的人脸图像超分辨率重建方法，其特征在于所述步骤幻利用径向基函数超分辨率重建对应位置块的高分辨率图像，其具体过程如下分别用/f = [g,...,Zfm]和^ = [^i,表示第q个位置的高低分辨率训练位置块，巧和々分别表示第q个位置第一个训练样本的高低分辨率位置块图像，其中巧和々均为位置块图像灰度值展开成的列向量，上标H和L分别表示高分辨率和低分辨率，第一个下标 q表示按照前述的位置块分割方法分割出的第q个位置，第二个下标1 m表示第1 m个训练样本，用g和《分别表示位于位置q的双线性插值后的测试低分辨率位置块和待求的高分辨率位置块，则利用径向基函数求得巧，计算式为其中T表示矩阵的转置运算，识为采用的多维二次曲面径向基函数，具体的计算表达式为
4.根据权利要求1所述的位置块非线性映射的人脸图像超分辨率重建方法，其特征在于所述步骤；3)将高分辨率位置块图像拼接成对应的高分辨率重建图像，当遇到重叠像素时取各个高分辨率位置块该像素灰度值的均值为重叠像素最终的灰度值。
全文摘要
一种位置块非线性映射的人脸图像超分辨率重建方法，从粗略对齐的人脸图像的结构信息和细节信息出发，首先将训练和测试高低分辨率人脸图像分割成带重叠区域的对应高低分辨率位置块图像，然后在每个对应的位置上利用由训练数据学习到的高低分辨率位置块图像之间的非线性映射关系重建出测试低分辨率位置块图像对应的超分辨率位置块图像，最后将超分辨率位置块图像拼接起来获得最终的超分辨率人脸图像。在标准数据库上的实验表明，本发明提出的方法有较好的视觉效果和较高的客观评价质量。
文档编号G06T5/00GK102306374SQ201110252310
公开日2012年1月4日 申请日期2011年8月30日 优先权日2011年8月30日
发明者曾啸, 黄华 申请人:西安交通大学