专利名称：一种基于仿射变换的正面人脸图像超分辨率重建方法
技术领域：
本发明涉及一种人脸图像重建方法，特别涉及一种基于仿射变换的正面人脸图像
超分辨率重建方法。
背景技术：
在大多数数字图像的应用中，都希望获得高分辨率的图像。低分辨率正面人脸图像的超分辨率重建，可得到带有很多细节信息的高像素正面人脸图像，便于在如监控等多个领域的应用。 正是由于高分辨率图像的广泛应用，近年来出现了各种方法来改善所得图像质量。早期的超分辨率重建方法有双三次插值，凸集投影法等。近年来基于学习的邻域重构的超分辨率重建方法比较流形，并且取得了很好的效果。但是邻域重构要求相应的高低分辨率图像特征具有相同的流形，因此若图像特征空间寻找不合适时超分辨率重建结果噪声较大，图像稍有失真。
发明内容
本发明的目的在于提供一种基于仿射变换的正面人脸图像超分辨率重建方法。
为达到上述目的，本发明采用的技术方案是 1)首先对低分辨率训练图库及低分辨率测试图像进行双线性插值放大，然后将低分辨率训练图库、与低分辨率训练图库对应的高分辨率训练图库及低分辨率测试图像进行分块处理得到高、低分辨率训练块和低分辨率测试图像训练i央，各训练块的大小为mXm，块间上下左右四个方向各重叠n个像素，每幅图像被分为p块，即每幅图像有p个块位置；
2)对于每个训练块位置，求解从该位置的低分辨率图像块到相应的高分辨率图像块的映射矩阵Aj，再根据每个训练块位置的映射矩阵Aj对相应位置的测试图像块进行高分辨率重建得到测试图像块每个块位置上的高分辨率重建图像； 3)参考LLE对测试图像块每个块位置的高分辨率重建图像进行残差补偿得到其细节图像块，并将其与相应位置上步骤2)得到的高分辨率重建结果相加，得到各位置相应的超分辨率重建图像块； 4)将步骤3)所得的超分辨率重建图像块合成完整的图像，得到最终的超分结果。
所说的高、低分辨率训练块之间有下式关系
A 其中//为高分辨率训练图库中所有图像的第j个训练块位置上的图像块组成的矩阵，//为低分辨率训练图库中所有图像的第j个训练块位置上的图像块组成的矩阵，Aj为将要求解的映射矩阵，Ej为误差； 所说的对于每个训练块位置，求解从该位置的低分辨率图像块到相应的高分辨率图像块的映射矩阵Aj是由Procrustes Analysis根据下式求解得到的
Aj = kjQj
其中、.=^(2/(//)"/)/"((//) /)，&(.)表示矩阵的迹，对(J/f/,进行SVD分解得到(///// ，令Qj = UVT ; 根据得到的每个块位置的映射矩阵Aj，则测试图像的每个块位置对应的高分辨率
重建图像块可由下式求解 Wj 其中Iu.表示第j个块位置上的低分辨率测试图像块，Ihj表示第j个块位置上的高分辨率重建结果块。 图像超分辨率的核心问题是如何建立低分辨率图像(特征)到高分辨率图像(特征)之间的对应关系。对通常的超分辨率问题，这是一个病态逆问题，直接建立低分辨率图像到高分辨率图像之间的映射是不现实的。但正面人脸图像超分辨率是一个特殊问题，人脸图像具有规则的结构特征，由于在预处理过程中进行了对准和归一化，使得在相同位置上的数据具有相似的特征，从而极大地压縮了解空间。因此，正面人脸图像超分辨率的问题可以看作有一个未知响应的系统，已知一些对应的输入和输出，给定一个输出，估计对应的输入。本发明利用黑箱原理，使用数学的方法，从训练数据集中估计低分辨率图像到高分辨率图像之间的映射关系。仿射变换是矩阵变换中的一种最简单的线性变换，它可以表达两个数据之间的旋转、平移和尺度关系。基于以上认识，本发明假定低分辨率图像到高分辨率图像之间存在仿射变换关系，在两步法框架下，第一步将高低分辨率图像进行分块，分别求得各块位置的映射关系，根据该映射关系，求得输入低分辨率图像块对应的各高分辨率图像块，进而合成为对应的高分辨率全局人脸图像。第二步参考LLE(Locally LinearEmbedding)对全局脸进行残差补偿。
所包括的附图用于提供对本发明的进一步理解，并构成本申请的一部分，所属
了本发明的实施例，与文字说明一起用来解释本发明。
图1给出了本发明对图像进行分块处理的示意图； 图2 (a) ， 2 (b) ， 2 (c) ， 2 (d) ， 2 (e)是效果图，它给出了采用CAS PEAL人脸数据库时，本发明与其它三种超分方法的第一步全局脸结果的对比。从上到下每行分别对应图2(a)原始高分辨率图像，图2(b)低分辨率图像，图2(c)本发明的全局脸结果，图2(d)庄越挺的方法的全局脸的结果，图2(e)刘策的方法的全局脸结果。 图3 (a) ， 3 (b) ， 3 (c) ， 3 (d) ， 3 (e) ， 3 (f)是效果图，它给出了采用CAS—PEAL人脸数据库时，本发明与其它三种超分方法的超分辨率重建结果的对比。从上到下每行分别对应图
3 (a)原始高分辨率图像，图3 (b)低分辨率图像，图3 (c)本发明的超分结果，图3 (d)庄越挺的方法的超分结果，图3(e)刘策的方法的超分结果(f)王的方法的超分结果。
图4是效果图，它给出了采用CAS_PEAL人脸数据库时，本发明与其它三种超分方法对40幅测试图像进行超分后各方法超分结果的PSNR值对比。 图5 (a) ， 5 (b) ， 5 (c) ， 5 (d) ， 5 (e) ， 5 (f) ， 5 (g)是效果图，它给出了采用CAS—PEAL人
脸数据库时，本发明采取不同分块大小时超分辨率重建结果的对比。从上到下每行分别对应图5(a)原始高分辨率图像，图5(b)低分辨率图像，图5(c)分块大小为4X4的结果，图5(d)分块大小为8X8的结果，图5(e)分块大小为16X 16的结果，图5 (f)分块大小为32X32的结果，图5(g)分块大小为46X46的结果。 图6是效果图，它给出了采用CAS_PEAL人脸数据库时，在不同的分块大小时，本发明对40幅测试图像进行超分后各条件下超分结果的PSNR值对比。 图7 (a) ， 7 (b) ， 7 (c) ， 7 (d) ， 7 (e) ， 7 (f)是示意图，它们给出了采用AR图库的第一表情的人脸图像数据时，本发明及其它三种方法超分辨率重建结果的对比。从上到下每行分别对应:图7(a)原始低分辨率图像，图7(b)高分辨率图像，图7(c)本发明的结果，图7(d)庄越挺的结果，图7(e)王的结果，图7(f)刘策的结果。 图8是效果图，它给出了采用AR图库的第一表情的人脸图像数据时，本发明与其它三种超分方法对28幅测试图像进行超分后各方法超分结果的PSNR值对比。
具体实施例方式
下面将根据附图对本发明进行详细说明。
本发明主要分为四个步骤 1)首先对低分辨率训练图库及低分辨率测试图像进行双线性插值放大，然后将低分辨率训练图库、与低分辨率训练图库对应的高分辨率训练图库及低分辨率测试图像进行分块处理得到高、低分辨率训练块和低分辨率测试图像训练i央，各训练块的大小为mXm，块间上下左右四个方向各重叠n个像素，每幅图像被分为p块，即每幅图像有p个块位置；
2)对于每个训练块位置，求解从该位置的低分辨率图像块到相应的高分辨率图像块的映射矩阵Aj，再根据每个训练块位置的映射矩阵Aj对相应位置的测试图像块进行高分辨率重建得到测试图像块每个块位置上的高分辨率重建图像； 3)参考LLE对测试图像块每个块位置的高分辨率重建图像进行残差补偿得到其细节图像块，并将其与相应位置上步骤2)得到的高分辨率重建结果相加，得到各位置相应的超分辨率重建图像块； 4)将步骤3)所得的超分辨率重建图像块合成完整的图像，得到最终的超分结果。
本发明的第一步是采用了双线性插值放大技术作为对低分辨率图库及测试图像的预处理，使其放大到与高分辨率图像同大小以便于超分重建，接着对高低分辨率训练图库及测试图像的每幅图像进行分块处理(如图l)，每块图像的大小为wXw，块间上下左右四个方向各重叠n个像素，则每幅图像可分成p块，即每幅图像共有p个块位置。
对每个块位置对应的高低分辨率图像，本发明提出下式
[式1] g 上式中//为高分辨率训练图库中所有图像的第j个训练块位置上的图像块组成的矩阵，//为低分辨率训练图库中所有图像的第」个训练块位置上的图像块组成的矩阵^」为将要求解的映射矩阵，Ej为误差； Aj的求解参考Procrustes analysis,由下式求得[式2] Aj = kjQj 可通过下式求解k :
5
[式3] <formula>formula see original document page 6</formula> 上式中tr (.)表示矩阵的迹。 可通过下两式求解Qj : [式4] Qj = UVT [式5] <formula>formula see original document page 6</formula> 求得Aj后，可通过下式将第j个块位置上的低分辨率测试图像块Iu.映射到高分辨率空间，得到对应的第j个位置上的高分辨率重建结果Ihj :
[式6]
Ihj =工u.Aj 其中I"表示第j个块位置上的低分辨率测试图像块，Ihj表示第j个块位置上的高分辨率重建结果块。 求解出低分辨率测试图像所有p个块位置对应的超分辨率重建结果Ihj后，若按照分块的反操作可将其合成完整的测试图像对应的全局脸Ih。 根据每个位置上从低分辨率插值图像块到高分辨率图像块之间的映射矩阵Aj，可
根据下式求得训练集中所有低分辨率图像块对应的高分辨率图像块
[式7] <formula>formula see original document page 6</formula> 上式中I".1表示低分辨率图库中第i幅图像的第j块，Iijh表示其相应的高分辨率重建结果。记高分辨率图库中第i幅图像的第j块为Ii/，则可根据下式得到训练集的高分辨率残差块图像库
[式8] 相应的，用I".1减去其对应的重建高分辨率图像块I"11的下采样，即得到训练集的低分辨率残差块图像库C^ = 。对测试图像，同样可以得到测试图像的低分辨率残差
<formula>formula see original document page 6</formula> 假设高低分辨率残差图像块之间满足局部线性保持关系，则可以利用LLE算法来
计算测试图像的低分辨率残差块图像0/对应的高分辨率残差块图像Ojh。 对于測试图像的低分辨率残差块图像0/，在训练集的低分辨率残差块图像
库中，根据欧氏距离得到相同位置的K个残差块近邻图像，并求得各其权值Wk，使得
最小，且有2^=1。 根据LLE可完成权值的求解，则测试图像对应的高分辨率残差块图像为
[式9]<formula>formula see original document page 6</formula>
(1) " = S W《，其中0klH表示0klL相应的高分辨率残差块。
(2)对于j = 2 : p，类似(1)中操作求得其它块位置上测试图像对应的高分辨率
残差块。
通过下式求得超分结果图像块
[式10]
\=;+0; 最后将所有的超分结果块合成完整的图像，即测试图像对应的超分辨率重建结 果。 图2 (a) ， 2 (b) ， 2 (c) ， 2 (d) ， 2 (e)是效果图，它给出了采用CAS—PEAL人脸数据库时， 本发明与其它三种超分方法的第一步全局脸结果的对比。图3 (a) ， 3 (b) ， 3 (c) ， 3 (d) ， 3 (e)， 3(f)是效果图，它给出了采用CAS—PEAL人脸数据库时，本发明与其它三种超分方法的超分 辨率重建结果的对比。图4是效果图，它给出了采用CAS—PEAL人脸数据库时，本发明与其 它三种超分方法对40幅测试图像进行超分后各方法超分结果的PSNR值对比。从视觉效果 看，本发明的全局脸结果很好的得到了人脸的结构信息，噪声较小。超分结果中本发明人脸 五官轮廓清晰，细节丰富，脸部轮廓以及五官周围噪声较小，较之其它方法所得结果更接近 原始高分辨率图像。从图4的数值效果亦可以看出本文方法的优势。 图5 (a) ， 5 (b) ， 5 (c) ， 5 (d) ， 5 (e) ， 5 (f) ， 5 (g)是效果图，它给出了采用CAS—PEAL人 脸数据库时，本发明采取不同分块大小时超分辨率重建结果的对比。图6是效果图，它给出 了采用CAS_PEAL人脸数据库时，在不同的分块大小时，本发明对40幅测试图像进行超分后 各条件下超分结果的PSNR值对比。从视觉效果和数值效果都可以看出，当分块太小时，块 效应明显，人脸特有的结构特征未能体现；分块太大时，整体轮廓噪声较大；当分块适中时 可得到较好的结果。 图7 (a) ， 7 (b) ， 7 (c) ， 7 (d) ， 7 (e) ， 7 (f)是示意图，它们给出了采用AR图库的第一表 情的人脸图像数据时，本发明及其它三种方法超分辨率重建结果的对比。图8是效果图，它 给出了采用AR图库的第一表情的人脸图像数据时，本发明与其它三种超分方法对28幅测 试图像进行超分后各方法超分结果的PSNR值对比。从二者结合我们可以看出，在训练库较 小时，本发明无论在视觉还是数据效果上亦可以取得不错的效果，同时当图库中部分人脸 上有眼镜时本发明超分结果的质量不受影响。 尽管已经参考附图对本发明进行了解释和描述，专业技术人员应该理解，在不脱 离本发明精神和范围的情况下，可以在其中或对其进行各种其他改变，增删。
权利要求
一种基于仿射变换的正面人脸图像超分辨率重建方法，包括以下步骤1)首先对低分辨率训练图库及低分辨率测试图像进行双线性插值放大，然后将低分辨率训练图库、与低分辨率训练图库对应的高分辨率训练图库及低分辨率测试图像进行分块处理得到高、低分辨率训练块和低分辨率测试图像训练块，各训练块的大小为m×m，块间上下左右四个方向各重叠n个像素，每幅图像被分为p块，即每幅图像有p个块位置；2)对于每个训练块位置，求解从该位置的低分辨率图像块到相应的高分辨率图像块的映射矩阵Aj，再根据每个训练块位置的映射矩阵Aj对相应位置的测试图像块进行高分辨率重建得到测试图像块每个块位置上的高分辨率重建图像；3)参考LLE对测试图像块每个块位置的高分辨率重建图像进行残差补偿得到其细节图像块，并将其与相应位置上步骤2)得到的高分辨率重建结果相加，得到各位置相应的超分辨率重建图像块；4)将步骤3)所得的超分辨率重建图像块合成完整的图像，得到最终的超分结果。
2. 如权利要求1所述的基于仿射变换的正面人脸图像超分辨率重建方法，其特征在 于所说的高、低分辨率训练块之间有下式关系其中//为高分辨率训练图库中所有图像的第j个训练块位置上的图像块组成的矩 阵，//为低分辨率训练图库中所有图像的第j个训练块位置上的图像块组成的矩阵，Aj为 将要求解的映射矩阵，Ej为误差。
3. 如权利要求1所述的基于仿射变换的正面人脸图像超分辨率重建方法，其特征在 于所说的对于每个训练块位置，求解从该位置的低分辨率图像块到相应的高分辨率图像 块的映射矩阵Aj是由Procrustes Analysis根据下式求解得到的<formula>formula see original document page 2</formula>其中<formula>formula see original document page 2</formula>表示矩阵的迹，对(//户//进行SVD分解得到<formula>formula see original document page 2</formula>根据得到的每个块位置的映射矩阵Aj，则测试图像的每个块位置对应的高分辨率重建 图像块可由下式求解<formula>formula see original document page 2</formula>其中iu表示第j个块位置上的低分辨率测试图像块，ihj表示第j个块位置上的高分 辨率重建结果块。
全文摘要
一种基于仿射变换的正面人脸图像超分辨率重建方法，采取近期较为流行的两步法对图像进行超分辨率重建。第一步重建出测试低分辨率图像的中低频信息(全局结构)，首先对所有图像进行分块处理，分别建立每个块位置上高低分辨率像素空间的映射关系，通过得到的映射矩阵对低分辩测试图像进行超分辨率重建，得到各块位置的第一步高分辨率重建图像块；第二步重建高频信息(细节信息)，根据LLE对第一步得到的重建图像块进行残差补偿，得到各块位置上的残差图像块，接着将每个块位置上的高分辨率重建图像块及其相应的残差图像块相加得到超分辨率重建图像块。最后将所有的超分辨率重建图像块合成完整的图像，即得到测试图像对应的超分辨率重建结果。
文档编号G06T3/40GK101719266SQ20091025453
公开日2010年6月2日 申请日期2009年12月25日 优先权日2009年12月25日
发明者吴宁, 黄华 申请人:西安交通大学