专利名称：基于形态学成分分析的人脸图像超分辨率重建方法
技术领域：
本发明涉及图像处理领域，特别涉及一种基于形态学成分分析的人脸图像超分辨
率重建方法。
背景技术：
图像超分辨率的任务是从一个或者多个低分辨率输入图像推断出高分辨率图像。在实际生活中有广泛应用，特别是人脸图像的超分辨率重建在远距离视频监控或者视频处理等方面有着重要的应用。传统的人脸图像超分辨率方法结合了人脸图像所特有的经典先验知识，并且在近十年间出现了很多人脸图像超分辨率方法，如基于微分信息构建高频成分、基于主成分分 析(PCA)建立整体模型重构高分辨率人脸图像、结合基于PCA的整体模型和基于置信传播的局部模型构建的“整体脸+残差脸”等方法。尽管已有的人脸图像超分辨率重建方法已经取得了不错的效果，但是仍然有很大的提升空间，其中需要提升的一个部分是整体脸部特征，现有算法经常导致重构的人脸和真实的人脸不像同一个人，并且产生振铃效应，这是由于现有的估计模型仅仅对输入图像的全局脸部而不是所有成分建模，因此减少了估计的精确度。
发明内容
本发明的主要目的在于克服现有技术的缺点与不足，提供基于形态学成分分析的人脸图像超分辨率重建方法，该方法重建的人脸更像真实的人脸，可以得到更加详细的脸部细节信息，消除振铃现象，取得更好的图像品质。此外，本发明还可以拓展到同时解决人脸图像超分辨率和表情归一化的问题。本发明的目的通过以下的技术方案实现基于形态学成分分析的人脸图像超分辨率重建方法，包括以下步骤(I)通过插值方法把低分辨率输入图像上采样，得到插值后的图像；(2)使用形态学成分分析方法对步骤(I)所得到的插值后的图像进行图像分解，分解成整体高分辨率人脸图像和反锐化掩膜；(3)对步骤(2)得到的整体高分辨率人脸图像进行下采样，然后被低分辨率输入图像减除，得到低分辨率残差图像，然后通过对低分辨率残差图像每一处脸部位置上的图像块进行近邻重构来对图像进行脸部细节信息补偿，得到高分辨率残差图像；(4)将步骤(3)中的高分辨率残差图像与步骤(2)得到的整体高分辨率人脸图像进行合并，得到最终的人脸图像超分辨率结果，完成超分辨率重建。所述步骤(I)中的上采样插值过程公式为xz_=s X1=S s I (h*xh) ^ h*xh,其中s丨是上采样插值操作符，s丨是下采样操作符，X1是低分辨率输入图像，Xzooffl是插值后的图像，Xh是真实高分辨率图像，h是照相机的点传播函数，*是卷积操作符；插值后的图像xz_用公式表达为xz_=xh+xs，其中Xs是包含正值和负值的高频成分，称为反锐化掩膜，插值后的图像Xz_是Xh模糊后的版本。优选的，所述步骤(2)中的使用形态学成分分析方法进行图像分解的步骤具体是指:(2-1)随机选取不同的人脸高分辨率图像，将其下采样后得到人脸低分辨率图像，再通过插值方法得到插值后的图像，将插值后的图像和对应的高分辨率图像相减，得到反锐化掩膜；将高分辨率图像和反锐化掩膜作为训练样本，通过主成分分析(Principal
Component Analysis,PCA)方法学习得到真实高分辨率图像的均值&和反锐化掩膜的均值^，得到对应的真实高分辨率图像的所有N个特征值IafCO丨二 _和反锐化掩膜的所有N个特征值二，以及对应的真实高分辨率图像的特征矩阵Ph和反锐化掩膜的特征矩阵Ps，然后Xh和Xs分别表达为:xfl ^xh+ Pkak ,Xs Xs + Psas，其中a h和a s是投影系数，Ph和Ps用来作为字典分别描述Jcfc - Xh和Xi -Xs ；(2-2)基于形态学成分分析方法，其核心是求解一个最优化的过程，求解的公式为 min Il Al+Il Jo哟束条件为
Il Xmom — Xh — xS — Phah — ^SaS II2 ^
3σ^(/) <αη(/) <3σ- (/). 3 = / .λ.. i = i …N,'^'
j .V · ，
X1 (m$ ) = ^ χ,; (Sm + , Sn + j).
S ,-=| ;- = |
其中，ε是错误容忍率，(m，n)是像素坐标，S是放大倍数，X1是低分辨率输入图像；最终，由最优解()产生出分离的子信号xf = Jfjk +IJa:和xf =Xs+J5sOf: ο上述求解公式是一个NP求解问题，它的稀疏解可以用LI范数最小化的解来逼近，可以通过使用交替迭代阈值的方法求解，每次迭代都要把迭代结果伸缩回超椭球1-3r、(/)，3ov:叫3 = &.V范围之内，并保证重构约束，即输入低分辨率图像X1和高分辨率图像Xh的关系需要满足
IS S
Xi( h )=+i,Sn +j)，而阈值和迭代次数可以通过实验得到合适的值。求解
LJ j I J I
过程具体如下(2-2-1)初始化输入最大迭代次数Imax ;输入阈值maxTh, maxTs, minTh和minTs,这些阈值为
maxTh =II PiJixmom 一' —xs)l ,maxTs =|| Pj(xzmm —■% —) IL，
minTh和minTs输入值为使用PCA方法得到的对应真实高分辨率图像和反锐化掩膜t个主成分对应的t个最大特征值的平方根；输入反向投影运算符P ;设定xh、xs初始值为0，Th =maxTh, Ts = maxTs ;设定迭代变量k，让k从I取到Imax，步骤(2-2-2)为迭代的过程；(2-2-2)保持Xs不变计算Xh新值的过程先计算残差r= ximm —xh—xs—xh— Xs，然后计算xh+r到Ph的投影系数Mh = 1\丨(xh + r).
通过阈值Th对参数a h进行硬阈值处理得到_缩放以满足约束条件得到af ，a s取上一次迭代过程中更新Xs得到的￡Tf2进行计算，约束条件如下
权利要求
1.基于形态学成分分析的人脸图像超分辨率重建方法，其特征在于，包括以下步骤 (1)通过插值方法把低分辨率输入图像上采样，得到插值后的图像； (2)使用形态学成分分析方法对步骤(I)所得到的插值后的图像进行图像分解，分解成整体高分辨率人脸图像和反锐化掩膜； (3)对步骤(2)得到的整体高分辨率人脸图像进行下采样，然后被低分辨率输入图像减除，得到低分辨率残差图像，然后通过对低分辨率残差图像每一处脸部位置上的图像块进行近邻重构来对图像进行脸部细节信息补偿，得到高分辨率残差图像； (4)将步骤(3)中的高分辨率残差图像与步骤(2)得到的整体高分辨率人脸图像进行合并，得到最终的人脸图像超分辨率结果，完成超分辨率重建。
2.根据权利要求I所述的基于形态学成分分析的人脸图像超分辨率重建方法，其特征在于，所述步骤(I)中的上采样插值过程公式为XZ_=S丨Xi=S丨s丨(h*xh) ~h*xh，其中S t是上采样插值操作符，S I是下采样操作符，X1是低分辨率输入图像，χζ_是插值后的图像，Xh是真实高分辨率图像，h是照相机的点传播函数，*是卷积操作符；插值后的图像Xzoom用公式表达为Xz_=Xh+Xs，其中Xs是包含正值和负值的高频成分，称为反锐化掩膜，插值后的图像Xz_是Xh模糊后的版本。
3.根据权利要求I所述的基于形态学成分分析的人脸图像超分辨率重建方法，其特征在于，所述步骤(2)中的使用形态学成分分析方法进行图像分解的步骤具体是指 (2-1)随机选取不同的人脸高分辨率图像，将其下采样后得到人脸低分辨率图像，再通过插值方法得到插值后的图像，将插值后的图像和对应的高分辨率图像相减，得到反锐化掩膜；将高分辨率图像和反锐化掩膜作为训练样本，通过主成分分析方法学习得到真实高分辨率图像的均值;和反锐化掩膜的均值^，得到对应的真实高分辨率图像的所有N个 特征值和反锐化掩膜的所有N个特征值，以及对应的真实高分辨率图像的特征矩阵Ph和反锐化掩膜的特征矩阵Ps，然后Xh和Xs分别表达为-.Xk ^ + ,;WXs+/丨,其中％和as是投影系数，Ph和？3用来作为字典分别描述JTa -&和^； (2-2)基于形态学成分分析方法，求解公式为
4.根据权利要求I所述的基于形态学成分分析的人脸图像超分辨率重建方法，其特征在于，所述步骤(3)中，得到低分辨率残差图像的具体步骤是由步骤(2)得到的整体高分辨率人脸图像和低分辨率输入图像X1，定义低分辨率残差图像为
5.根据权利要求4所述的基于形态学成分分析的人脸图像超分辨率重建方法，其特征在于，所述步骤(3)对每一处脸部位置上的图像块的近邻重构方法，具体如下 (3-1)将随机选取的人脸高分辨率图像和其下采样后得到人脸低分辨率图像作为训练样本；对低分辨率图像应用步骤(2)得到整体高分辨率人脸图像，然后被人脸高分辨图像减除，得到高分辨率残差图像训练样本；整体高分辨率人脸图像下采样后被人脸低分辨率图像减除得到低分辨率残差图像训练样本； (3-2)将输入的低分辨率残差图像<分割成图像块，使图像块之间有部分重叠； (3-3)对于每一个输入的低分辨率残差图像块，通过同一脸部位置的k个最近邻低分辨率残差图像块训练样本进行组合重构，然后保持着组合的权值，通过替代低分辨率残差图像块训练样本为对应的高分辨率残差图像块训练样本来合成对应的高分辨率残差图像块； (3-4)通过平均重叠部分集成高分辨率残差图像块来得到完整的高分辨率残差图像
6.基于形态学成分分析的人脸图像超分辨率重建方法，其特征在于，包括以下步骤 (1)通过主成分分析方法对若干类表情学习得到若干个对应的互不相干的表情字典； (2)对于输入的低分辨率输入图像，判断其所属的表情，然后，一方面进行上采样，得到插值后的有表情的图像；另一方面使用形态学成分分析方法，基于其表情所对应的表情字典，将低分辨率输入图像进行图像分解，分解成整体低分辨率无表情输入图像和低分辨率有表情掩模； (3)使用形态学成分分析方法对步骤(2)所得到的插值后的有表情的图像进行图像分解，基于其表情所对应的表情字典，分解成整体高分辨率无表情图像、表情掩膜和反锐化掩膜； (4)将步骤(3)所得到的整体高分辨率无表情图像进行下采样，然后和步骤(2)得到的整体低分辨率无表情输入图像进行相减，得到低分辨率残差图像；对此低分辨率残差图像，通过对每一处脸部位置上的图像块进行近邻重构来对图像进行脸部细节信息补偿，得到高分辨率残差图像； (5)将步骤(4)中的高分辨率残差图像与步骤(3)得到的整体高分辨率无表情图像进行合并，得到最终的人脸图像超分辨率结果，完成超分辨率重建。
7.根据权利要求6所述的基于形态学成分分析的人脸图像超分辨率重建方法，其特征在于，所述步骤(2)中，通过采用LBP分类器来判断低分辨率输入图像中的表情。
全文摘要
本发明公开了一种基于形态学成分分析的人脸图像超分辨率重建方法，步骤是首先把低分辨率输入图像上采样得到插值后的图像；然后使用形态学成分分析方法从插值后的图像得到整体高分辨率人脸图像；再对该整体高分辨率人脸图像下采样并被低分辨率输入图像减除得到低分辨率残差图像，通过对每一处脸部位置上的图像块进行近邻重构来进行脸部细节信息补偿，得到高分辨率残差图像；最后将高分辨率残差图像与整体高分辨率人脸图像合并，得到人脸图像超分辨率结果，完成超分辨率重建。本发明还提供了一种基于形态学成分分析并同时进行人脸图像超分辨率重建和表情归一化的方法。本发明可以得到更加详细的脸部细节信息，消除振铃现象，取得更好的图像品质。
文档编号G06K9/66GK102915527SQ20121038971
公开日2013年2月6日 申请日期2012年10月15日 优先权日2012年10月15日
发明者赖剑煌, 梁炎 申请人:中山大学