一种基于深层线性映射学习的人脸超分辨率重建算法的制作方法

本发明涉及人脸图像超分辨率
技术领域：
，具体涉及一种基于深层线性映射学习的人脸超分辨率重建算法。
背景技术：
：人脸图像超分辨率技术可以应用在很多领域，如人脸识别，人脸图像视频传输，人脸图像恢复以及人脸图像表情分析等。如在视频监控系统中，由于摄像头分辨率有限且与目标距离较远等原因，监测到的人脸图像较小，分辨率低，为了更好地观察和识别分析，先对它们进行超分辨率。人脸超分辨率是一种典型的超分辨率算法，用于从输入低分辨率图像重建高分辨率图像，旨在克服当前成像系统的局限性。基于学习的人脸超分辨重建算法成为近年来人脸超分辨率算法研究的的主流方向。例如，baker等人[1][2]提出了一种人脸幻构(facehallucination)方法，将基于学习的方法运用到人脸超分辨中，对于输入的单幅低分辨人脸，借助于训练集，通过金字塔结构得到高频细节信息，生成高分辨人脸，获得了比传统重建方法和插值更好的效果。但是该方法在某些重要部位引入了较大的噪声。为了在有效去噪的同时保持细节。chang[3]等人提出基于邻域嵌入的超分辨算法，该算法利用流形学习中的lle(locallylinearembedding)算法进行超分辨，但是由于利用到降维的方法，往往会丢失人脸图像的非特征信息。ma等人[4][5]提出了一种基于图像块的最小二乘表示(leastsquaresrepresentation,lsr)算法，通过求出各个图像块的输出权重对低分辨率图像进行超分辨率重建。该算法的缺点是容易出现过拟合问题。为了解决这一问题，2010年yang等人[6]提出一种基于稀疏编码的自适应选择相邻最相关(sparserepresentation)人脸超分辨率方法。jiang等人[7]则是根据局部流形几何引入了局部约束条件对特征系数(localityconstrainedrepresentation,lcr)进行进一步约束。zhang等人[8]提出了一种基于线性回归的人脸超分辨率重建算法，通过多线性映射(mlm)，可以有效地预测给定输入的低分辨率人脸图像中的丢失细节，通过映射学习中找到匹配模型。为了解决单层表达框架精度不足的问题，jiang等人[9]进一步提出了算法line(facesuper-resolutionvialocality-constrainediterativeneighborembedding)通过迭代和更新高分辨率的流形结构和将单层局部约束表达扩展成多层的局部约束表达构成。dong[10]等人提出了基于深度学习的卷积神经网络超分辨率(deepconvolutionalnetworkforimagesuper-resolution)算法，(srcnn)具有低分辨率图像和高分辨率的图像之间的一个端到端的映射，具有很少的预处理和后处理，该算法取得了令人满意的重建效果。为了克服上述人脸超分辨重建算法中的缺点，本发明借鉴多重线性映射学习和超分辨率卷积网络(srcnn)，提出了深度多线性映射学习算法框架，通过利用局部和非局部自相似性优势来提高重建性能，最终获得更高质量的高分辨率人脸图像。参考文献：[1]bakers,kanadet.limitsonsuper-resolutionandhowtobreakthem[j].ieeetransactionsonpatternanalysis&machineintelligence,2000,24(9):1167-1183.[2]s.bakerandt.kanade,“hallucinatingfaces,”in2000thefourthinternationalconferenceonautomaticfaceandgesturerecognition(fg’2000),march2000,pp.83–88.[3]changh,yeungdy,xiongy.super-resolutionthroughneighborembedding[c]//ieeecomputersocietyconferenceoncomputervision&patternrecognition.ieeecomputersociety,2004:275-282.[4]x.ma,j.zhang,andc.qi,“position-basedfacehallucinationmethod,”inproc.icme.,pp.290–293,2009.[5]max,zhangj,qic.hallucinatingfacebyposition-patch[j].patternrecognition,2010,43(6):2224-2236.[6]yangj,wrightj,huangt,etal.imagesuper-resolutionassparserepresentationofrawimagepatches[j].2008:1-8.[7]jiangj,hur,hanz,etal.position-patchbasedfacehallucinationvialocality-constrainedrepresentation[j].2012:212-217.[8]zhangk,taod,gaox,etal.learningmultiplelinearmappingsforefficientsingleimagesuper-resolution.[j].ieeetransactionsonimageprocessingapublicationoftheieeesignalprocessingsociety,2015,24(3):846-61.[9]jiangj,hur,wangz,etal.facesuper-resolutionviamultilayerlocality-constrainediterativeneighborembeddingandintermediatedictionarylearning[j].ieeetransactionsonimageprocessingapublicationoftheieeesignalprocessingsociety,2014,23(10):4220-31.[10]dongc,chencl,hek,etal.imagesuper-resolutionusingdeepconvolutionalnetworks[j].ieeetransactionsonpatternanalysis&machineintelligence,2016,38(2):295-307.技术实现要素：针对现有技术的问题，本发明提出一种基于深层线性映射学习的的人脸超分辨率重建算法，将多线性映射学习扩展到深层模型中，逐层提高了图像重建性能，最终获得更清晰的重建图像。本发明为解决上述技术问题所采用的技术方案是：本发明提供一种基于深层线性映射学习的人脸超分辨率重建算法，包括以下步骤：s1，对输入的低分辨率人脸图像、低分辨率训练集中的人脸图像以及高分辨率训练集中的人脸图像在像素域中划分相互重叠的图像块；s2，将低分辨训练集中的人脸图像和输入的低分辨率人脸图像通过插值到高分辨率人脸图像，在特征域提取特征，并将提取的特征划分为相互重叠大小的块；s3，将步骤s2所得到在特征域的低分辨率图像块字典和输入的低分辨人脸图像块，然后通过k-nn算法中的欧氏距离在特征域中的低分辨率字典中提取k个最近距离的图像块；s4，最后根据特征域中的图像块的位置和在像素域中图像块位置的相关性，根据在特征域获得的欧式距离找到在像素域中的高低分辨率人脸图像块训练集中对应的k个人脸图像块，得到新的高低分辨率人脸图像块字典对作为高低人脸图像块训练样本集；s5，根据步骤s4得到的高低训练图像块字典对，找到对应的线性函数关系；s6，级联多层线性映射学习，通过留一策略，更新低分辨率人脸图像训练集和高分辨率人脸图像训练集，然后对低分辨率人脸图像训练集中的每张人脸图像重复进行步骤s1至步骤s5进行更新，得到多重线性函数关系，进而合成高分辨人脸图像块，融合得到最终目标的高分辨率人脸图像。本发明的有益效果是：本发明提供了一种基于深层线性映射学习的人脸超分辨重建算法，其将多线性映射学习扩展到深层模型中，逐层提高了图像重建性能，最终获得更清晰的重建图像。附图说明图1是本发明实施例的4层平均ssim值和平均psnr值的结果图；图2是本发明实施例的重建后的图像，图中(a)为输入图片，(b)为重建后的图像，(c)为原始图像。具体实施方式下面结合附图及实施例对本发明作进一步说明。本发明提供一种基于深层线性映射学习的人脸超分辨重建算法，，包括以下步骤：s1，假设输入的低分辨人脸图像低分辨人脸图像训练集和高分辨人脸图像训练集其中n为高低人脸图像训练集中的样本数量，ai大小为m×n，bi大小为mt×nt。将输入的低分辨人脸图像，低分辨率人脸图像训练集和高分辨率人脸图像训练集中的每一张人脸图像在像素域划分成m个相互重叠的图像块xi，和其中，低分辨图像块大小为则相应的高分辨率图像块大小为s2，将低分辨训练集中的每张人脸图像ai插值4倍到高分辨人脸图像ti，然后通过在水平方向和垂直方向上的第一和第二阶梯度将通过插值得到的高分辨率人脸图像ti进行特征表提取，采用如下公式获得：g(i)j＝fj*ti,j＝1,2,3,4(1)其中g(i)j是所滤波后的图像；f1和f2分别是在水平和垂直方向的梯度的高通滤波器；f3和f4分别是在水平方向和垂直方向的高通滤波器；*表示的是卷积；每张图像ai将会提取到4个特征，然后采用如下公式从ti中得到和ap相应的特征块集合：g(i)j＝[g(i)1；g(i)2；g(i)3；g(i)4](2)其中，g(i)j是从滤波后的图像g(i)j在相同位置划分的图像块，最后得到低分辨率图像块集合ap相对应的特征图像块集合对于输入的低分辨人脸图像x按照公式(1)和公式(2)获得特征块x(i)j＝[x(i)1；x(i)2；x(i)3；x(i)4]。s3，采用公式(3)用k-nn算法获得在低分辨率特征块集合af中k个最邻近的特征块：ck(x(i)j)＝suppot(dist|k)(3)其中dist|k表示在距离dist中距离最小的k个人脸图像块，并且dist表示x(i)j和低分辨率特征块集合的af的测量距离。本发明采用的是欧式距离，其计算公式如下：disti＝||x(i)j-g(i)j||2(4)s4，根据特征域中的图像块的位置和在像素域中图像块位置的相关性，使用相同索引找到在像素域中低分辨率图像块训练集ap和高分辨率图像块训练集bp中对应的k个图像块，则对于每一个输入的低分辨人脸图像块xi都会找到与其对应的高低分辨图像块字典对，如公式(5)所示：其中，其中k表示字典原子个数；对于每一张输入的低分辨人脸图像将会获得m个低分辨人脸图像块和高分辨人脸图像块字典对s5，对于步骤s4中m个低分辨人脸图像块和高分辨人脸图像块字典对我们采用协作表达的l2范式正则化的最小二乘法得到i-th输入图像块的权重系数，如公式(6)所示：其中，τ是平衡重建误差和局部约束的正则化参数，是欧式平方距离，i是样本序号；则用公式(6)所得最优权重系数加权合成高分辨率人脸图像块，公式如下所示：而，对于公式(6)的闭合形式则定义为：其中，i是单位矩阵，则目标图像块yi可以由如下公式获得：因此，相应的线性函数fi则采用如下公式获得：s6，为了学习从低分辨率图像块到高分辨率图像块的深层线性映射，关键是更新多层支持的嵌入字典.假设s表示的是深层线性映射的总层数，而s表示的是层次序号。众所周知，高分辨率人脸图像训练集样本是可靠的，因此我们只需要通过留一策略更新每个层的低分辨率人脸图像训练集：从第一张低分辨率图像开始，使用剩下的n-1张低分辨率图像作为新的低分辨率人脸图像训练集进行更新；通过同样的方法，从高分辨率人脸图像训练样本中获得相应的新的高分辨率人脸图像训练集然后低分辨率人脸图像训练样本集中每一张的人脸图像按照上述步骤s1到步骤s5的方式进行更新；进而，完成对每一层的低分辨人脸图像训练集的更新，以及相应的每一层的低分辨率人脸图像块训练集ap的更新，则非位置嵌入字典将被不断更新；因此，第s层多重线性映射也会得到更新，如下所示：其中，表示第s层的在i个位置块的线性映射函数，因此最终输出高分辨图像块可以通过以下公式获得：最后将获取的人脸图像块融合，得到最终目标的高分辨率人脸图像ys。测试实施例：实验数据：实验采用fei人脸数据集作为实验数据，该数据包括正面的整齐的人脸图像。人脸数据集中包括400张图像，分别从200个目标人物得到，100位男性和100位女性。每一位目标人物有两张正面的图像，一张没有表情，一张面带微笑。数据集中的男性图像主要是从19岁到40岁的不同年龄段、发型和装饰品。所有的照片都被裁剪大小为120×96像素的图像，选取其中的360张作为训练样本集(180个目标人物)，剩下的40张图像用来测试(20个目标人物)。因此，所有的测试图像都不在训练集中。低分辨图像是根据高分辨图像下采样4倍得到的，因此和高分辨图像对应的低分辨图像的大小为15×12像素。本发明实施例中划分人脸图像块的尺寸分别为：高分辨率人脸图像被划分为12×12的图像块，交叠为8个像素；低分辨率人脸图像被划分为2×2的图像块，交叠为1个像素。本发明与其他的人脸超分辨重建算法不同，以下提供实验对比说明本方法的有效性。如图1所示，我们列出了4层模型下的40个人脸图像的psnr和ssim的平均值。其中，我们采用line算法作为对比，其中，l1、l2、l3、l4表示的是line算法四层的结果值。d1、d2、d3、d4表示的是本发明四层模型下的结果。我们可以看到，随着层数的增加，该算法的增益变得更加的显著。40张测试图像的平均psnr和ssim值，在四层模型比单层模型的结果要更加显著。算法bublicsrcnnsrllemlmlsrcbnlcrlinedlmlpsnr(db)24.2628.2826.8827.8027.9426.8727.4127.8628.1428.40ssim0.6990.7830.7810.8080.8150.7810.8010.8110.8270.834gain_p4.140.121.520.600.461.530.990.540.260gain_s0.1350.0510.0530.0260.0190.0530.0330.0230.0070从以上表格明显看出，与其他算法相比，本发明算法在psnr值和ssim值上高于其他算法。说明书中未阐述的部分均为现有技术或公知常识。本实施例仅用于说明该发明，而不用于限制本发明的范围，本领域技术人员对于本发明所做的等价置换等修改均认为是落入该发明权利要求书所保护范围内。当前第1页12