一种基于可形变局部块的人脸超分辨率处理方法及系统与流程

本发明涉及图像处理和图像恢复
技术领域：
，具体涉及一种基于可形变局部块的人脸超分辨率处理方法及系统。
背景技术：
：人脸超分辨率技术是通过辅助训练库，学习高低分辨率对应关系，进而达到从已有的低分辨率人脸图像中估计出高分辨率人脸图像的目的。人脸超分辨率现在被广泛应用于多个领域，其中最具代表性的领域之一就是监控录像中的人脸图像增强。随着监控系统的广泛普及，监控视频在刑事取证和刑侦调查过程中发挥着越来越重要的作用。而人脸图像作为直接证据之一，在案件分析和法庭取证中占据着重要的位置。然而，由于现有条件下，目标嫌疑人与摄像头距离相对较远，捕捉到的监控人脸可用像素非常少，兼之真实情况下由于恶劣天气(例如：雨雾)、光照(例如：光照过强、过暗、明暗不均)、器件等因素对捕获的图像引发的严重损毁(例如：严重的模糊和噪声)，图像恢复、放大和辨识往往受到严重的干扰。这就需要用到人脸超分辨率技术提升图像分辨率，从低分辨率图像恢复到高分辨率图像。人脸超分辨率技术便是解决这一难题的技术，它可以通过一副或者多幅低分辨率的人脸图像重构出高分辨率的清晰人脸图像。自从该技术由Baker等人在2000年首次提出之后，这一领域就获得了学者的广泛关注，并且产生一系列优秀的研究成果，其中以基于学习的人脸超分辨率算法最受学者重视。近年来，流形学习逐渐成为了人脸超分辨率的主流方法。这类方法的核心思想是：描述低分辨率图像的流形空间关系，寻找出每个低分辨率图像数据点周围的局部性质，然后将低分辨率图像的流形非线性地映射到高分辨率图像的流形空间中，在高分辨率对应空间上做投影，从而合成高分辨图像。具有代表性的有以下几种方法：2004年，Chang[1]等首次将流形学习法引入图像超分辨率重构中，提出了一种邻域嵌入的图像超分辨率重构法。SungWonPark[2]提出一种基于局部保持投影的自适应流形学习方法，从局部子流形分析人脸的内在特征，重构出低分辨率图像缺失的高频成分。2005年，Wang[3]提出一种基于PCA(Principalcomponentanalysis，主成分分析)分解的方法，把低分辨率待处理图像用低分辨率空间的主成分的线性组合表示，投影系数到对应的高分辨率主成分空间获得最终结果。该方法对早上具有较好的鲁棒性，但是仍然在结果图像的边缘存在鬼影、混叠的现象。2010年，Lan[5]针对监控环境下严重的模糊和噪声导致的图像像素损毁严重的问题，提出一种基于形状约束的人脸超分辨率方法，在传统PCA架构中添加形状约束作为相似度度量准则，利用人眼睛识别形状时对干扰的鲁棒性来人工添加形状特征点作为约束，优化低质量图像的重建结果。2014年，Dong[4]提出基于局部特征转换的方法，进一步解决了这个问题。但是，基于学习的人脸超分辨率技术想要得到更好的复原结果，必须用规模更大的样本库来覆盖更多的图像块模式，解决在流形空间中训练样本不够稠密(有限的训练库与表示人脸特征信息高维流形空间相比)的问题。然而，建立人脸训练样本库是个繁重且复杂的工程。此外，训练库样本越多，人脸进行超分辨率重构运算复杂度越高。因此，如何增强现有的训练样本库人脸图像的表达能力，使其在拟合低分辨率的图像块时给出精确的表达，成为了当前人脸超分辨率技术研究一个亟需解决的问题。综上所述，针对上述问题，本文提出了基于局部可形变模型的人脸超分辨率算法，在人脸位置先验的基础上，通过引入SIFTFlow[6]特征对在库样本图像块进行形变，扩充可用图像块模式，增强已有图像块的表达能力，使得重建结果具有更高的精确性，进一步的挖掘样本库中人脸与输入人脸图像的关系，从而实现优化了人脸超分辨率算法结果的目标。在CAS-PEAL-R1人脸数据库中，对下采样四倍和有噪声情况下的测试样本进行实验证明，我们提出的算法客观评价指标和主观重建结果均优于目前最好的算法，并且对噪声具有鲁棒性。综上所述，通过引入SIFTFlow特征对样本库图像块进行形变，增强已经存在的图像块的表达能力，覆盖更多的图像块模式，进一步优化了人脸超分辨率算法。文中涉及如下参考文献：[1]H.Chang,D.-Y.Yeung,andY.Xiong,“Super-resolutionthroughneighborembedding,”inProc.IEEEConf.Comput.Vis.PatternRecog.,Jul.2004,pp.275–282.[2]SungWonPark,Savvides,M."BreakingtheLimitationofManifoldAnalysisforSuper-ResolutionofFacialImages",ICASSP,pp:573-576,2007.[3]XiaogangWangandXiaoouTang,“Hallucinatingfacebyeigentransformation,”Systems,Man,andCybernetics,PartC:ApplicationsandReviews,IEEETransactionson,vol.35,no.3,pp.425–434,2005.[4]董小慧，高戈，陈亮等.2014.数据驱动局部特征转换的噪声人脸幻构[J].计算机应用，34(12)：3576-3579.[5]CLan,RHu,ZHan,Afacesuper-resolutionapproachusingshapesemanticmoderegularization.IEEEInternationalConferenceonImageProcessing(ICIP),2021–2024,26-29Sept.2010.[6]CeLiu,JennyYuen,AntonioTorralba,etal.2011.SIFTFlow:DenseCorrespondenceacrossScenesanditsApplications[J],IEEETransactionsonPatternAnalysisandMachineIntelligence,33(5):978-994.技术实现要素：针对现有技术存在的问题，本发明提供了一种基于可形变局部块的人脸超分辨率处理方法及系统，尤其适用于低质量监控视频中人脸图像的恢复。为了解决上述技术问题，本发明采用如下的技术方案；一种基于可形变局部块的人脸超分辨率处理方法，包括以下步骤：S1：构建包含高分辨率人脸图像库及其对应的低分辨率人脸图像库的训练库；S2：采用相同的分块方式将待处理低分辨率人脸图像和训练库中图像划分为具交叠部分的图像块，所述的图像块为边长为psize的正方形图像块；S3：对待处理低分辨率人脸图像每一块，在对应位置的低分辨率训练块集合中查找其近邻块；S4：计算待处理低分辨率人脸图像块，每一块到近邻的形变场矩阵；S5：根据形变场矩阵，计算每一个近邻块到对应待处理低分辨率人脸图像块的形变块；S6：计算待处理低分辨率人脸图像块和其近邻形变块之间的权重系数；S7：将权重投影到高分辨率空间上，根据重建系数恢复图像块获得其对应的高分辨率人脸图像块S8：拼接高分辨率人脸图像块得高分辨率人脸图像。进一步的，所述的S1中；将高分辨率人脸图像库中高分辨率人脸图像位置对齐，并进行降质处理，得到对应的低分辨率人脸图像库，高分辨率人脸图像库和低分辨率人脸图像库构成训练库；在S2之前，使待处理低分辨率人脸图像与训练库中图像大小相同，且位置对齐。进一步的，所述的位置对齐采用仿射变换法将进行位置对齐；具体五个位置包括：两个眼角、一个鼻尖、两个嘴角；仿射变换法为，将高分辨率人脸图像库中所有人脸图像相加并除以样本数，得平均脸；设(x′i,y′i)为平均脸上第i个特征点坐标，(xi,yi)为待对齐的高分辨率人脸图像上对应的第i个特征点坐标；设仿射矩阵其中a、b、c、d、e、f为仿射变换系数，表示平均脸和待对齐的高分辨率人脸图像上第i个特征点坐标(x′i,y′i)和(xi,yi)间的关系，采用直接线性变换法求解仿射变换矩阵M；待对齐的高分辨率人脸图像所有坐标点与仿射矩阵M相乘得到的坐标即对齐后的高分辨率人脸图像坐标。进一步的，所述的S3中，对于待处理低分辨率图像xin，假设在位置i上的块为低分辨率图像库设为X，X上在位置i的所以图像块记为Xi；在Xi上的K个近邻块，通过和Xi的每一个图像块差值的绝对值一一对比获得，差值绝对值最小的K个低分辨率图像块，作为的的近邻，记为进一步的，所述的S4中，每一个图像块的形变场矩阵[u,v]可通过待处理图像与之间通过以下方法计算得到；设p＝(x,y)为图像上像素p的坐标，设w(p)＝(u(p),v(p))是像素p点的流向量，只准许u(p)和v(p)是整数集；使s1和s2表示与的SIFT特征；W(p)为在p的像素点的流向量，其中u(p)和v(p)分别代表该像素点在水平和垂直两个方向的位移场；得到能量函数E(w)：E(w)=Σpmin(||s1(p)-s2(p+w(p))||1,t)+Σpη(|u(p)-u(p)|)+Σpmin(α|u(p)-u(p)|,d)+min(α|v(p)-v(p)|,d)]]>其中，第一行是数据项，表示的是让SIFT特征沿着像素p点的流向量w(p)来匹配；第二项是位移项，表示的是当没有其他信息可利用时，让流向量w(p)尽可能的小；第三项是平滑项，让相邻像素相似；在这个目标函数中，L1准则被用于第一行数据项和第三行平滑项当中，来计算匹配离群和流向量不连续，t和d分别作为阈值；η、α是平衡参数，根据经验赋值；通过最小化能量函数E(w)，得到形变场矩阵[u,v]。进一步的，所述的S5中，根据形变场矩阵，计算每一个近邻块到对应待处理低分辨率人脸图像块的形变块，具体过程为：通过引入[u,v]，让匹配低分辨率图像块获得到样本库中低分辨率图像块的映射关系，将这个关系定义为特征算子sf(·)，通过特征算子sf(·)，将匹配到样本库图像块形变至与输入图像块相似，则可得形变场[u,v]的表达式：[u,v]=sf(xini,Xki)]]>根据高、低分辨率的图像块在流形空间中具有相似的一致性，通过形变矩阵[u,v]，得到形变图像块Rk(i,j)，定义Deform(·)表示将的形变过程，则RkLi=Deform(Xki,[u,v])]]>对于训练样本库中的低分辨率图像块形变后的图像块表示为类似的，低分辨率图像块所对应的高分辨率图像块，形变后的高分辨率图像块表示为根据引入SIFTFlow特征算子sf(·)，得到形变矩阵[u,v]；利用形变矩阵[u,v]形变图像块，得到与输入图像块更相似的形变图像块，使得样本库图像块的表达更加准确，增强样本库中样本的表达能力。进一步的，所述的S6中，计算待处理图像块和近邻形变块之间的权重系数，具体过程如下：首先引入欧氏距离dk(i,j)：dki=||xini-Xki||2]]>即是输入低分辨率率图像块与训练样本中的低分辨率图像块的欧式距离；然后选取欧式距离近的K个高分辨率图像块进行形变，因此此时形变图像块可表示为：RkLi=Deform(Xki,[u,v]),1≤k≤K.]]>输入的低分辨率人脸图像块由样本训练集中K个距离最近的低分辨率形变图像块表示的最优表示权重w*(i,j)为：wi*=argminwi{||xini-Σk=1KRkLiwi||22+τΣk=1K[dkiwki]2},s.t.Σk=1Kwki=1]]>其中，是用样本库中的低分辨率形变图像块线性表示输入的低分辨率图像块的权重系数，wi是元素为的向量；τ是平衡参数，根据经验赋值。进一步的，所述的S7中，对于重构出的目标高分辨率图像块它可由最近邻K个高分辨率形变图像块与它最优权重合成：youti=Σk=1KRkHiwki]]>其中，为对应的高分辨率样本。一种基于可形变局部块的人脸超分辨率处理系统，包括：训练库构建模型，用于构建包含高分辨率人脸图像库及其对应的低分辨率人脸图像库的训练库；分块模块，用于采用相同的分块方式将待处理低分辨率人脸图像和训练库中图像划分为具交叠部分的图像块，所述的图像块为边长为psize的正方形图像块；近邻获取模块，用于对待处理低分辨率人脸图像每一块，在对应位置的低分辨率训练块集合中查找其近邻块；形变场矩阵计算模块，用于计算待处理低分辨率人脸图像块，每一块到近邻的形变场矩阵；形变模块，用于根据形变场矩阵，计算每一个近邻块到对应待处理低分辨率人脸图像块的形变块；权重系数获取模块，用于计算待处理低分辨率人脸图像块和其近邻形变块之间的权重系数；高分辨率图像块生成模块，用于将权重投影到高分辨率空间上，根据重建系数恢复图像块获得其对应的高分辨率人脸图像块拼接模块，用于根据位置i拼接高分辨率人脸图像块得高分辨率人脸图像。和现有技术相比，本发明具有以下优点和积极效果：本方法基于学习人脸超分辨率技术如果想要复原出更好的结果，必须用规模更大的样本库来覆盖更多的图像块模式，解决在流形空间中训练样本不够稠密(有限的训练库与表示人脸特征信息高维流形空间相比)的问题。然而，建立人脸训练样本库是个繁重且复杂的工程，此外，样本库图像越多，人脸进行超分辨率重构运算复杂度越高。因此，如何增强现有的训练样本库人脸图像的表达能力，成为了当前人脸超分辨率研究一个亟需解决的问题。本方法主要关注基于局部模型可变的人脸超分辨率方法，在人脸位置先验的基础上，通过引入SIFTFlow特征对库样本图像块进行形变，扩充样本库图像块模式，增强已有图像块的表达能力，使得重建结果具有更高的精确性，进一步的挖掘样本库中人脸图像块与输入人脸图像块的关系，优化了人脸超分辨率算法的结果。附图说明图1是本发明实施例的流程示意图；图2是本发明实施例的人脸图像基于位置分块示意图。具体实施方式本发明在人脸位置先验的基础上，通过引入SIFTFlow特征对库样本图像块进行形变，扩充样本库图像块模式，增强已有图像块的表达能力，使得重建结果具有更高的精确性，进一步的挖掘样本库中人脸图像块与输入人脸图像块的关系，利用多重表达的一致性作为约束，增强图像块表征的一致性和噪声鲁棒性，提升恢复结果的客观质量和相似度。下面将结合具体实施例和附图对本发明做进一步说明。本发明面向监控环境下的极低质量人脸图像，采用双层流形假设和一致性约束图像块的表征。具体实施时，本发明技术方案可采用计算机软件技术实现自动运行流程。参见图1，本发明具体步骤如下：S1：构建包含高分辨率人脸图像库及其对应的低分辨率人脸图像库的训练库；将高分辨率人脸图像库Y中高分辨率人脸图像位置对齐，对高分辨率人脸图像进行降质处理得对应的低分辨率人脸图像，从而获得低分辨率人脸图像库X。在S2之前，使待处理低分辨率人脸图像与训练库中图像大小相同，且位置对齐。具体实施中，首先，将高分辨率人脸图像的眼睛和嘴巴位置对齐；然后，对高分辨率人脸图像依次进行下采样、模糊窗过滤、上采样，得到与高分辨率人脸图像对应的低分辨率人脸图像。为便于实施参考，下面将提供采用仿射变换法实现人脸图像对齐的具体过程：所述的位置对齐采用仿射变换法将进行位置对齐；具体五个位置包括：两个眼角、一个鼻尖、两个嘴角。对高分辨率人脸图像进行特征点标注，特征点为五官边缘点，例如眼角、鼻尖、嘴角等；然后，采用仿射变换法对齐特征点。仿射变换法具体为：将高分辨率人脸图像库Y中所有人脸图像相加并除以样本数，得平均脸。设(x′i,y′i)为平均脸上第i个特征点坐标，(xi,yi)为待对齐的高分辨率人脸图像上对应的第i个特征点坐标。设仿射矩阵其中a、b、c、d、e、f为仿射变换系数，表示平均脸和待对齐的高分辨率人脸图像上第i个特征点坐标(x′i,y′i)和(xi,yi)间的关系，采用直接线性变换法求解仿射变换矩阵M。待对齐的高分辨率人脸图像所有坐标点与仿射矩阵M相乘得到的坐标即对齐后的高分辨率人脸图像坐标。对对齐后的高分辨率人脸图像做降质处理，例如，依次对高分辨率人脸图像下采样4倍、模糊窗过滤3*3、上采样4倍，得到与高分辨率人脸图像对应的低分辨率人脸图像，从而获得低分辨率人脸图像库X。高分辨率人脸图像库Y和低分辨率人脸图像库X中人脸图像一一对应，构成高低分辨率人脸图像对。高分辨率人脸图像库Y和低分辨率人脸图像库X构成训练库。使待处理低分辨率人脸图像与训练库中图像大小相同，且位置对齐。本发明是要对待处理低分辨率人脸图像xin进行处理，估计出其对应的高分辨率人脸图像，将估计出的高分辨率人脸图像记为待估高分辨率人脸图像yout。待处理低分辨率人脸图像xin通常是在含噪严重环境获得的低分辨率人脸图像。对于作为输入的待处理低分辨率人脸图像，一般要经过预处理，包括剪切出符合统一规定的人脸部分，即将待处理低分辨率人脸图像xin进行上采样，使其与训练库中人脸图像大小相同。对待处理低分辨率人脸图像xin进行特征点标注，最后采用S1中记载的仿射变换法使待处理低分辨率人脸图像xin与平均脸位置对齐。这样，使得训练库中人脸图像和待处理低分辨率人脸图像xin在尺寸、眉毛高度处于相同的水平。若待处理低分辨率人脸图像xin采集时光线不足，则可对位置对齐后的待处理低分辨率人脸图像xin进行自动亮度对比度调整，使其与训练库中低分辨率人脸图像处于相近亮度水平。S2：采用相同的分块方式将待处理低分辨率人脸图像、训练库中图像划分为具交叠部分的正方形图像块；所述的图像块为边长为psize的正方形图像块。本步骤中，将训练库中各图像均划分为N个正方形图像块；同时，将待处理低分辨率人脸图像xin也划分为N个图像块。采用图像块集表示相应的人脸图像，待估高分辨率人脸图像yout将通过对待处理低分辨率人脸图像xin的图像块恢复获得。将待处理低分辨率人脸图像xin、待估高分辨率人脸图像yout、训练库中低分辨率人脸图像X、训练库中高分辨率人脸图像Y的图像块集分别记为i表示图像块编号，Xi、Yi分别表示待处理低分辨率人脸图像xin、待估计高分辨率人脸图像yout、训练库中低分辨率人脸图像X、训练库中高分辨率人脸图像Y中的第i个图像块。见图2，对人脸图像进行分块的主要依据是局部流形的思想，即人脸图像是一类特殊图像，这些图像具有特定的结构意义，比如在某个位置上所有的小块都是眼睛、或者某个位置上都是鼻子，也就是说图像中每一个位置的局部小块都处于一个特定的局部几何流形当中。为保证这个局部流形，需要将图像分为若干正方形的图像块。图像块的大小需要有合适尺寸，若分块太大，则会由于微小的对齐问题引起重影现象；若分块太小，会模糊、淡化每个小块的位置特征。此外，还需要选择图像块之间交叠块的尺寸。因为如果简单的将图像分为不含交叠块的若干正方形小块，那么这些正方形块与块之间会因为不兼容问题出现网格效应。而且人脸图像并不总是正方形，那么交叠块的尺寸选择需要注意使得图像尽可能充分的分块。将图像块尺寸记为psize×psize，相邻图像块间交叠部分的宽记为D，将图像块所在位置表示为i，i＝1,2,...N，则有：其中，height和width分别为人脸图像的高和宽。实施例中，psize取12，D取8。S3：对待处理低分辨率人脸图像每一块，在对应位置的低分辨率训练块集合中查找其近邻块；对于待处理低分辨率图像xin，假设在位置i上的块为低分辨率图像库设为X，X上在位置i的所以图像块记为Xi。在Xi上的K个近邻块，通过和Xi的每一个图像块差值的绝对值一一对比获得，差值绝对值最小的K个低分辨率图像块，作为的的近邻，记为S4：计算待处理低分辨率人脸图像块，每一块到近邻的形变场矩阵；S4中，每一个图像块的形变场矩阵[u,v]可通过待处理图像与之间通过以下方法计算得到：我们设p＝(x,y)为图像上像素p的坐标，设w(p)＝(u(p),v(p))是像素p点的流向量，我们只准许u(p)和v(p)是整数集。W(p)为在p的像素点的流向量，其中u(p)和v(p)分别代表该像素点在水平和垂直两个方向的位移场；让s1和s2表示与的SIFT特征。那么得到能量函数E(w)：E(w)=Σpmin(||s1(p)-s2(p+w(p))||1,t)+Σpη(|u(p)-u(p)|)+Σpmin(α|u(p)-u(p)|,d)+min(α|v(p)-v(p)|,d)]]>其中，第一行是数据项，表示的是让SIFT特征沿着像素p点的流向量w(p)来匹配；第二项是位移项，表示的是当没有其他信息可利用时，让流向量w(p)尽可能的小；第三项是平滑项，让相邻像素相似。在这个目标函数中，L1准则(绝对值相加)被用于第一行数据项和第三行平滑项当中，来计算匹配离群和流向量不连续，t和d分别作为阈值；η、α是平衡参数，根据经验赋值。通过最小化能量函数E(w)，我们可以得到形变场矩阵[u,v]。S5：根据形变场矩阵，计算每一个近邻块到对应待处理低分辨率人脸图像块的形变块；S5中，根据形变场矩阵，计算每一个近邻块到对应待处理低分辨率人脸图像块的形变块，具体过程为：我们通过引入[u,v]，让匹配低分辨率图像块获得到样本库中低分辨率图像块的映射关系，将这个关系定义为特征算子sf(·)，通过特征算子sf(·)，我们可以将匹配到样本库图像块形变至与输入图像块相似，则可得形变场[u,v]的表达式：[u,v]=sf(xini,Xki)]]>我们得到的形变矩阵[u,v]，根据高、低分辨率的图像块在流形空间中具有相似的一致性，那么我们则可以通过形变矩阵[u,v]，得到形变图像块Rk(i,j)，我们定义Deform(·)表示将的形变过程，则RkLi=Deform(Xki,[u,v])]]>对于训练样本库中的低分辨率图像块它形变后的图像块可表示为类似的，低分辨率图像块所对应的高分辨率图像块，它形变后的高分辨率图像块可表示为因此，本文引入SIFTFlow特征算子sf(·)，得到形变矩阵[u,v]。利用形变矩阵[u,v]形变图像块，可以得到与输入图像块更相似的形变图像块，使得样本库图像块的表达更加准确，增强样本库中样本的表达能力。S6：计算待处理图像块和近邻形变块之间的权重系数；具体的是低分辨率人脸图像的每一个图像块的每一个近邻图像块的权重系数步骤S6中，计算待处理图像块和近邻形变块之间的权重系数，具体过程如下：首先引入欧氏距离dk(i,j)：dki=||xini-Xki||2]]>即是输入低分辨率率图像块与训练样本中的低分辨率图像块的欧式距离。然后选取欧式距离近的K个高分辨率图像块进行形变，因此此时形变图像块可表示为：RkLi=Deform(Xki,[u,v]),1≤k≤K.]]>输入的低分辨率人脸图像块由样本训练集中K个距离最近的低分辨率形变图像块表示的最优表示权重w*(i,j)为：wi*=argminwi{||xini-Σk=1KRkLiwi||22+τΣk=1K[dkiwki]2},s.t.Σk=1Kwki=1]]>其中，是用样本库中的低分辨率形变图像块线性表示输入的低分辨率图像块的权重系数；wi是元素为的向量；τ是平衡参数，根据经验赋值。S7：将权重投影到高分辨率空间上，根据重建系数恢复图像块获得其对应的高分辨率人脸图像块步骤S7中，并将权重投影到高分辨率空间上，根据重建系数恢复图像块获得其对应的高分辨率人脸图像块具体过程为：对于重构出的目标高分辨率图像块它可由最近邻K个高分辨率形变图像块与它最优权重合成：youti=Σk=1KRkHiwki]]>其中，为对应的高分辨率样本。。S8：拼接高分辨率人脸图像块得高分辨率人脸图像。为验证本发明技术效果，使用中国人脸数据库CAS-PEAL进行验证。从中选择1040个人脸样本，分辨率是112*96，用仿射变换法对齐人脸。从人脸样本中选取40幅图像下采样4倍(分辨率为24*28)后加上0.015的高斯噪声后作为测试图像。将人脸样本剩余图像作为训练库，分别采用传统局部脸人脸超分辨率方法(方法1)、.数据驱动局部特征转换的噪声人脸幻构方法(方法2)、基于轮廓先验的鲁棒性人脸超分辨率处理方法(方法3)得到主观图像。从实验结果可知，方法1～3虽然比插值方法在分辨率上有所提升，但出现了较严重误差，与原始图像的相似度很低。方法2中的结果由于是全局脸架构，基于全局的方法往往具有细节恢复上的短板，所以在这方面稍逊于本发明方法。本发明方法所恢复图像的质量相比于方法1～3和双三次插值方法都有显著提高。表1展示了各图像对应的客观质量，包括PSNR(峰值信噪比)和SSIM值(结构相似性准则)。从表1中可以看出，本发明方法在恢复图像的客观质量上，也有较为明显的稳定提升。表1恢复图像客观质量的对比PSNR值SSIM值方法120.60770.6006方法221.88650.6711方法321.62260.6569本发明方法22.76220.7316本发明方法通过从原始低分辨率人脸图像中自动提取的大尺度边缘数据与原始尺度的图像特征进行组合，对低质量人脸图像进行恢复。实验结果从主观质量到客观质量均证明了本发明的有效性，即边缘数据的引入有效减弱了严重噪声对超分辨率重建的影响，自动提取的特征避免了人工干预带来的负面效果(如处理结果不稳定、不精确等问题)，从而提升了人脸超分辨率处理结果。本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属
技术领域：
的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。当前第1页1 2 3