对待处理低分辨率人脸图像Χιη进行特征点标注，最后采用步骤S1中记载的仿射变换法 使待处理低分辨率人脸图像 Xln与平均脸位置对齐。这样，使得训练库中人脸图像和待处理 低分辨率人脸图像Xln在尺寸、眉毛高度处于相同的水平。若待处理低分辨率人脸图像 Xln采 集时光线不足，则可对位置对齐后的待处理低分辨率人脸图像Xln进行自动亮度对比度调 整，使其与训练库中低分辨率人脸图像处于相近亮度水平。
[0076] 步骤2:采用相同的分块方式将待处理低分辨率人脸图像和训练库中图像划分为 具交叠部分的图像块，所述图像块为正方形，其边长为psize;
[0077] 本步骤中，将训练库中各图像均划分为N个正方形图像块；同时，将待处理低分辨 率人脸图像Χιη也划分为N个图像块。采用图像块集表示相应的人脸图像，待估高分辨率人脸 图像将通过对待处理低分辨率人脸图像χ ιη的图像块恢复获得。将待处理低分辨率人脸 图像χιη、待估高分辨率人脸图像y〇ut、训练库中低分辨率人脸图像X、训练库中高分辨率人脸 图像Y的图像块集分别记为?[..ct、_1.<}二、i表示图像块编号， 4、J4f、χ?、允分别表示待处理低分辨率人脸图像χιη、待估计高分辨率人脸图像y0 ut、 训练库中低分辨率人脸图像Xs、训练库中高分辨率人脸图像ys中的第i个图像块。
[0078]见图2,对人脸图像进行分块的主要依据是局部流形的思想，即人脸图像是一类特 殊图像，这些图像具有特定的结构意义，比如在某个位置上所有的小块都是眼睛、或者某个 位置上都是鼻子，也就是说图像中每一个位置的局部小块都处于一个特定的局部几何流形 当中。为保证这个局部流形，需要将图像分为若干正方形的图像块。图像块的大小需要有合 适尺寸，若分块太大，则会由于微小的对齐问题引起重影现象;若分块太小，会模糊、淡化每 个小块的位置特征。此外，还需要选择图像块之间交叠块的尺寸。因为如果简单的将图像分 为不含交叠块的若干正方形小块，那么这些正方形块与块之间会因为不兼容问题出现网格 效应。而且人脸图像并不总是正方形，那么交叠块的尺寸选择需要注意使得图像尽可能充 分的分块。
[0079]将图像块尺寸记为psizeXpsize，相邻图像块间交叠部分的宽记为d，将图像块所 在位置表示为(j，k)，则有：
[0081 ] 其中，height和width分别为人脸图像的高和宽。实施例中，psize取2，d取8。
[0082] 步骤3:对分块后的待处理低分辨率人脸图像中每一图像块，在对应位置的训练库 中低分辨率训练块集合中查找其近邻块，称为直接近邻，或者一层近邻；
[0083] 对于待处理低分辨率人脸图像χιη，假设在位置i上的图像块为4;低分辨率人脸图 像库设为X，X上在位置i的所有图像块记为XS4在f上的K1个一层近邻块，K1代表 <在々 上的一层近邻块个数，通过4和X1的每一个图像块差值的绝对值一一对比获得，差值绝对 值最小的K1个低分辨率图像块，作为的的一层近邻，记为x('。
[0084] 步骤4:对分块后的待处理低分辨率人脸图像中每一图像块，查找其二层近邻;其 具体实现包括以下子步骤：
[0085] 步骤4.1:根据高低分辨率对应关系，查找得到低分辨率图像块直接近邻在训练库 中高分辨率训练块集合中的对应块；
[0086] 步骤4.2:然后在高分辨率人脸图像库中，找到这些对应块的近邻，记下标号，称之 为二层近邻，或者间接近邻；
[0087] 步骤4.3:将高分辨率人脸图像库中的二层近邻标号投影到低分辨率人脸图像库 中，作为待处理低分辨率图像块的二层近邻；
[0088]步骤5:计算待处理低分辨率人脸图像中图像块的一层近邻和二层近邻之间，在低 分辨率人脸图像库中的权重系数;其中权重系数是通过一层近邻Χ?与二层近邻间绝对 值平方距离、RBF距离或高斯距离获得，记作< ;
[0089]步骤6:计算待处理低分辨率人脸图像中图像块和一层近邻之间，在低分辨率人脸 图像库中的权重系数;其中权重系数是通过待处理图像块4与一层近邻勾间绝对值平方 距离、RBF距离或高斯距离获得，记作辦;且《丨与#获取方式相同。
[0090] 步骤7:利用约束公式，计算待处理低分辨率人脸图像中图像块和二层近邻之间的 权重；
[0091] 首先建立目标函数：
[0092]
[0093] 其中<表示待处理图像4到t之间的权重系数，也是该目标函数的求取目标；< 表示对?[进行K2倍的拉伸，K2代表每一个一层近邻元素拥有的二层近邻个数，拉伸多出来 的部分是对4中原有数值进行复制;a，b，A， T表示目标函数的平衡系数，经验值决定，初始 值设置为l;d表示对角方阵，对角线的值为4到间的欧式距离；
[0094] 对上述目标函数对4求导，得到：
[0098] 将重建系数4使用到高分辨率人脸图像库，得到图像块4对应的高分辨率图像块 = K表示近邻集中图像块在高分辨率人脸图像库Y中对应的图像块。
[0099] 步骤8:取步骤7中低分辨率二层近邻所对应的高分辨率二层近邻，将步骤7中所获 得的权重与高分辨率二层近邻相乘，获得待处理低分辨率人脸图像中的图像块的高分辨率 图像块；
[0100] 将重建系数4使用到高分辨率人脸图像库，得到图像块<对应的高分辨率图像块 =垮砵，K表示近邻集X丨中图像块在高分辨率人脸图像库Y中对应的图像块。
[0101] 以此，通过将权重投影到高分辨率空间上，根据重建系数恢复图像块·4,获得其对 应的高分辨率人脸图像块34:
[0102] 步骤9:拼接所有高分辨率人脸图像块，得高分辨率人脸图像。
[0103] 为验证本发明技术效果，使用中国人脸数据库CAS-PEAL进行验证。从中选择510个 人脸样本，分辨率是112*96,用仿射变换法对齐人脸。从人脸样本中选取40幅图像下采样4 倍(分辨率为24*28)后加上0.015的高斯噪声后作为测试图像。将人脸样本剩余图像作为训 练库，使用双三次插值方法将测试图像放大4倍得到主观图像;分别采用传统局部脸人脸超 分辨率方法(方法1 )、[文献4]中的方法Lan(方法2)、[文献5]中的基于轮廓先验的鲁棒性人 脸超分辨率处理方法(方法3)得到主观图像。
[0104] 从实验结果可知，方法1~3虽然比插值方法在分辨率上有所提升，但出现了较严 重误差，与原始图像的相似度很低。方法2中的结果由于是全局脸架构，基于全局的方法往 往具有细节恢复上的短板，所以在这方面稍逊于本发明方法。本发明方法所恢复图像的质 量相比于方法1~3和双三次插值方法都有显著提高。
[0105] 表1展示了各图像对应的客观质量，包括PSNR(峰值信噪比）和SS頂值(结构相似性 准则）。从表1中可以看出，本发明方法在恢复图像的客观质量上，也有较为明显的稳定提 升。
[0106] 表1恢复图像客观质量的对比
[0108] 本发明方法通过从原始低分辨率人脸图像中自动提取的大尺度边缘数据与原始 尺度的图像特征进行组合，对低质量人脸图像进行恢复。实验结果从主观质量到客观质量 均证明了本发明的有效性，即边缘数据的引入有效减弱了严重噪声对超分辨率重建的影 响，自动提取的特征避免了人工干预带来的负面效果(如处理结果不稳定、不精确等问题）， 从而提升了人脸超分辨率处理结果。
[0109] 本发明还提供了一种基于双层流形约束的人脸超分辨率处理系统，包括训练库构 建模型、分块模块、一层近邻获取模块、二层近邻获取模块、一层近邻和二层近邻的权重系 数计算模块、待处理图像块和一层近邻的权重系数计算模块、待处理图像块和二层近邻的 权重系数计算模块、高分辨率图像块生成模块、拼接模块；
[0110] 所述训练库构建模型，用来构建包含高分辨率人脸图像库及其对应的低分辨率人 脸图像库的训练库；
[0111] 所述分块模块，用来采用相同的分块方式将待处理低分辨率人脸图像和训练库中 图像划分为具交叠部分且边长为psize的正方形图像块；
[0112] 所述一层近邻获取模块，用来对待处理低分辨率人脸图像每一块，在对应位置的 低分辨率训练块集合中查找其近邻块；
[0113] 所述二层近邻获取模块，用来处理低分辨率人脸图像的一层近邻，查找一层近邻 的近邻集合;所述二层近邻获取模块进一步包括子模块：
[0114] 第一子模块，用来低分辨率人脸图像在低分辨率人脸图像库中查找到的一层近 邻，将其对应到高分辨率空间中，得到低分辨率人脸图像在高分辨率人脸图像库中的一层 近邻；
[0115] 第二子模块，用来为低分辨率人脸图像在高分辨率人脸图像库中的所有一层近 邻，查找在高分辨率人脸图像库中的所有近邻，记下近邻标号，作为低分辨率输入的二层近 邻标号；
[0116] 第三子模块，将高分