一种基于双层流形约束的人脸超分辨率处理方法及系统的制作方法
【技术领域】
[0001] 本发明属于图像处理和图像恢复技术领域，具体涉及一种基于双层流形约束的人 脸超分辨率处理方法及系统。
【背景技术】
[0002] 人脸超分辨率技术是通过辅助训练库，学习高低分辨率对应关系，进而达到从已 有的低分辨率人脸图像中估计出高分辨率人脸图像的目的。人脸超分辨率现在被广泛应用 于多个领域，其中最具代表性的领域之一就是监控录像中的人脸图像增强。随着监控系统 的广泛普及，监控视频在刑事取证和刑侦调查过程中发挥着越来越重要的作用。而人脸图 像作为直接证据之一，在案件分析和法庭取证中占据着重要的位置。然而，由于现有条件 下，目标嫌疑人与摄像头距离相对较远，捕捉到的监控人脸可用像素非常少，兼之真实情况 下由于恶劣天气（例如：雨雾）、光照（例如:光照过强、过暗、明暗不均）、器件等因素对捕获 的图像引发的严重损毁(例如:严重的模糊和噪声），图像恢复、放大和辨识往往受到严重的 干扰。这就需要用到人脸超分辨率技术提升图像分辨率，从低分辨率图像恢复到高分辨率 图像。
[0003] 为达到监控视频人脸的有效恢复，改进算法甚至牺牲效率来换取算法的有效性和 易用性还是很有必要的（人脸对齐、大图像库引起的）。具体做法除了引入有效计算工具和 数据利用形式之外，还可以通过提出新的理论假设及约束模式解决这种问题。
[0004] 近年来，流形学习逐渐成为了人脸超分辨率的主流方法。这类方法的核心思想是： 描述低分辨率图像的流形空间关系，寻找出每个低分辨率图像数据点周围的局部性质，然 后将低分辨率图像的流形非线性地映射到高分辨率图像的流形空间中，在高分辨率对应空 间上做投影，从而合成高分辨图像。具有代表性的有以下几种方法:2004年，Chang等首次将 流形学习法引入图像超分辨率重构中，提出了一种邻域嵌入的图像超分辨率重构法(文献 [lDdung Won Park提出一种基于局部保持投影的自适应流形学习方法(文献[2])，从局 部子流形分析人脸的内在特征，重构出低分辨率图像缺失的高频成分。2005年，Wang提出一 种基于PCA(Principal component analysis，主成分分析)分解的方法(文献[3])，把低分 辨率待处理图像用低分辨率空间的主成分的线性组合表示，投影系数到对应的高分辨率主 成分空间获得最终结果。该方法对早上具有较好的鲁棒性，但是仍然在结果图像的边缘存 在鬼影、混叠的现象。2010年，Huang提出基于CCA(Canonical Correlation Analysis)的方 法(文献[4])，通过将PCA空间延伸至CCA空间，进一步解决了这个问题。同年，Lan针对监控 环境下严重的模糊和噪声导致的图像像素损毁严重的问题，提出一种基于形状约束的人脸 超分辨率方法(文献[5])，在传统PCA架构中添加形状约束作为相似度度量准则，利用人眼 睛识别形状时对干扰的鲁棒性来人工添加形状特征点作为约束，优化低质量图像的重建结 果。综上所述，现有的这些方法大多仅按照传统的技术思路以图像块本身的子空间信息作 为目标学习库进行高低分辨率关系学习，这种一对一的学习过程作为算法基础。只考虑了 待处理图像块是处在一个流行空间中的，忽略了所有在库的图像块都是处于流行空间中的 情况。因此虽然在处理一般环境下低质量图像的过程中，可以得到不错的效果。但是图像质 量很低的时候，像素会遭到严重的毁坏混叠，图像本身的子空间信息因此很容易遭到损坏， 用传统方法恢复出来的图像，效果并不令人满意。
[0005] [文献 1 ]H· Chang，D ·-Y · Yeung，and Y · Xiong，"Super-resolution through neighbor embedding，'，in Proc. IEEE Conf.Comput.Vis.Pattern Recog·，Jul·2004， pp.275-282.
[0006] [文献2]Sung Won Park，Savvides，M. "Breaking the Limitation of Manifold Analysis for Super-Resolution of Facial Images"，ICASSP，pp:573-576，2007·
[0007] [文南犬3 ]Xiaogang Wang and Xiaoou Tang，"Hal lucinating face by eigentransformation，'，Systems，Man，and Cybernetics ,Part C:Applications and Reviews,IEEE Transactions on,vol.35,no.3,pp.425-434,2005.
[0008] [文南犬4]Hua Huang，Hui t ing He , Xin Fan , and JunpingZhang，"Super-resolution of human face image using canonical correlation analysis/'Pattern Recognition, vo 1.43 ,no. 7 ,pp. 2532-2543,2010
[0009] [文南犬5]C Lan，R Hu，Z Han，A face super-resolution approach using shape semantic mode regularization.IEEE International Conference on Image Processing(ICIP),2021-2024,26-29Sept.2010.
【发明内容】
[0010] 为了解决上述技术问题，本发明提供了一种基于双层流形约束的人脸超分辨率处 理方法及系统，尤其适用于低质量监控视频中人脸图像的恢复。
[0011] 本发明的方法所采用的技术方案是:一种基于双层流形约束的人脸超分辨率处理 方法，其特征在于，包括以下步骤：
[0012] 步骤1:构建训练库，所述训练库包含高分辨率人脸图像库及其对应的低分辨率人 脸图像库；
[0013] 取归一化的清晰人脸图像若干作为高分辨率图像库，将高分辨率图像库经过统一 下采样过程得到低分辨率图像库；
[0014] 步骤2:采用相同的分块方式将待处理低分辨率人脸图像和训练库中图像划分为 具交叠部分的图像块，所述图像块为正方形，其边长为psize;
[0015] 步骤3:对分块后的待处理低分辨率人脸图像中每一图像块，在对应位置的训练库 中低分辨率训练块集合中查找其近邻块，称为直接近邻，或者一层近邻；
[0016] 步骤4:对分块后的待处理低分辨率人脸图像中每一图像块，查找其二层近邻;其 具体实现包括以下子步骤：
[0017] 步骤4.1:根据高低分辨率对应关系，查找得到低分辨率图像块直接近邻在训练库 中高分辨率训练块集合中的对应块；
[0018] 步骤4.2:然后在高分辨率人脸图像库中，找到这些对应块的近邻，记下标号，称之 为二层近邻，或者间接近邻；
[0019] 步骤4.3:将高分辨率人脸图像库中的二层近邻标号投影到低分辨率人脸图像库 中，作为待处理低分辨率图像块的二层近邻；
[0020] 步骤5:计算待处理低分辨率人脸图像中图像块的一层近邻和二层近邻之间，在低 分辨率人脸图像库中的权重系数；
[0021] 步骤6:计算待处理低分辨率人脸图像中图像块和一层近邻之间，在低分辨率人脸 图像库中的权重系数；
[0022] 步骤7:利用约束公式，计算待处理低分辨率人脸图像中图像块和二层近邻之间的 权重；
[0023] 步骤8:取步骤7中低分辨率二层近邻所对应的高分辨率二层近邻，将步骤7中所获 得的权重与高分辨率二层近邻相乘，获得待处理低分辨率人脸图像中的图像块的高分辨率 图像块；
[0024]步骤9:拼接所有高分辨率人脸图像块，得高分辨率人脸图像。
[0025] 作为优选，步骤1中所述构建训练库，是将高分辨率人脸图像库中高分辨率人脸图 像位置对齐，并进行降质处理，得对应的低分辨率人脸图像库，高分辨率人脸图像库和低分 辨率人脸图像库构成训练库。
[0026] 作为优选，步骤2中采用相同的分块方式将待处理低分辨率人脸图像和训练库中 图像划分为具交叠部分的图像块，首先使待处理低分辨率人脸图像与训练库中图像大小相 同，且位置对齐。
[0027] 作为优选，所述位置对齐是采用仿射变换法进行位置对齐。
[0028] 作为优选，步骤3的具体实现过程是，对于待处理低分辨率人脸图像χιη，假设在位 置i上的图像块为低分辨率人脸图像库设为X，X上在位置i的所有图像块记为X 1;竑在X1 上的K1个一层近邻块，K1