一种基于上下文线性模型的人脸超分辨率处理方法及系统的制作方法
【技术领域】
[0001] 本发明属于图像处理和图像恢复技术领域，具体设及一种基于上下文线性模型约 束的人脸超分辨率处理方法及系统。
【背景技术】
[0002] 人脸超分辨率技术是通过辅助训练库，学习高低分辨率对应关系，进而达到从已 有的低分辨率人脸图像中估计出高分辨率人脸图像的目的。人脸超分辨率现在被广泛应用 于多个领域，其中最具代表性的领域之一就是监控录像中的人脸图像增强。随着监控系统 的广泛普及，监控视频在刑事取证和刑侦调查过程中发挥着越来越重要的作用。而人脸图 像作为直接证据之一，在案件分析和法庭取证中占据着重要的位置。然而，由于现有条件 下，目标嫌疑人与摄像头距离相对较远，捕捉到的监控人脸可用像素非常少，兼之真实情况 下由于恶劣天气（例如：雨雾）、光照（例如:光照过强、过暗、明暗不均）、器件等因素对捕获 的图像引发的严重损毁(例如:严重的模糊和噪声），图像恢复、放大和辨识往往受到严重的 干扰。运就需要用到人脸超分辨率技术提升图像分辨率，从低分辨率图像恢复到高分辨率 图像。
[0003] 近年来，流形学习逐渐成为了人脸超分辨率的主流方法。运类方法的核屯、思想是： 描述低分辨率图像的流形空间关系，寻找出每个低分辨率图像数据点周围的局部性质，然 后将低分辨率图像的流形非线性地映射到高分辨率图像的流形空间中，在高分辨率对应空 间上做投影，从而合成高分辨图像。具有代表性的有W下几种方法:2004年，化ang等首次将 流形学习法引入图像超分辨率重构中（[文献1])，提出了一种邻域嵌入的图像超分辨率重 构法。Sung Won化rk提出一种基于局部保持投影的自适应流形学习方法（[文献2])，从局 部子流形分析人脸的内在特征，重构出低分辨率图像缺失的高频成分。2005年，Wang提出一 种基于PCA(P;rincipal component analysis,主成分分析)分解的方法（[文献3])，把低分 辨率待处理图像用低分辨率空间的主成分的线性组合表示，投影系数到对应的高分辨率主 成分空间获得最终结果。该方法对早上具有较好的鲁棒性，但是仍然在结果图像的边缘存 在鬼影、混叠的现象。2010年，Huang提出基于CCA(Canonical Correlation Analysis)的方 法（[文献4])，通过将PCA空间延伸至CCA空间，进一步解决了运个问题。同年，Lan针对监控 环境下严重的模糊和噪声导致的图像像素损毁严重的问题，提出一种基于形状约束的人脸 超分辨率方法（[文献5])，在传统PCA架构中添加形状约束作为相似度度量准则，利用人眼 睛识别形状时对干扰的鲁棒性来人工添加形状特征点作为约束，优化低质量图像的重建结 果。综上所述，现有的运些方法大多仅按照传统的技术思路W图像块本身的子空间信息作 为目标学习库进行高低分辨率关系学习，运种一对一的学习过程作为算法基础。只考虑了 待处理图像块是处在一个流行空间中的，忽略了所有在库的图像块都是处于流行空间中的 情况。因此虽然在处理一般环境下低质量图像的过程中，可W得到不错的效果。但是图像质 量很低的时候，像素会遭到严重的毁坏混叠，图像本身的子空间信息因此很容易遭到损坏， 用传统方法恢复出来的图像，效果并不令人满意。
[0004] [文献 1]H.化ang,D.-Y. Yeung,and Y.Xiong, "S叩er-resolution through neighbor embedding,"in Proc. IEEE Conf.Comput.Vis.Pattern Recog.,Jul.2004, pp.275-282.
[0005] [文献2]Sung Won Park,Savvides,M."化eaking the Limitation of Manifold Analysis for Super-Resolution of Facial Images",ICASSP,pp:573-576,2007.
[0006] [文南犬 3 ]Xiaogang Wang and Xiaoou Tang, ''Hallucinating face by eigentransformation Systems ,Man ,and Cybernetics ,Part C: Applications and Reviews, IEEE Transactions on,vol.35,no.3,pp.425-434,2005.
[0007] [文南犬 4]Hua Huan 邑，Hui t in 邑 He,Xin Fan,and Junpin 邑 Zhan 邑，"Super-resolution of human face image using canonical correlation analysis,''Pattern Recognition,vol.43,no.7,pp.2532-2543,2010/'
[0008] [文南犬5]C Lan,R Hu,Z Han,A face super-resolution approach using shape semantic mode regularization.IEEE International Conference on Image Processing!； ICIP), 2021-2024,26-29Sept. 2010.
【发明内容】
[0009] 为了解决上述技术问题，本发明提供了一种基于上下文线性模型约束的人脸超分 辨率处理方法及系统，尤其适用于低质量监控视频中人脸图像的恢复。
[0010] 本发明的方法所采用的技术方案是:一种基于上下文线性模型的人脸超分辨率处 理方法，其特征在于，包括W下步骤：
[0011] 步骤1:构建训练库，所述训练库包含高分辨率人脸图像库及其对应的低分辨率人 脸图像库；
[0012] 取归一化的清晰人脸图像若干作为高分辨率图像库，将高分辨率图像库经过统一 下采样过程得到低分辨率图像库；
[0013] 步骤2:采用相同的分块方式将待处理低分辨率人脸图像和训练库中图像划分为 具交叠部分的图像块，纵轴方向得到U个图像块，横轴方向得到V个图像块;所述图像块为正 方形，其边长为psize;u = ceil( (r〇w-dd)/(psize-dd)) ,V= = ceil( (column-dd)/(psize-dd))，其中ceil(.)代表取整操作，dd是交叠像素数目，row是图像的长，column是图像的宽；
[0014] 步骤3:对待处理低分辨率人脸图像中的图像块X，确定其位置(i，j)，其中i = l，2， 3，...U，j = 1，2，3，... V;从待处理低分辨率人脸图像上，找到该图像块位于n近邻范围内的 邮邻块，邮邻块边长为PSize;通过计算(i，j)位置的图像块与邮邻块之间的相关性，确定该 邮邻块的权重，将权重与该邮邻块，作为新的邮邻块;对于低分辨率人脸图像库，在（i，j)位 置上的每一个在库图像块，W相同的方法确定其邮邻块；
[0015] 步骤4:用（i，j)位置的图像块的每一个邮邻块，辅助估计出对应的高分辨率(i，j) 位置的图像块;其具体实现过程包括W下子步骤：
[0016] 步骤4.1:对于待处理低分辨率的输入块，与权重的邮邻块做拼接;对于在低分辨 率人脸图像库的每一个(i，j)位置的图像块，与其权重的邮邻块做拼接，得到待处理低分辨 率拼接块；
[0017] 步骤4.2:在低分辨率人脸图像库中，查找得到待处理低分辨率拼接块的近邻；
[0018]步骤4.3:利用待处理低分辨率拼接块的近邻，线性权重表示出待处理低分辨率拼 接块；
[0019]其中权重
i其中Wpq,k是Wpq的第k个元 素，k取值为巧化，K为近邻最大个数;B(i,j)是待处理低分辨率拼接块：
是待处理低分辨率块，Xpq是义片山位于位置pq的邮邻块，q表示取近邻的个数，q=l，2，-'Nq; 化是最大邮邻位置个数，a表示Xpq和X(IJ)的相关性；瑪9,A是对应位置的在低分辨率人脸图 像库的拼接块
表示（i，j)位置的"低分辨率人脸图像库"中的图像 块，k=l，2，...K，K表示近邻总数；&表示皆。在p