基于反向流形约束的鲁棒性人脸超分辨率处理方法及系统的制作方法
【技术领域】
[0001] 本发明涉及图像处理和图像恢复技术领域，具体涉及一种基于反向流形约束的鲁 棒性人脸超分辨率处理方法及系统。
【背景技术】
[0002] 人脸超分辨率技术是通过辅助训练库，学习高低分辨率对应关系，进而达到从已 有的低分辨率人脸图像中估计出高分辨率人脸图像的目的。人脸超分辨率现在被广泛应用 于多个领域，其中最具代表性的领域之一就是监控录像中的人脸图像增强。随着监控系统 的广泛普及，监控视频在刑事取证和刑侦调查过程中发挥着越来越重要的作用。而人脸图 像作为直接证据之一，在案件分析和法庭取证中占据着重要的位置。然而，由于现有条件 下，目标嫌疑人与摄像头距离相对较远，捕捉到的监控人脸可用像素非常少，兼之真实情况 下由于恶劣天气（例如：雨雾）、光照（例如：光照过强、过暗、明暗不均）、器件等因素对捕 获的图像引发的严重损毁（例如：严重的模糊和噪声），图像恢复、放大和辨识往往受到严 重的干扰。这就需要用到人脸超分辨率技术提升图像分辨率，从低分辨率图像恢复到高分 辨率图像。
[0003] 近年来，流形学习逐渐成为了人脸超分辨率的主流方法。这类方法的核心思想是： 描述低分辨率图像的流形空间关系，寻找出每个低分辨率图像数据点周围的局部性质，然 后将低分辨率图像的流形非线性地映射到高分辨率图像的流形空间中，在高分辨率对应空 间上做投影，从而合成高分辨图像。具有代表性的有以下几种方法：2004年，Chang[1]等首 次将流形学习法引入图像超分辨率重构中，提出了一种邻域嵌入的图像超分辨率重构法。 SungWonPark[2]提出一种基于局部保持投影的自适应流形学习方法，从局部子流形分析 人脸的内在特征，重构出低分辨率图像缺失的高频成分。2005年，Wang[3]提出一种基于 PCA(Principalcomponentanalysis，主成分分析）分解的方法，把低分辨率待处理图像用 低分辨率空间的主成分的线性组合表示，投影系数到对应的高分辨率主成分空间获得最终 结果。该方法对噪声具有较好的鲁棒性，但是仍然在结果图像的边缘存在鬼影、混叠的现 象。2014年，Dong[4]提出基于局部特征分解的人脸超分辨率方法，通过局部空间采用主成 分分析的方法，将全局空间的结果分解到，间延伸至CCA空间，进一步解决了这个问题。同 年，Lan[5]针对监控环境下严重的模糊和噪声导致的图像像素损毁严重的问题，提出在传统 PCA架构中添加形状约束作为相似度度量准则，利用人眼睛识别形状时对干扰的鲁棒性来 人工添加形状特征点作为约束。
[0004] 综上所述，现有的这些流形方法大多仅按照传统的技术思路以低分辨率空间的信 息为基础，而相比较高分辨率空间而言，低分辨率空间的建立本身已经丢失了非常多的信 息，缺乏针对性的筛选和有效约束。因此恢复出的图像包含有较多的信息偏差，当待处理图 像含有较严重的毁坏混叠时，图像恢复效果并不令人满意。
[0005] 文中涉及如下参考文献：
[0006] [1]H.Chang,D. -Y.Yeung,andY.Xiong,αSuper-resolutionthroughneighbor embedding,'，inProc.IEEEConf.Comput.Vis.PatternRecog. ,Jul. 2004,pp. 275 - 282.
[0007] [2]SungWonPark,Savvides,M.^BreakingtheLimitationofManifold AnalysisforSuper-ResolutionofFacialImages"，ICASSP,pp:573-576, 2007.
[0008] [3]XiaogangWangandXiaoouTang,"Hallucinatingfacebyeigentrans formation,'，Systems,Man,andCybernetics,PartC:ApplicationsandReviews,IEEE Transactionson,vol. 35,no. 3,pp. 425 - 434, 2005.
[0009] [4]XiaohuiDong,RuiminHu,JunjunJiang,ZhenHan,Liang Chen,andGeGao,NoiseFaceImageHallucinationviaData-DrivenLocal Eigentransformation,SpringerInternationalPublishing, 2014.
[0010] [5]CLan,RHu,ZHan,Afacesuper-resolutionapproachusingshape semanticmoderegularization.IEEEInternationalConferenceonImage Processing(ICIP), 2021 - 2024, 26-29Sept. 2010.
【发明内容】
[0011] 针对现有技术存在的问题，本发明提供了一种基于反向流形约束的鲁棒性人脸超 分辨率处理方法及系统，尤其适用于损毁严重的人脸图像恢复。
[0012] 为了解决上述技术问题，本发明采用如下的技术方案：
[0013] -、一种基于反向流形约束的鲁棒性人脸超分辨率处理方法，包括：
[0014]S1构建包含高分辨率人脸图像库及其对应的低分辨率人脸图像库的训练库；
[0015]S2采用相同的分块方式将待处理低分辨率人脸图像和训练库中图像划分为具交 叠部分的正方形图像块；划分待处理低分辨率人脸图像所得图像块称为待处理图像块，划 分训练库中高分辨率人脸图像和低分辨率人脸图像所得图像块分别称为高分辨率图像块 和低分辨率图像块；对高分辨率图像块和低分辨率图像块分别编号，并使高分辨率图像块 和其对应的低分辨率图像块编号相同；
[0016]S3在训练库中找寻各高分辨率图像块少f在欧式空间的K近邻高分辨率图像块，该 K近邻高分辨率图像块的编号集为得对应的低分辨率图像块彳的高分辨率局部流 行空间{χΓ?#和低分辨率局部流行空间·(#1胃,，K为经验值，Pl表示高分辨率图像块 和低分辨率图像块的编号；
[0017]S4在训练库中找寻各待处理图像块xf在欧式空间的K'近邻低分辨率图像块，各 κ'近邻低分辨率图像块的高分辨率局部流行空间和低分辨率局部流行空间构成.yf的局部 流行空间，根据<的局部流行空间构建投影矩阵；κ'为经验值，与κ相等或不相等；
[0018]S5 :采用投影矩阵恢复对应的待处理图像块，获得待估图像块；
[0019]S6 :拼接待估图像块得待估高分辨率人脸图像。
[0020]S1具体为：
[0021] 将高分辨率人脸图像库中高分辨率人脸图像位置对齐，并进行降质处理，得对应 的低分辨率人脸图像库，高分辨率人脸图像库和低分辨率人脸图像库构成训练库；
[0022] 同时，在S2之前，使待处理低分辨率人脸图像与训练库中图像大小相同，且位置 对齐。
[0023] 所述的位置对齐采用仿射变换法将进行位置对齐。
[0024] S5中所获得待估图像块J'f ，其中，彳表示待处理图像块，Mp表示彳的投 影矩阵。
[0025] 二、一种基于反向流形约束的鲁棒性人脸超分辨率处理系统，包括：
[0026]训练库构建模块，用来构建包含高分辨率人脸图像库及其对应的低分辨率人脸图 像库的训练库；
[0027]图像块划分模块，用来采用相同的分块方式将待处理低分辨率人脸图像和训练库 中图像划分为具交叠部分的正方形图像块；划分待处理低分辨率人脸图像所得图像块称为 待处理图像块，划分训练库中高分辨率人脸图像和低分辨率人脸图像所得图像块分别称为 高分辨率图像块和低分辨率图像块；对高分辨率图像块和低分辨率图像块分别编号，并使 高分辨率图像块和其对应的低分辨率图像块编号相同；
[0028]局部流行空间建立模块，用来在训练库中找寻各高分辨率图像块在欧式空间 的κ近邻高分辨率图像块，该κ近邻高分辨率图像块的编号集为MMlvf对应的低分辨率 图像块彳的高分辨率局部流行空间·[# 和低分辨率局部流行空间:，K为经 验值，P1表示高分辨率图像块和低分辨率图像块的编号；
[0029] 投影矩阵构建模块，用来在训练库中找寻各待处理图像块<在欧式空间的K'近 邻低分辨率图像块，各K'近邻低分辨率图像块的高分辨率局部流行空间和低分辨率局部 流行空间构成4的局部流行空间，根据<