专利名称：一种基于轮廓先验的鲁棒性人脸超分辨率处理方法
技术领域：
本发明涉及图像处理(图像恢复)领域，针对低质量监控视频中人脸图像恢复的需求，具体涉及一种基于轮廓先验的鲁棒性人脸超分辨率处理方法。
背景技术：
人脸超分辨率技术是通过从已有的低分辨率人脸图像中估计出高分辨率人脸图像。随着监控系统的快速发展，监控系统在刑事侦查行业中，发挥着越来越重要的作用，如安全防范、录像取证和犯罪调查等等。其中人脸图像作为直接证据之一，在案件分析和法庭取证中占据着重要的位置。然而，由于现有条件下，目标物体与摄像头距离相对较远，捕捉到的监控人脸可用像素非常少，像素分辨率非常低，兼之真实情况下由于恶劣天气(雨雾)、 光照(过强、过暗、明暗不均)、器件等因素都会对捕获的图像引发的严重损毁(如严重的模糊和噪声)，图像恢复、放大和辨识往往受到严重的干扰。这就需要用到人脸超分辨率的技术提升图像分辨率，从低分辨率图像恢复到高分辨率图像。
近年来，流形学习逐渐成为了人脸超分辨率的主流方法。这类方法的核心思想是 描述低分辨率图像的流形空间关系，寻找出每个低分辨率图像数据点周围的局部性质，然后将低分辨率图像的流形非线性地映射到高分辨率图像的流形空间中，在高分辨率对应空间上做投影，从而合成高分辨图像。具有代表性的有以下几种方法。2004年，Chang[l]等首次将流形学习算法引入到图像超分辨率重构中，提出了一种邻域嵌入的图像超分辨率重构算法。CeLiu[2]利用流形学习理论提出一种人脸图像超分辨率重构的两步法，先根据局部保持投影和径向基函数回归得到全局的人脸图像，再由基于局部重建的方法补偿人脸特征的细节信息。SungWon Park[3]提出一种基于局部保持投影的自适应流形学习方法，从局部子流形分析人脸的内在特征，重构出低分辨率图像缺失的高频成分。综上所述，现有的这些方法大多仅按照传统的技术思路以图像像素值、图像梯度值等单一的差异作为人脸相似度准则和算 法基础，在处理一般环境下低质量图像的过程中，可以得到不错的效果，但是图像质量很低的时候，像素会遭到严重的毁坏混叠，用来表示图像的特征因此很容易遭到损坏，用传统方法恢复出来的图像，效果并不令人满意。
2010年，Lan[4]针对监控环境下严重的模糊和噪声导致的图像像素损毁严重的问题，提出一种基于形状约束的人脸超分辨率方法，在传统PCA架构中添加形状约束作为相似度度量准则，利用人眼睛识别形状时对干扰的鲁棒性来人工添加形状特征点作为约束，优化低质量图像的重建结果。该方法一定程度上缓解了严重像素损毁对于重建结果的干扰，但是该方法中人工干预获得特征的过程具有较大的偶然性，难以保证恢复结果精确度和稳定性。
[I] H. Chang, D. -Y. Yeung, andY. Xiong, ^ Super-re so Iut ion through neighbor embedding, ” in Proc.1EEE Conf. Comput. Vis. Pattern Recog. , Jul. 2004, pp. 275 - 282.
[2] C. Liu, H. Shum, and W. T. Freeman. "Face hallucination: Theory and practice' InternationalJournal of Computer Vision, 75(1) :115 - 134, 2007.
[3] Sung Won Park, Savvides, M. ^Breaking the Limitation of Manifold Analysis forSuper-Resolution ofFacial Images", ICASS P,pp:573-576,2007.
[4]C Lan, R Hu, Z Han, A face super-resolution approach using shape semantic mode regularization.1EEE International Conference on Image Processing(ICIP), 2021 - 2024，26_29Sept. 2010.发明内容
本发明的目的在于针对上述现有技术的问题，提供一种鲁棒性的人脸超分辨率方法，在监控环境下人脸图像损毁严重时，显著提高人脸恢复图像的视觉感受。
本发明的技术方案为一种基于轮廓先验的鲁棒性人脸超分辨率处理方法，包括以下步骤
步骤1，将高分辨率人脸图像库1中所有高分辨率人脸图像位置对齐，提取与高分辨率人脸图像库Ys对应的低分辨率人脸图像库Xs和人脸轮廓图像库Cs ；
步骤2，将输入的原始低分辨率人脸图像与高分辨率人脸图像库Ys中高分辨率人脸图像位置对齐，获取待处理的低分辨率人脸图像Xt，提取对应轮廓图像ct，待估计的对应高分辨率人脸图像记为It ;
步骤3，将图像分块，所述图像包括高分辨率人脸图像库Ys、低分辨率人脸图像库 Xs、人脸轮廓图像库Cs中的所有图像和低分辨率人脸图像xt、对应轮廓图像Ct，设高分辨率人脸图像库Ys、低分辨率人脸图像库Xs和人脸轮廓图像库Cs中的每副图像划分为Ns个图像块，低分辨率人脸图像xt、对应轮廓图像ct分别划分为Nt个图像块，Ns=Nt ；
步骤4，生成重建系数wqp，实现方式如下，
设一幅图像中的某图像块标记为P，P的取值为1，2，…凡；
将低分辨率人脸图像库Xs中某幅低分辨率人脸图像Xs中相同位置的图像块<和人脸轮廓图像库Cs中相应轮廓图像Cs相同位置的图像块Cf分别拉成列向量后首尾做拼接组合，组成一个新的图像块单元，对低分辨率人脸图像库Xs中所有低分辨率人脸图像中图像块Xf分别处理得到的图像块单元构成集合;将低分辨率人脸图像Xt和轮廓图像Ct 的相同位置图像块f Cf分别拉成列向量后首尾做拼接组合，组成一个新的图像块单元并记为；
对图像块单元Y汁算出集合中的前K个欧式空间上最相似的图像块单元， 构成近邻集合N ;设块集合N中K个图像块单元的相应权重系数标记为wqp, q的取值为1，2，…K，通过最小化误差ε ’，得到最优的重建系数wqp，2
其中，
权利要求
1.一种基于轮廓先验的鲁棒性人脸超分辨率处理方法，其特征在于，包括以下步骤 步骤1，将高分辨率人脸图像库1中所有高分辨率人脸图像位置对齐，提取与高分辨率人脸图像库Ys对应的低分辨率人脸图像库Xs和人脸轮廓图像库Cs ； 步骤2，将输入的原始低分辨率人脸图像与高分辨率人脸图像库Ys中高分辨率人脸图像位置对齐，获取待处理的低分辨率人脸图像xt，提取对应轮廓图像ct，待估计的对应高分辨率人脸图像记为It ； 步骤3，将图像分块，所述图像包括高分辨率人脸图像库Ys、低分辨率人脸图像库Xs、人脸轮廓图像库Cs中的所有图像和低分辨率人脸图像xt、对应轮廓图像Ct，设高分辨率人脸图像库Ys、低分辨率人脸图像库Xs和人脸轮廓图像库Cs中的每副图像划分为Ns个图像块，低分辨率人脸图像xt、对应轮廓图像ct分别划分为Nt个图像块，Ns=Nt ； 步骤4，生成重建系数wqp，实现方式如下， 设一幅图像中的某图像块标记为P，P的取值为1，2
2.根据权利要求I所述基于轮廓先验的鲁棒性人脸超分辨率处理方法，其特征在于位置对齐通过仿射变换对齐特征点的方式实现，仿射变换的方法如下， 通过对样本库中的所有高分辨率人脸图像相加除以样本个数计算出平均脸,设x/和y/是平均脸上第i个特征点的坐标，Xi和Ji为待对齐的人脸图像上对应的第i个特征点的坐标，设仿射矩阵为
3.根据权利要求I或2所述基于轮廓先验的鲁棒性人脸超分辨率处理方法，其特征在于对一张待处理图像P，轮廓图像具体获得方式如下， (1)对待处理图像P采用以下公式进行伽马校正，
全文摘要
本发明提供了一种基于轮廓先验的鲁棒性人脸超分辨率处理方法，在传统的基于流形的超分辨率方法的基础上，同时选择两种对降质过程鲁棒的图像特征，通过将二者良好耦合在(局部嵌入)算法中，同时作为算法过程中图像相似性的判定准则，以此部分解决传统方法不能很好的解决监控成像过程中严重噪声和模糊对单帧人脸图像超分辨率恢复效果缺乏真实性的问题。
文档编号G06T3/40GK102982520SQ20121051927
公开日2013年3月20日 申请日期2012年12月5日 优先权日2012年12月5日
发明者胡瑞敏, 陈亮, 夏洋, 韩镇, 卢涛, 江俊君, 龚燕, 黄克斌 申请人:武汉大学