专利名称：一种基于自适应训练库的块域人脸超分辨率重建方法
技术领域：
本发明涉及图像处理(主要是图像恢复)领域，针对低质量监控视频中人脸图像恢复的需求，具体涉及一种基于自适应训练库的块域人脸超分辨率重建方法。
背景技术：
近年来，随着安防监控系统的快速发展，监控取证在安全防范、犯罪取证等领域发挥着越来越重要的作用，其中人脸图像取证是监控取证的重要关注点之一。然而由于监控录像中，摄像头与目标人脸距离较远、恶劣天气(雨雾等)、光照条件差等原因引起的严重模糊和噪声，监控录像中捕获的人脸图像可用像素极低，图像的恢复、辨识往往受到严重的阻碍。因此，为减少图像噪声、模糊对辨识的干扰，提升低质量图像分辨率，一般采用人脸超分辨率技术来对低质量人脸图像进行高分辨率恢复。人脸超分辨率技术顾名思义，就是用技术手段从低分辨率人脸图像中恢复出高分辨率人脸图像。人脸超分辨率技术可以大致分为两类基于重建的方法和基于学习的方法两类。人脸超分辨率问题是一个解无穷的问题，因为一幅低质量图像可能对应多幅不同高质量图像。基于重建的方法的主要思想就是希望通过加入先验约束缩小求解范围以获得最优高分辨率人脸图像。而基于学习的方法[1，2，3，4，5]的思想是希望通过统计学习的方法，通过掌握在库的高低分辨率图像对中存在的空间关系，来从低质量的人脸图像恢复出高分辨率的人脸图像。目前基于学习的方法中，以下几种较具代表性2004年，Chang[l]等首次将流形学习算法引入到图像超分辨率重构中，提出了一种邻域嵌入的图像超分辨率重构算法。CeLiu[2]提出一种人脸图像超分辨率重构的两步法，先根据局部保持投影和径向基函数回归得到全局的人脸图像，再由基于局部重建的方法补偿人脸特征的细节信息。2005年，Wang和Tang[3]提出一种基于全局脸的人脸超分辨率方法，通过分别构建高低分辨率子空间，将求得的低分辨率图像在子空间的表达系数投影到高分辨率空间上而获得高分辨率图像。Sung Won Park[4]提出一种基于局部保持投影的自适应流形学习方法，从局部子流形分析人脸的内在特征，重构出低分辨率图像缺失的高频成分。综上所述，现有的基于学习的经典方法大多仅按照传统的技术思路学习固定人脸库高低分辨率统计关系，通过学习方法的提高改进来提高超分辨率恢复效果。缺乏对训练信息的甄选和约束，以及冗余训练信息的剔除，对训练信息的特定性没有做出较为有效的提高措施。在处理一般人脸超分辨率问题可以得到不错的效果，但是图像质量很低的时候，像素会遭到严重的毁坏混叠，冗余的训练信息会严重干扰超分的恢复结果，效果并不令人满意。相关文献[I]H. Chang, D. -Y. Yeung, and Y. Xiong, uSuper-resolution through neighborembedding, ” in Proc.1EEE Conf. Comput. Vis. Pattern Recog.，Jul. 2004，pp. 275 - 282.[2] C. Liuj H. Shumj and W. T. Freeman. "Face ha I lucinat ion: Theory andpractice'International Journal of Computer Vision, 75 (I) :115 - 134, 2007.[3] X. Wang and X. Tang. Hallucinating face by eigentrans form.1EEE Transactions on Systems,Man, and Cybernetics,Part C:Applications andReviews, 34 (3), pp. 425-434，2005.[4] Sung Won Park, Savvides, M. "Breaking the Limitation of ManifoldAnalysis for Super-Resolution of Facial Images", ICASS P, pp:573-576,2007.[5]H. Huang, H. He, X. Fan, and J. Zhang. Super-resolution of human face imageusing canonical correlation analysis. Pattern Recognition, 43(7):2532 - 2543, 2010
发明内容
本发明的目的在于针对上述现有技术的问题，提供一种鲁棒性的人脸超分辨率重建方法，在监控环境下人脸图像损毁严重时，显著提高人脸恢复图像的视觉感受。本发明的技术方案为一种基于自适应训练库的块域人脸超分辨率重建方法，包括以下步骤步骤I，获得高分辨率人脸图像库Ys和相应的低分辨率人脸图像库Xs，高分辨率人脸图像库Ys中所有高分辨率人脸图像位置对齐，低分辨率人脸图像库Xs中的低分辨率人脸图像与高分辨率人脸图像库Ys中的高分辨率人脸图像一一对应；步骤2，将高分辨率人脸图像库Ys中的每幅高分辨率人脸图像和低分辨率人脸图像库Xs中的每幅低分辨率人脸图像分别进行重叠分块；在任一幅图像中，每个图像块所在的位置表示为位置标号(i，j)，1、j分别表示图像块所在位置的行和列；步骤3，将低分辨率人脸图像库Xs中的所有低分辨率人脸图像处于位置标号为(i, j)的图像块进行聚类处理；步骤4，对待处理低分辨率人脸图像X与高分辨率人脸图像库Ys中高分辨率人脸图像的位置对齐，并用步骤2中进行重叠分块的方法对对齐后的待处理低分辨率人脸图像X分块，用Xij代表待处理低分辨率人脸图像X处于位置标号为(i，j)的图像块；步骤5，对图像块Xij，设在低分辨率人脸图像库Xs中的所有低分辨率人脸图像处于位置标号为(i，j)的图像块构成集合S，用类别选择和近邻筛选分别从集合S中取得对应集合A和B，将集合A和B取并集得到图像块Xu的低分辨率最优相关训练集C，得到与低分辨率最优相关训练集内图像块C对应的高分辨率最优相关训练集Ch ；步骤6，形成图像块Xij的自适应训练库，包括对低分辨率最优相关训练集C做主成分分析，求得最优低分辨率图像基；对高分辨率最优相关训练集Ch做主成分分析，求得最优高分辨率图像基；步骤7，基于最优低分辨率图像基和最优高分辨率图像基对图像块Xij进行块域重建，得到相应高分辨率重建块yu ；步骤8，将各位置的高分辨率重建块拼接组合成为重建高分辨率图像yt。而且，位置对齐通过仿射变换对齐特征点的方式实现，仿射变换的方法如下，通过对作为样本的所有高分辨率人脸图像相加除以样本个数计算出平均脸，设(X/ ,Ii')是平均脸上第i个特征点的坐标，(Xi，yi)为待对齐的人脸图像上对应的第i个特征点的坐标，设仿射变换矩阵为
权利要求
1.一种基于自适应训练库的块域人脸超分辨率重建方法，其特征在于，包括以下步步骤1，获得高分辨率人脸图像库1和相应的低分辨率人脸图像库Xs，高分辨率人脸图像库Ys中所有高分辨率人脸图像位置对齐，低分辨率人脸图像库Xs中的低分辨率人脸图像与高分辨率人脸图像库Ys中的高分辨率人脸图像一一对应；步骤2，将高分辨率人脸图像库Ys中的每幅高分辨率人脸图像和低分辨率人脸图像库 Xs中的每幅低分辨率人脸图像分别进行重叠分块；在任一幅图像中，每个图像块所在的位置表示为位置标号(i，j)，1、j分别表示图像块所在位置的行和列；步骤3，将低分辨率人脸图像库Xs中的所有低分辨率人脸图像处于位置标号为(i，j) 的图像块进行聚类处理；步骤4，对待处理低分辨率人脸图像X与高分辨率人脸图像库Ys中高分辨率人脸图像的位置对齐，并用步骤2中进行重叠分块的方法对对齐后的待处理低分辨率人脸图像X分块，用Xij代表待处理低分辨率人脸图像X处于位置标号为(i，j)的图像块；步骤5，对图像块Xij，设在低分辨率人脸图像库Xs中的所有低分辨率人脸图像处于位置标号为(i，j)的图像块构成集合S，用类别选择和近邻筛选分别从集合S中取得对应集合 A和B，将集合A和B取并集得到图像块的低分辨率最优相关训练集C，得到与低分辨率最优相关训练集内图像块C对应的高分辨率最优相关训练集Ch ；步骤6，形成图像块的自适应训练库，包括对低分辨率最优相关训练集C做主成分分析，求得最优低分辨率图像基；对高分辨率最优相关训练集Ch做主成分分析，求得最优高分辨率图像基；步骤7，基于最优低分辨率图像基和最优高分辨率图像基对图像块Xij进行块域重建， 得到相应高分辨率重建块yu ；步骤8，将各位置的高分辨率重建块拼接组合成为重建高分辨率图像yt。
2.根据权利要求1所述基于自适应训练库的块域人脸超分辨率重建方法，其特征在于位置对齐通过仿射变换对齐特征点的方式实现，仿射变换的方法如下，通过对作为样本的所有高分辨率人脸图像相加除以样本个数计算出平均脸，设 (X/ ,Ii')是平均脸上第i个特征点的坐标，(Xi，yi)为待对齐的人脸图像上对应的第i 个特征点的坐标，设仿射变换矩阵为
3.根据权利要求2所述基于自适应训练库的块域人脸超分辨率重建方法，其特征在于步骤5用类别选择和近邻筛选分别从集合S中取得对应集合A和B，实现方式如下，所述类别选择，通过从集合S中挑选类别中心与图像块距离最小的类，然后将该类所有的图像块构成集合A ;所述近邻筛选，通过从集合S中选取欧式距离意义上与图像块Xij最接近的若干图像块构成子集B。
4.根据权利要求3所述基于自适应训练库的块域人脸超分辨率重建方法，其特征在于步骤6所述对低分辨率最优相关训练集做主成分分析，求得最优低分辨率图像基，实现方式如下，假定低分辨率最优训练集C由N个pXp图像块[c’ ij; c’ 2, ij; . . .，c’ N, ,j]组成，设其中任一图像块记为c' n；iJ, η的取值为1，2，…Njfc' n;ij拉成PXp的列向量Ciuj,得到集合[k u，c2；iJ,... ·，cN，u]，对低分辨率最优训练集C通过对C1, u，c2jiJ,cN；iJ取平均求得P X P的列向量均值，记为低分辨率均值cm_ ;低分辨率最优训练集C减去Cm_之后，得到低分辨率最优训练集C的残差矩阵P；.y, 2_y记为f表示c' U」减去C_所得值；最优低分辨率图像基E由如下公式求得，E = C7VA 1 2其中V为矩阵f X 的特征向量矩阵；Λ的主轴线上是V的各个特征列向量对应的特征值，其余元素全部为零，即Λ为矩阵Cxfτ的特征值矩阵；步骤6所述对高分辨率最优相关训练集做主成分分析，求得最高低分辨率图像基，实现方式如下，假定高分辨率最优训练集Ch由N个pXp图像块[c’ hl, ,j, c’ h2, ij; ...,C1m, ,j]组成，设其中任一图像块记为的取值为1，2，…N ;将Cjhnjij拉成pXp的列向量Ctaij,得到集合[chl, u，ch2jiJ,cM, u]，对高分辨率最优训练集Ch通过对Chl,ij，Ch2,ij，· · ·，ChN, ij 取干均求得pXp的列向量均值，记为低分辨率均值Ctarean ;高分辨率最优训练集Ch减去Chm_之后，得到高分辨率最优训练集Ch的残差矩阵，…，记为G表示C’ ^ij减去Ctarean所得值；最优低分辨率图像基Eh由如下公式求得，Eh = ChVhKv2其中Vh为矩阵X C/的特征向量矩阵；Λ h的主轴线上是Xh的各个特征列向量对应的特征值，其余元素全部为零，即Ah为矩阵ζ, X 的特征值矩阵。
5.根据权利要求4 所述基于自适应训练库的块域人脸超分辨率重建方法，其特征在于步骤7所述基于最优低分辨率图像基和最优高分辨率图像基对图像块Xij进行块域重建，实现方式如下，计算图像块Xij在对应最优低分辨率图像基中的表达系数coeff如下，Coeff=E^1X (Xij-CmeJ将表达系数coeff投影到最优高分辨率图像基Eh构成的高维空间中，投影公式如下， yv = ChVA-1'2 xcoe/f+ cAw_得到相应高分辨率重建块yij。
全文摘要
本发明提供了一种基于自适应训练库的块域人脸超分辨率重建方法。此种新的基于学习的方法，首先将高低分辨率训练图像对统一分块，在以位置为单位的块集合内部进行聚类处理。然后对输入图像的每一个块，在对应位置训练块集上做出自适应选择，根据近邻选择和自适应类别选择，筛选出自适应的训练集，然后在低分辨率块通过在该自适应训练集中做主成分分析系数投影恢复高频细节。以此解决或减轻噪点严重的人脸图像(如监控图像)超分辨率恢复中的噪声问题。
文档编号G06T5/50GK103049897SQ20131002762
公开日2013年4月17日 申请日期2013年1月24日 优先权日2013年1月24日
发明者胡瑞敏, 陈亮, 韩镇, 沈亚君, 周治龙, 胡孟凌, 涂小萌, 夏洋, 卢涛, 江俊君 申请人:武汉大学