模块；
[0087] 所述训练库构建模块，用来构建包含高分辨率人脸图像库及其对应的低分辨率人 脸图像库的训练库；
[0088] 所述分块模块，用来采用相同的分块方式将待处理低分辨率人脸图像和训练库中 图像划分为具交叠部分的边长为PSize的正方形图像块；
[0089] 所述邮邻块构建模块，用来对待处理低分辨率图像块，构建其邮邻块；
[0090] 所述高分辨率估计模块，用各个位置的邮邻块分别辅助待处理图像块来估计高分 辨率模块;所述高分辨率估计模块包括一下子模块：
[0091 ]第一子模块，用于目标位置块和邮邻块拼接；
[0092] 第二子模块，然后在低分辨率块的拼接库中，查找待处理低分辨率拼接块的近邻；
[0093] 第=子模块，用于利用待处理低分辨率拼接块的近邻，线性权重表示出待处理低 分辨率拼接块，记下权重COpq;
[0094] 第四子模块:用于将求得的《 pq和对应高分辨率块近邻集合目乘，得到对应高 分辨率估计集合；
[00M] 权重 << 求取模块:用于求取估计的多个高分辨率图像所占权重；
[0096] 融合模块:用于融合高分辨率估计的集合?[馬为一个高分辨率估计
[0097] 拼接模块，用于根据位置i拼接高分辨率人脸图像块y(ij)，得高分辨率人脸图像。
[0098] 应当理解的是，本说明书未详细阐述的部分均属于现有技术。
[0099] 应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本 发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权 利要求所保护的范围情况下，还可W做出替换或变形，均落入本发明的保护范围之内，本发 明的请求保护范围应W所附权利要求为准。
【主权项】
1. 一种基于上下文线性模型的人脸超分辨率处理方法，其特征在于，包括W下步骤： 步骤1:构建训练库，所述训练库包含高分辨率人脸图像库及其对应的低分辨率人脸图 像库； 取归一化的清晰人脸图像若干作为高分辨率图像库，将高分辨率图像库经过统一下采 样过程得到低分辨率图像库； 步骤2:采用相同的分块方式将待处理低分辨率人脸图像和训练库中图像划分为具交 叠部分的图像块，纵轴方向得到U个图像块，横轴方向得到V个图像块;所述图像块为正方 形，其边长为psize ;U = ceil((row-dd)/(psize-dd))，V = = ceil ((column-dd)/(psize- dd))，其中ceil(.)代表取整操作，dd是交叠像素数目，row是图像的长，column是图像的宽； 步骤3:对待处理低分辨率人脸图像中的图像块X，确定其位置（i，j)，其中1 = 1，2， 3，...U，j = 1，2，3，... V;从待处理低分辨率人脸图像上，找到该图像块位于η近邻范围内的 邮邻块，邮邻块边长为psize;通过计算(i，j)位置的图像块与邮邻块之间的相关性，确定该 邮邻块的权重，将权重与该邮邻块，作为新的邮邻块;对于低分辨率人脸图像库，在（i，j)位 置上的每一个在库图像块，W相同的方法确定其邮邻块； 步骤4:用（i，j)位置的图像块的每一个邮邻块，辅助估计出对应的高分辨率(i，j)位置 的图像块;其具体实现过程包括W下子步骤： 步骤4.1:对于待处理低分辨率的输入块，与权重的邮邻块做拼接;对于在低分辨率人 脸图像库的每一个(i，j)位置的图像块，与其权重的邮邻块做拼接，得到待处理低分辨率拼 接块； 步骤4.2:在低分辨率人脸图像库中，查找得到待处理低分辨率拼接块的近邻； 步骤4.3 :利用待处理低分辨率拼接块的近邻，线性权重表示出待处理低分辨率拼接 块； 其中权1其中Wpq,k是Wpq的第k个元素，k取 值为巧化，K为近邻最大个数;B(ij)是待处理低分辨率拼接块，x(ij)是待处 理低分辨率块，Xpq是义片山位于位置pq的邮邻块，q表示取近邻的个数，q=l，2,…化;化是最 大邮邻位置个数，α表示xpq和x(ij)的相关性；是对应位置的在低分辨率人脸图像库的 拼接块，氣。表示(i，j)位置的"低分辨率人脸图像库"中的图像块，k= 1， 2，...Κ，Κ表示近邻总数；4表示廣乃在pq位置的邮邻块，爲^表示復月和4之间的相关性； Wpq表示B(i,^被·表示的权重;D是一个对角线方阵，对角线值为B(i,"距离所有拼接近邻 度的距罔，D二diag(dpq,l, . . . ,dpq,K),dpq,l表不距罔度重参数，其中Dis(.)是欧氏距离计算，exp(.)表示指数运算；丫表示经验值获得的平衡参数； 步骤4.4:将求得的ωpq和近邻集合?>t相乘，得到对应高分辨率估计ypq:的高分辨率空间的对应块，即是近邻集合S二, 步骤4.5:利用步骤4.1到步骤4.4处理完每一个邮邻块，得到高分辨率估计的集合：步骤5:求取权重其中，砖Γ是如q 位置上的所有低分辨率人脸图像库中的图像块的平均值，带；；"是在（i J)位置上的所有低 分辨率人脸图像库中的图像块的平均值，λ是经验权重值，取值在[0，1 ]; 步骤6:融合高分辨率估计的集合为一个高分辨率估计J)步骤7:拼接高分辨率人脸图像块，得高分辨率人脸图像。2. 根据权利要求1所述的基于上下文线性模型的人脸超分辨率处理方法，其特征在于： 步骤1中所述构建训练库，是将高分辨率人脸图像库中高分辨率人脸图像位置对齐，并进行 降质处理，得对应的低分辨率人脸图像库，高分辨率人脸图像库和低分辨率人脸图像库构 成训练库。3. 根据权利要求1所述的基于上下文线性模型的人脸超分辨率处理方法，其特征在于： 步骤2中采用相同的分块方式将待处理低分辨率人脸图像和训练库中图像划分为具交叠部 分的图像块，首先使待处理低分辨率人脸图像与训练库中图像大小相同，且位置对齐。4. 根据权利要求2或3所述的基于上下文线性模型的人脸超分辨率处理方法，其特征在 于:所述位置对齐是采用仿射变换法进行位置对齐。5. -种基于上下文线性模型的人脸超分辨率处理系统，其特征在于:包括训练库构建 模块、分块模块、邮邻块构建模块、高分辨率估计模块； 所述训练库构建模块，用来构建包含高分辨率人脸图像库及其对应的低分辨率人脸图 像库的训练库； 所述分块模块，用来采用相同的分块方式将待处理低分辨率人脸图像和训练库中图像 划分为具交叠部分的边长为psize的正方形图像块； 所述邮邻块构建模块，用来对待处理低分辨率图像块，构建其邮邻块； 所述高分辨率估计模块，用各个位置的邮邻块分别辅助待处理图像块来估计高分辨率 模块;所述高分辨率估计模块包括一下子模块： 第一子模块，用于目标位置块和邮邻块拼接； 第二子模块，然后在低分辨率块的拼接库中，查找待处理低分辨率拼接块的近邻； 第Ξ子模块，用于利用待处理低分辨率拼接块的近邻，线性权重表示出待处理低分辨 率拼接块，记下权重Wpq; 第四子模块：用于将求得的ω pq和对应高分辨率块近邻集合Sfw,相乘，得到对应高分辨 率估计集合； 权重<<求取模块:用于求取估计的多个高分辨率图像所占权重； 融合模块:用于融合高分辨率估计的集合为一个高分辨率估计; 拼接模块，用于根据位置i拼接高分辨率人脸图像块y(i,^，得高分辨率人脸图像。
【专利摘要】本发明公开了一种基于上下文线性模型的人脸超分辨率处理方法及系统，通过构建训练库；采用相同的分块方式将待处理低分辨率人脸图像和训练库中图像划分为具交叠部分的图像块；对待处理低分辨率人脸图像块，逐一构建毗邻块空间；用目标位置的块的每一个毗邻块，辅助估计出对应的高分辨率块，得到一个高分辨率块集合；通过分别计算待处理低分辨率图像和训练库中低分辨率图像中，目标块与毗邻块的关系，决定在低分辨率库中的权重系数；融合高分辨率估计集合为一个高分辨率估计块；最终拼接高分辨率人脸图像块。本发明可显著提高恢复图像的视觉感受，特别适用于低质量监控环境下人脸图像的恢复。
【IPC分类】G06T3/40
【公开号】CN105701770
【申请号】CN201610031339
【发明人】胡瑞敏, 陈亮, 周楚, 李青, 杨庆雄, 卢正, 马芸, 韩镇, 魏雪丽, 丁新, 渠慎明
【申请人】武汉大学
【公开日】2016年6月22日
【申请日】2016年1月18日