一种基于上下文线性模型的人脸超分辨率处理方法及系统的制作方法_2

文档序号:9922452阅读:来源:国知局
q位置的邮邻块,媒表示和4之间的 相关性;Wpq表示B(IJ)被瑪,,表示的权重;D是一个对角线方阵,对角线值为8(1,"距离所有 拼接近邻巧的距离,D = diag(dpq,l, . . .,dpq,K),dpq,l表示距离度量参数,其中
,Dis(.)是欧氏距离计算,exp(.)表示指数运算; 吗g =候/端+炒'£))-1媒乂 ,,,丫表示经验值获得的平衡参数;
[0020] 步骤4.4 :将求得的CO pq和近邻集合端J相乘,得到对应高分辨率估计ypq : .Vw =Ix.仰M ;斯J的高分辨率空间的对应块,即是近邻集合端* '左二1
[0021] 步骤4.5:利用步骤4.1到步骤4.4处理完每一个邮邻块,得到高分辨率估计的集 合:. ,
[00剖步骤5:求取权重嫂=乂鴻' + (1-义)媒:'。;
[002:3]其中,
昭r是 在pq位置上的所有低分辨率人脸图像库中的图像块的平均值,町!!苗'是在Q J)位置上的所 有低分辨率人脸图像库中的图像块的平均值,A是经验权重值,取值在[0,1];
[0024]步骤6:融合高分辨率估计的集合为一个高分辨率估计y(i,j), Nq 如.!'、=言V M端; g二 1
[0025] 步骤7:拼接高分辨率人脸图像块y(i,^,得高分辨率人脸图像。
[0026] 作为优选,步骤1中所述构建训练库,是将高分辨率人脸图像库中高分辨率人脸图 像位置对齐,并进行降质处理,得对应的低分辨率人脸图像库,高分辨率人脸图像库和低分 辨率人脸图像库构成训练库。
[0027] 作为优选,步骤2中采用相同的分块方式将待处理低分辨率人脸图像和训练库中 图像划分为具交叠部分的图像块,首先使待处理低分辨率人脸图像与训练库中图像大小相 同,且位置对齐。
[0028] 作为优选,所述位置对齐是采用仿射变换法进行位置对齐。
[0029] 本发明的系统所采用的技术方案是:一种基于上下文线性模型的人脸超分辨率处 理系统,其特征在于:包括训练库构建模块、分块模块、邮邻块构建模块、高分辨率估计模 块;
[0030] 所述训练库构建模块,用来构建包含高分辨率人脸图像库及其对应的低分辨率人 脸图像库的训练库;
[0031] 所述分块模块,用来采用相同的分块方式将待处理低分辨率人脸图像和训练库中 图像划分为具交叠部分的边长为PSize的正方形图像块;
[0032] 所述邮邻块构建模块,用来对待处理低分辨率图像块,构建其邮邻块;
[0033] 所述高分辨率估计模块,用各个位置的邮邻块分别辅助待处理图像块来估计高分 辨率模块;所述高分辨率估计模块包括一下子模块:
[0034] 第一子模块,用于目标位置块和邮邻块拼接;
[0035] 第二子模块,然后在低分辨率块的拼接库中,查找待处理低分辨率拼接块的近邻;
[0036] 第=子模块,用于利用待处理低分辨率拼接块的近邻,线性权重表示出待处理低 分辨率拼接块,记下权重COpq;
[0037] 第四子模块:用于将求得的COpq和对应高分辨率块近邻集合A相乘,得到对应高 分辨率估计集合;
[0038] 权重求取模块:用于求取估计的多个高分辨率图像所占权重;
[0039] 融合模块:用于融合高分辨率估计的集合为一个高分辨率估计J);
[0040] 拼接模块,用于根据位置i拼接高分辨率人脸图像块y(ij),得高分辨率人脸图像。
[0041] 和现有技术相比,本发明具有W下优点和积极效果:
[0042] 由于考虑到在库图像块的上下文线性空间,运种对空间流形约束的加入,使得重 建的权重系数能够同时考虑目标位置在待处理图像和训练图像库中的上下文关系,使得代 表个性值的待处理图像上下文关系和代表经验值的训练图像库上下文关系同时约束训练 结果,对于降质因素具有更强的鲁棒性,对于空间表达具有更强的稳固性和精确性。所W, 本发明基于流形的超分辨率方法,引入图像块上下文线性关系作为约束,通过对待处理图 像块多重表达一致性的有效利用,来解决低质量环境下人脸图像的恢复缺乏真实性的问 题,在主观质量上可显著提高恢复图像的视觉感受。
[0043] 本发明具有普适性,对于一般的低质量人脸图像均可W取得较好的恢复效果;特 别对于低质量监控环境下人脸图像的恢复,效果更加明显。
【附图说明】
[0044] 图1是本发明实施例的流程示意图;
[0045] 图2是本发明实施例的人脸图像基于位置分块示意图。
【具体实施方式】
[0046] 为了便于本领域普通技术人员理解和实施本发明,下面结合附图及实施例对本发 明作进一步的详细描述,应当理解,此处所描述的实施示例仅用于说明和解释本发明,并不 用于限定本发明。
[0047] 本发明利用在库图像块的流形空间作为第二层流形,利用待处理图像块的流形空 间作为第一次流形,通过流形空间的空间关联提供待处理图像块多重表达的一致性,用一 致性约束增强图像块的准确表征和鲁棒性。本发明在基于局部嵌入的传统流形假设的人脸 超分辨率算法中引入双层流形假设,通过双层流行假设对于待处理图像块进行多重表达, 利用多重表达的一致性作为约束,增强图像块表征的一致性和噪声鲁棒性,提升恢复结果 的客观质量和相似度。
[0048] 本发明面向监控环境下的极低质量人脸图像,采用双层流形假设和一致性约束图 像块的表征。具体实施时,本发明技术方案可采用计算机软件技术实现自动运行流程。
[0049] 请见图1,本发明提供的一种基于上下文线性模型的人脸超分辨率处理方法,包括 W下步骤:
[0050] 步骤1:构建训练库,所述训练库包含高分辨率人脸图像库及其对应的低分辨率人 脸图像库;
[0051] 取归一化的清晰人脸图像若干作为高分辨率图像库,将高分辨率图像库经过统一 下采样过程得到低分辨率图像库。例如,下采样过程为:依次对高分辨率人脸图像下采样4 倍、模糊窗过滤3*3、上采样4倍,得到与高分辨率人脸图像对应的低分辨率人脸图像,从而 获得低分辨率人脸图像库。"
[0052] 将高分辨率人脸图像库Y中高分辨率人脸图像位置对齐,对高分辨率人脸图像进 行降质处理得对应的低分辨率人脸图像,从而获得低分辨率人脸图像库X。
[0053] 具体实施中,首先,将高分辨率人脸图像的眼睛和嘴己位置对齐;然后,对高分辨 率人脸图像依次进行下采样、模糊窗过滤、上采样,得到与高分辨率人脸图像对应的低分辨 率人脸图像。
[0054] 为便于实施参考,下面将提供采用仿射变换法实现人脸图像对齐的具体过程:
[0055] 对高分辨率人脸图像进行特征点标注,特征点为五官边缘点,例如眼角、鼻尖、嘴 角等;然后,采用仿射变换法对齐特征点。
[0056] 仿射变换法具体为:
[0057] 将高分辨率人脸图像库Y中所有人脸图像相加并除W样本数,得平均脸。设(x'l, y'l)为平均脸上第i个特征点坐标,(xi,yi)为待对齐的高分辨率人脸图像上对应的第i个特 a b C 征点坐标。设仿射矩阵M 6 /,其中a、b、C、d、e、f为仿射变换系数, 0 0 1 < X'. =OT'. +M>'.,+C表示平均脸和待对齐的高分辨率人脸图像上第i个特征点坐标(x'i,y'i) V, +ev, +/ 和(xi,yi)间的关系,采用直接线性变换法求解仿射变换矩阵M。待对齐的高分辨率人脸图像 所有坐标点与仿射矩阵M相乘得到的坐标即对齐后的高分辨率人脸图像坐标。
[0058] 对对齐后的高分辨率人脸图像做降质处理,例如,依次对高分辨率人脸图像下采 样4倍、模糊窗过滤3*3、上采样4倍,得到与高分辨率人脸图像对应的低分辨率人脸图像,从 而获得低分辨率人脸图像库X。
[0059] 高分辨率人脸图像库Y和低分辨率人脸图像库X中人脸图像一一对应,构成高低分 辨率人脸图像对。高分辨率人脸图像库Y和低分辨率人脸图像库对勾成训练库。
[0060] 使待处理低分辨率人脸图像与训练库中图像大小相同,且位置对齐。
[0061] 本发明是要对待处理低分辨率人脸图像X进行处理,估计出其对应的高分辨率人 脸图像,将估计出的高分辨率人脸图像记为
当前第2页1 2 3 4 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1