一种基于双层流形约束的人脸超分辨率处理方法及系统的制作方法_2

文档序号:9922305阅读:来源:国知局
代表4在X1上的一层近邻块个数,通过4和X1的每一个图像块差 值的绝对值一一对比获得,差值绝对值最小的K1个低分辨率图像块,作为的:i的一层近邻, 记为X;。
[0029] 作为优选,步骤5中所述权重系数是通过一层近邻X/与二层近邻间绝对值平方 距离、RBF距离或高斯距离获得,记作?/ 3;
[0030] 步骤6中所述权重系数是通过待处理图像块·4与一层近邻4间绝对值平方距离、 RBF距离或高斯距离获得,记作4;
[0031] 4与<获取方式相同。
[0032] 作为优选,步骤7的具体实现过程为,首先建立目标函数:
[0033]
[0034] 其中_表示待处理图像4到之间的权重系数,也是该目标函数的求取目标;
[0035] .句:表示对[进行Κ2倍的拉伸,Κ2代表每一个一层近邻元素拥有的二层近邻个数, 拉伸多出来的部分是对4中原有数值进行复制; &沁,人,1表示目标函数的平衡系数,经验值 决定,初始值设置为l;d表示对角方阵,对角线的值为到间的欧式距离;
[0036] 对上述目标函数对求导,得到:
[0040] 将重建系数4使用到高分辨率人脸图像库,得到图像块·4对应的高分辨率图像块 = €4, $表示近邻集X〗中图像块在高分辨率人脸图像库γ中对应的图像块。
[0041] 本发明的系统所采用的技术方案是:一种基于双层流形约束的人脸超分辨率处理 系统,其特征在于:包括训练库构建模型、分块模块、一层近邻获取模块、二层近邻获取模 块、一层近邻和二层近邻的权重系数计算模块、待处理图像块和一层近邻的权重系数计算 模块、待处理图像块和二层近邻的权重系数计算模块、高分辨率图像块生成模块、拼接模 块;
[0042] 所述训练库构建模型,用来构建包含高分辨率人脸图像库及其对应的低分辨率人 脸图像库的训练库;
[0043]所述分块模块,用来采用相同的分块方式将待处理低分辨率人脸图像和训练库中 图像划分为具交叠部分且边长为psize的正方形图像块;
[0044] 所述一层近邻获取模块,用来对待处理低分辨率人脸图像每一块,在对应位置的 低分辨率训练块集合中查找其近邻块;
[0045] 所述二层近邻获取模块,用来处理低分辨率人脸图像的一层近邻,查找一层近邻 的近邻集合;所述二层近邻获取模块进一步包括子模块:
[0046] 第一子模块,用来低分辨率人脸图像在低分辨率人脸图像库中查找到的一层近 邻,将其对应到高分辨率空间中,得到低分辨率人脸图像在高分辨率人脸图像库中的一层 近邻;
[0047] 第二子模块,用来为低分辨率人脸图像在高分辨率人脸图像库中的所有一层近 邻,查找在高分辨率人脸图像库中的所有近邻,记下近邻标号,作为低分辨率输入的二层近 邻标号;
[0048]第三子模块,将高分辨率人脸图像库中的二层近邻标号投影到低分辨率人脸图像 库中,作为待处理低分辨率图像块的二层近邻;
[0049] 所述一层近邻和二层近邻的权重系数计算模块,用来根据获得的一层近邻和二层 近邻,获取二层近邻重建一层近邻的权重系数;
[0050] 所述待处理图像块和一层近邻的权重系数计算模块,用来根据待处理图像块和获 得的一层近邻,获取一层近邻重建的待处理图像块权重系数;
[0051 ]所述待处理图像块和二层近邻的权重系数计算模块,用来根据待处理图像块;4、 二层近邻重建一层近邻的权重系数4、一层近邻重建的待处理图像块权重系数缚、获得的 一层近邻Ι?、二层近邻X),获取待处理图像块和二层近邻的权重系数4 ;
[0052]所述高分辨率图像块生成模块,用来根据重建系数恢复图像块 <,获得其对应的 高分辨率人脸图像块.ν·?"?:
[0053] 所述拼接模块,用来根据位置i拼接高分辨率人脸图像块>?,得高分辨率人脸图 像。
[0054] 和现有技术相比,本发明具有以下优点和积极效果:
[0055] 由于考虑到在库图像块的流形空间作为待处理图像块的二层流形,这种对空间流 形约束的加入,使得重建的权重系数能够满足单独流形和多层流形的空间特性,比传统一 对一的流形假设相比,对于降质因素具有更强的鲁棒性,对于空间表达具有更强的稳固性 和精确性。所以,本发明基于流形的超分辨率方法,引入图像块二次流形空间作为约束,通 过对待处理图像块多重表达一致性的有效利用,来解决低质量环境下人脸图像的恢复缺乏 真实性的问题,在主观质量上可显著提高恢复图像的视觉感受。
[0056] 本发明具有普适性,对于一般的低质量人脸图像均可以取得较好的恢复效果;特 别对于低质量监控环境下人脸图像的恢复,效果更加明显。
【附图说明】
[0057]图1是本发明实施例的流程不意图;
[0058] 图2是本发明实施例的人脸图像基于位置分块示意图。
【具体实施方式】
[0059] 为了便于本领域普通技术人员理解和实施本发明,下面结合附图及实施例对本发 明作进一步的详细描述,应当理解,此处所描述的实施示例仅用于说明和解释本发明,并不 用于限定本发明。
[0060] 本发明利用在库图像块的流形空间作为第二层流形,利用待处理图像块的流形空 间作为第一次流形,通过流形空间的空间关联提供待处理图像块多重表达的一致性,用一 致性约束增强图像块的准确表征和鲁棒性。本发明在基于局部嵌入的传统流形假设的人脸 超分辨率算法中引入双层流形假设,通过双层流行假设对于待处理图像块进行多重表达, 利用多重表达的一致性作为约束,增强图像块表征的一致性和噪声鲁棒性,提升恢复结果 的客观质量和相似度。
[0061] 本发明面向监控环境下的极低质量人脸图像,采用双层流形假设和一致性约束图 像块的表征。具体实施时,本发明技术方案可采用计算机软件技术实现自动运行流程。
[0062] 请见图1,本发明提供的一种基于双层流形约束的人脸超分辨率处理方法,包括以 下步骤:
[0063] 步骤1:构建训练库,所述训练库包含高分辨率人脸图像库及其对应的低分辨率人 脸图像库;
[0064] 取归一化的清晰人脸图像若干作为高分辨率图像库,将高分辨率图像库经过统一 下采样过程得到低分辨率图像库。例如,下采样过程为:依次对高分辨率人脸图像下采样4 倍、模糊窗过滤3*3、上采样4倍,得到与高分辨率人脸图像对应的低分辨率人脸图像,从而 获得低分辨率人脸图像库。"
[0065] 将高分辨率人脸图像库Υ中高分辨率人脸图像位置对齐,对高分辨率人脸图像进 行降质处理得对应的低分辨率人脸图像,从而获得低分辨率人脸图像库X。
[0066] 具体实施中,首先,将高分辨率人脸图像的眼睛和嘴巴位置对齐;然后,对高分辨 率人脸图像依次进行下采样、模糊窗过滤、上采样,得到与高分辨率人脸图像对应的低分辨 率人脸图像。
[0067] 为便于实施参考,下面将提供采用仿射变换法实现人脸图像对齐的具体过程:
[0068] 对高分辨率人脸图像进行特征点标注,特征点为五官边缘点,例如眼角、鼻尖、嘴 角等;然后,采用仿射变换法对齐特征点。
[0069]仿射变换法具体为:
[0070] 将高分辨率人脸图像库Y中所有人脸图像相加并除以样本数,得平均脸。设(x'i, y'i)为平均脸上第i个特征点坐标,(xi,yi)为待对齐的高分辨率人脸图像上对应的第i个特 征点坐标。设仿射矩阵
,其中a、b、c、d、e、f为仿射变换系数,
.表示平均脸和待对齐的高分辨率人脸图像上第i个特征点坐标(x'uy'O 和(Xl,yi)间的关系,采用直接线性变换法求解仿射变换矩阵Μ。待对齐的高分辨率人脸图像 所有坐标点与仿射矩阵Μ相乘得到的坐标即对齐后的高分辨率人脸图像坐标。
[0071] 对对齐后的高分辨率人脸图像做降质处理,例如,依次对高分辨率人脸图像下采 样4倍、模糊窗过滤3*3、上采样4倍,得到与高分辨率人脸图像对应的低分辨率人脸图像,从 而获得低分辨率人脸图像库X。
[0072] 高分辨率人脸图像库Υ和低分辨率人脸图像库X中人脸图像一一对应,构成高低分 辨率人脸图像对。高分辨率人脸图像库Υ和低分辨率人脸图像库X构成训练库。
[0073] 使待处理低分辨率人脸图像与训练库中图像大小相同,且位置对齐。
[0074]本发明是要对待处理低分辨率人脸图像χιη进行处理,估计出其对应的高分辨率人 脸图像,将估计出的高分辨率人脸图像记为待估高分辨率人脸图像y?t。
[0075] 待处理低分辨率人脸图像Χιη通常是在含噪严重环境获得的低分辨率人脸图像。对 于作为输入的待处理低分辨率人脸图像,一般要经过预处理,包括剪切出符合统一规定的 人脸部分,即将待处理低分辨率人脸图像 Xln进行上采样,使其与训练库中人脸图像大小相 同。
当前第2页1 2 3 4 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1