一种单图像超分辨率重建的方法
【技术领域】
[0001] 本发明涉及图像重建技术领域，尤其涉及一种单图像超分辨率重建的方法。
【背景技术】
[0002]自然图像存在一些自相似的属性，如强度、颜色及几何结构等。这些自相似信息在 一些类似图像重构、去噪、修复等图像操作中可被看作是有价值的先验知识。缺失的、覆盖 的信息可以通过自相似性从图像的其他位置获取，但如何有效地利用图像的自相似属性来 获取高质量的图像重建是一个有意义的问题。
[0003]图像超分辨率重建技术是指利用低质量、低分辨率图像或图像序列来产生单幅高 质量、高分辨率图像。它的目的是要使得输出的图像或视频的分辨率比任意一幅输入的图 像或输入视频的任意一帧的分辨率都要高。其可以提高图像的识别能力和识别精度，在军 事，医学，公共安全，计算机视觉等方面都存在着重要的应用前景。
[0004] 单图像超分辨率重建是图像重建的一个特例，其中的关键是如何从低分辨率图像 中获取有用信息以恢复其高分辨率版本。而自相似性可以看作一种有效的辅助方式。近年 来，自相似的超分辨率模型成功出现，除了不需要借助额外数据，大量的实验说明其结果优 于数据驱动模型。但是，如何获取最优的相似片仍是问题的关键。
【发明内容】
[0005] 本发明的目的是为了克服现有技术的缺陷，提出了一种新的自相似性最大化的概 念来构建高质量的超分辨率模型。其关键思想是高分辨率图像中任意选择的图像片，在输 入的低分辨率图像中，都有一些图像片视觉上与其相似。利用这个先验知识，建立了一个优 化模型以生成优化的超分辨率图像。为求解该成本函数，提出一种高斯逼近方案，其应用高 斯混合模型以生成不同尺度输入图像的关联概率密度函数。
[0006] 为实现上述目的，本发明提供了一种单图像超分辨率重建的方法，该方法包含两 个部分：一是利用高斯混合模型计算高分辨率图像中每个最佳相似片；二是根据最佳相似 片建立自相似性最大化优化模型实现超分辨率图像重建；具体为，对低分辨率原图像分别 做上采样和高斯滤波以获取两个不同的版本，并将上采样版本作为初始的高分辨率版本； 对高斯滤波版本和低分辨率图像抽取图像片建立片对以构建高斯混合模式，将初始的高分 辨率版本中的每个图像片看作滤波版本输入高斯混合模型以获取细节更丰富的高分辨率 图像片输出；然后将这些细节丰富的图像片输入所建立的自相似先验最大化模型以输出细 节丰富的高分辨率图像。
[0007] 优选地，在寻求相似图像片时，基于低分辨率模糊版本和清晰版本抽取的图像片 对建立高斯混合模型，并将高分辨率图像的模糊图像片作为输入，采用期望最大化算法计 算最佳图像片。在寻求最佳相似片时，从低分辨率图像及高斯滤波模糊版本中抽取图像片， 以这些图像片作为训练数据集，建立基于高斯混合模型的关联概率密度函数。
[0008] 优选地，在建立自相似先验最大化模型及求解时：利用自然图像自身的自相似性， 将高分辨率图像与低分辨率图像之间一对多的映射附加自相似最大化约束转化为最优的 一对一映射替代。在对模型求解时，引入对数运算将乘法关系转化为加法运算，并引入辅助 变量为一个难以求解的问题寻求最优解。
[0009] 本发明的有益效果：
[0010] (1)基于自相似性最大化提出了一种优化的超分辨率模型，其挖掘自相似的图像 内容以获取高质量的超分辨率输出，提高图像的识别能力和识别精度。
[0011] (2)提供了一种高斯逼近求解方法，其采用高斯混合模型求解每个低分辨率图像 片对应的最大相似度的高分辨率图像片。基于这些高分辨率图像片，利用全局优化加局部 优化的方法直接求解高分辨率图像，使得图像在保真度、细节恢复等方面有着更优越性能。
【附图说明】
[0012] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现 有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本 发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以 根据这些附图获得其它的附图。
[0013] 图1是本发明的基于自相似性最大化的单图像超分辨率重建方法的流程图。
【具体实施方式】
[0014] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完 整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于 本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他 实施例，都属于本发明保护的范围。
[0015] 本发明提供了一种单图像超分辨率重建的方法，本方法主要包括两个部分，一是 利用高斯混合模型计算高分辨率图像中每个最佳相似片；二是根据最佳相似片建立模型求 解超分辨率图像。具体为，对低分辨率原图像分别做上采样和高斯滤波以获取两个不同的 版本，并将上采样版本作为初始的高分辨率版本。对高斯滤波版本和低分辨率图像抽取图 像片建立片对以构建高斯混合模式，将高分辨率版本中的每个图像片看作滤波版本输入代 入高斯混合模型以获取细节更丰富的高分辨率图像片输出；然后将这些细节较为丰富的图 像片代入所建立的自相似先验最大化模型以求解细节丰富的高分辨率图像。
[0016] 其中，在寻求最佳相似片时：高分辨率图像的模糊版本比较容易获取，而无论高分 辨率图像还是低分辨率图像，其模糊版本和清晰版本之间的对应关系都是一致的。对高分 辨率清晰版本中的每个图像片，根据自相似性，其对应于低分辨率清晰版本中的一个或多 个图像片。为寻求这样的相似图像片，基于低分辨率模糊版本和清晰版本抽取的图像片对 建立高斯混合模型，并将高分辨率图像的模糊图像片作为输入，采用期望最大化算法计算 最佳图像片。
[0017] 在建立自相似先验最大化模型及求解时：利用自然图像自身的自相似性，将高分 辨率图像与低分辨率图像之间一对多的映射附加自相似最大化约束转化为最优的一对一 映射替代。在对模型求解时，引入对数运算将乘法关系转化为加法运算，并引入辅助变量为 一个难以求解的问题寻求最优解。
[0018] 具体实施如下：
[0019] 1、模型建立
[0020] -般来说，对于一个单图像超分辨率问题，高分辨率图像X和对应的低分辨率图 像Y之间满足
[0021] Y=DHX+ω, (1)
[0022] 其中观察的低分辨率图像Y e Rn，对应的待求高分辨率图像X e Rn及附加的高斯 噪声ωeRn均被转换成矢量形式。D是一个RnXN的下采样操作矩阵，Η是一个RNXN用于模 糊操作的卷积矩阵。
[0023] 图像Y的超分辨率重建是方程（1)的逆问题。根据片重现观点，重建转化为寻找 最相似片的过程。对于高分辨率图像X中任意图像片X1，假定在输入的低分辨率图像Y中 存在一个最相似的图像片/。该假设成立用Y的上采样图像\对应的图像片：<和Y的高 斯滤波图像Yc对应的图像片乂间的相似度来度量X1和yp间的相似度。然而，该逼近很难 获得一个理想的精度因为低分辨率图像片和高分辨率图像片之间存在一对多的映射。最直 接的影