基于盲模糊估计与锚定空间映射的图像超分辨处理方法
【技术领域】：
[0001] 本发明涉及图像/视频处理技术，具体来讲，本发明涉及一种盲模糊估计与锚定 空间映射的单幅图像超分辨处理算法。 技术背景：
[0002] 图像超分辨是从同一场景的一幅或多幅低分辨率图像生成一幅同一场景的高分 辨率图像的技术。从本质上来说，超分辨问题是一个严重的病态问题，必须要有某些先验信 息才能求解。从该领域的历史发展角度来看，超分辨技术大致可以分为三类：基于插值的方 法、基于重建的方法和基于机器学习的方法。基于插值的方法目前已经发展得非常成熟，主 流的插值算法有最邻近插值、双线性插值、双立方插值、立方卷积插值与拉格朗日插值等。 插值算法一般假设图像信号是连续的、带宽受限的光滑信号，然而这一假设在自然图像中 通常是不成立的，因为自然图像中包含了大量的不连续特征，如边缘、角点等。所以基于插 值算法图像超分辨处理往往导致振铃与锯齿等现象，在对图像质量要求较高的场合往往不 能满足应用要求；基于重建的方法将超分辨问题看成图像采集过程的逆问题，这类方法一 般要求大量的输入样本来固定解的方向。这类技术一般可以取得比插值算法更好的处理效 果，但当上采样因子较大或有效输入图像的数量不足时这类方法的效果会急剧下降。
[0003] 基于机器学习的方法是一种比较有前景的技术，目前已经成为超分辨领域的主流 研宄方向。基于学习的方法最早体现在Freeman等人的样本学习方法中，该方法通过置信 传播求解马尔科夫随机域（MarkovRandomField)来进行低分辨率到高分辨率样本的预 测。Sun等人利扩展了这一方法，他们用原始草图先验来加强边缘、角点等非连续性特征。 然而，这类方法通常要求大量的外部数据库，该数据库由数以万计的高分辨率/低分辨率 图像块对组成，这极大地降低了算法执行效率。为了解决这一问题，Chang等人采用局部线 性嵌入（LocallyLinearEmbedding)的思想，假设高分辨率图像块与低分辨率图像块之间 具有相似的空间结构，利用最小二乘法求解低分辨率图像块固定数量的邻域，并将得到的 线性组合系数直接映射到高分辨率空间来恢复高分辨率图像块。这种方法能够以较少的 训练样本表达一个低分辨率图像块，有效地降提高了算法执行效率。这类方法后来被其他 人扩展，但是固定数量的邻域很容易引起过拟合或欠拟合现象，超分辨效果仍然有待提升。 Yang等人提出了图像超分辨的稀疏表达方法，该方法将观察特征空间和隐藏特征空间串接 在一起，然后根据压缩感知理论利用二次规划求得一个外部词典，最后利用该词典自适应 地表达低分辨率图像块。该方法也依赖于外部数据库来构建词典，若训练数据与输入图像 不兼容，算法也会引入明显的人工痕迹。Glasner等人于2009年发现了单幅图像的跨尺度 非局部自相似性，结合基于样本学习和传统的重建方法实现了超分辨处理效果的大幅度提 升。Glasner等人的方法没有考虑输入图像本身也存在模糊现象，而且在金字塔分层过程 中假设模糊核函数是已知的，但这与事实是不符的。最近，Michaeli等人利用图像块冗余 先验进行单幅图像的盲超分辨处理，通过最大化图像跨尺度自相似性来估计图像的真实模 糊核函数。随后，他又将这一性质用到了单幅图像的去模糊中，并取得良好的处理效果。然 而，Michaeli等人的方法是基于自然图像的连续性假设的，而且模糊核估计过程中利用了 所有图像块，这造成最终估计的模糊核函数出现过拟合或欠拟合现象。
[0004] 在单幅图像的超分辨处理领域，训练数据与测试数量之间的兼容性和训练数据的 精度、时效性要求是当前面临的两个主要挑战。一方面，在单幅输入图像的条件下，当前的 超分辨算法通常假设图像的模糊核函数是已知的，比如双线性插值核、高斯模糊核等低通 滤波器。然而，Michaeli等人的研宄成果表明，在假设的模糊核函数与图像真实模糊核函 数相差较大时，超分辨算法的处理效果会急剧下降。为了确保训练样本的精度及其与测试 样本之间的兼容性，有必要从输入图像自身估计图像的真实模糊核函数，以保证算法中所 用到的图像模糊参数自适应于输入图像；另一方面，基于机器学习的超分辨算法往往是十 分耗时的。这主要是由于超分辨重建阶段要求解一个U/^范式约束的最优化问题，而求解 该最优化问题一般要求很大的计算量。因此，如何在保证超分辨处理效果的同时提高算法 执行效率是单幅图像超分辨领域亟待解决的重要科学问题。
【发明内容】
：
[0005] 本发明的目的在于解决现有基于机器学习的图像超分辨算法所用到的训练数据 精度不高、与测试样本不兼容、以及时耗太大难以满足实际应用的问题。基于单幅图像的模 糊核函数盲估计过程与锚定空间映射提出了一种单幅图像的超分辨处理算法。所述模糊核 估计方法能够相对精确地估计输入图像的模糊核函数、提高训练样本精度与兼容性；锚定 空间映射处理能在不降低超分辨处理效果的同时极大地减少算法的时间消耗。
[0006] 本发明提供了一种提高训练样本精度与兼容性和提高算法效率的超分辨处理算 法，该方法主要包括两个阶段的处理：基于最小化图像跨尺度非局部相异性的模糊核估计 阶段和基于对偶词典学习与锚定空间映射的超分辨重建阶段。
[0007] 模糊核函数盲估计阶段：
[0008] 步骤1. 1数据准备：从输入图像Y中以稠密采样的方式提取样本索引图像块集 合和样本块集合对于2X超分辨问题，可以取索引块和样本块的大小分别为 5X5和9X9 ;对于3X超分辨问题，可以取索引块样本块的大小分别为5X5和13X13,样 本块的大小对应了将要估计的模糊核的大小；
[0009] 步骤1. 2筛选待处理的图像块：设定图像块的平均梯度幅度阈值|gard|s，舍弃索 引块中的平滑块；
[0010] 步骤1. 3设定初始模糊核函数k为delta函数；
[0011] 步骤1. 4利用模糊核函数对样本图像块{免丨匕进行下采样操作：首先将模糊核与图 像块卷积，再进行下采样，由此得到样本块的下采样版本&;
[0012] 步骤1. 5对每一个索引块？1，根据欧氏距离度量标准在kg中找到一定数量的邻 域块，根据下列公式计算每一个邻域块的权重：
[0014] 其中吣是每一个索引块口i的邻域个数，〇是p冲附加噪音的标准差；
[0015] 步骤1. 6更新模糊核核函数k:
[0017]其中&表示与qu对应的卷积矩阵。这里的qu表示索引块pi对应的邻域块在原 始大图像中的"父块"，其中〇 <j<MpC是对应"父块"在x和.y方向的偏导数矩阵。该 公式的出发点是最小化输入图像跨尺度相异性（dissimilarity)，与MAPk方法类似但有本 质不同；
[0018] 步骤1. 7将所得模糊核函数归一化为单位向量；
[0019] 步骤1. 8若图像块之间的平均跨尺度相异性（APD，AveragePatch Dissimilarity)持续下降，则返回到步骤1. 4重复执行模糊核更新过程；否则，即AH)不再 保持下降，输出估计的模糊核函数k;
[0020] 基于对偶词典的稀疏重建阶段：
[0021] 步骤2. 1根据所估计的模糊核函数对输入图像进行下采样。采用迭代投影残差 (BPR，BackProjectionResiduals)策略分别从原始图像及其下采样版本中提取特征，并 用对偶词典学习算法⑶L训练对偶词典队和DH