一种图像超分辨率重建方法
【技术领域】
[0001] 本发明属于稀疏表示的超分辨率的技术领域，具体地涉及一种图像超分辨率重建 方法，主要是应用二维稀疏表示模型于单帧图像进行超分辨率重建。
【背景技术】
[0002] 图像作为人类感知世界的重要信息形式，其内容的丰富和细节，直接决定这人类 感受到内容的详细程度。当图像单位尺度上的像素密度越高，则图像越清晰，其表达的细 节能力越强，人类感知的信息越丰富，这也就是高分辨率图像。图像的超分辨率重建已经在 很多方面有了相应的研究如遥感图像，卫星成像领域，医学图像领域，和一些高清晰显示领 域等等。
[0003] 提高图像的分辨率的方法主要靠改进传感器制造工艺来减小像元尺寸，或者增加 单位面积内的像元数量。但是减少像素元会减少像元能够接受的电磁能量，从而会造成容 易受噪声干扰，导致图像质量不高。而增加集成电路板的尺寸会导致电容增加。这易造成 电容难以转移电荷，使得其应用领域减少。另一类方法是采用信号处理技术对单帧或多帧 低分辨率图像进行重建，得到高分辨率图像，也就是图像处理领域的超分辨率重建技术。
[0004] 图像的超分辨率重建是指利用信号处理和计算机软件的方法消除由于成像系统 聚焦不准、运动模糊以及非理想采样等因素引起的图像质量退化，从而得到高分辨率的清 晰图像。多帧图像重建是融合来自相同动态场景的多个低分辨率（Low Resolution，LR)图 像的技术，其中用到了多个低分辨率图像的互补信息。而单帧图像的超分辨率图像重建则 是从单帧图像中估计截止频率以外的高频信息，重建出高分辨率的图像。
[0005] 超分辨率的概念和方法最早由Harris和Goodman于上世纪60年代提出，并提出 了多种方法，如长椭球波函数法、线性外推法、叠加正弦模板法等等。这些方法都是基于单 幅图像的。目前对超分辨率技术进行了一定的探索，但是在实际不是很广泛。上世纪代80 年代，Tsai和Huang提出了多帧超分辨率重建方法，其主要思想是在不改变现有成像系统 的前提下，如果存在多幅同一场景的低分辨率图像的情况，可以结合多幅图像信息重建高 质量图像。在多帧超分辨率重建技术发展的同时，单帧图像重建方法也得到了长足发展。然 而事实上，很难获得多幅符合条件的低分辨率图像，因此这里主要考虑的是单帧超分辨率 的重建问题。
[0006] 由高分辨率退化为低分辨率图像的模型如下：Y = SHX+N。这里，Y为低分辨率图 像，S为下采样算子，H为模糊滤波器，X为高分辨率图像，N为噪声图像。超分辨重建的目 的就是如何将通过Y恢复出原始的X图像。
[0007] 单帧图像超分辨率的方法主要有以下方式：1.基于插值的方法。主要是通过构造 光滑曲线或者曲面的插值函数来产生高分辨率图像。即"图像插值"。目前常用的插值方 法有如最近邻重复插值、双线性插值和样条插值。2.基于重构的方法，求解以上图像退化 模型的逆问题。主要是引入一些先验知识，在先验知识的指导下，求解逆问题，而由于逆问 题的解不唯一，所以需要在一定约束，如分片线性，边缘约束等等，最后找到误差最小化的 解，因此重构方法是一种求解最优化问题的方法。类似的方法有最大后验概率（Maximize a posterior, MAP)等。但是由于模型中的约束条件需要与之一些先验知识，而实际上对先验 知识的理解不见得准确，所以重建情况不是很好。3.基于学习的方法。Freeman et al.是 最早提出了的基于实例学习的超分辨率重建，可以借助外部图像库的信息，通过学习高低 分辨率图像对的关系，对输入的单帧低分辨率图像，来估计高分辨率图像中的高频细节信 息，最终得到重建图像，很显然在外部图像库信息加入后，得到的重建图像，比过去用插值 得到的高分辨率图像更清晰。而且随着图像的先验信息的样例的引入，增加了更有效的约 束，提高了重建图像的准确性。
[0008] 目前有代表性的学习的方法，就是训练高低分辨率之间的对应关系。不但保证 边缘，而且增加纹理的细节信息。如利用马尔科夫场对图像块建模，同时使用置信传播 (Belief Propagation，BP)的方法，来消除边界重复的问题。其主要思想就是将得到的 低分辨率图像以大小适中的图像块作为输入单位，然后在数据库中寻找与它最相似的低分 辨率图像块，而找到的最相似图像块所对应的高分辨率图像块就起到了补充高频细节的作 用，也就可以用来重建高分辨率图像。但是这种基于高低分辨率图像块之间学习过程中，如 果样本很多，会使得计算复杂度增多，而且如果使用邻近的图像块重建当前块也存在欠拟 合和过拟合现象。
[0009] 因此随着稀疏表示理论的发展，Yang等人提出了基于稀疏表示的范例学习超分辨 重建方法，建立高低分辨率字典时，要求高低分辨率图像块对应的稀疏系数是一样的。这样 对于输入的低分辨图像块，可以首先得到其在低分辨率基空间下的稀疏表示系数，然后复 用到高分辨率基空间上，从而实现图像的超分辨率重建。然而要求高低分辨率图像块对应 的稀疏系数是一样的约束比较强。实际上应该存在一定的映射关系，因此相继有不同的学 者提出了预滤波插值，非盲稀疏去模糊等特征增强的算法，还有关于支持向量回归模型训 练高低分辨率图像块之间的映射关系来重建超分辨率。Zeyde等通过减少LR的维度，并且 利用LR的字典计算差值图像得到HR的字典，而不是直接训练得到LR和HR的字典。Wang 等人通过建立LR和HR字典对应的稀疏系数之间映射函数来放松原来稀疏系数需要一致的 紧约束。而目前随着非局部自相似性特性在图像复原问题上的有效应用，也有很多人将这 种非局部相似性特性和聚类引入到字典学习中，从而提升了图像超分辨率重建的质量。
[0010] 本发明主要是在Yang提出的超分辨率稀疏重建Super-Resolution Sparse Representation(SRSR)的基本框架下，引入了二维稀疏表示模型，使得能够有效利用二维 图像的空间特性，同时减少一维稀疏表示中存在字典存储空间较大，需要估计的参数较多 的问题。最终能够在保证图像超分辨率重建结果的同时减少字典的存储空间。
【发明内容】
[0011] 本发明的技术解决问题是：克服现有技术的不足，提供一种图像超分辨率重建方 法，其能够有效利用二维图像的空间特性，同时减少一维稀疏表示中存在字典存储空间较 大、需要估计的参数较多的问题，从而能够在保证图像超分辨率重建结果的同时减少字典 的存储空间。
[0012] 本发明的技术解决方案是：这种图像超分辨率重建方法，包括以下步骤：
[0013] (1)将输入的低分辨率的RGB图像转化为YCbCr图像，其中Y是非线性亮度分量， Cb是蓝色色差分量，Cr是红色色差分量；对Cb，Cr利用双线性插值进行超分辨率重建；
[0014] ⑵将Y分量记为11m，利用双线性插值进行2倍上采样，得到对应的中等分辨率 的图像mlm，同时求解mlm图像的特征图像，得到不同方向和不同阶次的特征图像；
[0015] (3)以IIm左上角为起点，依次采样3x3的图像块Y1，其中每个方向上有1个像素 的重复性区域，计算当前块的均值M ;
[0016] (4)分别从mlm、以及不同方向和不同阶次的特征图像上，提取相应位置上的6x6 的图像块，并求解
，其中&表示重复区域上已经重建的
高分辨率图像的值；
[0017] (5)利用已经训练好的字典 求解
[0019] (6)求解当前块的稀疏系数：
[0021] (7)重建相应位置的高分辨率特征图像块
[0022] (8)将XfM作为相应位置的重建的高分辨率图像块；
[0023] (9)判断是否对低分辨率图像都进行了采样和超分辨率重建，如果所有3x3的低 分辨率图像块都已完成，则执行步骤（10)，否则执行步骤（3)-(9);
[0024] (10)根据公式（6)求解最终的超分辨率图像X，
CB )
[0026] 其中c为参数用来平衡全局和局部的误差