一种基于稀疏编码系数匹配的图像超分辨率复原方法
【技术领域】
[0001] 本发明属于图像信息处理技术领域，涉及一种图像超分辨率算法，特别涉及一种 基于稀疏编码系数匹配的图像超分辨率复原算法。
【背景技术】
[0002] 随着计算机和多媒体技术的快速发展，图像作为人类获取信息的主要来源被应用 于多媒体技术的各个方面，高质量的图像/视频能够提供更丰富的信息和更真实的视觉 感受，是很多实际应用的基础。空间分辨率指图像中存储的信息量，是衡量图像细节表现 力的重要指标。高分辨率意味着图像中的像素密度高，能够提供更多的细节，而这些细节 在许多实际应用中不可或缺。真实世界的场景本身具有丰富的信息，但是受到成像设备、 成像环境、噪声等各种因素的影响，由成像设备获取的数字图像通常是低分辨率图像（Low ReS〇luti〇n，LR)，难以满足不断提高的实际应用需求。尤其是来自于各种手持设备、车载视 频采集设备、无线视频传感器网络以及恶劣自然条件下的视频监控设备等的图像/视频， 在分辨率上通常难以令人满意。因此，图像超分辨率（Super-Resolution，SR)技术已成为 近年来图像处理领域的一个研宄热点。
[0003]图像的超分辨率是指采用信号处理的方式从低分辨率图像得到高分辨率图像的 方法。超分辨率技术旨在克服成像系统的固有分辨率限制，具有成本低，无需改变成像设备 系统的优点。图像超分辨率重建技术和算法总的来说可以分为三大类：基于插值、基于重构 和基于学习的方法。其中，基于学习的方法不但能从单帧低分辨率图像重建高分辨率图像， 而且打破了基于重构的超分辨率重建方法的放大倍数限制，是目前热门的研宄的方向。基 于学习的超分辨率重建技术的基本思想是通过训练数据集，寻找低分辨率图像与对应的高 分辨率图像之间的映射关系，并指导图像的重建。这其中具有代表性的有基于小波变换、基 于马尔科夫网络模型和基于近邻嵌入等超分辨率方法。最近，由于稀疏表示理论的发展，学 者们将稀疏表示理论引入图像超分辨率复原，得到较好的图像超分辨率复原效果。
[0004] 但是，目前这种基于稀疏表示的超分辨率复原方法假设用低分辨率稀疏字典0)1) 表示的LR图像得到的稀疏编码系数（wl)，与用高分辨率稀疏字典（Dh)表示的HR图像得到 的稀疏编码系数（wh)相等，并以此假设为前提对图像进行重建。然而，经过的研宄，在实际 情况下这一假设并不可靠。即使该方法在训练Dh和D1时约束了wl和wh为相等的，但事 实证明真实情况下通过D1和Dh获得的稀疏编码系数wl和wh存在很大差异，这直接影响 了该种方法复原的图像效果。
【发明内容】
[0005] 本发明的目的在于，通过采用一种分类匹配的方法，对低分辨率图像的稀疏编码 系数wl所对应的高分辨率图像稀疏编码系数wh进行搜索，得到更接近真实的高分辨率图 像稀疏编码系数，来对图像进行重建，获得更好的超分辨率复原效果。
[0006] 本发明是采用以下技术手段实现的：
[0007] -种基于稀疏编码系数匹配的图像超分辨率复原算法，整体流程图如附图1所 示；算法分为建立样本库和图像重建两部分；建立样本库部分包括进行稀疏字典的训练和 稀疏系数样本库的建立；图像重建步骤包括图像分类，稀疏表示，稀疏系数搜索匹配，稀疏 重建整合四个步骤；图像重建步骤首先将输入的LR图像分为纹理区域和非纹理区域，与此 同时对LR图像进行插值放大备用，选择图像的非平坦区域进行稀疏表示获得稀疏系数wl， 用获得的稀疏系数在稀疏表示低分辨率图像系数样本库中匹配搜索与其最接近的稀疏系 数wl'，并用与wl'所对应的wh'作为高分辨率图像的稀疏系数，最后用wh'和Dh获得稀疏 重建的图像细节，最终与LR插值的图像相加得到超分辨率复原结果图像；
[0008] 所述样本库建立步骤内容如下：
[0009] (1)稀疏字典的训练
[0010] 对一个信号X的稀疏表示，就是寻找X被过完备字典D所表示的过程。稀疏表示 的目的就是寻找x被字典D最稀疏表示的过程，即得到的稀疏表示系数a中的非零项个数 远小于字典中的原子个数。
[0011] 这里字典训练采用YangJianchao等人2010年发表的文章"Image Super-ResolutionviaSparseRepresentation"中提出的联合稀疏字典训练方法。通过 迭代求解，可以得到稀疏字典Dh和D1。训练字典需要高分辨率图像块组成的图像块样本集 和低分辨率图像块组成的图像块样本集，这些样本集通过从不同的自然图像中提取得到。
[0012] (2)稀疏系数样本库的建立
[0013] 如附图2所示，为一幅图像中稀疏系数的提取方法，由于每幅图像大小不同，因此 每幅图像提取的稀疏系数个数也不相同。高分辨率图像和低分辨率图像提取的稀疏系数 wh'和wl'组成一个稀疏系数样本对。对S幅彩色高分辨率自然图像，分别进行2倍下采 样，下采样方法采用bicubic插值方法，生成宽和高分别只有原自然图像1/2大小的对应低 分辨率图像。对于每一幅低分辨率图像：先对其进行色彩空间转换，从RGB转换到YCbCr空 间，对得到的Y分量进行Bicubic插值放大2倍，得到Y分量插值图像。对这个插值图像进 行梯度特征提取，提取图像的4个梯度特征，生成一个4通道的特征图像。按照从左到右从 上到下的顺序进行分块，分成nXn大小的块，展开成列向量后用字典D1对其进行稀疏表示 得到wl'。对每个块进行稀疏表示得到对应的稀疏系数，这样所有的低分辨率稀疏系数组 成稀疏系数样本库WL。与之对应地，高分辨率图像先进行空间转换到YCbCr空间，采取同 样的特征提取方法对Y分量提取特征得到特征图像，也按照从左到右从上到下的顺序进行 分块，分成nXn大小的块，展开成列向量后用字典Dh对其进行稀疏表示得到wh'。对每个 块进行稀疏表示得到对应的稀疏系数，这样所有的高分辨率稀疏系数组成稀疏系数样本库 WH〇
[0014] (3)样本分类方法
[0015] 由于样本数量较大，对样本进行聚类，将样本分为k个类，以降低重建过程中的样 本搜索速度。聚类特征为wl'稀疏系数中非零项的个数，采用k均值聚类，得到k个聚类中 心和对应的样本类，这样，每个样本类拥有一个聚类中心以及聚类得到的多个wl'系数和与 之对应的wh'系数。
[0016] 所述图像重建步骤内容如下：
[0017] (1)图像分类
[0018] 由于实际应用中，大都对图像中具有纹理信息的部分感兴趣，因此在重建过程中 将图像先分为纹理区和非纹理区域，对图像中的非纹理区域不进行稀疏重建，只对图像中 的纹理区域进行稀疏重建。所述图像分类方法具体为：
[0019] 首先，对图像进行纹理分类，具体方法为：
[0020] 选择Sobel算子提取图像像素点的梯度信息，采用4个方向模板对整幅图像 进行梯度值求取后，将图像分为纹理区域和非纹理区域。具体骤是：1、计算阈值，TH= 0.06Xg_，其中8_是整幅图像中最大的梯度值。TH为门限阈值，作为判别像素点纹理分 类的依据，0.06是经验值。2、将图像像素分为非纹理区域和纹理区域。当像素点（i，j)位 置的梯度值小于TH时该像素点就被划分为非纹理区域；如果像素点（i，j)位置的梯度值不 小于TH时该像素点就被划分为纹理区