一种基于字典匹配的图像超分辨率重建方法及装置的制造方法
【技术领域】
[0001] 本申请涉及一种基于字典匹配的图像超分辨率重建方法及装置。
【背景技术】
[0002] 超分辨率（Super-Resolution)也被称为上采样、图像放大，指的是通过低分辨率 的图像来恢复出高分辨率的清晰图像。超分辨率是图像和视频处理领域的基础问题之一， 在医学图像处理、图像识别、数码照片处理、高清电视等领域有着非常广泛的应用前景。 [0003]最常用的超分辨率算法之一是基于核的插值算法，例如：双线性插值、样条曲线插 值等等。但是，插值算法是通过已知的离散数据来生成连续数据，因此会出现模糊、锯齿等 现象，图像还原的效果不佳。
[0004] 近年来，大量的基于图像边缘的超分辨率算法被提出，改善了传统插值算法在重 建图像中出现的不自然效应，同时提高了图像边缘的重建后的视觉质量。但是，这一类聚焦 于改善边缘的算法不能恢复高频纹理细节。为了解决高频细节重建的问题，一些字典学习 类方法也被相继提出，通过使用已有的高分辨率图像块来训练低分辨率对应的高分辨率字 典，再利用高分辨率字典来恢复低分辨率图像中丢失的细节信息。但是，传统利用字典恢复 高分辨率图像的方法中，由于需要将字典与低分辨率图像的进行匹配，匹配的精度将影响 着图像重建的质量与效果，因此，如何提升匹配的精度，提升对低分辨率图像的重建质量， 是图像处理领域一个重要的研究方向。
【发明内容】
[0005] 本申请提供一种基于字典匹配的图像超分辨率重建方法及装置，可以提升重建的 高分辨率图像的质量。
[0006] 根据本申请的第一方面，本申请提供一种基于字典匹配的图像超分辨率重建方 法，包括：建立匹配字典库；将待重建图像块输入到多层线滤波器网络，提取所述待重建图 像中待重建图像块的局部特征；从所述匹配字典库中寻找与所述待重建图像的局部特征相 似度最高的低分辨率图像块的局部特征；寻找在所述匹配字典库中，所述相似度最高的低 分辨率图像块的局部特征所在联合样本的残差值；对所述相似度最高的低分辨率图像块的 局部特征进行插值放大，加上所述残差值，获得重建后的高分辨率图像块。
[0007] 根据本申请的第二方面，本申请提供一种基于字典匹配的图像超分辨率重建装 置，包括：建立单元，用于建立匹配字典库；提取单元，用于将待重建图像块输入到多层线 滤波器网络，提取所述待重建图像中待重建图像块的局部特征；匹配单元，用于从所述匹配 字典库中寻找与所述待重建图像的局部特征相似度最高的低分辨率图像块的局部特征；寻 找单元，寻找在所述匹配字典库中，所述相似度最高的低分辨率图像块的局部特征所在联 合样本的残差值；差值放大单元，用于对所述相似度最高的低分辨率图像块的局部特征进 行插值放大；重建单元，用于将所述差值放大单元进行放大后的低分辨率图像块的局部特 征加上所述寻找单元寻找到的残差值，获得重建后的高分辨率图像块。
[0008] 本申请提供的基于字典匹配的图像超分辨率重建方法及装置，建立匹配字典库， 将待重建图像输入多层线滤波器网络，提取待重建图像的局部特征，从匹配字典库中寻找 与所述待重建图像的局部特征相似度最高的低分辨率图像块的局部特征，寻找在匹配字典 库中，所述相似度最高的低分辨率图像块的局部特征所在联合样本的残差值，对相似度最 高的低分辨率图像块的局部特征进行插值放大，加上残差值，获得重建后的高分辨率图像 块。经过多层线滤波器网络提取的待重建图像的局部特征，精度更高，因此在后续与匹配字 典库匹配时，匹配度更高，因而重建出的图像质量也跟好。因而，本申请实施例可以大大提 升重建的高分辨率图像的质量。
【附图说明】
[0009] 图1为本申请的一种基于字典匹配的图像超分辨率重建方法的流程图；
[0010] 图2图1中步骤101的流程示意图；
[0011] 图3为本申请的本申请实施例中多层线滤波器网络对图像的局部特征提取过程 示意图；
[0012] 图4为本申请的滤波过程示意图；
[0013] 图5为本申请的一种基于字典匹配的图像超分辨率重建装置的结构示意图；
[0014] 图6图5中的建立单元的结构示意图；
[0015] 图7图5中的提取单元的结构示意图。
【具体实施方式】
[0016] 在本申请实施例中，提供一种基于字典匹配的图像超分辨率重建方法及装置，可 以提升重建的高分辨率图像的质量。
[0017] 下面通过【具体实施方式】结合附图对本发明作进一步详细说明。
[0018] 实施例一：
[0019] 请参考图1，图1为本申请实施例一的方法流程图。如图1所示，一种基于字典匹 配的图像超分辨率重建方法，可以包括以下步骤：
[0020] 101、建立匹配字典库。
[0021] 102、将待重建图像块输入多层线滤波器网络，提取待重建图像块的局部特征。
[0022] 具体地，步骤102可以包括：步骤一：多层线滤波器网络包括滤波层，滤波层的第 一级滤波器利用N个不同大小的线滤波窗口对输入的待重建图像块进行滤波，得到对应的 N个滤波图像，并输出到下一级滤波器，滤波图像包括：所述图像的线特征，其中N为大于1 的整数。
[0023] 步骤二：滤波层的第二级滤波器利用Μ个不同大小的线滤波窗口分别对第一级滤 波器输出的所述Ν个滤波图像进行滤波，得到对应的ΜΧΝ个滤波图像，其中Μ为大于1的 整数。
[0024] 步骤三：重复将每级滤波器得到的所有滤波图像输出至下一级滤波器，下一级滤 波器利用多个线滤波窗口对上级滤波器输出的所有滤波图像分别进行滤波处理，直至最后 一级滤波器滤波完毕，得到的所有滤波图像输出至多层线滤波器网络的映射层。
[0025] 步骤四：映射层对所述滤波层的所有滤波图像进行二值化处理，并输出至多层线 滤波器网络的输出层。
[0026] 步骤五：输出层对所述映射层输出的二值化处理后的滤波图像进行衔接并输出， 即得到所述输入的待重建图像块的局部特征。
[0027] 经过多层线滤波器网络提取的待重建图像块的局部特征，精度更高，因此在后续 与匹配字典库匹配时，匹配度更高，因而重建出的图像质量也跟好。本申请实施例中提出的 通过多层线滤波器网络提取图像特征也同样适用于基于流形学习或基于稀疏表达等重建 方法。
[0028] 103、从匹配字典库中寻找与待重建图像的局部特征相似度最高的低分辨率图像 块的局部特征。
[0029] 104、寻找在匹配字典库中，相似度最高的低分辨率图像块的局部特征所在联合样 本的残差值。
[0030] 105、对相似度最高的低分辨率图像块的局部特征进行插值放大后，加上残差值， 获得重建后的高分辨率图像块。
[0031] 可以理解的是，如果我们需要利用本申请实施例方法对整幅图像进行超分辨率重 建，只需将整幅图像中的分成多个低分辨率的待重建图像块，按照上述方法步骤，分别将各 个低分辨率的待重建图像块重建为高分辨率图像块，再将将重建后的各个高分辨率图像块 进行衔接，即可得到重建后的高分辨率图像。
[0032] 其中，在建立匹配字典库时，本申请方法同样利用多层线滤波网络对一些已知的 样本中低分辨率图像块的局部特征进行提取，以备后续对图像进行重建时，进行匹配利用。 可以理解的是，已知样本指的是在建立匹配字典库时，预先采集的多个高分辨率图像块以 及对采集的多个高分辨率分别作降采样后得到的对应的多个低分辨率图像块。优选的，如 图2所示，本实施例步骤101具体包括以下步骤：
[0033] 101A、采集多个高分辨率图像块，分别对多个高分辨率图像块进行降采样，得到与 每个高分辨率图像块对应的低分辨率图像块，一个高分辨率图像块以及与高分辨率图像块 对应的低分辨率图像块组成一对训练样本。
[0034] 101B、将每对训练样本中的高分辨率图像块与低分辨率图像块进行插值放大后的 图像相减，得到训练样本的残差值。
[0035] 101C、将每对训练样本的低分辨率图像块输入多层线滤波器网络，提取每对训练 样本的低分辨率图像块的局部特征。
[0036] 101D、将每对训练样本的低分辨率图像块的局部特征以及训练样本的残差值拼接 起来作为训练样本的联合样本。
[0037] 101E、使用K均值聚类对多个联合样本进行训练，得到匹配字典库。
[0038] -个实施例中，可以从已知的训练图像库中随机选取五十万个联合样本，使用K 均值聚类算法从上述五十万个聚类出1024个联合样本，将这1024个联合样本作为字典的 原子构成匹配字典。
[0039] 其中，如图3所示，多层线滤波器网络对图像的局部特征提取过程包括：
[0040] S1 :多层线滤波器网络包括滤波层，滤波层的第一级滤波器利用N个不同大小的 线滤波窗口对输入网络中的图