一种基于块旋转和清晰度的单幅图像超分辨率重建方法
【专利摘要】本发明涉及一种基于块旋转和清晰度的单幅图像超分辨率重建方法。为增加训练样本块的多样性，但又不增加计算复杂度，将样本块进行一定角度的旋转，然后引入块清晰度对训练样本进行分类。对于块清晰度较高的纹理、角以及边缘块，利用分类好的对应样本库进行自相似性重建，而清晰度较低的块，则直接使用插值放大进行重建。在搜索匹配过程中使用快速近似最近邻搜索库搜索，提高了重建效率。最终利用迭代反投影算法和局部约束进行优化。本发明的方法能够大幅度减少计算的复杂度，同时提高了单幅自相似性重建图像的质量和效率，能够获得较好的视觉效果。
【专利说明】
一种基于块旋转和清晰度的单幅图像超分辨率重建方法
技术领域
[0001] 本发明涉及一种基于图像块旋转和清晰度的单幅图像超分辨率重建方法，属于图 像处理领域。
【背景技术】
[0002] 从一幅或多幅低分辨率图像获取高分辨率图像，即图像超分辨率重建，已经是一 个经典的问题。高分辨率图像具有低分辨率图像丢失的细节，即高频信息。由于图像的取景 和拍照过程中，会存在不可避免的外在干扰，比如光线不足，拍摄抖动等等，将导致获得的 图像分辨率较低。尤其在一些特殊领域，如：医学中人体内部病理图像的获取，以及高空遥 感图像的拍摄，这些是难于通过提高硬件设施来较大幅度的提高图像的分辨率。并且，硬件 的成本和工艺制造代价可能远远超出了它所能带来的实际价值，因此，通过数字信号处理 或软件算法来提高图像的分辨率已经是当前十分活跃的一个研究领域。
[0003] 超分辨率算法主要分为以下两种:经典图像超分辨率重建和基于学习的图像超分 辨率重建方法。经典图像超分辨率重建方法旨在从一系列亚像素偏移的低分辨率图像中重 建出原有的高分辨率图像。每一幅低分辨率图像将对高分辨率复原图像进行线性约束，当 亚像素位移低分辨率图像足够多的时候，则足以重建出高分辨率图像。然而这种方法终究 逃脱不了经典多幅图像重建的限制。即使图像序列充分配准，已滤去足够的噪声，一般也只 局限于2倍的分辨率放大。而基于学习的超分辨率重建方法打破了基于多帧图像重建的约 束，采用分块的思想，并通过一组有代表性的图像集来学习低分辨率与高分辨率图像块之 间的映射关系，利用这种映射关系，估计高频细节，最后预测得到待重建的高分辨率图像。 Freeman等（参见Freeman W.T.Learning low-level vision[J],Springer International Journal of Computer Vision,2000,40(1) :25-47.)首次提出了基于学习的超分辨率算 法，并且通过Mar kov网络学习低分辨率图像块与高分辨率图像块之间的映射关系。此方法 大量的依赖于外界训练库，并且额外的训练库不一定能保证包含重建所需要的高频细节， 容易导致"幻觉"效应。Chang等人（参见H. Chang. Super-resolution through neighbor embedding，in Proceedings of CVPR，2004,νο1·1，ρρ·275-282·)米用了局部线性嵌入 (Local Linear Embedding，LLE)方法，此方法使用相同的近邻系数线性组合恢复高分辨率 块，容易导致欠拟合和过拟合现象。Khatri等人(参见N.Khatri .Efficient Self-learning for Single Image Upsampling, in WSCG,2014.)针对图像大尺度放大时训练字典过大这 一问题，进行筛选简化，剔除相似性大的冗余图像块，大大的减少了计算的复杂度。Glasner 等人（参见D.Glasner. Super-resolution from a single image.Proc.Computer Vision, 2009，pp. 349-356.)结合了传统的和基于学习的超分辨率算法用于单幅图像超分辨率重 建，但是实验表明其结合传统多帧重建方法对最终图像的重建质量贡献并不大，增加了计 算的复杂程度，并且其使用的ANN(Approximate Nearest Neighbors)库搜索速度较慢。 Singh 等人（参见 A Singh , N Ah uj a. Super-Resolution Using Sub-Band Se 1 f-Similarity · Computer Vision-ACCV 2014: 552-568 ·)针对自相似性难于重建纹理较复杂 的图像这一缺点，提出了利用可控金字塔模型将低分辨率输入图像进行多频带分解，然后 针对每一频带进行自相似性重建，最后再逆变换回高分辨率图像。
[0004] 总之，上述【背景技术】一定程度上都存在计算复杂度较高并且对外在训练样本依赖 性高的缺点，在重建倍数较大情况下，不能较好的保证重建的效率和质量。
【发明内容】
[0005] 本发明的技术解决问题:克服传统基于学习的超分辨率重建算法训练时间过长和 对训练库依赖性大的不足，提供一种基于图像块旋转和清晰度的单幅图像超分辨率重建方 法，增加训练样本块的多样性，但又不增加计算复杂度，提高了自相似性重建图像的质量和 效率。
[0006] 本发明的目的是通过以下技术方案来实现:一种基于图像块旋转和清晰度的单幅 图像超分辨率重建方法，包括样本库的生成和样本库搜索方法等，其步骤如下：
[0007] (1)装入低分辨率输入图像1〇,设置图像块大小MXM，M为正整数取5、7、9...等;下 采样因子a，a>0,超分辨率放大因子K，K取2、3、4...等正整数。
[0008] (2)将低分辨率输入图像进行多尺度模糊下采样，利用块旋转策略旋转产生对应 的中频图像样本训练块库和高频图像样本训练块库，具体步骤如下：
[0009] (2.1)将低分辨率输入图像Ιο按采样因子a进行η(η为正整数)层高斯低通滤波和 下采样操作，每一层的高斯低通滤波的模糊核由下采样对应的层数、因子a和图像块大小共 同决定。得到的高斯金字塔图像序列是由第-η层到第0层，最大尺度层，即低分辨率输入图 像1〇。
[0010] (2.2)对高斯金字塔图像序列中的每一层图像先按超分辨率放大因子Κ进行下采 样和平滑滤波，然后再插值放大到原图像大小，得低分辨率金字塔图像序列，即低频训练图 像库。
[0011] (2.3)将高斯金字塔图像序列和低分辨率金字塔图像序列的图像其对应的图像层 进行差值得到高分辨率图像的高频信息金字塔图像序列，即高频训练图像库。
[0012] (2.4)对低频训练图像库图像进一步分解得到中频训练图像库。
[0013] (2.5)分别对以上两个训练库中的每一张图像进行旋转90度。
[0014] (2.6)再依次对原图和旋转后的图像进行分块处理。分块原则为：从左往右，从上 往下，块大小为ΜΧΜ，像素偏移数目为Ν，Ν取1、2...等正整数并且小于Μ。最后将每一图像分 块后得到的图像块进行汇总，分别得到中频图像样本训练块库和高频图像样本训练块库。 同时对由同一图像块产生的中频和高频图像块建立对应映射关系。
[0015] (3)将待重建的低分辨率输入图像Ιο插值到预放大尺度，进行分块处理后用带通 滤波器提取图像块对应的中频图像块。分块准则为:从上到下，从左到右，大小为ΜΧΜ(Μ为 正整数），块像素偏移个数为Ν。
[0016] (4)计算步骤(3)中带通滤波后的每一图像块的块清晰度，块清晰度（Sharpness MeasUre，SM)可由梯度幅值表示。对于任意给定的图像块，SM可定义如下：
[0018]其中N1，N2为图像块的高与宽，而句和G丨代表水平梯度和垂直梯度，分别如下所 示：
[0019] 61,, = /(/+1,./)-/(/,./}
[0020] G,= /(/，/ + 1) - /(/,./)
[0021] 式中，I表示图像像素值。根据上述公式，图像块的SM值可作为将图像块分类为边 缘、角以及纹理块的标准。根据SM值进行超分辨率图像块重建：
[0022] (4.1)假如块清晰度SM小于阈值L(L>0)，不进行处理，直接使用带通滤波前的插值 放大图像块作为重建图像块，结束；
[0023] (4.2)否则在对应训练好的中频图像样本训练块库中利用快速近似最近邻搜索库 搜索S个(S可取9，10，11...等正整数)最相似的中频图像块。
[0024] (4.3)利用中频图像块和高频图像块对应的映射关系，在高频图像样本训练块库 中找到对应的高频图像块，然后利用高斯加权分别为不同相似度的图像中频块赋予不同的 权值，加权公式如下：
[0027] 其中搜索的中频图像块，xf为搜索到相似的中频图像块。^为加权值系数，h为 控制权值随着欧式距离增加的下降速度(h>0)。将权值系数用于加权与中频图像块相对应 的高频图像块，得到当前低分辨率图像块需要的高频细节图像块。
[0028] (5)将重建的所有高频细节图像块，按照像素重复个数进行加权平均融合，然后与 插值放大后的低分辨率输入图像块相加得到初始高分辨率图像。
[0029] (6)使用迭代反投影和局部约束对初始高分辨率图像进行约束和优化。局部约束 是对任一图像块进行相似性搜索，寻找周围相似的块，并且利用不同的权值进行加权，最终 得到的图形块把图像的全局相似性联系起来，可使得最后的重建图像轮廓更加精准清晰。 为确保每次重建的高分辨率图像与低分辨率输入图像保持一致，针对每一级重建图像进行 迭代反投影全局优化：
[0030] Xt+i=Xt+ ((Y-DXt) T) *Guas sLowF liter
[0031] 其中Xt+1为第t + 1次迭代得到的高分辨率图像，D为降采样因子4为放大倍数， GuassLowFliter为高斯低通滤波器。设定迭代次数num(num为20左右正整数），不断的更新， 能够有效的防止差错的扩散。
[0032] 本发明与现有技术相比的优点在于：
[0033] (1)本发明提供的方法采用图像块在不同尺度间存在的重复性来学习高低分辨率 图像块之间的映射关系，使用块清晰度对样本块进行分类，重建图像得到了更好的视觉效 果，峰值信噪比得到了相应的提高。
[0034] (2)本发明将样本块进行一定角度的旋转，然后引入块清晰度对训练样本进行分 类，并使用快速近似近邻库进行搜索重建。本发明增加训练样本块的多样性，但又不额外增 加计算复杂度，提高了单幅自相似性重建图像的质量和效率。
【附图说明】
[0035]图1为本发明系统结构图；
[0036] 图2中频和高频样本训练块库生成流程图；
[0037] 图3高分辨率图像块块生成流程图。
【具体实施方式】
[0038] 下面结合附图详细解释本发明提出的基于块旋转和清晰度的单幅图像超分辨率 重建方法。如图1所示，本发明的方法应该包含以下几个部分:基于旋转策略的中频和高频 样本训练块库生成、基于图像块清晰度的高分辨率图像块的生成、初始高分辨率图像生成、 迭代反投影和局部约束对初始高分辨率图像进行约束和优化。基于旋转策略的中频和高频 样本训练块库生成模块主要负责将待放大的一帧低分辨率输入图像生成中频图像样本训 练块库和高频图像样本训练块库;基于图像块清晰度的高分辨率图像块的生成模块负责将 一低分辨率图像块转换成高分率图像块;最后是高分率图像的合成及约束与优化。
[0039] 本发明主要涉及样本训练块库生成和基于图像块清晰度的高分辨率图像块的生 成方法这两个环节，具体实现如下：
[0040] 1、基于旋转策略的训练样本库生成
[0041]传统的基于学习的重建方法中，往往都选取大量的外在训练样本来保证重建图像 的质量。但是，大量的样本块无疑增加了计算的复杂度，而且通过搜索匹配得到的高频细节 块，存在多对一的现象，即有可能不是重建最终需要的高频细节，容易导致重建的结果出现 "伪影"现象。针对这一缺点，本发明在块多尺度自相似性原理的基础上对样本块进行旋转 来增加图像样本的多样性，仅使用单幅待重建的图像，减少了对外在训练库的依赖性。 [0042]为了更好的预测高频信息，首先对一帧低分辨率输入图像1〇利用高斯低通滤波和 下采样操作，得到多尺度的下采样图像. . .，I-n(n取2、3、4...的正整数），得到高斯 金字塔由_nth到0 th层(最大尺度层，即Ιο)组成，记第i层为L·，可得：
[0044] 其中：D表示用高斯低通滤波器进行平滑和下采样操作。为了将对应的^分别分解 为低频成分U和高频成分出，对式子(1)中金字塔结构中的每一层图像先按超分辨率放大因 子K进行下采样和平滑滤波，然后再插值放大K倍回到原图像大小，这样便得到对应的低频 图像成分U。可由公式(2)表示：
[0045] Li = U(D(Ii)) (2)
[0046] 其中：n〈 = i〈0; D操作和（1)式中一样，而U表示的双三次插值操作。得到了对应的 低频图像成分1^后，将其与对应的图层进行差值即可得到高频图像成分出，即公式(3)所 示：
[0047] Hi = Ii-Li (3)
[0048] 然而公式（2)中的低频图像成分可以进一步分解为低频图像和高频图像成分。从 第一层低频图像成分U中再次抽取出的低频图像成分称为中频图像信息，由如下描述可 得：
[0049] Mi = Li-U(D(Li)) -n^i^O (4)
[0050] 得到中频图像和高频图像训练库后，分别对两个图像训练库中的每一张图像先进 行旋转90度，然后再依次对原图和旋转后的图像进行分块处理。分块原则为:从左往右，从 上往下，块大小为Μ XM(如5X5、7X7等），块像素偏移个数为N(N取值〈Μ的正整数，如1，2，3 等）。最后将每一图像分块后收集成中频图像样本训练块和高频图像样本训练块库，并对中 频图像样本训练块和对应的高频样本训练块进行标记得到训练块对。
[0051 ] 具体流程如图2所示，实现如下：
[0052] (1)装入低分辨率图像Ιο，设置图像块大小Μ X Μ，一般取5 X 5、7 X 7等，超分辨率放 大因子Κ(Κ>0)-般取2、3、4等，下采样因子a(a>0)。
[0053] (2)将低分辨率图像Ιο按采样因子a进行η层高斯低通滤波和下采样操作，n(n为整 数)一般取3、4、5...等。每一层的高斯低通滤波的模糊核由下采样对应的层数、a因子和块 大小共同决定。得到的高斯金字塔图像序列是由第-η层到第〇层组成，其中第〇层为最大尺 度层，即低分辨率输入图像1〇。
[0054] (2.1)对金字塔结构中的每一层图像先按超分辨率放大因子Κ进行下采样和平滑 滤波，然后再插值放大到原图像大小，得到低分辨率金字塔图像序列，即高频训练图像库。 插值方法采用双三次插值放大图像。将两个序列的图像其对应的图像层进行差值即可得到 高分辨率图像的高频信息金字塔图像序列，即高频训练图像库。
[0055] (2.2)对低分辨率金字塔图像序列进行高斯低通滤波处理，再将滤波后的图像序 列与低分辨率金字塔图像序列中对应层图像相减得到中频训练图像库。
[0056] (2.3)分别对两个训练库中的每一张图像进行旋转90度。
[0057] (2.4)再依次对两个库中的原图和旋转后的图像进行分块处理。分块原则为:从左 往右，从上往下，块大小为ΜΧΜ，块像素偏移个数为Ν。最后将每一图像分块后得到的图像块 进行汇总，分别得到中频图像样本训练块库和高频图像样本训练块库。
[0058] 2、基于图像块清晰度的高分辨率图像块的生成方法
[0059]图像块清晰度(Sharpness Measure,SM)可由梯度幅值表示。对于任意给定的图像 块，SM可定义如下：
[0061] 其中m，N2为块的大小，而G代表水平梯度和垂直梯度，分别如下所示：
[0062] G!lj) = + hj) - /(/, /) (6)
[0063] = 7(Λ ./>〇-/(/，./) (7)
[0064] 式中，I表示图像像素值。根据上述公式，图像块的SM值可作为将图像块分类为边 缘，角以及纹理块的标准。分类准则如下：
[0066]先将下采样得到的中频训练块根据(8)式进行预分类。试验中对N1，N2，N3进行大 量的测试，发现分别取值为12,24,40时效果较好。然后将低分辨率输入图像插值到预放大 尺度后分块再用带通滤波器获取中频信息，对于滤波后的每一图像块，先求出其SM值，然后 根据(8)式，判断其属于哪一个区间段，根据其所处的类别进行相应的重建。对于处于第一 类(lable 1)的图像块，由于其纹理细节较少，则可直接使用插值放大的图像块作为重建结 果。然而对于处于其他类型的图像块，含有的细节较丰富，在对应的已分类好的训练样本块 中进行自相似性搜索。这种有针对性的训练重建，不仅仅减少了重建可能带来的误匹配现 象也同时缩小了搜索范围，减少了训练的复杂度，可使最终重建的图像视觉效果更好。 [0067] 具体流程如图3所示，实现过程如下：
[0068] (3)将低分辨率输入图像Ιο插值到预放大尺度，进行分块处理后用带通滤波器提 取图像块对应的图像成分。分块准则为:从上到下，从左到右，大小为ΜΧΜ(Μ为正整数），块 像素偏移个数为Ν(Ν〈Μ，且Ν为正整数如1，2，3等）。
[0069] (4)计算步骤(3)中带通滤波后的每一图像块的块清晰度SM值
[0070] (4.1)假如块清晰度SM小于L(L>0,取值12左右），不进行其它处理，直接使用带通 滤波前的插值放大图像块作为重建图像块，结束；
[0071] (4.2)否则在对应训练好的中频图像样本训练块库中利用快速近似最近邻搜索库 搜索S(S为正整数，可取9，10，11，...等正整数)个最相似的中频块。
[0072] (4.3)利用中频图像块和高频图像块对应的映射关系，在高频图像样本训练块库 中找到对应的高频图像块。然后利用高斯加权分别为不同相似度的中频图像块赋予不同的 权值，加权公式如下：
[0075] 其中^待搜索的中频图像块，x/为搜索到相似的中频图像块。^为加权值系数，h为 控制权值随着欧式距离增加的下降速度(h>0)。将权值系数用于加权与中频图像块相对应 的高频图像块，得到当前低分辨率图像块需要的高频细节块。
[0076] (5)将重建的所有高频细节块，按照像素重复个数进行加权平均融合，然后与插值 放大后的低分辨率输入图像块相加得到初始高分辨率图像。
[0077] 3、局部约束
[0078] 事物是普遍联系的。自然图像也是一样，图像中每一个点都是与周围的像素有关 联的，共同组成了具有某种结构的图像。自然图像一般具有丰富的信息，包含一些相关联的 信息，或者说是冗余信息。而且，具有相关性的像素不仅仅是在邻域内才具有，这种相关性 可以扩散到整幅图像。局部约束的核心是基于图像块的方式对任一图像块进行相似性搜 索，寻找周围相似的块，并且利用不同的权值进行加权，最终得到的图形块把图像的全局相 似性联系起来，可使得最后的重建图像轮廓更加精准清晰。
[0079] 对于每一个图像块取MXM大小，以中心像素点为起始在其周围进行相似块筛选， 通过事先设置的阈值，计算相似块之间的欧氏距离。如下式所示：
[0080] =|j X,. - Xf ||< threshold 興
[0081 ]式中：threshold为事先设置的距离阈值，xi每一图像块，4为筛选的图像块。我们 筛选Μ块最相似的图像块，通过线性加权得到最后的图像块，线性表达如下式子：
[0085]其中wi为加权权值系数，ck为权重归一化因子，h为控制权值随着欧式距离增加的 下降速度(本发明取10)。
[0086] 4、迭代反投影进行全局约束
[0087] 为确保每次重建的高分辨率图像与低分辨率输入图像保持一致，针对每一级重建 图像进行迭代反投影全局优化：
[0088] Xt+i=Xt+ ((Y-DXt) T) *Guas sLowF liter
[0089] 其中Xt+1为第t + 1次迭代得到的高分辨率图像，D为降采样因子4为放大倍数， GuassLowFliter为高斯低通滤波器。设定迭代次数num(num为20左右正整数），不断的更新， 能够有效的防止差错的扩散。
[0090] 综上所述，本发明通过将样本块进行一定角度的旋转，然后引入块清晰度对训练 样本进行分类。增加训练样本块的多样性，但又不增加计算复杂度，提高了单幅图像自相似 性重建图像的质量和效率。本发明的方法能够减少重构图像在某些轮廓部分产生的一些不 规则边缘和锯齿效应，重建图像拥有更丰富的细节和更高的峰值信噪比。
[0091] 以上仅是本发明的具体应用范例，对本发明的保护范围不构成任何限制。其可扩 展应用于所有显示设备特性化的应用领域，凡采用等同变换或者等效替换而形成的技术方 案，均落在本发明权利保护范围之内。
【主权项】
1. 一种基于块旋转和清晰度的单幅图像超分辨率重建方法，其特征在于:包括样本库 的生成和基于清晰度的图像超分辨率重建方法，步骤如下： (1) 载入低分辨率输入图像1〇,设置下采样因子为a，超分辨率放大因子为K; (2) 将低分辨率输入图像Ιο进行多尺度模糊下采样，利用块旋转策略旋转产生对应的中 频图像样本训练块库和高频图像样本训练块库，其中中频图像样本训练块库由块大小为Μ ΧΜ的中频图像块组成，高频图像样本训练块库由块大小为ΜΧΜ的高频图像块组成； (3) 将低分辨率输入图像Ιο插值到预放大尺度Κ倍大小，然后将该图像分块，图像块大小 为ΜΧΜ，图像分块准则为:从上到下，从左到右，像素偏移个数为Ν，最后对每一图像块用带 通滤波器处理得中频图像块； (4) 计算步骤（3)中带通滤波处理后所得每一中频图像块的清晰度SM( Sharpness Measure，SM)值，根据图像块清晰度SM值进行超分辨率图像块重建； (5) 将步骤(4)重建所得的超分辨率图像块按照像素重复个数进行加权平均融合，得到 初始高分辨率图像； (6) 使用迭代反投影和局部约束对初始高分辨率图像进行约束和优化，确保重建图像 与低分辨率输入图像的一致性并减少重建误差，最终得到放大因子为K倍的高分辨率的图 像。2. 根据权利要求1所述的基于块旋转和清晰度的单幅图像超分辨率重建方法，其特征 在于:所述步骤(2)将低分辨率输入图像Ιο进行多尺度模糊下采样，然后利用块旋转策略旋 转产生对应的中频和高频图像样本训练块库，具体步骤如下： (2.1) 将低分辨率输入图像1〇按下采样因子a进行η层高斯低通滤波和下采样操作，得到 的高斯金字塔图像序列是由第-η层到第〇层图像组成，其中第〇层为最大尺度层即低分辨率 输入图像1〇; (2.2) 对(2.1)中高斯金字塔结构中的每一层图像提取高分辨率图像的高频信息金字 塔图像序列和中频信息金字塔图像序列，即高频训练图像库和中频训练图像库； (2.3) 分别对高频训练图像库和中频训练图像库中的每一张图像进行旋转90度； (2.4) 依次对两个库中的原图像和旋转后的图像进行分块处理，分块原则为：从左往 右，从上往下，块大小为ΜΧΜ，像素偏移个数为Ν;最后将每一图像分块后得到的图像块进行 汇总，分别得到中频图像样本训练块库和高频图像样本训练块库；同时建立两个库的图像 块对应映射关系。3. 根据权利要求1所述的基于块旋转和清晰度的单幅图像超分辨率重建方法，其特征 在于:所述步骤(4)计算每一带通滤波后中频图像块的块清晰度SM值，然后根据SM值进行超 分辨率图像重建，具体步骤如下： (4.1) 如果块清晰度SM小于阈值L，不进行处理，直接使用带通滤波前的图像块插值放 大图像块作为重建图像块，结束； (4.2) 否则在对应训练好的中频图像样本训练块库中，利用快速近似最近邻搜索库搜 索S个最相似的中频图像块； (4.3) 利用中频图像块和高频图像块对应的映射关系，在高频图像样本训练块库中找 到对应的高频图像块，利用高斯加权分别为不同相似度的图像块赋予不同的权值，最终得 到当前低分辨率图像块所需要的高频图像块。
【文档编号】G06T3/40GK106097253SQ201610717073
【公开日】2016年11月9日
【申请日】2016年8月24日
【发明人】解凯, 尧潞阳, 李桐, 曾庆涛, 叶宇姗
【申请人】北京印刷学院