基于改进邻域嵌入和结构自相似性的超分辨率重建算法
【技术领域】
[0001] 本发明涉及图像处理领域，更具体地，涉及一种基于改进邻域嵌入和结构自相似 性的超分辨率重建算法。
【背景技术】
[0002] 自1984年Tsai等提出超分辨率这一概念以来，超分辨率重建技术得到的广泛关 注，提出了众多超分辨率重建算法。这些算法大致可以分为基于插值的方法、基于重建的方 法和基于学习的方法3类。基于插值的方法运算复杂度低、运行速度快，但是插值后的图像 通常缺少高频细节，易造成边缘模糊;基于重建的方法利用图像的降质模型以及特定的先 验知识进行超分辨率重建，一般方法中常用的先验模型包括高斯先验假设（Gaussian Process Priors)、胡伯马尔可夫随机场(Huber MRF)、全变差(Total Variation)模型、平 滑边界(Soft Edge)模型和梯度轮廓(Gradient Profile)模型等，但是由于先验知识的局 限性，结构信息和纹理信息无法得到有效的恢复，重建效果不明显；基于学习的方法包括 Example-Based方法、邻域嵌入方法（Neighbor Embedding)和稀疏表示法（Sparse Representation)，他们的基本思想是通过对大量低分辨率块和与之对应的高分辨率图像 块的学习，在它们之间建立一种对应关系，然后通过这种关系指导高分辨率图像块重建。在 这3种超分辨率重建的方法中，基于学习的方法较其它两类方法能够引入更多的高频信息， 对噪声的鲁棒性更强，因此成为近年的研究热点。
[0003] 在基于学习的超分辨率重建方法中，如采用训练图像，则需要庞大的外部图像训 练库，因此会导致算法的内存消耗较大。针对这一问题，出现了众多利用非局部自相似结构 的超分辨率重建方法。这种结构相似性通常以显在或潜在的形式普遍存在于自然图像中， 这便为图像超分辨率重建提供了丰富的附加信息。Suetake N等提出利用图像自身不同尺 度相似图像块所提供的附加信息建立内部字典，然后使用基于学习的方法进行超分辨率重 建;Glasner D等将相同尺度和不同尺度相似图像块所提供的附加信息同时加入重建模型， 在整幅图像中进行相似结构图像块的搜索;Zhang K等将图像多尺度结构自相似模型与压 缩感知理论相结合，使图像重构效果进一步提升。但是上述采用结构自相似性的超分辨率 重建算法在构建稀疏表示模型时，忽略了拥有非局部相似性质的图像块应具有相同或相近 的稀疏表示系数。针对此问题，Dong W等提出综合考虑图像的多尺度相似性与非局部相似 性，并将其融入压缩感知模型建立新的图像超分辨率方法，得到良好的重建效果。
【发明内容】
[0004] 为了克服上述现有技术存在的直流系统故障隔离难的问题，本发明提出了考虑到 初始估计的准确与否直接影响图像重建的质量与迭代次数，提出一种将邻域嵌入和结构自 相似性有效结合的图像超分辨率重建算法。
[0005] 本发明提出一种基于改进邻域嵌入和结构自相似性的超分辨率重建算法，该算法 包括以下步骤：
[0006] 步骤（1)、基于邻域嵌入的初始估计算法，首先提取高分辨率训练图像Ih的亮度分 量，接着对高分辨率图像进行a倍的下采样操作得到低分辨率图像U，并将高分辨率和低分 辨率图像分成相互有重叠区域的小块;记X= {x'm= 1，...，p}为训练的低分辨率块集合，Y ={ym，m=l，. . .，p}为与之对应的高分辨率块集合，其中p是从训练图像中分割出的小块的 数；同样的，记二丨，..,?/丨为待重建的低分辨率图像分割出的块集合， # .，妁为待估计的高分辨率图像的块集合，其中q是测试图像中分割出小块的 数量;将图像块？和图像块￥的距离矩阵定义为DPq，其中DPq的第η列为;T与X，X表示训练 的低分辨率块集合中所有图像块的距离构成的列向量;然后遍历Dpq中的每一列找到K个最 大值，其索引对应的图像块即所求图像块r在训练集中的K个近邻块，记为 5； = …义⑷L 乂"表示的对应所求的图像块义"的K个近邻块，tl，t2,. . .tK表 示K个近邻块的序号；
[0007] 接着对于每一个测试图像块F利用最小化局部重建误差的方式求得最佳权值向 量〇11=[ ωη1，ωη2,. . . ωηρ]，η!，η2, . . .ηρ表示序号的脚标，η表示第11个测试图像块：
[0009]其中每一个权值ω?需满足下述约束条件：
[0011]利用核回归方式求解ω?，得到每个高分辨率图像块< 的估计值：
[0013] 对于各个高分辨率图像块的重叠区域，取其各个重叠像素值的平均；
[0014] 利用下式定义残余误差封为图像块免与另一图像块5^的相似程度，残余误差越小 说明两图像块越相似：
[0016]对于每一个图像块计算图像块|"与其搜索邻域内的所有图像块的残余误差， 找到残余误差最小的L个图像块即为图像块梦的L个最相似块集合：
[0018]其残余误差分别为, / = K2..丄L表示的是图像块的个数；则待估计图像块F 表示为表示找到的L个残余误差最小的图像块中的一个图像块的线性组合：
[0020]其中，f中的每个元素与之间的相似度权值g由下式计算：
[0022] h是权值的控制因子；，与f中的每个元素JH'C； = 1，2,....,f)之间的相似度权值定 义为：
[0024] ，表示待估计的高分辨率图像块集合中的第j个块，f为图像块|"的1^个最相似 块集合；
[0025] 令辦"为0组成的向量，死.?，/^…/^，将式⑴谏示为：
[0026] Τ=ψβ (14)
[0027] 将（14)作为非局部自相似正则项加入邻域嵌入方法中，构造邻域超分辨率重建方 法模型：
[0030] 其中W为字典序的ωη，即^=[0^，ω2, . . .，ω<5]τ，Φ为字典序的氣，即 Φ=\φ],φ2,...,φιι}> ,
[0031] 公式(15)通过梯度下降法求解，化简为
[0032] #?+1 1(J --Φ)#* (16)
[0033] t为迭代次数，λ为正则化系数常量;设#〇为邻域嵌入法得到的迭代初始值，经过t 次迭代，得到准确的高频初始估计
[0034] 步骤(2)、建立稀疏表示字典，将步骤（1)得到的高分辨率初始估计图像进行分块 操作后，对于每一个待重建高分辨率输入块^，将其与已经训练得到的簇中心{C^Cs，...， C n}进行比较，找到与输入块欧氏距离最小的簇中心G，其所在的簇1所对应的子字典Ψ4Ρ 待重建高分辨率块^所使用的字典；
[0035]得到每个待重建图像块所对应的子字典屯1后，将利用非局部自回归超分辨率重
通过拉格朗日乘子法转化为(17 )、（ 18)两式，
[0038] 其中y表示输入低分辨率图像，X表示待重建高分辨率图像，D为下采样矩阵;Μ为非 局部自相似权重矩阵，用来描述图像块之间的非局部自相似关系为第i个图像块对应 的子字典;α为稀疏表示稀疏矩阵，其每一行 αι为第i个图像块在子字典的稀疏表示系 数向量，ai的每个元素为ai j; aij为第i个图像块的非局部自相似性块的稀疏表示系数;Ri为 抽取矩阵，其作用是将第i个图像块从图像中抽取出来为加权向量，其每个元素
[0039] 并对式（17 )、（18)迭代求解;式（17)由迭代收缩算法得到最终解;为解决式（18)， 构造拉格朗日方程为：
[0041] 其中，Z是拉格朗日乘子，τ为常量，式（19)可由下式迭代inter_num次进行求解， iter表示当前的迭代次数：
[0047] X为待重建高分辨率图像，δ为更新常量τ的更新倍数，为常数。
[0048] 与现有技术中相比，本发明所提出的算法在解决前人的基于学习的超分辨率重建 算法需要大量训练集的缺陷的基础上，改进了邻域嵌入方法，并将其用于解决基于局部自 相似性和多尺度相似性的超分辨率算法中存在的不准确高频初始估计问题，提升了图像的 超分辨率重建效果。实验结果表明，本发明提出的算法能够更好地抑制了锯齿效应和振铃 效应，重建出的高分辨率图像更接近于真实图像，具有更好的主观和客观质量。
【附图说明】
[0049] 图1为不同非局部自相似块数量重建结果比较：（la)、原图；（lb~If )、本文算法分 别在非局部自相似块数量为5，10，15，20，25时的重建结果；
[0050]图2为"Leaves"超分辨率重建结果；：（2a)、原图；（2b