基于加权重叠非局部回归先验的单幅图像超分辨率重建方法与流程

本发明涉及图像超分辨率重建技术，具体涉及一种基于加权重叠非局部回归先验的单幅图像超分辨率重建方法，属于数字图像处理领域的图像复原方向。

背景技术：

随着计算机科学与信息科学的蓬勃发展，数字图像已经在社会的各个领域得到了广泛的应用，例如智能监控、医学成像、遥感成像、体育竞赛等。但是由于采集设备和拍摄环境的限制，导致最终采集到的图像不可避免地存在一定程度的降质。因此，根据降质图像对原始真实高分辨率(highresolution,hr)图像进行重建的超分辨率技术具有十分重要的理论与实际意义。

由于图像超分辨率重建属于典型的逆问题，故其具有明显的病态性。为了获得可靠的hr图像估计，需要对真实解空间进行正则化约束，这会涉及到自然图像的先验模型。目前，基于块的非局部相似性约束已经在超分辨率任务中展示了很好的潜力，出现了许多有效的非局部先验。它们的性能大大依赖于潜在图像的非局部相似性是否能够被充分地利用。然而，大多数非局部先验，包括经典的非局部回归先验，仅仅利用了每个块的中心像素，并没有能够充分利用非局部相似块，使得其超分辨率重建性能有限。

技术实现要素：

本发明的目的是将基于重叠的策略引入到非局部回归先验中，并对回归先验中的每一像素点处的约束强度进行自适应加权，得到基于加权重叠的非局部回归先验(weightedoverlap-basednon-localregression,wonlr)。最终将该wonlr先验用于超分辨率重建，使得重建得到的图像具有更加精细的结构，并且具有良好的噪声抑制性能。本发明通过以下操作步骤构成的技术方案来实现上述目的。

本发明提出的基于加权重叠非局部回归先验的单幅图像超分辨率重建方法，主要包括以下操作步骤：

(1)对输入低分辨率(lowresolution,lr)图像进行双三次插值，得到初始hr图像估计；

(2)利用积分图技术构建hr图像对应的累加的平方偏移图(summedsquaretranslationimage,ssti)，再利用ssti图对每个图像块进行非局部相似块搜索；

(3)结合基于重叠的策略，得到每个像素点对应的基于重叠的相似像素组(overlap-basedsimilarpixelsgroup,ospg)；

(4)构建加权参考图，并利用该图计算ospg内每个相似像素与目标参考像素间的相似权重；

(5)利用连续性假设，得到基于重叠的非局部回归先验；

(6)采用一个基于ospg标准差的加权策略来估计每个ospg组的可靠度，得到wonlr；

(7)构建超分辨率重建代价函数；

(8)利用tfocs技术来最优化重建代价函数，得到估计的hr图像；

(9)重复步骤(2)至(8)直到迭代次数到达预设值。

附图说明

图1是本发明基于加权重叠非局部回归先验的单幅图像超分辨率重建方法的框图

图2是本发明实验中使用的8张常用测试图

图3是本发明与现有的4种方法在无噪声时对“flower”图像重建结果的对比图

图4是本发明与现有的4种方法在有噪声时对“bike”图像重建结果的对比图

具体实施方式

下面结合附图对本发明作进一步说明：

图1中，基于加权重叠非局部回归先验的单幅图像超分辨率重建方法，包括以下步骤：

(1)对输入lr图像进行双三次插值，得到初始hr图像估计；

(2)利用积分图技术构建hr图像对应的ssti，再利用ssti图对每个图像块进行非局部相似块搜索；

(3)结合基于重叠的策略，得到每个像素点对应的ospg；

(4)构建加权参考图，并利用该图计算ospg内每个相似像素与目标参考像素间的相似权重；

(5)利用连续性假设，得到基于重叠的非局部回归先验；

(6)采用一个基于ospg标准差的加权策略来估计每个ospg组的可靠度，得到wonlr；

(7)构建超分辨率重建代价函数；

(8)利用tfocs技术来最优化重建代价函数，得到估计的hr图像；

(9)重复步骤(2)至(8)直到迭代次数到达预设值。

具体地，所述步骤(2)中，我们使用积分图技术构建hr图像对应的ssti，再利用ssti图对每个图像块进行非局部相似块搜索，其中非局部相似块数目l设为10。具体使用ren等提出的方法，参考文献“renc,hexh,nguyentq.singleimagesuper-resolutionviaadaptivehigh-dimensionalnon-localtotalvariationandadaptivegeometricfeature.ieeetransactionsonimageprocessing.2017,26(1):90-106.”。

所述步骤(3)中，利用整个非局部相似块来构建约束，而不是仅仅利用图像块的中心像素。由于重叠关系，每一个像素会属于p²个目标块，并且每一个目标块有l个相似块。因此对每一个像素而言，有p²l个相似像素。我们称每一个目标像素xi对应的这p²l个相似像素为一个ospg，其索引集记为

所述步骤(4)中，为了给ospg中的每一个相似像素计算与目标像素间的相似权重，我们首先构建了如下参考图xw来确保计算的稳定性：

其中x为高分辨率图像，为由每一个ospg除去其中目标像素后剩余所有像素的加权估计构建的图。常数ρ∈[0,1]，在发明中ρ被设为1/l。由于hr图像x是未知的，在求相似权重时，我们需要对x进行估计。因为在本发明中，我们采用的是迭代求解的方式，故可以采用前一阶段估计的hr图x来估计相应非局部相似权重。具体地，相似性权重kij定义如下：

其中，xωi与xωj为加权参考图xw的第i与第j个像素，h0为常数。然后，规一化的权重计算如下：

所述步骤(5)中，为了构造一个有效的超分辨率先验，我们作了如下连续性假设：原本的相似性需要在滤波输出中被保持。于是得到了如下基于重叠的非局部回归先验：

我们可以改写上式中的先验为如下矩阵形式：

其中，i为单位矩阵，wo为对应的非局部加权矩阵。

所述步骤(6)中，我们注意到在基于重叠的非局部回归先验对应的约束项中，由于没有考虑不同ospg组间的可靠度，所有的像素均被一致性地惩罚。我们希望能够根据一个合适的加权准则来自适应地惩罚每一个像素，以便进一步提升先验项的性能。为此，我们提出了如下加权重叠非局部回归先验(wonlr)：

其中λ为一个对角加权矩阵，表示如下：

λ＝diag{[φ(ξ1),φ(ξ2),...,φ(ξmn)]}

其中ξi为一个与xi对应的ospg的可靠度相关的变量。φ(·)为一个正的函数，表示强加到xi上的约束的权重。如果像素xi对应的ospg内部所有像素的标准差小，则代表ospg较可靠，我们可以给xi强加一个大的约束，这可以表示为：

其中ξi＝σi为xi对应的ospg内部所有像素的标准差。α与为两个常数，均设置为0.5。为了稳定性，所有的标准差σi均利用加权参考图xw得到。很明显，这里φ(ξi)∈(0,1]。

所述步骤(7)中，我们构建如下超分辨率重建代价函数，来估计未知hr图像：

其中y为输入lr图像，x为hr图像，h为模糊矩阵，d为下采样矩阵，λ为正则化系数。

所述步骤(8)中，由于提出的代价函数为凸二次的，可以通过许多基于梯度的方法进行求解。本发明中，我们采用templatesforfirst-orderconicsolvers(tfocs)技术求解该问题。

所述步骤(9)中，我们重复步骤(2)至(8)，我们称完整地执行一次步骤(2)至(8)为一次外部迭代，每次外部迭代中会重新搜索相似块并计算非局部权重等。当外部迭代次数达到3次时，停止进行迭代。

为了更好地说明本发明的有效性，本发明将采用对比实验的方法来展示重建效果。测试图选用如图2所示的8张常用图像。这8张图以及对应尺寸依次为：bike(256×256),butterfly(256×256),comic(361×250),flower(256×256),hat(256×256),house(256×256),plants(256×256),woman(228×334)。对比实验选取双三次插值bicubic与3个具有代表性的单幅图像超分辨率重建方法与本发明的实验结果进行比较。这3个具有代表性的单幅图像超分辨率重建方法为：

方法1：dong等人提出的方法，参考文献“dongc,chencl,hek,etal.learningadeepconvolutionalnetworkforimagesuper-resolution[c].europeanconferenceoncomputervision,2014:184-199.”。

方法2：dong等人提出的方法，参考文献“dongws,zhangl,shigm,etal.nonlocallycentralizedsparserepresentationforimagerestoration[j].ieeetransactionsonimageprocessing,2013,22(4):1620-1630.”。

方法3：ren等人提出的方法，参考文献“renc,hexh,tengqz,etal.singleimagesuperresolutionusinglocalgeometricdualityandnon-localsimilarity[j].ieeetransactionsonimageprocessing,2016,25(5):2168-2183.”。

针对本发明提出的wonlr先验，我们主要在无噪声与有噪声两类不同的实验设置下进行测试。对应的客观参数在表一与表二中分别给出。客观参数涉及到峰值信噪比(peaksignaltonoiseratio,psnr)和结构相似度(structuresimilarityindex,ssim)。其中，psnr值越大、ssim值越接近于1，则重建图像的质量越好。

对比实验的内容如下：

实验1对应降质模型：3倍下采样，模糊核为7×7、标准差1.5的高斯核，无噪声。分别用bicubic、方法1、方法2、方法3以及本发明对测试图像进行3倍超分辨率重建。其客观指标在表一中给出。为了视觉比较，给出了“flower”的超分辨重建结果，分别如图3(a)、图3(b)、图3(c)、图3(d)以及图3(e)所示。图3(f)为原图。其客观评价指标如表一的第五行所示。

实验2对应降质模型：3倍下采样，模糊核为7×7、标准差1.5的高斯核，附加标准差为5的高斯白噪声。分别用bicubic、方法1、方法2、方法3以及本发明对测试图像图像进行3倍超分辨率重建。其客观指标在表二中给出。为了视觉比较，给出了“bike”的超分辨重建结果，分别如图4(a)、图4(b)、图4(c)、图4(d)以及图4(e)所示。图4(f)为原图。其客观评价指标如表二的第一行所示。

从实验结果可以得出：

在无噪声时，双三次插值图像有明显的模糊痕迹，且在边缘处有明显的阶梯效应，性能最差。方法1在客观质量上有明显提升，且能够明显提升图像的分辨率，但是在重建的边缘仍然较模糊，且在边缘处存在一些人工痕迹。方法2在抑制人工痕迹上性能良好，且能获得较方法1更好的边缘，但是模糊效应仍然存在。方法3能够获得更好的重建质量，但是与本发明提出的方法相比性能差一些。本发明提出的wonlr方法，不仅能够很好地抑制重建图像中的人工痕迹，还能够很好地恢复出更清晰的边缘，获得了很好的重建效果。

在有噪声时，双三次插值效果最差，有明显的模糊痕迹且存在大量噪声。方法1效果也较差：不但没有很好地去除模糊，还残留了大量噪声，客观指标较低。这是由于该基于学习的方法本身并没有考虑图像中的噪声干扰，造成在含噪声情况下的低性能。方法2与方法3能够获得比方法1更好的主观与客观质量，噪声抑制表现较好，且边缘更清晰。而本发明提出的wonlr方法对噪声的抑制以及恢复高质量的边缘、纹理等效果均很好。

综上所述，本发明重建得到的图像在主观视觉效果与客观评价参数值上具有明显的优势，噪声抑制性能良好，且本方法属于比较快速的基于重建框架的方超分辨率方法。上述实验均在酷睿i7-47903.6ghz处理器，16g内存，matlab编程环境下进行。以256×256尺寸的图的平均运行时间为例，提出算法需要55.4秒。虽然方法1最快，重建仅需1.4秒，但其训练时间长达一天，且效果较差。方法2与方法3效果较好，但运行时间较长，分别为193.9秒与90.3秒。因此，本发明是一种有效的单幅图像超分辨率重建方法。表一

表二