基于多层梯度约束回归的单幅图像超分辨率重建方法与流程

本发明涉及图像分辨率提升技术，具体涉及一种基于多层梯度约束回归的单幅图像超分辨率重建方法，属于图像处理领域。

背景技术：

在军事、医疗、农业、民生等领域，图像及视频都有广泛的应用，尤其是高分辨率的图像或视频。然而，由于成像设备及成像环境等因素的限制和影响，实际获取的图像或视频的质量往往难以满足实际使用的要求，如存在分辨率不足、噪声污染严重、模糊等问题。因此，在实际应用中，通过图像处理技术来针对性地提升已获取的图像及视频信号的质量，是很有必要的。超分辨率重建技术是提升图像或视频信号的分辨率的方法之一，其具有易于实现、成本低、适用性强等特点。其中，单幅图像超分辨率重建技术是指由观测的单幅低分辨率图像估计对应的高分辨率图像。显然，由于采样等降质过程，同一低分辨率图像可能对应多个不同的高分辨率图像。因此，单幅图像超分辨率重建问题具有严重的病态性。为了获得一个稳定、可靠的高分辨率估计，图像先验在重建过程中是必不可少的。先验模型可以通过挖掘自然图像满足的通用特性来获取，也可以利用大量的自然图像来学习获得。目前的单幅图像超分辨率重建方法大致可以分为三类：基于学习的超分辨率方法、基于重建的超分辨率方法和基于插值的超分辨率方法。这三类方法具有不同的特点，如基于学习的方法往往具有较快的执行速度，并且能很好地恢复图像细节，但是其易于将一些人工效应引入到重建结果中；基于重建的方法通常可以很好地抑制人工效应，但是不能较好地保留图像纹理及细节信息，并且重建速度较慢。

技术实现要素：

本发明的目的是集成基于重建及基于学习的超分辨率重建方法的优点，进而构建一种高效率、高性能的单幅图像超分辨率重建方法。

本发明提出的基于多层梯度约束回归的单幅图像超分辨率重建方法(简称为sgcrsr)，主要包括以下操作步骤：

(1)利用训练图像，在梯度及残差域分别学习多层的的回归模型；

(2)将输入低分辨率图像插值，得到初始高分辨率图像；

(3)将当前的高分辨率图像作为输入，利用当前层对应的梯度及残差域回归模型分别估计出梯度及残差；

(4)根据步骤(3)估计的梯度及残差，构建并优化重建代价函数，得到当前层的重建结果；

(5)以步骤(4)的重建结果作为新的高分辨率图像，重复执行步骤(3)和(4)，直到达到最大重建次数，最后输出即为最终重建结果。

附图说明

图1是本发明基于多层梯度约束回归的单幅图像超分辨率重建方法的原理框图：其中，(a)为本发明sgcrsr的训练及重建阶段的框图，(b)(c)分别为(a)中“训练回归模型”及“gcrsr”模块的框图

图2是本发明与四种方法对测试图像“bike”重建结果的对比图：其中，(a)为测试图像，(b)(c)(d)(e)(f)分别为bicubic、对比方法1、对比方法2、对比方法3及本发明的重建结果

图3是本发明与四种方法对测试图像“woman”重建结果的对比图：其中，(a)为测试图像，(b)(c)(d)(e)(f)分别为bicubic、对比方法1、对比方法2、对比方法3及本发明的重建结果

具体实施方式

下面结合附图对本发明作进一步说明：

图1中，基于多层梯度约束回归的单幅图像超分辨率重建方法，具体可以分为以下几个步骤：

(1)利用训练图像，在梯度及残差域分别学习多层的的回归模型；

(2)将输入低分辨率图像插值，得到初始高分辨率图像；

(3)将当前的高分辨率图像作为输入，利用当前层对应的梯度及残差域回归模型分别估计出梯度及残差；

(4)根据步骤(3)估计的梯度及残差，构建并优化重建代价函数，得到当前层的重建结果；

(5)以步骤(4)的重建结果作为新的高分辨率图像，重复执行步骤(3)和(4)，直到达到最大重建次数，最后输出即为最终重建结果。

具体地，所述步骤(1)中，我们首先将用于训练的高分辨率图像进行下采样，得到模拟的低分辨率图像并将进行插值，得到初始高分辨率图像然后，如图1(b)所示，利用和来训练出第一层的梯度域及残差域的回归模型。具体实现为：利用梯度提取算子在和中分别提取出高低分辨率的梯度特征和在和的差中提取出高频残差特征梯度域及残差域回归模型的计算方式分别如公式(1)和(2)所示:

其中，和分别为第一层的梯度域及残差域的回归模型，i为单位矩阵,λ为设定的常数,t为转置操作。需要说明的是，为了简洁性，本说明中以图像为单位进行方法介绍，但实际算法实现是以图像块为单位进行训练及重建。此外，算法实现中，会训练多组回归模型来适应不同类型的图像块，从而保证重建效果。

获取梯度域及残差域回归模型后，即可对初始高分辨率图像进行第一次重建，其原理如图1(c)所示的gcrsr模块：首先利用梯度算子提取的梯度特征进而利用训练得到的梯度及残差域回归模型(和)分别估计梯度及残差，即

根据基于最大后验概率的超分辨率重建框架，利用估计的梯度及残差结果分别建立约束项，构建超分辨率重建的代价函数为：

其中，为模拟低分辨率图像的第一层重建结果，α和β均为正则化系数，为梯度算子。代价函数(5)可用梯度下降法求解。

在后续层的训练中，其原理与第一层的训练相同，主要区别在于训练使用的图像。在训练第一层的模型时，使用的图像为和而在第n层的模型训练中，训练使用的图像为和其中，表示第(n-1)层的重建结果。

通过步骤(1)，可训练出多层的梯度域模型和残差域模型在测试过程中，这些模型将依次用来对输入图像进行多次重建，以渐进地提升重建图像的质量。

所述步骤(2)中，我们采用双三次插值方法将待重建低分辨率图像插值到目标分辨率，得到初始的高分辨率图像。

所述步骤(3)中，我们将当前的高分辨率图像作为输入，提取其梯度特征；然后选择对应层的梯度及残差域回归模型，按照公式(3)及公式(4)分别估计出梯度及残差。

所述步骤(4)中，利用步骤(3)中估计的梯度及残差分别构建约束项，并建立如公式(5)所示的重建代价函数。采用梯度下降法优化重建代价函数，得到当前层的重建结果。

所述步骤(5)中，我们将步骤(4)的结果作为新的初始高分辨率图像，重复执行步骤(3)和步骤(4)。直到达到设定的最大重建次数，重建结果即为最终的输出。

为了更好地说明本发明的有效性，在常用测试图像“bike”及“woman”上进行了比较实验。其中，“bike”如图2(a)所示，“woman”如图3(a)所示。模拟低分辨率图像的生成方式：用大小为7x7，方差为1.5的高斯模糊核对高分辨率测试图像进行模糊，然后进行3倍下采样。实验中，选取双三次插值bicubic及三种典型的单幅图像超分辨率重建算法作为对比方法。三种对比的超分辨率重建算法为：

方法1：zhang等人提出的方法，参考文献“k.zhang,x.gao,d.tao,andx.li,“singleimagesuper-resolutionwithnon-localmeansandsteeringkernelregression,”ieeetrans.imageprocess.,vol.21,no.11,pp.4544-4556,nov.2012.”。

方法2：dong等人提出的方法，参考文献“w.dong,l.zhang,g.shi,andx.li,“nonlocallycentralizedsparserepresentationforimagerestoration,”ieeetrans.imageprocess.,vol.22,no.4,pp.1620-1630,apr.2013.”。

方法3：timofte等人提出的方法，参考文献“r.timofte,v.desmet,andl.vangool,“a+:adjustedanchoredneighborhoodregressionforfastsuper-resolution,”inproc.asianconf.comput.vis(accv),nov.2014,pp.111-126.”。

对比实验的内容如下：

实验1，分别用bicubic，方法1，方法2，方法3以及本发明对由测试图像“bike”模拟生成的低分辨率图像进行3倍重建。超分辨率重建结果分别如图2(b)、图2(c)、图2(d)，图2(e)及图2(f)所示，重建结果的客观评价参数及重建时间如表一所示。其中客观评价参数psnr(peaksignaltonoiseratio)、ssim(structuresimilarityindex)及ifc(informationfidelitycriterion)均为值越大，代表图像质量越好。算法测试平台：处理器intercorei5cpu(3.3ghz)及内存16g的台式计算机。

表一

实验2，分别用bicubic，方法1，方法2，方法3以及本发明对由测试图像“woman”模拟生成的低分辨率图像进行3倍重建。超分辨率重建结果分别如图3(b)、图3(c)、图3(d)，图3(e)及图3(f)所示，重建结果的客观评价参数及重建时间如表一所示。其中客观评价参数psnr(peaksignaltonoiseratio)、ssim(structuresimilarityindex)及ifc(informationfidelitycriterion)均为值越大，代表图像质量越好。算法测试平台：处理器intercorei5cpu(3.3ghz)及内存16g的台式计算机。

表二

从图2及图3所示的实验结果可以看出，方法bicubic的结果很模糊，且重建图像中有较多的锯齿等人工效应；方法1及方法2的结果中人工效应较少，但是有些过度平滑；方法3不能较好地去除模糊效应；本发明的重建结果更加清晰，并且人工效应较少，整体视觉效果更好。

从表一及表二所示的客观参数上看，在两幅测试图像“bike”及“woman”上，本发明都取得了最高的psnr、ssim、ifc值，代表着本发明重建结果的质量更好。同时，本发明的重建时间远低于方法1及方法2的重建时间。

综上所述，相比于对比方法，本发明的重建结果在主客观评价上都有一定优势。并且，本发明的重建时间较短。因此，本发明是一种高效率、高性能的单幅图像超分辨率重建方法。