一种基于渐进式的深度残差网络的超分辨率图像重建方法与流程

本发明属于图像数字化处理技术领域，涉及一种基于渐进式的深度残差网络的超分辨率图像重建方法。

背景技术：

随着图像和视频数字化处理技术的不断进步，人们总是期望得到更高质量的图像。影响图像质量的因素主要分为两大部分，一是前期生成图像过程中的聚焦不准、人为抖动、物体运动等客观因素；二是图像传输和存储过程中可能由于噪声信号处理和欠采样效应等导致的图像质量下降。评价图像质量的重要指标是图像分辨率。当分辨率越高，图片像素密度越大，单位面积上的像素数目越多，所提供的细节信息也就越多，图像的质量也就越好。

图像超分辨率重建技术是一种从一幅低分辨率图像或图像序列中恢复出高分辨率图像的技术。随着科学技术的快速发展，图像超分辨率重建技术在诸多领域中都到了广泛应用，例如城市管理领域、军事侦察领域、医疗图像等等。这些应用领域对图像超分辨率重建技术的要求越来越高，如何重建出效果更好的高分辨率图像仍然是一个基础性且亟待解决的任务。

近年来，随着深度学习在图像处理领域内表现出巨大的潜力，众多研究者提出了基于深度学习的超分辨率图像重建方法。dong等首次将卷积神经网络应用到超分辨率重建技术中，提出基于卷积神经网络的超分辨率重建方法(super-resolutionconvolutionalneuralnetwork，srcnn)。虽然该方法的重建效果优于传统方法，但是由于该方法只使用了3层卷积神经网络，难以提取图像深层细节信息，导致重建图像上下文信息缺乏关联。针对此问题，dong等又提出基于快速的卷积神经网络超分辨率重建方法(fastsuper-resolutionconvolutionalneuralnetwork，fsrcnn)。该方法将卷积层数加深到8层，并在网络的最后一层使用反卷积操作代替双三次插值操作进行图像上采样。虽然fsrcnn的重建效果相比srcnn方法得到提升，但是8层卷积网络提取的图像深层信息依然有限。后来，kim等又提出了基于深度卷积神经网络的图像超分辨率重建方法(accurateimageuper-resolutionusingverydeepconvolutionalnetwork，vdsr)，该方法将卷积层数加深到20层，并将残差结构运用到深度卷积网络中，使得重建效果得到较大提升。但是在较大的缩放因子下只用一次上采样操作容易造成大量信息丢失，导致训练困难。

技术实现要素：

本发明的目的在于针对现有技术存在的问题，提供一种基于渐进式的深度残差网络的超分辨率图像重建方法，该方法可以解决已有方法由于对重建图像只进行一次上采样而造成大量图像细节信息丢失的问题，能够在较大的缩放因子下仍然重建出清晰的高分辨率图像。

为此，本发明采用如下技术方案：

一种基于渐进式的深度残差网络的超分辨率图像重建方法，包括如下步骤：

步骤1：选择训练数据集和测试数据集，并对训练数据集图像进行旋转和比例缩放处理，扩充训练数据集图像；

步骤2：将步骤1得到的训练数据集图像进行1/n比例下采样处理，其中n为缩放因子；

步骤3：将原始训练数据集图像和步骤2得到的低分辨率图像分别裁剪成大小为h×w和h/n×w/n像素的图像块；

步骤4：将对应相同位置的步骤3原始图像块和低分辨率图像块作为高分辨率/低分辨率样本对，生成格式为hdf5的训练数据集文件；

步骤5：搭建渐进式的深度残差网络

5.1设计跳线连接的残差块

跳线连接的残差块是由两个残差单元、一个外卷积层和跳线连接组成；其中，所述残差单元由两个内卷积层、一个激活函数和跳线连接组成，所述残差单元和外卷积层通过λ倍的端对端连接在一起，然后残差单元的输入通过跳线连接与外卷积层的输出合并作为跳线连接的残差块的输出；

5.2设置跳线连接的残差块内部参数

设置参数包括卷积核的数量、卷积核的大小、填充、移动步长和激活函数；

5.3构造深度残差网络

将5个跳线连接的残差块端对端的连接在一起组成一个深度残差网络；

5.4搭建渐进式的深度残差网络

渐进式的深度残差网络分为2级，每一级完成2x缩放因子的超分辨率重建，进而实现4x缩放因子超分辨率重建；上述每一级渐进式深度残差网络是由深度残差网络和亚像素卷积层构成，在每一级渐进式深度残差网络中，先使用深度残差网络对输入的特征图进行特征提取，然后使用亚像素卷积将提取的特征进行上采样；

5.5设置渐进式的深度残差网络的参数

设置参数包括输入卷积层、输出卷积层和亚像素卷积层的卷积核数量、卷积核大小、移动步长以及填充；

步骤6：训练渐进式的深度残差网络

6.1构建均方误差函数作为损失函数；

6.2通过优化算法，更新渐进式深度残差网络的参数；

6.3使用峰值信噪比和结构相似度作为评价指标来客观评价渐进式的深度残差网络模型的重建性能；

6.4设置跳线连接的残差块的λ的参数值，且λ＝0.1,0.2,…，1；

6.5初始化渐进式的深度残差网络的参数和设置训练参数

将渐进式的深度残差网络中的参数初始化为均值是0、标准差是0.001的高斯分布，偏差初始化设置为0；设置学习率、迭代次数和批训练样本数量；

6.6训练渐进式的深度残差网络模型

6.6.1用步骤4生成的hdf5训练数据集文件按照步骤6.5设置的参数，训练渐进式的深度残差网络模型，如果网络不收敛，则反复执行步骤6.5，直到网络收敛；

6.6.2继续训练渐进式的深度残差网络模型，达到最大迭代次数，结束训练；否则，一直执行步骤6.6.2，直至达到最大迭代次数；

6.7渐进式的深度残差网络模型的测试

使用测试数据集进行步骤6.6得到的渐进式的深度残差网络模型的测试，记录得到的峰值信噪比和结构相似度值；然后返回步骤6.4，设置不同的λ值，继续测试并记录得到的峰值信噪比和结构相似度值；最后，对比使用不同的λ值得到的峰值信噪比和结构相似度值，选取最高的峰值信噪比和结构相似度值对应的λ值作为跳线连接的残差块的λ参数值，并保存训练好的渐进式的深度残差网络模型；

步骤7：将低分辨率图像输入到上述渐进式的深度残差网络模型中，输出得到重建后的高分辨率图像。

进一步地，步骤2中，使用双三次插值算法进行图像的下采样处理。

进一步地，步骤6.2中，所述优化算法选择adam优化算法。

进一步地，步骤6.3中，峰值信噪比psnr和结构相似度ssim指标的计算公式如式(11)和式(12)所示：

式中，m、n表示为图像的尺寸，f表示为真实的高分辨率图像，表示为重建的高分辨率图像，μf和分别表示为真实高分辨率图像和重建图像的平均灰度值，σf和分别表示为真实高分辨率图像和重建图像的方差，表示为真实高分辨率图像和重建图像的协方差，c1和c2为常数，且c1＝(k1l)²，c2＝(k2l)²，k1＝0.01，k2＝0.03，l是像素值的动态范围。

本发明提出的基于渐进式的深度残差网络的图像超分辨率重建方法通过对低分辨率图像进行2次特征提取和上采样实现重建4倍的高分辨率图像重建。由于该发明对低分辨率图像进行渐进式的重建，能够解决已有方法对低分辨率图像只进行一次上采样而造成大量图像细节信息丢失的问题，并且在较大的缩放因子下仍然能够重建出清晰的高分辨率图像。

本发明的有益效果在于：

(1)设计了跳线连接的残差块，该残差块在特征提取的过程中有更好的效果；

(2)本发明设计了渐进式的深度残差网络，该网络能够对低分辨率图像进行2次特征提取和上采样，且具体通过深度残差网络进行特征提取操作，通过亚像素卷积进行上采样操作，该深度残差网络通过渐进式的重建方式解决了传统方法只采用一次上采样造成图像细节信息丢失的问题。

附图说明

图1为本发明设计的跳线连接的残差块结构示意图；

图2为图1中残差单元的结构示意图；

图3为本发明构造的渐进式的深度残差网络的结构示意图；

图4为图3中深度残差网络的结构示意图。

具体实施方式

下面通过具体实施例对本发明方法进行进一步的说明。

一种基于渐进式的深度残差网络的超分辨率图像重建方法，包括如下步骤：

步骤1：选用t91图像数据集和bsd200图像数据集作为训练数据集，选用set5图像数据集、set14图像数据集和urban100图像数据集作为测试数据集；对训练数据集图像进行90°、180°、270°旋转和按0.9、0.8、0.7、0.6的比例缩放，以扩充训练数据集图像；

步骤2：使用双三次插值算法(bicubic算法)，将步骤1得到的训练数据集图像进行1/n比例下采样处理，其中n为缩放因子；n的取值根据需要重建的倍数选定，一般取2或4；

步骤3：将原始训练数据集图像和步骤2得到的低分辨率图像分别裁剪成大小为h×w和h/n×w/n像素的图像块；

步骤4：将对应相同位置的步骤3原始图像块和低分辨率图像块作为高分辨率/低分辨率样本对，生成格式为hdf5的训练数据集文件；

步骤5：搭建渐进式的深度残差网络

5.1设计跳线连接的残差块

如图1所示，本发明所构建的跳线连接的残差块是由两个残差单元、一个外卷积层和跳线连接组成。其中，所述残差单元由两个内卷积层、激活函数relu串联后和跳线连接组成，其结构如图2所示；所述残差单元和外卷积层通过λ倍的端对端连接在一起，然后残差单元的输入通过跳线连接与外卷积层的输出合并作为跳线连接的残差块的输出；

5.2设置跳线连接的残差块的内部参数

设置参数包括卷积核的数量、卷积核的大小、填充、移动步长和激活函数；本实施例中，跳线连接的残差块的卷积层和残差单元的卷积层中，每个卷积层有64个卷积核，卷积核尺寸为3×3，填充为1，移动步长为1；残差单元两个内卷积层之间的激活函数为relu，卷积计算的过程如下所示：

y＝w*x+b(1)

其中，x为卷积层的输入，y为卷积层的输出，b为偏差，w是大小为64×3×3×64的滤波器，“*”表示为卷积运算；

5.3构造深度残差网络

将5个跳线连接的残差块端对端的连接在一起组成一个深度残差网络，其结构如图4所示；

5.4搭建渐进式的深度残差网络

渐进式的深度残差网络分为2级，每一级完成2x缩放因子的超分辨率重建，进而实现4x缩放因子超分辨率重建，其结构如图3所示；上述每一级渐进式深度残差网络是由深度残差网络和亚像素卷积层构成，在每一级渐进式深度残差网络中，先使用深度残差网络对输入的特征图进行特征提取，然后使用亚像素卷积将提取的特征进行上采样；

5.5设置渐进式的深度残差网络的参数

设置参数包括输入卷积层、输出卷积层和亚像素卷积层的卷积核数量、卷积核大小、移动步长以及填充；本实施例中，渐进式的深度残差网络输入卷积层和输出卷积层中，每个卷积层有64个卷积核，卷积核的大小为7×7，填充为3，移动步长为1；亚像素卷积层有256个卷积核，卷积核的大小为3×3，填充为1，移动步长为1。亚像素卷积的计算过程如下所示：

y1＝ps(w1*x1+b1)(2)

式中，x1为亚像素卷积层的输入，y1为亚像素卷积层的输出，b1为偏差，w1是大小为64×3×3×256的滤波器，“*”表示为卷积运算，ps表示为亚像素卷积操作，该操作将尺寸大小为h×w×c×r²的特征图像重新排列成尺寸为rh×rw×c的特征图像；

步骤6：训练渐进式的深度残差网络

6.1构建均方误差函数作为损失函数，以此最小化重建的图像与对应的真实高分辨率图像的损失来估计网络参数θ，均方误差函数的表达形式为：

式中，n代表训练样本的数量，l表示均方误差函数，xi表示真实高分辨率图像，yi表示重建的图像；

6.2选择使用adam优化算法，更新渐进式深度残差网络的参数；adam优化算法更新网络参数的过程表示为：

mt＝u×mt-1+(1-u)×gt(5)

nt＝v×nt-1+(1-v)×gt²(6)

θt+1＝θt+△θt(10)

式中，gt是均方误差函数l(θ)对θ的梯度，mt是对梯度gt的一阶矩估计，nt是对梯度gt的二阶矩估计，是对mt的偏差修正，是对nt的偏差修正，矩估计的指数衰减速率u为0.9、v为0.99，η是步长其取值为0.001，ε是常数其值为10^-8，△θt是计算的θt的更新值，θt为t时刻的θ值，将θt和△θt的值求和应用到θt+1。

adam优化算法更新网络参数首先对参数向量、一阶矩向量和二阶矩向量进行初始化；然后循环迭代地更新各个部分，使参数θ收敛。即时间步t加1、更新偏差的一阶矩估计和二阶矩估计，接着计算一阶矩估计的偏差修正和二阶矩估计的偏差修正，再更新目标函数在该时间步上对参数θ所求的梯度，最后再用以上计算出来的值更新模型的参数θ；

6.3使用峰值信噪比(peaksignaltonoiseratio，psnr)和结构相似度(structuralsimilarity,ssim)作为评价指标来客观评价渐进式的深度残差网络模型的重建性能；

峰值信噪比psnr和结构相似度ssim指标的计算公式如式(11)和式(12)所示：

式中，m、n表示为图像的尺寸，f表示为真实的高分辨率图像，表示为重建的高分辨率图像，μf和分别表示为真实高分辨率图像和重建图像的平均灰度值，σf和分别表示为真实高分辨率图像和重建图像的方差，表示为真实高分辨率图像和重建图像的协方差，c1和c2为常数，且c1＝(k1l)²，c2＝(k2l)²，k1＝0.01，k2＝0.03，l是像素值的动态范围；

6.4设置跳线连接的残差块的λ的参数值，且λ＝0.1,0.2,…，1；

6.5初始化渐进式的深度残差网络的参数和设置训练参数

将渐进式的深度残差网络中的参数初始化为均值是0、标准差是0.001的高斯分布，偏差初始化设置为0；设置学习率、迭代次数和批训练样本数量；本实施例中，学习率初始设置为0.0001，迭代次数epoch初始设置为100，批训练样本数量batchsize初始设置为32；

6.6训练渐进式的深度残差网络模型

6.6.1用步骤4生成的hdf5训练数据集文件按照步骤6.5设置的参数，训练渐进式的深度残差网络模型，如果网络不收敛，则反复执行步骤6.5，直到网络收敛；

6.6.2继续训练渐进式的深度残差网络模型，达到最大迭代次数，结束训练；否则，一直执行步骤6.6.2，直至达到最大迭代次数；

6.7渐进式的深度残差网络模型的测试

使用测试数据集进行步骤6.6得到的网络模型的测试，记录得到的峰值信噪比和结构相似度值；然后返回步骤6.4，设置不同的λ值，继续测试并记录得到的峰值信噪比和结构相似度值；最后，对比使用不同的λ值得到的峰值信噪比和结构相似度值，选取最高的峰值信噪比和结构相似度值对应的λ值作为跳线连接的残差块的λ参数值，并保存训练好的渐进式的深度残差网络模型；

步骤7：将低分辨率图像输入到上述渐进式的深度残差网络模型中，输出得到重建后的高分辨率图像。