基于多列卷积神经网络的图像超分辨率重建方法与流程

本发明涉及一种图像超分辨率重建方法，特别是涉及一种基于多列卷积神经网络图像的超分辨率重建方法，属于图像处理、重建技术利用。
背景技术：
：随着信息技术的发展，图像作为其中主要的信息传播媒介，已经广泛应用于各种场景。在众多领域中，人们对于图像的质量有着较高的要求，所以对于高速发展的信息时代来说，低质量的图像已经很难满足特定场景的需求。图像分辨率是度量图像质量的一个重要指标，图像分辨率越高就代表这张图像包含更多的细节信息。图像超分辨率(super-resolution，sr)重建属于图像处理技术，从低分辨率(low-resolution，lr)图像重建得到高分辨率(high-resolution，hr)图像。图像的超分辨率重建有着广泛的应用，例如人脸识别，医疗成像和遥感技术。目前，卷积神经网络(convolutionalneuralnetworks，cnn)在目标检测，人类行为识别和图像分割等计算机视觉任务上取得了显著的进步。尤其是基于卷积神经网络的超分辨率方法，比字典学习、局部线性回归和随机森林等传统方法有着更好的重建效果。2014年，dong[1]等利用卷积神经网络实现了图像超分辨率重建(superresolutionconvolutionalneuralnetwork，srcnn)，双三次插值预处理后的低分辨率图像会输入到端到端的深层卷积神经网络中去，逐渐将低分辨率图像到高分辨率图像之间的映射关系学习处理。由于采用深度学习中的端到端的训练方式，从而相较于传统方法这一方法显著提高了图像超分辨率重建效果。已经提出的基于卷积神经网络的图像超分辨率算法虽然解决了传统图像超分辨率重建算法存在鲁棒性不强、计算复杂等问题，但现有的基于卷积神经网络的图像超分辨率方法在提取低分辨率图像特征前，要先使用双三次插值(bicubicinterpolation)的方法把低分辨率图像放大到想要重建得到的高分辨率图像的尺寸，从双三次插值后的图像中去提取特征，通过双三次插值后的图像引入了很多冗余的信息，这对特征提取是没有帮助的。因此，现有的方法还是存在对于细节比较丰富的图像存在重建能力差、视觉效果差等问题。技术实现要素：本发明的目的是为了对低分辨率图像进行更高质量的重建，提出一种基于多列卷积神经网络的图像超分辨率方法，通过对低分辨率图像中多尺度特征的提取，使重建的高分辨率图像能够恢复更多的图像细节信息，边缘更加清晰。本发明方法能有效地提高超分辨率重建图像的峰值信噪比和结构相似度，而且在主观视觉上也有更好的效果。此外，本发明对于卷积神经网络在图像超分辨率的应用也具有重要的借鉴意义。为达到上述目的，本发明的构思是：首先，根据深度学习算法设计多列卷积神经网络模型，包括特征提取部分和图像重建部分。然后，把原始图像切成小块，并对这些高分辨率的小块做下采样，从而得到低分辨率的小块，使用这些低分辨率和高分辨率的小块对来建立训练集。最后，使用随机梯度下降算法对这个模型进行训练，得到一个将低分辨率图像重建到高分辨率图像的模型，即本发明所述的多列卷积神经网络的图像超分辨率重建模型。根据上述构思，本发明采用如下技术方案：一种基于多列卷积神经网络的图像超分辨率方法，包括如下步骤：步骤1、多列卷积神经网络模型建立：根据深度学习算法设计多列卷积神经网络模型，包括特征提取部分和图像重建部分；步骤2、图像增广(imageaugmentation)：大规模数据集是成功使用深度网络的前提，图像增广是通过对训练图像做一系列随机改变，来产生相似但又有不同的训练样本，从而扩大训练数据集规模；通过图像增广来增加训练集的规模，降低模型对某些属性的依赖，从而提高模型的泛化能力，使用的图像增广方法有旋转，缩放，镜像；步骤3、训练集建立：在根据步骤2得到的规模增加的训练集上把原始图像切成小块，并对这些高分辨率的小块做下采样，从而得到低分辨率的小块，使用这些低分辨率和高分辨率的小块对来建立训练集；步骤4、多列卷积神经网络模型训练：在步骤3得到的训练集上训练图像超分辨率重建模型，优化算法使用随机梯度下降算法，训练完成后得到一个将低分辨率图像重建到高分辨率图像的模型；步骤5、图像超分辨率重建：在步骤4训练得到的模型将输入的低分辨率图像重建恢复成对应的高分辨率图像。本发明方法主要是考虑到图像的多尺度特性，因此借助于多列卷积神经网络模型，能有效地提取图像中的多尺度特征，并将这些多尺度特征进行融合。直接从低分辨率图像中提取特征，减少计算量，提高图像的重建速度。为了加快图像超分辨率重建模型的收敛速度，使用提取得到的多尺度特征去重建高分辨率图像和双三次插值图像的插值图像，而不是直接从特征去重建高分辨率图像，降低了网络的训练难度，同时提高图像的超分辨率重建质量。本发明与现有技术相比较，具有如下显而易见的突出实质性特点和显著优点：1、本发明方法充分考虑了图像的多尺度特点，即图像中物体存在尺度不同的情况。提出了一种基于多列卷积神经网络的图像超分辨率重建模型。2、本发明方法直接从未经预处理的低分辨率图像中提取特征，使其计算量减少，从而提高模型的重建速度。3、本发明方法利用提取得到的多尺度特征去重建高分辨率图像和双三次插值图像的插值图像，而不是直接从特征去重建高分辨率图像，降低了模型的训练难度，提高了图像的超分辨率重建质量。附图说明图1为本发明基于多列卷积神经网络的图像超分辨率重建方法的网络结构框图。图2为set5测试集中“butterfly”放大倍数为2时的超分辨率重建效果比较。图3为bsds100测试集中“21077”放大倍数为3时的超分辨率重建效果比较。图4为urban100测试集中“img023”放大倍数为4时的超分辨率重建效果比较。图5为manga109测试集中“ultraeleven”放大倍数为4时的超分辨率重建效果比较。具体实施方式本发明的优选实施例结合附图详述如下：本实施例的多列卷积神经网络结构如图1所示。在ubuntu16.04，pytorch环境下编程仿真实现本方法。首先，根据深度学习算法设计多列卷积神经网络模型，包括特征提取部分和图像重建部分。然后，把原始图像切成小块，并对这些高分辨率的小块做下采样，从而得到低分辨率的小块，使用这些低分辨率和高分辨率的小块对来建立训练集。最后，使用随机梯度下降算法对这个模型进行训练，得到一个将低分辨率图像重建到高分辨率图像的模型，即本发明所述的多列卷积神经网络的图像超分辨率重建模型。本方法具体包括如下步骤：步骤1、多列卷积神经网络模型建立：根据深度学习算法设计多列卷积神经网络模型，包括特征提取部分和图像重建部分；步骤2、图像增广(imageaugmentation)：大规模数据集是成功使用深度网络的前提，图像增广是通过对训练图像做一系列随机改变，来产生相似但又有不同的训练样本，从而扩大训练数据集规模；通过图像增广来增加训练集的规模，降低模型对某些属性的依赖，从而提高模型的泛化能力，使用的图像增广方法有旋转，缩放，镜像；步骤3、训练集建立：在根据步骤2得到的规模增加的训练集上把原始图像切成小块，并对这些高分辨率的小块做下采样，从而得到低分辨率的小块，使用这些低分辨率和高分辨率的小块对来建立训练集；步骤4、多列卷积神经网络模型训练：在步骤3得到的训练集上训练图像超分辨率重建模型，优化算法使用随机梯度下降算法，训练完成后得到一个将低分辨率图像重建到高分辨率图像的模型；步骤5、图像超分辨率重建：在步骤4训练得到的模型将输入的低分辨率图像重建恢复成对应的高分辨率图像。在所述步骤1中，提出了一个级联的多列卷积神经网络从低分辨率图像中提取多尺度特征，然后重建相应的高分辨率图像，网络结构如图1所示。提出的网络框架使用了很多的多列模块(multi-columnblock)，每个多列模块由三列不同卷积核大小的卷积层组成。所提出的模型从输入的低分辨率图像去预测经过双三次插值后图像和目标高分辨率图像之间的插值图像。所提出的模型分为两个部分，特征提取部分和图像重建部分。在特征提取部分，首先使用一个卷积层来提取粗糙的特征，该卷积层有64个3×3的卷积核。然后，使用三个级联的多列模块去提取多尺度特征。在该模型中，没有使用偏置，所以卷积层的计算公式如下：在上述公式中，wl和x分别表示可学习的权重和卷积层的输入。σ表示激活函数，在该模型中，使用带泄露修正线性单元(leakyrectifiedlinearunit)。最后，使用一个反卷积层去上采样所提取的特征，在反卷积层后使用一个3×3的卷积层来得到残差图像。反卷积层的输出图像尺寸的计算公式如下：xout＝(xin-1)×λ-2×ρ+κ,(2)在上述公式中，xin和xout分别是反卷积层的输入和输出，λ表示反卷积的步长，ρ表示在输入的每条边上添加0的行数，κ表示反卷积核的大小。显然，需要把λ设置为和放大倍数一样。表1给出了在不同放大倍数下的反卷积层的参数设置。表1放大倍数λρκ221433154416在所提出的模型中，在每一列使用了不同大小的卷积核去提取特征。详细的结构如图1所示。卷积层的感受野γ的计算公式如下：γ＝κ+(κ-1)×(n-1),(3)在上述公式中，κ表示卷积核的大小，n表示在每一列中卷积层的数量。根据上式，在多列模块中使用了6层卷积核大小为3×3的卷积层，3层卷积核大小为5×5的卷积层，2层卷积核大小为7×7的卷积层，这样可以获得相同大小的感受野。为了提取到更加可靠的特征，不同列提取的特征需要在同一个感受野上进行特征融合。特征融合采取的方法是在每一列最后一层增加一个1×1的卷积层，然后把这些列的特征图做元素相加进入融合。增加1×1的卷积层的好处是可以对多尺度特征有更加复杂的组合。通常，更多的多列模块可以有更好的性能，出于性能和效率的权衡，本实施例使用了三个多列模块。在图像重建模块，使用一个3×3的卷积层去预测高分辨率图像和双三次插值图像的残差图像。将网络预测的残差图像和双三次插值图像通过元素相加，从而可以重建出相应的高分辨率图像。输出图像的计算公式如下：在上述公式中，和分别表示模型的输入的低分辨率图像和输出的高分辨率图像。表示双三次插值，表示所提出的模型。在所述步骤2中，使用的训练集图像由yang[2]的91张图片和bsds[3]的200张图片组成。图像增广的方式主要有缩放，旋转，镜像。其中缩放的倍数为1倍、0.7倍和0.5倍；旋转的角度为0°、90°、180°和270°；镜像为水平镜像或者保持原图。经过图像增广，除了原图以外，得到了23个额外的版本。在所述步骤3中，在根据步骤2得到的规模增加的训练集上把原始图像切成小块，并对这些高分辨率的小块做下采样，从而得到低分辨率的小块，使用这些低分辨率和高分辨率的小块对来建立训练集。当放大倍数为2时，图像块大小为82×82，步长为64，下采样为放大倍数的倒数，即1/2倍。类似的，当放大倍数为3时，图像块大小为123×123，步长为48，下采样倍数为1/3倍；当放大倍数为4时，图像块大小为164×164，步长为32，下采样倍数为1/4倍。输入低分辨率图像块的大小都为41×41。在所述步骤4中，在步骤3得到的训练集上训练图像超分辨率重建模型，优化算法使用随机梯度下降算法(stochasticgradientdescent)，批大小设置为64，动量参数设为0.9，权值衰减设置为10-4，学习率设置为0.1，并且在每20个迭代周期后下降10倍。由于初始的学习率比较大，所示使用梯度切片来防止梯度爆炸，梯度切片设置为0.4，训练完成后可以得到一个将低分辨率图像重建到高分辨率图像的模型。在所述步骤5中，在上述步骤4训练得到的模型将输入的低分辨率图像重建恢复成对应的高分辨率图像。下面在set5、set14、bsds100、urban100和manga109五个图像数据库上进行试验来评估本发明所提出的基于多列卷积神经网络的图像超分辨率重建方法。set5、set14和bsds100包含的是自然图像；urban100包含的是城市场景图像；manga109包含的漫画中图像。本实验的环境是ubuntu16.04操作系统下的pytorch平台，内存为16gb，gpu为geforce1070。使用峰值信噪比(peaksignaltonoiseratio，psnr)和结构相似性系数(structuralsimilarityindex，ssim)作为超分辨率重建模型评价指标，psnr越大，ssim越接近1代表模型与原图的符合度更高，精确度越高，结果如表2所示。图2-图5比较了不同算法在这些测试集上重建效果。表2其中，实验结果最好的算法用加粗字体表示，第二好的算法用下划线表示。从表中可以看到本发明的方法在五个数据库上都有较好的鲁棒性和精确性。由上述实验可见，本发明方法在图像超分辨率重建上确实有较好的鲁棒性和精确性，并且计算复杂度低，能更好地适用于实时视频质量监控。参考文献：1dong,chao,etal."imagesuper-resolutionusingdeepconvolutionalnetworks."ieeetransactionsonpatternanalysisandmachineintelligence38.2(2016):295-307.2yang,jianchao,etal."imagesuper-resolutionviasparserepresentation."ieeetransactionsonimageprocessing19.11(2010):2861-2873.3martin,david,etal."adatabaseofhumansegmentednaturalimagesanditsapplicationtoevaluatingsegmentationalgorithmsandmeasuringecologicalstatistics."computervision,2001.iccv2001.proceedings.eighthieeeinternationalconferenceon.vol.2.ieee,2001.4timofte,radu,vincentdesmet,andlucvangool."a+:adjustedanchoredneighborhoodregressionforfastsuper-resolution."asianconferenceoncomputervision.springer,cham,2014.5huang,jia-bin,abhisheksingh,andnarendraahuja."singleimagesuper-resolutionfromtransformedself-exemplars."proceedingsoftheieeeconferenceoncomputervisionandpatternrecognition.2015.6schulter,samuel,christianleistner,andhorstbischof."fastandaccurateimageupscalingwithsuper-resolutionforests."proceedingsoftheieeeconferenceoncomputervisionandpatternrecognition.2015.7dong,chao,chenchangeloy,andxiaooutang."acceleratingthesuper-resolutionconvolutionalneuralnetwork."europeanconferenceoncomputervision.springer,cham,2016.8kim,jiwon,jungkwonlee,andkyoungmulee."accurateimagesuper-resolutionusingverydeepconvolutionalnetworks."proceedingsoftheieeeconferenceoncomputervisionandpatternrecognition.2016.9kim,jiwon,jungkwonlee,andkyoungmulee."deeply-recursiveconvolutionalnetworkforimagesuper-resolution."proceedingsoftheieeeconferenceoncomputervisionandpatternrecognition.2016.10lai,wei-sheng,etal."deeplaplacianpyramidnetworksforfastandaccuratesuperresolution."ieeeconferenceoncomputervisionandpatternrecognition.vol.2.no.3.2017.当前第1页12