一种基于卷积神经网络的图像超分方法与流程

本发明属于图像编辑技术领域，具体涉及一种图像超分方法。

背景技术：

图像分辨率是衡量图像质量的一项重要指标，分辨率越高，细节越精细，质量越佳，图像包含的信息量越丰富。因此具有更高分辨率的图像在各种计算机视觉任务，如军事安全，卫星监控，交通监管，刑事调查等应用中都有着重要的应用价值及研究前景。但由于成本问题，通常在实际情况中的图像采集、存储、传输过程会不可避免受到外在条件限制或其它干扰，导致其存在不同程度的质量退化。

图像超分技术是作为图像质量增强技术的研究分支。它旨在从低分辨率图像恢复出高分辨率图像中的信息，是一门科学研究价值高、应用领域广泛的现代图像处理技术。图像超分不仅是简单的扩大图像的尺寸，它产生了新的包含更有价值信息的图像。而图像超分技术采用基于信号处理的方法提高图像分辨率，是一种有效提高图像分辨率、改善图像性能的途径，并且该方法成本低，因此对高效高质量的图像超分技术的研究显得更加重要。

图像超分可以通过基于插值的算法、基于实例方法和基于神经网络的方法来实现。早期的超分方法是基于插值的，如双三次插值和兰索斯重采样^[1]，由于超分是一种不适定问题，每个像素从低分辨率图像到高分辨率图像的映射上有许多解，并且这类方法仅使用低分辨率图像的信息，因此很难模拟真实图像的视觉复杂性，对于纹理复杂、平滑着色的图像，插值法很可能生成不真实的效果。不能很好地重构出高分辨率图像。

因此，超分需要很强的先验来约束解空间，最近大多数较好的方法采用基于实例的策略来学习强大的先验知识。该方法通过找到多个低分辨率碎片与高分辨率碎片间的对应关系，为每个低分辨率碎片在低分辨率图像中找到与该碎片最相似的几个碎片，并计算出使重构代价最小的权值参数，最后使用多个低分辨率片和权值参数来生成高分辨率片形成高分辨率图像。该方法的不足是会损失图像中的高频内容，此外由于存在重叠片的计算会导致计算量的增大。

近年来，随着卷积神经网络(cnn)在计算机视觉领域的应用，出现了许多基于cnn的图像超分方法。这些方法实现了这一技术突破性的发展，其中以srcnn^[2]及vdsr^[3]方法最具代表性。通过对图像每一帧采用这些方法可以简单地将图像超分扩展到图像超分领域。

c.dong等人在2015年提出来基于卷积神经网络的图像超分方法(srcnn)，通过学习低分辨率和高分辨率图像间的映射关系来重建高分辨率图像。映射表现为一个cnn，将低分辨率图像作为输入，将高分辨率图像作为输出。该方法利用了神经网络的优越性，将图像超分问题建模为神经网络结构，通过优化目标函数训练合适的神经网络得到简单有效的增强图像分辨率的模型。

神经网络容易对大量训练集数据学习得到，此外一旦训练好超分的模型后，对高分辨率图像的重构就是简单的前馈过程，因此计算复杂度也得到大幅度降低。c.dong等人又对srcnn方法进行了改进，提出了fsrcnn^[4]方法，改进了神经网络的结构实现更快的超分效果。kimj等人2016年通过加深神经网络结构在图像分辨率上取得了更好的效果，同时利用残差学习提高网络效率加快网络的训练速度。随着卷积神经网络在超分领域实现不断提升的效果，更多学者通过继续改进网络结构在超分结果的主观视觉质量及客观数值标准上得到不断突破。

本发明方法涉及图像超分技术，是基于深度学习的思想构建一个参数效率更高的超分卷积神经网络。所构建的网络结构可以在已有的低分辨率图像的基础上通过利用图像内局部结构及细节信息的相关性，学习出图像中的高频细节及纹理内容，重构出具有更好的视觉质量的清晰图像。

技术实现要素：

为了改进现有技术得到更好的超分效果，本发明提供一种提高图像空间分辨率的方法，以增强图像的质量，提升超分效率。

本发明提供的图像超分方法，是基于卷积神经网络的图像超分方法，所述卷积神经网络包括：特征提取网络ffe、特征学习网络ffl、图像重构网络fir，具体步骤如下：

(1)图像特征的提取

将低分辨率图像ilr输入到卷积神经网络中，首先经过特征提取网络ffe，经过卷积操作将输入图像从像素空间转换到特征空间，生成输入图像的特征：

flr＝ffe(ilr)

(2)图像特征的学习

这一步将提取到的低分辨率图像的特征flr作为输入，经过一个多层的特征学习网络ffl，从原始的图像中学习出高分辨率图像中的细节特征fhr：

fhr＝ffl(flr)

(3)高分辨率图像的重构

将上一步预测的含有丰富图像细节信息的特征fhr经过图像重构网络fir，恢复出原始图像中的高频细节内容，以重构具有更高质量的高分辨率图像isr：

isr＝fir(fhr)

本发明采用的多层网络结构(包括特征提取网络ffe、特征学习网络ffl、图像重构网络fir)是由多个结构相同的基本单元u组成；其中每一单元u都包括两个卷积块和一个连接节点，卷积块的结构采用论文[5]中提出的geu单元，连接节点由一个卷积核大小为3×3的卷积层来实现；每个单元u的具体结构为：

首先，设fin表示单元u的输入，将其输入到单元u中的第一个geu(记为geu1)块中生成特征f1：

f1＝geu1(fin)

将生成的特征f1输入到下一个geu(记为geu2)单元，得到特征f2：)

f2＝geu2(f1)

最后将两个geu单元的输出f1、f1同时输入一个卷积核大小为3×3的卷积层进行特征融合，生成该单元的输出特征fout：

fout＝conv(f1,f2)。

本发明步骤(1)中，特征提取网络fe采用一层网络结构，即由一个基本单元u组成，该单元具体步骤为：

首先，将低分辨率图像输入到特征提取网络fe，经过一个单元u提取出低分辨率图像的特征flr：

flr＝u(ilr)。

本发明步骤(2)中，特征学习网络ffl是一个多层的网络结构，具体的特征学习步骤为：

首先将步骤(1)输出的flr输入特征学习网络ffl中，经过单元u1,1生成特征f1,1：

f1,1＝u1,1(flr)

将f1,1输入到第二层的单元u2,1中，生成特征f2,1：

f2,1＝u2,1(f1,1)

再将第二层单元u2,1输出的特征f2,1输入到第一层的下一个单元u1,2中，输出特征f1,2：

f1,2＝u1,2(f2,1)

将f1,2输入到下一个第二层的单元u2,2中，生成特征f2,2：

f2,2＝u2,2(f1,2)

再将第二层的单元u2,2的输出特征f2,2输入到第一层单元u1,3中，输出特征f1,3：

f1,3＝u1,3(f2,2)

最后将第一层的最后一个单元的输出f1,3和第二层最后一个单元的输出f2,2一同输入第三层的单元u3,1中生成特征f3,1，由于本发明的网络结构只采用了三层结构，因此第三层的第一个单元的输出f3,1就作为特征学习部分学到的高分辨率图像的细节特征fsr：

fsr＝f1,3

单元u1,1，u2,1，u1,2，u2,2，u1,3，u3,1，均为基本单元u。

本发明步骤(3)中，图像重构网络fir采用一层的网络结构，即由一个基本单元u组成，具体步骤为：

首先，将上一步的输出fsr作为输入，经过一个基本单元u1及去卷积层放大图像分辨率生成重构图像与真实高分辨率图像间的残差图ires：

ires＝deconv(u1(fsr))

最后，将使用bicubic方法上采样后的低分辨率图像与残差图ires相加，得到网络最终输出的高分辨率图像isr：

isr＝ires+bic(ilr)。

本发明采用的多层网络结构来学习图像特征，将网络中不同层之间学到的图像特征通过分层聚合的方式连接起来，充分利用网络中每一层的结构信息，恢复出更准确的高频图像内容，有效减少图像特征在网络传播过程中的信息损失，挖掘出更深层次的图像特征，最终得到更好的重构效果。

附图说明

图1为本发明的流程图。

图2为利用本方法对低分辨率图像进行超分重构的结果。

具体实施方式

对于一张低分辨率图像，可以采用图1所示的方法，进行超分处理。具体步骤为：

(1)首先将低分辨率图像输入到网络，经一个卷积层、一个单元u。

每个单元具体步骤参见图1，首先将单元u的输入传给第一个geu1块，将生成特征输入下一个geu2块，最后将两个geu单元的输出再同时输入一个卷积核大小为3×3的卷积层，生成该单元的输出特征f1；

(2)将f1输入到第一层单元u1,1生成特征f1,1；将f1,1输入到第二层单元u2,1生成特征f2,1；将f2,1输入到第一层单元u1,2中，输出特征f1,2；将f1,2输入第二层单元u2,2生成特征f2,2；将f2,2传回到第一层单元u1,3输出特征f1,3；将f1,3和f2,2传给第三层单元u3,1生成特征f3,1；

(3)将f3,1传给一个单元u生成特征f2，将f2通过一个去卷积层生成残差图ires；最后使用双三次插值法上采样原低分辨率图像生成ibic，将ibic与残差图ires相加，生成高分辨率图像ihr。

图2为一个实验例子。其中，(a)、(d)图分别是输入的低分辨率图像，(b)、(e)图则是对应的使用本发明方法进行4倍超分重构出来的高分辨率图像，(c)、(f)是真实的高分辨率图像。可以看出，本发明方法可以有效地恢复出原始高分辨率图像中的纹理及边缘信息，带来较好的视觉效果。

参考文献：

[1]c.e.duchon.lanczosfilteringinoneandtwodimensions.journalofappliedmeteorology,18(8):1016–1022,1979.

[2]c.dong,c.c.loy,k.he,andx.tang.imagesuper-resolutionusingdeepconvolutionalnetworks.ieeetransactionsonpatternanalysisandmachineintelligence(tpami),38(2):295–307,2015.

[3]kimj,leejk,leekm.accurateimagesuper-resolutionusingverydeepconvolutionalnetworks[c]//ieeeconferenceoncomputervisionandpatternrecognition.ieeecomputersociety,2016:1646-1654.

[4]c.dong,c.c.loy,andx.tang.acceleratingthesuper-resolutionconvolutionalneuralnetwork.ineuropeanconferenceoncomputervision(eccv),pages391–407.springerinternationalpublishing,2016.

[5]keli,bahetiyaerbare,b.y.b.f.,andyao,c.2018.facehallucinationbasedonkeypartsenhancement.inieeeinternationalconferenceonacoustics,speechandsignalprocessing.。