小波域中基于集团结构子带共同学习超分辨率网络的方法与流程

本发明涉及计算机视觉图像超分辨率恢复技术，尤其涉及一种小波域中基于集团结构的子带共同学习超分辨率网络的方法，可解决单张图片的超分辨率恢复的问题。

背景技术：

单图像超分辨率是指从单个低分辨率图像重建高分辨率图像，这是一个不适定的反问题。几年来，研究者对单图像超分辨率的研究兴趣日益增加。最近，卷积神经网络(文献[1]、[2]、[3])显著改善了单图像超分辨率问题中的重建高分辨率图和真实图的峰值信噪比。这些网络通常先使用特征提取模块从低分辨率图像中提取一系列特征图，接着与上采样模块级联以增加分辨率进而重建高分辨率图像。

提取特征的质量将严重影响高分辨率图像重建的性能。现代超分辨率网络中使用的提取模块的主要部分可以主要分为三类：常规卷积层(文献[4])，残差块(文献[5])和密集块(文献[6])。

自从2012年alexnet(文献[7])获得ilsvrc比赛的第一名以来，传统的卷积已被学者广泛考虑来解决单图像超分辨率问题。第一个使用常规卷积来解决单图像超分辨率问题的模型是srcnn(文献[1])。之后，许多改进的网络，如fsrcnn(文献[8])，scn(文献[9])，espcn(文献[10])和drcn(文献[11])也使用传统的卷积并取得了很好的效果。残差(文献[5])是卷积层的改进版本，其在计算机视觉问题中表现出优异的性能。由于它可以增强网络中的特征传播并减轻梯度消失问题，因此许多超分辨率网络，如vdsr(文献[11])，lapsrn(文献[12])，edsr(文献[2])和srresnet(文献[13])引入残余块并实现了更好的性能。为了更好地利用残差块中跳跃连接，黄高等人提出了密集网络(文献[6])。密集块在层之间建立更多连接从而扩大信息流。tongtong等(文献[14])提出使用密集块的srdensenet，这进一步提高了性能。

文献[15]记载了杨一博等人提出了一个名为集团块(cliqueblock)的新型块，其中一个块中的层被构造为一个团，并以循环方式交替更新。任何层都是同一块中另外任一层的输入和输出从而最大化信息流动。集团块中的信息传播包含两个阶段：第一阶段和密集块一样进行计算；第二阶段通过使用任何层之间的跳跃连接(包括后续层之间的连接)来提取特征图。

采用合适的上采样模块可以进一步改善图像重建性能。现代超分辨率网络中用于提高分辨率的上采样模块也可以主要分为三类：内插上采样，反卷积上采样和子像素卷积上采样。

插值上采样最早被用于srcnn(文献[6])。那时，没有有效的模块可以实现使输出大小大于输入大小的功能。因此，srcnn在输入图像上使用预定义的双三次插值来首先获得所需的大小。在使用预插值方法的srcnn之后，vdsr(文献[11])，ircnn(文献[16])，drrn(文献[17])和memnet(文献[18])使用不同的特征提取模块。然而，因为特征图的大小是多种多样的，该预处理步骤增加了计算复杂度。(文献[19，20])中提出的反卷积可以看作是对每个输入像素乘以滤波器；在这种滤波器机制下，如果步幅s>1，则可以增加输入大小。许多现代超分辨率网络如fsrcnn(文献[8])，lapcnn(文献[12])，dbpn(文献[21])和idn(文献[22])通过使用反卷积作为上采样模块得到了更好的结果。然而，反卷积前向和后向传播的计算复杂性仍然是使用者的主要关注点。(文献[23])中提出的子像素卷积旨在加速上采样操作。与先前改变输入特征图的高度和宽度的上采样方法不同，子像素卷积通过增加通道数来实现上采样；接着，在该子像素卷积之后使用周期性混洗操作来将输出特征图重新整理为期望的高度和宽度。edsr(文献[2])使用子像素卷积在基准数据集上实现了良好的性能。

但是，上述这些网络常常倾向于产生模糊且过度平滑的高分辨率图像，往往缺少纹理细节，难以恢复单张高清图片的细节部分，导致峰值信噪比和图片相似性结构指标较低。

参考文献：

[1]chaodong,chenchangeloy,kaiminghe,andxiaooutang.learningadeepconvolutionalnetworkforimagesuper-resolution.ineccv,pages184–199,2014.

[2]beelim,sanghyunson,heewonkim,seungjunnah,andkyoungmulee.enhanceddeepresidualnetworksforsingleimagesuper-resolution.incvprworkshops,2017.

[3]yingtai,jianyang,xiaomingliu,andchunyanxu.memnet:apersistentmemorynetworkforimagerestoration.incvpr,pages4539–4547,2017.

[4]y.lecun,l.bottou,y.bengio,andp.haffner.gradient-basedlearningappliedtodocumentrecognition.proceedingsoftheieee,(11):2278–2324,1998.

[5]kaiminghe,xiangyuzhang,shaoqingren,andjiansun.deepresiduallearningforimagerecognition.incvpr,pages770–778,2016.

[6]gaohuang,zhuangliu,laurensvandemaaten,andkilianq.weinberger.denselyconnectedconvolutionalnetworks.incvpr,2017.

[7]alexkrizhevsky,ilyasutskever,andgeoffreyehinton.imagenetclassificationwithdeepconvolutionalneuralnetworks.innips,pages1097–1105,2012.

[8]chaodong,chenchangeloy,andxiaooutang.acceleratingthesuper-resolutionconvolutionalneuralnetwork.ineccv,pages391–407,2016.

[9]zhaowenwang,dingliu,jianchaoyang,weihan,andthomashuang.deepnetworksforimagesuper-resolutionwithsparseprior.iniccv,pages370–378,2016.

[10]wenzheshi,josecaballero,ferenchuszar,johannestotz,andrewpaitken,robbishop,danielrueckert,andzehanwang.real-timesingleimageandvideosuper-resolutionusinganefficientsub-pixelconvolutionalneuralnetwork.incvpr,pages1874–1883,2016.

[11]jiwonkim,jungkwonlee,andkyoungmulee.accurateimagesuper-resolutionusingverydeepconvolutionalnetworks.incvpr,pages1646–1654,2016.

[12]wei-shenglai,jia-binhuang,narendraahuja,andming-hsuanyang.deeplaplacianpyramidnetworksforfastandaccuratesuper-resolution.incvpr,pages624–632,2017.

[13]christianledig,lucastheis,ferenchuszar,josecaballero,andrewcunningham,alejandroacosta,andrewaitken,alykhantejani,johannestotz,zehanwang,etal.photo-realisticsingleimagesuper-resolutionusingagenerativeadversarialnetwork.incvpr,pages4681–4690,2017.

[14]tongtong,genli,xiejieliu,andqinquangao.imagesuper-resolutionusingdenseskipconnections.iniccv,pages4809–4817,2017.

[15]yiboyang,zhishengzhong,tianchengshen,andzhouchenlin.convolutionalneuralnetworkswithalternatelyupdatedclique.incvpr,2018.

[16]kaizhang,wangmengzuo,andleizhang.learningasingleconvolutionalsuper-resolutionnetworkformultipledegradations.incvpr,2018.

[17]yingtai,jianyang,andxiaomingliu.imagesuper-resolutionviadeeprecursiveresidualnetwork.incvpr,number4,2017.

[18]yingtai,jianyang,xiaomingliu,andchunyanxu.memnet:apersistentmemorynetworkforimagerestoration.incvpr,pages4539–4547,2017.

[19]matthewdzeilerandrobfergus.visualizingandunderstandingconvolutionalnetworks.ineccv,pages818–833,2014.

[20]matthewdzeiler,grahamwtaylor,androbfergus.adaptivedeconvolutionalnetworksformidandhighlevelfeaturelearning.iniccv,pages2018–2025,2011.

[21]muhammadharis,gregshakhnarovich,andnorimichiukita.deepback-projectionnetworksforsuper-resolution.incvpr,2018.

[22]zhenghui,xiumeiwang,andxinbogao.fastandaccuratesingleimagesuper-resolutionviainformationdistillationnetwork.incvpr,2018.

[23]wenzheshi,josecaballero,ferenchuszar,johannestotz,andrewpaitken,robbishop,danielrueckert,andzehanwang.real-timesingleimageandvideosuper-resolutionusinganefficientsub-pixelconvolutionalneuralnetwork.incvpr,pages1874–1883,2016.

技术实现要素：

为了克服上述现有技术的不足，本发明提供一种小波域中基于团结构的子带共同学习网络的方法，能够解决单张图片的超分辨率恢复的问题。

本发明的核心是：本发明中，团型超分辨率网络的关键部分是团型超分辨率网络架构、特征嵌入网络(fen)和图像重建网网络(irn)。小波变换是一种高效且高度直观的用来以多分辨率方式表示和存储图像的工具，可以描述不同尺度的图像的上下文和纹理信息。为超分辨率设计的的小波变换方法已成功应用于多帧超分辨率问题。受集团块和小波变换的显著特性启发，本发明提出了一个名为集团化的新型超分辨率网络，将残差集团块(res-cliqueblock)设计为特征提取模块的主要部分，从而提高了网络性能。此外，还设计了一种称为集团上采样的新颖的上采样模块。该集团上采样模块由四个子网络组成，用于预测四个频率子带的高分辨率小波系数(参考小波变换相关定义)。并考虑了四个子带的相互联系，将四个子网设计成能够共同学习四个子带的系数。对于大于2的分辨率放大系数，在图像金字塔基础上设计了渐进的集团化超分辨率网络。具体实施表明，在基准数据集上，本发明设计的网络相对最新方法实现了更卓越的性能。

本发明提供的技术方案是：

小波域中基于集团结构子带共同学习超分辨率网络的方法，构建新型超分辨率网络，称为团型超分辨率图像网络；团型超分辨率图像网络包括两部分：特征提取网络(fen)和图像恢复网络(irn)，可实现单张图片的超分辨率恢复；包括如下步骤：

1)输入低分辨率图像，低分辨率图像记作i^lr∈r^3×h×w，其中，h和w分别是输入图像的高度和宽度，3表示图像为rgb三色通道；

2)通过特征提取网络fen将输入的低分辨率图像表示为一组特征映射；具体执行如下操作：

21)特征提取网络包括第一卷积层、第二卷积层和由n个残差集团块组合成的集团块组；通过第一卷积层增加输入通道的数量，可通过跳跃连接将第一卷积层的输出添加到集团块组的输出处；

22)将第一卷积层的输出记为f1∈r^nlg×h×w，其中n是集团块组中包含集团块的总数量，l是每个集团块中的层数，g是每个集团块的增长率；

23)通过第二卷积层改变通道的数量，使得第二卷积层的输出和后续集团块组的输入相适应；第二卷积层的输出记为f2∈r^lg×h×w；

24)使用特征提取网络的集团块组提取图片的特征；

集团块组的输出根据所有的集团块的特征拼接得到，每个集团块的前向传播可表示为ci+1＝fi(ci)，i＝1,2,3,…,n-1,ci∈r^lg×h×w，其中ci是第i个集团块的输入，fi是第i个集团块的基本映射；yg＝[c1,c2,…cn]∈r^nlg×h×w是整个集团块组的输出。最后，特征提取网络的输出yf是yg和f1的总和，即yf＝yg+f1。

3)建立图像复原网络，包括一个集团上采样模块和一个卷积层；将集团块组的输出yg和第一层卷积层的输出f1做相加操作，作为特征提取网络的输出，传入图像恢复网络irn的集团上采样模块中；集团上采样模块进行子带提取、自残差学习和子带精细化；使用逆离散小波变换改变特征图的分辨率大小，从而恢复得到高分辨率的特征图；再通过一层卷积层，恢复3个通道的高分辨率图像；具体执行如下操作：

31)特征传入集团上采样模块中；

集团上采样模块包括四个子网络，分别代表小波域中的四个子带，用于预测四个子带的高分辨率小波系数；通过使用逆离散小波变换改变特征图的分辨率大小，从而恢复出高分辨率的图片；不仅如此，我们基于四个子带边缘特征的性质，采用子带系数互相学习去得到更精细的细节部分。之后将高分辨率的特征图送入最后一层卷积层；

32)高分辨率的特征图经过卷积层，用于减少特征图的通道数量到3，以便重建3个通道的高分辨率图像；

具体实施时，将团型超分辨率图像网络中的卷积层的卷积核大小设置为3×3；对每个卷积层做1×1的补零操作，使得每层的输出特征图的大小不变。利用卷积核大小设置为1×1的卷积层减小通道数。

本发明采用逐渐上采样的模块扩展创建的网络，解决较大放大倍数的超分辨率图像的恢复问题。对于放大倍数较大的情况，如解决放大原始图像2^j倍，其中的j表示网络放大的等级，团型超分辨率图像网络采用循序渐进的级联结构，模型最终的损失函数l包含j个部分，具体采用平均绝对误差衡量超分辨率图片在各个等级下恢复的表现，其中的i^j表示对高清的图片做双三次插值做下采样得到相应等级的超分辨率图像真实值，表示本发明构建的网络在等级j下的预测超分辨率图像。

与现有技术相比，本发明的有益效果是：

本发明提出了一种新型的小波域中基于团结构的子带共同学习超分辨率网络，可解决单张图片超分辨率恢复问题。包括：设计了一种新型的上采样模块，叫做团上采样模块。该模块使用逆离散小波变换去改变特征图的分辨率大小，同时基于四个子带边缘特征的性质，采用了子带系数互相学习的方法。还设计了一种残差团模块，作为特征提取的基础。本发明在标准数据集上验证了这两个模块的必要性。同时，采用逐渐上采样的模块扩展建立的网络，以此来解决较大放大倍数的情况。大量的在标准数据集上的实验说明了本发明新提出来的网络相比当前最好的网络，不仅仅量化指标好，从视觉效果上来讲，本发明方法相比于现有方法，能够恢复出更加清晰的细节纹理特征，有效解决单张图片的超分辨率恢复的问题。

附图说明

图1是本发明提供的基于集团结构的子带共同学习超分辨率网络方法的流程框图。

图2是残差集团块的结构流程框图示意图；

其中，残差集团块包含4层卷积层(1，2，3，4)，0表示输入；同时将输入拆成4份(01，02，03，04)，输出将1与01，2与02，3与03，4与04组合。

图3是集团块组的结构及拼接流程框图。

图4是本发明实施例中团块上采样模块的具体结构流程框图。

图5是团块上采样模块中第一阶段第三阶段特征图可视化结果示意图；

图6为本发明实施例小波变换中四个频率子带的对应边缘特征关系图。

图7为本发明实施例中四个频率子带数量级大小的统计直方图；

图中统计的样本来自于div2k数据集的800张图片；上半部分4个直方图表示原始图像做离散小波变换的系数统计直方图，下半部分4个直方图表示图像经过模式4做离散小波变换的系数统计直方图。

图8为集群结构超分辨率网络在放大倍数为4倍的时候的具体结构流程示意图。

图9是本专利方法和现有最好的超分辨率方法的视觉效果对比示意图；

其中，比较的图片来自于set14，bsds100和urban100数据集，放大倍数为4倍的视觉效果对比；对比的方法包括bicublic方法，idn方法，srmdnf方法，edsr方法和本发明方法；图片下方的数值表示两大图像恢复指标：峰值信噪比(psnr)和相似性图片结构(ssim)。

具体实施方式

下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。

本发明提供小波域中基于团结构子带共同学习超分辨率网络的方法，构建新型超分辨率网络：团型超分辨率图像网络；团型超分辨率图像网络包括两部分：特征嵌入网络(fen)和图像重建网网络(irn)。

(1)网络整体结构

如图1所示，我们的团型超分辨率图像网络主要由两个子网组成：特征嵌入网络(fen)和图像复原网络(irn)。特征嵌入网络将低分辨率输入图像表示为一组特征映射。请注意，特征嵌入网络不会改变输入的图像大小(h，w)，其中h和w分别是输入图像的高度和宽度。图像复原网络对特征嵌入网络获得的特征图进行上采样并重建图像。这里我们用i^lr∈r^3×h×w表示输入的低分辨率(lr：lowresolution)图像(i:image)，并且用i^hr∈r^3×rh×rw表示输出的高分辨率(hr：highresolution)图像，其中r是超分辨率图片的放大倍数，h和w分别是输入图像的高度和宽度。

(2)特征提取网络

如图1的左侧部分所示，特征提取网络以两个卷积层开始。特征提取网络具体结构参见附图2和附图3。第一个卷积层用来增加输入通道的数量，可以通过跳跃连接将其添加到残差集团块组的输出处。在其之后，集团块组紧接着就被使用。第一卷积层之后的跳跃连接已广泛用于超分辨率网络。第一卷积层的输出记为f1∈r^nlg×h×w，其中n是集团块组中集团块的总数量，l是每个集团块中的层数，g是每个集团块的增长率(文献[6]中记载了集团块增长率的定义)。第二个转换层用来改变通道的数量，以便使它们的输出可以和后续集团块组的输入相适应。第二卷积层的输出记为f2∈r^lg×h×w。

残差集团块和残差集团块组的结构及拼接流程如图2，图3所示，其中，残差集团块包含4层卷积层(1，2，3，4)，0表示输入；同时将输入拆成4份(01，02，03，04)，输出将1与01，2与02，3与03，4与04组合。残差集团块相比于集团块仅多了输入到输出的直接组合线。本发明选择集团块作为主要特征提取器，主要是由于以下原因。首先，集团块的前向传播包含两个阶段。第一阶段的传播与密集块的传播相同，而第二阶段则进一步提炼特征。第二，与密集块相比，集团块包含更多跳过连接，因此层之间的信息可以更容易地被传播。由于输入的特征包括很多信息，因此我们在集团块中添加了残差连接。我们将这种集团块称为残差集团块。

假设一个残差集团块有l层，集团块的输入和输出可以相应表示为x0∈r^lg×h×w和y∈r^lg×h×w。层i和层j之间的权重由wij表示。集团块的前向传递可以在数学上描述为以下等式。对于第一阶段，其中*表示卷积运算符，δ表示激活函数。对于第二阶段，对于残差连接，其中[·]代表合并操作。

然后我们将n个残差集团块组合成一个集团块组。残差集团块组的输出根据所有前面的集团块的特征得到，对于每个残差集团块的运算，可以表示为ci+1＝fi(ci)，i＝1,2,3,…,n-1,ci∈r^lg×h×w，其中ci是第i个残差集团块的输入，fi是第i个残差集团块的根本映射。yg＝[c1,c2,…cn]∈r^nlg×h×w是整个集团块组的输出。最后，特征提取网络的输出yf是yg和f1的总和，即yf＝yg+f1。

(3)图像恢复网络

如图1右侧部分所示，图像复原网络由两部分组成：一个集团上采样模块和一个卷积层，用于减少特征图的数量，以便重建3个通道(rgb)的高分辨率图像。

图3中显示的集团上采样模块是图像复原网络最重要的部分。它的设计受离散小波变换和集团块的启发。它包含四个子网络，相应分别代表小波域中由ll，lh，hl和hh表示的四个子带。之前基于小波域的超分辨率卷积神经网络忽略了四个子带之间的关系。ll子带表示以一半分辨率对原始图像进行低通滤波。特征嵌入网络的输出特征图编码了原始低分辨率图像中的基本信息。因此我们首先使用特征提取网络的输出特征yf来学习ll块。我们用c表示输入特征图yf的通道数，yf∈r^c*h*w，c＝nlg。这个过程可以表示为式1：

其中，表示ll子带的第一阶段输出；fll表示ll块的可学习的非线性函数。hl块主要显示水平边缘。相反，lh块主要包含垂直边缘信息。如图4的左侧部分所示，我们以参考文献3中的数据集set5中的一张图像为例。hl和lh块都可以从ll块和特征yf中学习得到，可以被写为：

其中，表示hl和lh子带的第一阶段输出,fhl和flh分别表示hl和lh子带的可学习函数。hh块在对角线方向上找到原始图像的边缘。同样在图4的左侧部分显示，hh块看起来类似于lh和hl块，因此我们使用lh，hl，ll块和特征提取网络的输出特征图可以比单独只使用特征图更容易学习hh块。我们将其表述为

其中，表示表示hh子带的第一阶段输出；fhh表示表示hh子带的可学习函数。

我们将上述操作命名为子带提取阶段。我们还在图4的右侧绘制了四个直方图，以证明子带提取阶段是有效的。我们将离散小波变换应用于来自div2k数据集的800幅图像——我们在实验中将其用作训练数据集，并绘制这些图像的四个子带的离散小波变换系数的直方图。从图4中，我们发现lh，hl和hh块的系数分布彼此相似。因此，使用lh和hl块来学习hh块是合理的。

在子带提取阶段之后，四个子带后是几个残差块。由于高频系数可能比低频系数更难学习，因此我们对不同的子带使用不同数量的残差块。我们将每个子带的残差块数量分别表示为nll，nhl，nlh和nhh。我们通过以下等式更新每个子带

其中和分别代表四个子带的可学习残差函数。我们将上述运算命名为自残差学习阶段。

在自残差学习阶段的运算之后，图像重构网络进入子带精细化阶段。在这个阶段，我们使用高频块来精细化低频块，这是子带提取阶段的逆过程。具体而言，我们使用hh块来学习lh和hl块，可以表示为

其中和分别代表hl和lh子带的第三阶段输出,和表示第三阶段lh和hl子带可学习函数。通过类似的方式，我们用以下等式更新ll子带的输出yll:

其中代表ll子带的第三阶段输出,表示第三阶段ll子带可学习函数。

然后我们将逆离散小波变换应用于这四个块，这部分中我们选择最简单的小波——haar小波，因为它可以通过解卷积操作轻松计算。其中，所有块的尺寸都相同。它们都是p*h*w，其中p表示每个子网产生的特征图的数量。所以逆离散小波变换的输出是最后，离散小波变换的输出被送到一个卷积层，这被用于减少通道数量并获得高分辨率图像。我们将上采样模块称为集团上采样模块，其原因如下：首先，这两个模块的连接模式是一致的。集团块和集团上采样模块都在子带/层之间使用密集连接。其次，这两个模块的前向传播机制很相似，即两个模块都逐阶段更新子带/层的输出。由于提取模块和上采样模块都与集团相关，本发明建立的网络被称为超分辨率集团网络。

(4)针对放大倍数为2^j的网络结构

本发明提出了一种新型的团型超分辨率图像网络，可以用于放大倍数为2的超分辨率图像恢复，通过串联，也可以用到4倍，8倍等。以下描述利用本发明网络解决放大原始图像2^j倍，其中的j表示网络放大的等级。

图像金字塔在计算机视觉相关的应用中已经被广泛使用。在现有的工作例如lapgan和lapsrn用了拉普拉斯金字塔解决超分辨率图像恢复问题。本发明提出的团型超分辨率图像网络引入了图像金字塔的结构。如图五左侧所示，团型超分辨率图像网络在一次前向传播过程中会产生很多中等分辨率的超分辨率图像的预测图。由于团型超分辨率图像网络是循序渐进的级联结构，模型最终的损失函数包含j个部分，采用中间输出的真实值对高清的图片做双三次插值做下采样得到相应等级的超分辨率图像真实值。最终我们采用平均绝对误差来衡量超分辨率图片在各个等级下恢复的表现：其中的表示对高清的图片做双三次插值做下采样得到相应等级的超分辨率图像真实值，表示网络在等级j下的预测超分辨率图像。

表1：团型结构超分辨率网络在放大倍数为2倍和4倍时的具体参数设计

表2：特征提取网络和图像恢复网络的性能对比实验

表3是本发明方法和目前最好的超分辨率算法在放大倍数为2和4的情况下的对比量化实验结果(psnr,ssim)。‘-’表示该方法由于计算限制没能恢复出整张图片。

表3本发明方法和现有超分辨率算法在放大倍数为2和4的情况下的对比量化实验结果

具体实施时，在我们所提出的团型超分辨率图像网络，将几乎所有的卷积层(包括前两层卷积)的卷积核大小设置为3×3。我们也对每个卷积层做了1×1的补零操作去保证每层的输出特征图的大小不变。在我们的网络中我们也用了卷积核大小设置为1×1的卷积层去减小通道数。具体的参数设置请参见表1。在表1中，n表示团block的个数。l表示团block中的层数，g表示团block中每层的增长数。c和p分别表示团上采样模块的输入通道数和输出通道数。nll,nhl,nlh,nhh分别表示团上采样模块中的四个子带中的残差模块的个数。不同与计算机视觉其他的卷积神经网络，我们的团型超分辨率图像网络并没有使用dropout，批标准化，样例标准化等技巧，因为这些技巧不适用与超分辨率问题，这些技巧将会减少特征的灵活性。

训练网络采用的图片来自与div2k和flickr数据集。而在4个标准超分辨率数据集来验证我们网络的性能，这四个数据集分别是set5，set14，bsds100和urban100。我们使用了32×32的输入图像作为低清图片输入，高清图片的大小将会随着放大倍数的改变而改变，同时我们采用批样本处理，批的大小是32。同时我们对数据集进行扩充，对于输入的裁剪后的图片，我们做如下操作水平、垂直翻转，旋转90度，最终得到8种扩充。激活函数我们采用prelu函数。初始的学习率设置为10^-5，同时每隔200的迭代周期学习率下降到之前的1/2。我们采用adam作为网络的优化器，所有的实验都是在pytorch上实现的。

各子带数量级的影响

本发明中的团上采样模块有四个子网络/子带，而且每个子带都和剩下的子带的特征图是有联系和相互学习的，所以每个子带的数量级应该尽可能的接近才能更容易地去学习其他子带的特征。正如图4中所展示的一样，原图像经过离散小波变换之后的四子带系数统计直方图位于图4中的上半部分。我们可以看到ll子带的数量级明显和其他三个子带是不一样的，这可能会造成训练过程困难。因此我们想对原始图片做一些变换去使各个子带的数量级不会差别太大。我们一共提出了四种模式：1)原始的图片，像素值介于0到255。2)每个像素值除以255，使之介于0到1。3)每个像素值除以255，在减去训练集图片的平均值，该操作将作用于rgb三个通道上。4)每个像素值除以255，在减去训练集图片的平均值，该操作将作用于rgb三个通道上，同时在把ll通道的值除以一个常数大约在4附近，可以使ll通道与其他通道更相似。最终模式4的统计直方结果图位于图4下半部。在相同的实验设置下，我们对输入图片做了如上的四种模式处理，最终我们画了四种模式下损失函数值随迭代次数变化的图像，最终结果列在图5的右部分。从图5中我们可以发现模式4能取得最好的实验结果。所以在之后的实验部分，我们都采用模式4对图像进行预处理，以达到较好的训练结果。

特征提取网络和图像恢复网络的效果验证

为了验证我们残差团块和团上采样模块的优势，我们设计了两个对比实验。在这两个对比实验中，我们使用了小型团型超分辨率网络，这个小型的团型超分辨率网络中共有8个块，每个块中包含4层，每层产生出32张特征图。在第一个实验中，我们固定了图像恢复网络中的团型上采样模块，在特征提取网络中，我们采用不同的块结构，例如残差块(记为rb)，密集块(记为db)和残差团块(记为cb)。在第二个实验中，我们固定特征提取网络中的团块结构，而在图像恢复网络中采用不同的上采样模块，例如解卷积模块(记为dc)，子像素卷积模块(记为sc)，没有采用共同学习的团上采样模块(记为cu^-)和采用了共同学习的团上采样模块(记为cu)，我们记录了在放大倍数为2时，各个模型的在前200个迭代周期的最佳指标(包括峰值信噪比psnr和图像结构相似指标ssim)。各个模型的表现列举在表2中。

通过表2，我们可以知道团型上采样模块和团残差模块的优势。当我们组合使用这两个模型时，相比其他模型组合，我们的模块能得到最好的指标。

我们也可视化了两个阶段的四子带特征图。由于这些特征图的通道数都是大于3的，所以我们对特征图做了些操作以便可视化。我们通过对通道的维度取均值来表述特征图,最终的可视化结果我们列在了图3的底部。从图3我们可以知道，输入和阶段1的特征图并不像小波变换后的系数图像。然而，阶段3的特征图和小波变换的系数图非常相似同时经过小波逆变换能够恢复出高清的图片。这个可视化的结果说明了加入子带调整阶段是非常有必要的。

本发明方法和目前最好的超分辨率方法的对比

为了验证我们提出网络的有效性，我们做了一些实验和可视化对比。我们的网络主要和8种目前最好的方法作比较，他们分别是drcn,lapsrn,drrn,memnet,srmdnf,idn,d-dbpn和edsr。我们利用上文提到的四个标准数据集，做了大量的对比实验。我们评估恢复图像的指标是峰值信噪比psnr和图像相似结构指标ssim。表3列举了放大倍数为2和4倍的定量的实验结果，我们的方法基本都超过了目前最好的方法。

在图6中，我们展示了在数据集set14，bsds100和urban100上恢复图像的视觉对比，恢复图像的放大倍率是4倍。由于空间限制，我们只展示4幅图的对比实验结果。正如图6中所示，我们的方法对于自然物体能重构出更加清晰的细节纹理部分，例如字母形状和斑马的条纹。对于结构化的建筑风格图片，我们的方法也能够恢复出更多合理的重构结果。对比实验表明我们采用神经网络去恢复高频特征是有效的。同时我们的方法相比其他目前最好的方法也有更好的量化指标结果。图7为四个频率子带数量级大小的统计直方图；图中统计的样本来自于div2k数据集的800张图片。图8所示为集群结构超分辨率网络在放大倍数为4倍的时候的具体结构流程。图9是本专利方法和现有最好的超分辨率方法的视觉效果对比示意图；比较的图片来自于set14，bsds100和urban100数据集，放大倍数为4倍的视觉效果对比；对比的方法包括bicublic方法，idn方法，srmdnf方法，edsr方法和本发明方法；图片下方的数值表示两大图像恢复指标：峰值信噪比(psnr)和相似性图片结构(ssim)。

需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。