本发明涉及图像超分辨率的重建，尤其是涉及使用基于深度学习的小波包变换的方法实现超分辨率。
背景技术：
在解决图像超分辨率(sr)问题的方案中，大致分为两类，一类是属于非学习类的超分辨率方法，另一类是基于深度学习的方法。在非深度学习的方法中，又分为基于插值的方法以及基于重建的方法。基于插值的方法，例如小波的双线性插值，以及基于光滑性约束的delaunay三角化插值算法等，它们存在重构的图像边缘细节缺失，容易产生模糊，超分辨率能力有限；基于重建的方法，是凸集投影法(pocs)、最大后验概率法(map)以及map/pocs混合法等基于重建的方法，存在图像分辨率上升，其性能也会迅速下降，出现细节丢失、边缘模糊的问题([1]龙超.图像超分辨率重建算法综述[j].科技视界,2015(13):88-89)。
使用深度学习的方法，使得衡量图像超分辨率的重要的指标——峰值信噪比(psnr)有了很大的提升。将深度学习引入sr领域的开山鼻祖就是srcnn,虽然这个网络的参数需要足够“稠密”，才能直接从网络中映射出一张高清的hr图像，而且存在着感知域比较小的问题，但它成功将卷积神经网络应用到sr领域([2]c.dong,c.c.loy,k.heandx.tang,"imagesuper-resolutionusingdeepconvolutionalnetworks,"inieeetransactionsonpatternanalysisandmachineintelligence,vol.38,no.2,pp.295-307,feb.12016)。之后各类深度学习的方法纷纷应用于实现sr。但是深度神经网络方法在结构最优化原则中暴露了其局限性，神经网络模型的重构性能对小型架构的变化敏感，同样的模型通过不同的初始化和训练技术会有不同的性能水平，需要精心设计的模型架构和复杂的优化方法来训练神经网络([3]limb,sons,kimh,etal.enhanceddeepresidualnetworksforsingleimagesuper-resolution[c]//computervisionandpatternrecognitionworkshops.ieee,2017:1132-1140)。而且卷积神经网络往往需要不同的子像素(subpixel)或者是反卷积层等来进行图像尺寸的放大处理。
小波变换(wt)已经被证明是一种高效且直观的工具，可以用来表示和存储多分辨率图像，以及描述图像在不同层次上的上下文和纹理信息([4]huangh,her,sunz,etal.wavelet-srnet:awavelet-basedcnnformulti-scalefacesuperresolution[c]//ieeeinternationalconferenceoncomputervision.ieeecomputersociety,2017:1698-1706)。但是一些应用于超分辨率重建实现，仍然存在整体的图像会过于平滑现象，即使是处于存在图像的中间的焦点位置，一些细节纹理信息和颜色也不能很好地保留下来。本发明考虑到这些，尤其是考虑到不同尺寸的放大处理，使用了基于wavelet的深度学习方法来实现sr。
技术实现要素：
本发明的目的在于提供基于小波包的超分辨率重建方法。
本发明包括以下步骤：
1)输入三通道彩色低分辨图，通过32个残差单元构成的深度神经网络输出高分辨图片的高频特征；
2)将32个残差单元的输出再输入到另外一组32个残差单元构成的深度神经网络，再输出高分辨率图片的低频特征；
3)利用小波包将高分辨图片的低频特征和高频特征合成为最终的高分辨率图片。
本发明的核心点在于：
1)不需要子像素层(subpixel)和反卷积层等用于放大图像的放大层，而是直接利用wavelet滤波实现其功能。
与以前的方法相比，没有反卷积层或子像素层，这是本发明的网络结构更为简单，可以构建出比之前方法更深的网络结构，而网络深度及特征通道数很多情况下对大幅度提高效果来说是很重要的。
2)本发明的wavelet是用来将细节系数和近似系数分来，利用细节损失和近似损失来控制想要的纹理部分和非纹理区域的细节比例，可以控制出现过度的或者是奇怪的纹理细节，以及纹理缺失的情况。
附图说明
图1为本发明实施例的waveletsr的网络结构。
图2为图1中的残差单元结构。
具体实施方式
以下实施例将结合附图对本发明作进一步的说明。
本发明实施例包括以下步骤：
1)输入三通道彩色低分辨图，通过32个残差单元构成的深度神经网络输出高分辨图片的高频特征；
2)将32个残差单元的输出再输入到另外一组32个残差单元构成的深度神经网络，再输出高分辨率图片的低频特征；
3)利用小波包将高分辨图片的低频特征和高频特征合成为最终的高分辨率图片。
本发明的解决方案是基于小波包变换的，首先，将高分辨率图像转换为一组小波分解系数，它们与对应的低分辨率图像大小相同。然后，应用深度卷积网络将被低分辨率图像映射到小波分解图像集。超分辨率图像是利用反向小波包变换从分解系数集合中计算出来的。
本发明使用小波包变换迭代计算daubechies1小波系数，直到它达到低分辨率图像的大小。分解层次为n＝log2r，其中r是缩放比例因子。在rgb图像的3个通道中，n层次的小波系数数量是3×4n。小波系数分为细节系数和近似系数。近似系数是仅经过低通滤波器hlow的那些系数，其余的是细节系数。在n层次上，有3个近似系数和3×4n-3个细节系数。
图1是waveletsr的网络结构，所有的卷积层有256个通道，图2是对图1中的残差单元的结构展示。网络层上显示的数字是过滤器的大小(重点在于右上角的wavelet的使用方向)。
在图1waveletsr的网络结构中，首先，它以一个低分辨率图像作为输入，通过32个残差单元和一个1×1卷积层计算获得高分辨率图片的高频细节系数；其次，使用另外32个残差单元和一个1×1卷积层来计算高分辨率图片的低频近似系数，其中，32个残差单元的前后都对应有一个3×3卷积层的操作；最后，使用小波包算法将图片的高频细节系数和低频近似系数合成为超分辨率图像。
图2是图1中残差单元的具体结构，它由两层3×3卷积层以及在卷积层之间的一层修正线性单元(relu)组成，每个残差单元中只有一条从输入之前到最后输出的跳线。其中，修正线性单元是一个表达式为f(x)＝max(0,x)的激活函数。