基于浅层和深层卷积神经网络的图像超分辨率重建算法的制作方法

本发明属于图像处理领域，涉及深度学习中卷积神经网络的优化，尤其对浅层深层网络相结合的改进。

背景技术：

卷积神经网络(convolutionalneuralnetworks，cnn)在各种计算机视觉领域呈现出优异的性能，如图像分类、目标检测、语义分割和动作识别等。在很多领域中，我们都对高画质的图像有所需求。单帧图像的超分辨率(singleimagesuperresolution，sisr)重建是指对已知单幅低分辨率的图像重构出具有更高像素密度、更细腻的画质和包含更多细节的高分辨率图像，从而满足较高画面质量的需求。图像超分辨率重建技术在视频监控、医学成像、遥感卫星成像等各个领域有着广泛的应用。然而由于根据有限的输入信息重构出更多信息图像的过程是一个典型的病态反过程，图像超分辨率重建始终是一个极具挑战的任务。

早期的sisr方法基于插值技术，如最近邻插值、双线性插值、双三次插值、样条插值、分形插值和lanczos重采样，该技术比较简单，易于实现。但是会因放大因子的增大而出现立即下降的情况。1993年，m.irani等人提出了迭代反投影法(iterativeback-projectionibp)。该算法不但计算量小，而且收敛快。1995年，schulte和stevenson提出了最大后验概率方法(applicationofmaximumaposteriori，map)，重建图像质量得以提升。根据集投影理论，之后改进的凸集投影法(projectionontoconvexsets，pocs)，速度获得了进一步地提升。elad和feuerm等人在schulte和stevenson的基础上，发展出了一种通用的最大似然估计和凸集投影混合的超分辨率算法。该方法集合了两者自身的优点，不但能稳定的收敛，还充分利用了先验知识。

之后，基于学习方法被广泛应用于超分辨率恢复。基本思想为获取低分辨率图像块和高分辨率块之间的共同的先验知识，并建立两者之间的映射模型。2004年chang等人提出了邻居嵌入和局部线性嵌入(ne+lle)的超分辨重建方法，将低分辨率图像块的空间局部几何映射到高分辨率当中，再用映射产生的邻域的线性组合来生成高分辨图像块。2010年，yang等人基于稀疏表达(sparecoding，sc)提出了新的超分辨率重建的方法，从高分辨率信号之间的低维投影可以精准地恢复它们的线性关系。所以，通过学习一种简洁的图像块对表达方式去去获取对应的高、低分辨率图像块之间共同的先验知识，而不是从图像中直接提取它们的图像块对。后来，zeyde等人对此方法做了些许改进：用k-svd法训练低分辨率字典，对高分辨率字典直接采用伪逆的方法；并且通过主成分分析技术和正交匹配追踪算法进行降维。基于稀疏编码的网络(scn)相比于通用sc模型实现显着的改进，scn的级联(cscn)也受益于具有特殊设计的多尺度成本函数的深度网络的端到端训练。但大多数人依靠手工设计表征lr图像的特征。

传统重建技术恢复图像的速度是缓慢的，该技术主要包含三个步骤：预处理、配准和重建。它们中的大多数是计算复杂度高，不能实现端到端直接放大。其中，dongetal.提出了基于卷积神经网络的超分辨率重建(learningadeepconvolutionalnetworkforimagesuper-resolution)，成功地将深度学习技术引用到sr领域中，该算法简称为srcnn。其主要特征是学习插值后lr与hr图像块之间的映射，相较于先前的学习算法省去了很多的预处理及后期整合。但srcnn仍有一些局限性。第一，该网络学习到的特征少且单一。第二，作为一个预处理步骤，原lr图像需要上采样到目标图像的大小做为网络的输入。第三，在大的图像处理速度上还需提高。

技术实现要素：

为了降低恶意节点对网络的影响、提高网络安全性，本发明提出了一种基于浅层和深层卷积神经网络的图像超分辨率重建算法，结合浅层和深层卷积神经网络算法(shallowanddeepconvolutionalnetworksforimagesuper-resolution，简称sdsr)，旨在通过将浅层和深层的卷积神经网络(convolutionalneuralnetworks，cnn)相结合提取低分辨率样例图像块和高分辨率样例图像块的图像特征，然后学习它们之间的非线性映射关系，用反卷积层实现上采样，从而还原出高分辨率图像。

本发明提出了一种基于浅层和深层卷积神经网络的图像超分辨率重建算法，该方法包括以下步骤：

步骤一、选取训练样本和测试样本，包括91幅图像数据集和包含100幅bmp格式的无压缩图像的general-100数据集；

步骤二、对深层网络特征进行提取、映射、上采样和多尺度变换，其中：

特征提取：在原始lr图像上提取特征，对每个提取的特征设置了3个卷积层，每层包含64个3×3大小的滤波器，使用了快捷连接；将卷积层表示为:

fl(y)＝prelu(wl*fl-1(y)+bl)

其中，wl和bl分别表示l层的滤波器和偏置；fl表示输出的特征图；*表示卷积操作；wl包括了nl个滤波器参数个数为nl-1×fl×fl，fl表示卷积核的空间大小；

在原始lr图像y通道卷积前三层；在除了最后一层卷积层以外的每个卷积层后面都设置一个prelu激活函数，使用参数修正线性单元(prelu)；prelu激活函数定义为：

prelu(xi)＝max(xi,0)+aimin(0,xi)

其中，xi是第i个通道上激活函数的输入信号，ai是负数部分的系数；

映射：首先使用12×1×1卷积层由64维映射到低维12维(降低维度提高了计算效率)，然后使用4个12×3×3卷积层增加映射的非线性；在该步骤学习一个端到端的原lr和目标hr图像之间的映射关系；

上采样：使用反卷积层实现，在映射部分的后面先将维度增加到64维，使用caffe工具箱，当训练一个fsub×fsub大小的lr子图像时，放大因子为n，反卷积层的只能输出(nfsub-n+1)²大小的hr图像作为目标hr大小；

多尺度变换：将开始的4个64维3×3卷积层用于提取高维特征，同样也用到快捷连接；之后16维1×1卷积层用于降低维度；然后一系列的多尺度卷积层由4个卷积层并列组成，卷积核大小分别为7×7、5×5、3×3、1×1；每个组成多尺度卷积曾的卷积核；输出4个特征图，然后连接成16个特征图，这样不同大小的特征被提取出来；最后设置一个1×1的卷积层用于权重连接多尺度的特征；

步骤3、进行浅层网络特征提取：浅层网络由简单的2个卷积层和1个反卷积层组成，实现对图像粗略特征的提取；

步骤4、进行浅层深层网络的结合：将浅层和深层网络的输出相结合，浅层网络和深层网络各自输出一张高分辨图像，最后通过一个卷积层进行连接，得到最终的高分辨率图像。

与现有技术相比，本发明的一种基于浅层和深层卷积神经网络的图像超分辨率重建算法(sdsr)具有以下积极效果：

1、在单幅图像重建以及视频序列重建方面，建立能准确有效地重建高分辨率图像的模型，取得了很好的重建效果；

2、特征提取多尺度细节，结果明显优于现有其他算法；

3、且重建速度较快；为图像视频增强打下了基础，具有实际可行性。

4、可以更好地保持结果图像中的边缘信息，减弱结果中的振铃现象；

5、可以很好地适用于自然场景图像的超分辨率增强任务，时间复杂度较低，且重建效果明显优于现存算法；

6、为自然场景图像增强实时环境及系统的推广提供了有效途径。

附图说明

图1为浅层和深层卷积神经网络框架图；

图2为不同算法下lenna图像超分辨率恢复结果比较图，其中放大因子为3；其中，(2a)、原始lenna图像；(2b)、bicubic算法；(2c)、a+算法；(2d)、srcnn算法；(2e)、fsrcnn算法；(2f)、本发明的sdsr算法；

图3为不同算法下lenna图像超分辨率恢复坏点比较图，其中放大因子为3，白色部分为坏点；(2a)、原始lenna图像；(2b)、bicubic算法；(2c)、a+算法；(2d)、srcnn算法；(2e)、fsrcnn算法；(2f)、本发明的sdsr算法；

图4为不同算法在set5数据集上测试收敛曲线图；

图5为高速路视频序列图像重建结果图。

具体实施方式

下面结合附图对本发明作进一步详细描述。

本发明提供一种浅层和深层网络相结合的卷积神经网络，提取低分辨率样例图像块和高分辨率样例图像块的图像特征，学习它们之间的非线性映射关系，对cnn网络进行训练、测试。该模型加宽了网络，增加了参数个数，并有效地防止了过拟合现象。同时设计不同的两路网络结构捕获不同的有效特征，更多的有效特征有利于提高重建效果。本文模型是由深层残差支路浅层支路组成的并列模型。该并列网络的两路输入为相同的lr图像，通过本文模型最终获得hr图像。整个网络结构的基本框架如图1所示。同时也比较了本发明算法与相关算法在超分辨率重建图像质量方面的性能优劣。

具体步骤如下：

步骤1、选取训练样本和测试样本：其中，训练样本选取了被广泛用作基于学习的超分辨率重建方法91幅图像数据集(该图像数据集来自j.yang,j.wright,t.s.huang,andy.ma,“imagesuper-resolutionviasparserepresentation,”ieeetransactionsonimageprocessing,vol.19,no.11,pp.2861–2873,2010.)和包含100幅bmp格式的无压缩图像的general-100数据集；前者广泛用作基于学习的超分辨率重建方法，后者非常适合超分学习训练。因此，原始数据是191张图片。为了使数据更有效，对原始图像进行旋转变换。因此最后的训练数据集是20倍的原始数据。也就是说，将总共191×20＝3820幅图像用于训练；测试样本则选取set5图像、set14图片和bsd100共100幅图像作为测试数据集，用来评估放大因素为×2、×3和×4时的图片质量；采用psnr和ssim指标用于定量评价。采取只对ycbcr通道中的y通道进行实验，而另外2个通道则是直接采取bicubic插值的方法进行放大的通道数选择方式，即c＝1，ne十lle，sc，a+和anr这些方法都是，以便下文比较重建质量；

步骤2、对深层网络特征进行提取、映射、上采样和多尺度变换，特征映射多次从而可提取出准确的细节信息；

(2-1)、特征提取：在原始lr图像上提取特征，对对每个提取的特征设置了3个卷积层对原始lr图像进行特征提取，每层包含64个3×3大小的滤波器。为了抑制网络衰减，使用了快捷连接，实现残差网络，即通过在一个网络基础上叠加前向连接的层(称identitymappings，恒等映射)，可以让网络随深度增加而不退化，从而加速了网络收敛。

将卷积层表示为:

fl(y)＝prelu(wl*fl-1(y)+bl)

其中，wl和bl分别表示l层的滤波器和偏置；fl表示输出的特征图；*表示卷积操作；wl包括了nl个滤波器参数个数为nl-1×fl×fl，fl表示卷积核的空间大小。

具体为：首先在原始lr图像y通道卷积前三层；每个卷积层的输出作为激活函数的输入，本发明激活函数使用参数修正线性单元(parametricrectifiedlinearunit，prelu)，prelu激活函数定义为：

prelu(xi)＝max(xi,0)+aimin(0,xi)

其中，xi是第i个通道上激活函数的输入信号，ai是负数部分的系数；如果ai＝0，那么prelu退化为relu。prelu只增加了极少量的参数，也就意味着网络的计算量以及过拟合的危险性都只增加了一点。特别的，当不同通道使用相同的ai时，参数就更少了。采用prelu主要为了避免在relu中造成的“死特性”，即未提取到特征造成的特征图全黑。在每个卷积层(除了最后一层卷积层)后面都设置了激活函数。

该步骤在原始lr图像上提取特征，没有像srcnn先进行双立方插值图像的预处理，从而实现针对性地学习一个端到端的映射，

(2－2)、映射：首先使用12×1×1卷积层由64维映射到低维12维(降低维度提高了计算效率)，然后使用4个12×3×3卷积层增加映射的非线性；在该步骤学习一个端到端的原lr和目标hr图像之间的映射关系；

(2－3)、上采样：发生在高维，因此在映射部分的后面先将维度增加到64维。不同于传统方法手动内插上采样，本发明使用反卷积层实现上采样，即使用caffe工具箱，当训练一个fsub×fsub大小的lr子图像时，放大因子为n，反卷积层的只能输出(nfsub-n+1)²大小的hr图像作为目标hr大小；

(2－4)、多尺度变换：考虑到高分辨率图像复原通常依赖于大小不同的索引信息，本步骤提出用多尺度的卷积核提取图片多尺度的索引信息。步骤1提取的特征经多尺度重建后得到的特征部分由16层卷积层组成，开始的4个64维3×3卷积层用于提取高维特征，其作用类似于步骤1的特征提取部分，同样也用到快捷连接；之后16维1×1卷积层用于降低维度；然后一系列的多尺度卷积层由4个卷积层并列组成，卷积核大小分别为7×7、5×5、3×3、1×1；每个组成多尺度卷积层的卷积核输出4个特征图，然后连接成16个特征图，这样从大小卷积核提取不同尺度的特征；最后设置一个1×1的卷积层用于权重连接多尺度的特征；

步骤3、进行浅层网络特征提取：浅层网络由简单的2个卷积层和1个反卷积层组成，实现对图像粗略特征的提取；

步骤4、进行浅层深层网络的结合：根据步骤3所述的浅层网络只有3个卷积层，能复原图像的大致信息，缺乏高频细节信息；与之相反，深层网络可以更准确恢复出高频细节信息。最后，将浅层和深层网络的输出相结合，浅层网络和深层网络各自输出一张高分辨图像，最后通过一个卷积层进行连接，得到最终的高分辨率图像。

本发明的网络训练实例说明如下：

本发明采用的最小化欧式距离来优化模型参数。给定训练数据集x⁽ⁱ⁾表示一组低分辨率图像，y⁽ⁱ⁾表示对应的真实高分辨率图像，本文的目标是学习模型是目标图像的估计。只要使得均值误差1/2||y-f(x)||²最小，即可得到优化的参数模型。训练过程中采用基于反向传播的随机梯度下降法来优化回归[24]。本模型卷积层中的所有过滤器均随机初始化为高斯分布，满足均值为零和标准差偏置为0。训练所用硬件设备为gputitanxpascal。

表1、不同数据集下不同算法在不同放大因子时的超分结果比较

表2、不同算法在不同视频集超分恢复结果比较