基于多层次残差的单张图像超分辨率重建方法与流程

本发明属于数字图像处理中的图像超分处理领域，具体涉及一种基于深度学习的单张图像超分辨率重建方法，注重实时高效且高性能的算法处理。

背景技术：

1、图像超分辨率(super-resolution,sr)是指由一幅低分辨率图像

2、(low-resolution,lr)或图像序列恢复出高分辨率图像(high-resolution,hr)。hr意味着图像具有高像素密度，可以提供更多的图像细节，这些细节往往在应用中起到关键作用。要获得高分辨率图像，最直接的办法是采用高分辨率图像传感器，但由于传感器和光学器件制造工艺和成本的限制，在很多场合和大规模部署中很难实现。因此，利用现有的设备，通过基于深度学习的超分辨率技术来获取hr图像具有非常重要的现实意义。

3、单张图像超分辨率重建问题属于不适定的算法问题，即对于任意的低分辨率图像，都存在无数的高分辨率图像与之对应。通常，基于单张图像的超分辨率重建算法可以分为插值算法，重建模型算法和学习算法三大类。其中，最常见的单图像超分辨率插值算法包括最近邻插值，双线性插值，双三次插值等算法。而基于重建模型的方法是将图像的先验知识输入到图像超分辨重建过程中，使单张图像超分辨重建的不适定性变得似乎有解。基于学习的方法通过训练图像数据集学习低分辨率和高分辨率图像之间的映射关系，来预测低分辨率图像中丢失的高频信息从而达到重建高分辨率图像的目的；包括使用机器学习、稀疏表示和耦合字典训练。

4、近年来，随着研究人员对深度学习的领域不断挖掘，基于深度学习的图像超分辨算法也得到了快速发展，其中，最早的是由dong等人提出的基于卷积神经网络的超分辨率重建(super-resolution using convolutionalneural networks，srcnn)方法。随后几年中，vdsr，srdensenet，edsr等一些列模型被提出应用在超分辨领域，都取得了不错的效果。但是，这一系列基于深度学习的重建算法理论基础是相似的，都是学习图像之间的映射关系，而且，随着模型的发展，模型的体积越来越大，训练成本逐渐增加，处理图片的时间越来越久，很难应用在移动终端设备上，即使有些模型的参数量很小，可它们却在性能上有很大的损失，现存的网络模型都没有在性能和效率上取的很好的平衡。

技术实现思路

1、由于现存的基于深度学习的单张图像超分辨率重建网络，要么网络模型巨大，参数量巨多，增加了运算成本和计算复杂度，很难运用在移动端设备。要么网络模型很小，能够部署在移动端设备上，但却不能实现很好的性能，重建清晰的图像细节。本发明提供基于多层次残差的单张图像超分辨率重建方法。本发明旨在提供一种计算成本低，处理速度快且性能高的单张图像超分辨率重建网络。该算法包含一个可重用的子网络(subnetwork)，一个可重用的重建网络(reconstructnetwork)和一个主网络(mainnetwork)。子网络用于提取不同层次的特征作为重建网络的输入和下一个子网络的输入。重建网络用于重建不同层次的特征，获得不同层次的图像残差。主网络则用于对子网络和重建网络进行组装。通过简单的网络模型就可以取得视觉上可观的高分辨率图像，且在性能和效率上达到极好的平衡。

2、基于多层次残差的单张图像超分辨率重建方法，步骤如下：

3、步骤(1)、数据预处理；

4、步骤(2)、构建基于多层次残差的单张图像超分辨率重建网络；

5、步骤(3)、通过步骤(1)预处理的数据对构建的基于多层次残差的图像超分辨重建网络模型进行训练；

6、进一步的，步骤(1)具体方法如下；

7、1-1：数据集下载：

8、选取div2k数据集中的800张训练集图片作为训练集，选用set5、set14、b100、urban100、manga109这5个数据集作为测试集。

9、1-2：训练数据处理：

10、对div2k数据集的800张图片进行格式转换，将图片统一转换成ycrcb格式，并只保留图片的y通道信息，即得到所需要的高分辨率图片ihr。对只包含y通道信息的图片利用双三次插值法进行指定倍数下采样的模糊处理，得到低分辨率图片ilr。然后对高分辨率图片ihr和低分辨率图片ilr进行裁剪，ihr裁剪为大小为192*192，ilr裁剪为指定缩小倍数的大小，以达到数据增强的处理。低分辨率图片ilr作为模型训练过程中的输入图片，高分辨率图片ihr作为模型训练过程中用于与模型输出图片进行对比的对比图片。

11、1-3：测试数据处理：

12、对5个测试数据集进行格式转换，将图片统一转换成ycrcb格式，并只保留图片的y通道信息，即得到所需要的高分辨率图片ihr。对只包含y通道信息的图片利用双三次插值法进行指定倍数下采样的模糊处理，得到低分辨率图片ilr。低分辨率图片ilr作为最终验证模型性能的输入图片，高分辨率图片ihr作为模型训练过程中的用于与模型输出图片进行对比的对比图片。

13、进一步的，步骤(2)具体方法如下；

14、2-1：单张图像超分辨率重建理论。

15、单张图像超分辨率重建算法通过子网络模块提取各层次的特征信息fi。可以公式化为：

16、

17、其中fi为第i层次的特征信息，subneti为重用的第i个子网络模块，f0记为第一个子网络模块的输入。

18、重建模块则利用获取到的层次特征信息重建出各层次的hr图像残差，记为hri。重建模块可以公式化为：

19、hri＝resneti(fi)i＝1,2,3,......,n

20、其中hri为第i层次的hr图像残差，resneti为重用的第i个重建网络模块。在主网络中将lr图像进行双三次线性插值(bicubic)获得图像hr0。最终获得的hr图像可以公式化为：

21、

22、2-2：构建基于多层次残差的单张图像超分辨重建网络模型。

23、基于多层次残差的单图像超分辨重建网络模型主要包括两个模块，第一个模块是子网络模块，用于进行不同层次的特征提取。第二个模块是重建模块，用于对不同层次的特征进行重建，获得不同层次的图像残差。

24、2-2-1：子网络模块结构如下：子网络模块包含四个卷积层，第一个卷积层输入通道为64，输出通道为64，滤波核尺寸为3*3。第二个卷积层输入通道为64，输出通道为64，滤波核尺寸为3*3。第三个卷积层输入通道为64，输出通道为64，滤波核尺寸为1*5。第四个卷积层输入通道为64，输出通道为64，滤波核尺寸为5*1。激活函数为relu非线性激活函数。为了保证输出与输入的尺寸相同，每个卷积层对象进行相应的像素填充，填充为n/2,其中n为滤波核尺寸的大小。

25、2-2-2：重建网络模块结构如下：重建网络模块包含一个卷积层和pixelshuffle层。卷积层的输入通道为64，输出通道为s2(s为需要重建的尺度)，卷积核大小为3*3。pixelshuffle层则将卷积层的输出进行像素重新排列，输出一张与hr相同大小的图像残差。

26、2-2-3：网络模型总体结构如下：网络模型由一个卷积层、n个重用的子网络模块、n个重用的重建网络模块和一个bicubicu上采样操作组成。其中n根据网络模型的性能和效率的平衡性进行动态调节。此外，卷积层的输入通道为1，输出通道卷积为64，卷积核大小为3*3。该卷积核的输出f0被用作第一个子网络模块的输入。

27、进一步的，步骤(3)具体方法如下；

28、输入的低分辨率图片ilr首先通过第一个卷积层进行特征映射，使图片从低维空间映射到高维空间中，然后经过n个子网络模块和相对应的重建网络模块，获得由于图像超分辨重建的多层次残差图像。然后将多层次残差图像与ilr上采样后的图像数据进行相加，最终，得到网络模型的输出iout。

29、在训练过程中，设置初始学习率为10-4，损失函数为l1损失函数，优化器为adam优化器，训练集batchsize设置为32，测试集batchsize为1。当每一轮训练结束后，使用测试集来测试网络模型性能。如果性能在连续15轮训练结束后都没有增加，学习率将减半。如果性能在连续30轮训练结束后都没有增加，将停止训练。

30、进一步的，选取n为3。

31、本发明有益效果如下：

32、优点1：创新的提出了一种全新的网络模型算法，充分利用不同层次的特征信息进行图像重建。

33、优点2：模型结构简单，通过参数共享减少参数量，降低运算成本，且在性能和效率能够达到非常好的平衡。

34、优点3：能够非常容易的部署在移动端设备，减少使用硬件来进行图像超分的成本。