一种多尺度空洞卷积神经网络超分辨率重构方法及装置与流程

本发明涉及图像处理技术领域，特别是一种多尺度空洞卷积神经网络超分辨率重构方法及装置。

背景技术：

目前，深度卷积神经网络在计算机视觉问题中被广泛使用，并在图像分类、目标检测等问题中表现出了优异的性能。单图像超分辨率是一个典型的计算机视觉问题，针对低分辨率图像的重构问题，dong等提出了利用卷积神经网络对图像进行超分辨率重构的算法，其思想是利用网络模型强大的学习能力学习低分辨率到高分辨率端到端的映射关系，从而重构超分辨率图像，该方法实现了端到端的学习架构，省去了特征提取预处理过程和后续高分辨率图像块聚合过程，虽然超分辨率效果不错，但速度却很慢。后来，dong等在srcnn方法基础上进行改进，以低分辨率图像作为网络输入，减小特征图维度和卷积核尺寸，提出了一种快速超分辨率方法，减少了网络训练参数。shi等提出了一种利用亚像素卷积层的超分辨率方法，对最后得到的特征图重新排列，得到高分辨率图像，大幅提高运算速度。但是，以上3种深度学习方法，均属于浅层卷积神经网络结构，均存在感受野较小、提取的特征非常局部的问题，使得超分辨率效果存在一定的局限性。

技术实现要素：

为了克服现有技术的不足，本发明的目的在于提供一种多尺度空洞卷积神经网络超分辨率重构方法及装置，能够增大网络感受野，提取到更加全局性的特征，同时适合多尺度图像超分辨率重构。

本发明解决其问题所采用的技术方案是：

一种多尺度空洞卷积神经网络超分辨率重构方法，包括：对原始图像进行多尺度数据增强，得到增强图像；

对增强图像进行数据预处理，得到预处理图像；

构建空洞卷积超分辨率网络，利用所述空洞卷积超分辨率网络对所述预处理图像进行超分辨率重构。

进一步，对原始图像进行多尺度数据增强，得到增强图像，包括：把原始图像作为初始训练集；

对所述初始训练集中的每幅图像分别进行不同尺度的缩放，并结合原始图像形成中间训练集；

对所述中间训练集中的每幅图像分别进行不同角度的旋转，并结合所述中间训练集中的每幅图像形成处理训练集，所述处理训练集中的图像即为所述的增强图像。

进一步，对增强图像进行数据预处理，得到预处理图像，包括：提取增强图像的亮度分量，对亮度分量进行裁剪，并对裁剪后的图像按不同的尺度因子进行下采样；

将经过下采样后的图像按对应的所述尺度因子进行上采样，生成分辨率高于原始图像的初始高分辨率图像；

将所述初始高分辨率图像和原始图像分别按照步长m裁剪成大小为n*n的高分辨率图像块和原始图像块，其中，m和n均为常数。

进一步，构建空洞卷积超分辨率网络，包括：

把卷积神经网络中的池化层及所述池化层后面的卷积层替换为一个空洞卷积层。

进一步，利用所述空洞卷积超分辨率网络对所述预处理图像进行超分辨率重构，包括：

提取所述原始图像块和对应的高分辨率图像块的图像特征；

将得到的原始图像块的图像特征和高分辨率图像块的图像特征，利用卷积核的映射特性，建立单层神经网络并学习两个图像特征间的非线性映射关系；

将映射到的高分辨率图像块进行聚集重构，生成高分辨率图像。

一种储存多尺度空洞卷积神经网络超分辨率重构方法的装置，包括控制模块和用于储存控制指令的储存介质，所述控制模块读取所述储存介质中的控制指令并执行以下操作：

对原始图像进行多尺度数据增强，得到增强图像；

对增强图像进行数据预处理，得到预处理图像；

构建空洞卷积超分辨率网络，利用所述空洞卷积超分辨率网络对所述预处理图像进行超分辨率重构。

进一步，控制模块执行操作对原始图像进行多尺度数据增强，得到增强图像时，包括以下操作：

把原始图像作为初始训练集；

对所述初始训练集中的每幅图像分别进行不同尺度的缩放，并结合原始图像形成中间训练集；

对所述中间训练集中的每幅图像分别进行不同角度的旋转，并结合所述中间训练集中的每幅图像形成处理训练集，所述处理训练集中的图像即为所述的增强图像。

进一步，控制模块执行操作对增强图像进行数据预处理，得到预处理图像时，包括以下操作：

提取增强图像的亮度分量，对亮度分量进行裁剪，并对裁剪后的图像按不同的尺度因子进行下采样；

将经过下采样后的图像按对应的所述尺度因子进行上采样，生成分辨率高于原始图像的初始高分辨率图像；

将所述初始高分辨率图像和原始图像分别按照步长m裁剪成大小为n*n的高分辨率图像块和原始图像块，其中，m和n均为常数。

进一步，控制模块执行操作构建空洞卷积超分辨率网络时，包括以下操作：

把卷积神经网络中的池化层及所述池化层后面的卷积层替换为一个空洞卷积层。

进一步，控制模块执行操作利用所述空洞卷积超分辨率网络对所述预处理图像进行超分辨率重构时，包括以下操作：

提取所述原始图像块和对应的高分辨率图像块的图像特征；

将得到的原始图像块的图像特征和高分辨率图像块的图像特征，利用卷积核的映射特性，建立单层神经网络并学习两个图像特征间的非线性映射关系；

将映射到的高分辨率图像块进行聚集重构，生成高分辨率图像。

本发明的有益效果是：一种多尺度空洞卷积神经网络超分辨率重构方法及装置，通过构建空洞卷积超分辨率网络，能够有效解决现有技术中存在的感受野小的问题，增大网络感受野，同时，为了使空洞卷积超分辨率网络能够适用于不同尺度超分辨率重构，对原始图像进行了不同尺度数据增强，使得空洞卷积超分辨率网络能够对不同大小倍数的图像进行处理，从而使空洞卷积超分辨率网络可以泛化多尺度图像超分辨率。

附图说明

下面结合附图和实例对本发明作进一步说明。

图1是本发明的超分辨率重构方法的流程图；

图2是图1中进行多尺度数据增强步骤的进一步详细流程图；

图3是图1中进行数据预处理步骤的进一步详细流程图；

图4是图1中进行超分辨率重构步骤的进一步详细流程图。

具体实施方式

参照图1，本发明实施例提出了一种多尺度空洞卷积神经网络超分辨率重构方法，包括但不限于以下步骤：

步骤s100，对原始图像进行多尺度数据增强，得到增强图像；

步骤s200，对增强图像进行数据预处理，得到预处理图像；

步骤s300，构建空洞卷积超分辨率网络，利用所述空洞卷积超分辨率网络对所述预处理图像进行超分辨率重构。

在本实施例中，通过构建空洞卷积超分辨率网络，能够有效解决现有技术中存在的感受野小的问题，增大网络感受野，同时，为了使空洞卷积超分辨率网络能够适用于不同尺度超分辨率重构，对原始图像进行了不同尺度数据增强，使得空洞卷积超分辨率网络能够对不同大小倍数的图像进行处理，从而使空洞卷积超分辨率网络可以泛化多尺度图像超分辨率。

进一步地，参照图2，本实施例的步骤s100中，对原始图像进行多尺度数据增强，得到增强图像，包括但不限于以下步骤：

步骤s110，把原始图像作为初始训练集；

步骤s120，对所述初始训练集中的每幅图像分别进行不同尺度的缩放，并结合原始图像形成中间训练集；

步骤s130，对所述中间训练集中的每幅图像分别进行不同角度的旋转，并结合所述中间训练集中的每幅图像形成处理训练集，所述处理训练集中的图像即为所述的增强图像。

在本实施例中，使用现有技术中timofte数据集中的91幅图像作为原始图像，并把这91幅原始图像作为初始训练集，接着采用尺度缩放和旋转两种方式对初始训练集分别进行处理。例如，首先对初始训练集中的91幅原始图像分别进行降采样，分别缩放到原始尺寸的0.6倍、0.7倍、0.8倍和0.9倍，并结合91幅原始图像形成中间训练集，此时，中间训练集中的图像数量为初始训练集中的图像数量的5倍；接着对中间训练集中的每一幅图像分别旋转90°、180°和270°，并结合原来的中间训练集中的图像形成处理训练集，该处理训练集中的图像即为所述的增强图像。此时，增强图像的数量扩增到初始训练集中的图像数量的20倍。

进一步地，参照图3，本实施例的步骤s200中，对增强图像进行数据预处理，得到预处理图像，包括但不限于以下步骤：

步骤s210，提取增强图像的亮度分量，对亮度分量进行裁剪，并对裁剪后的图像按不同的尺度因子进行下采样；

步骤s220，将经过下采样后的图像按对应的所述尺度因子进行上采样，生成分辨率高于原始图像的初始高分辨率图像；

步骤s230，将所述初始高分辨率图像和原始图像分别按照步长m裁剪成大小为n*n的高分辨率图像块和原始图像块，其中，m和n均为常数。

在本实施例中，得到增强图像后，先对增强图像进行空间转换，得到ycbcr空间图像，接着提取出增强图像的y非线性亮度分量，然后对该亮度分量进行裁剪，并对裁剪后的图像按尺度因子分别为2、3、4进行下采样，从而得到对应的低分辨率图像，接着，对上述低分辨率图像按照同样的尺度因子分别进行上采样，从而生成分辨率高于原始图像的初始高分辨率图像，此外，为了匹配网络输入，将初始高分辨率图像和原始图像分别按照步长为14裁剪成大小为41*41的高分辨率图像块和原始图像块，并把该高分辨率图像块和原始图像块作为空洞卷积超分辨率网络的输入数据。

进一步地，本实施例的步骤s300中，构建空洞卷积超分辨率网络，主要是把卷积神经网络中的池化层及所述池化层后面的卷积层替换为一个空洞卷积层而构成。由于传统卷积神经网络中的池化层的下采样操作会带来信息损失，为了解决这个问题，把该池化层及该池化层后面的卷积层替换为一个空洞卷积层，而该空洞卷积层的主要作用是：如何在去掉池化下采样操作的同时，不降低网络的感受野，从而重构出超分辨率图像。因此，对于重构出超分辨率图像的操作，具有空洞卷积层的空洞卷积超分辨率网络较之于传统的卷积神经网络具有更优的性能。

进一步地，参照图4，本实施例的步骤s300中，利用空洞卷积超分辨率网络对所述预处理图像进行超分辨率重构，包括但不限于以下步骤：

步骤s310，提取所述原始图像块和对应的高分辨率图像块的图像特征。

对于将卷积神经网络应用到超分辨率重构中时，对于图像块的提取和表示是卷积的过程。空洞卷积超分辨率网络中的卷积操作与传统卷积神经网络的卷积操作相同，但是卷积核却与原来的不相同。本发明为了扩大网络感受野，使网络学习到更加全局性的特征，因此采用空洞卷积核进行卷积操作，同样达到了提取网络特征的目的。本步骤的操作主要在网络第一层中实现，在本步骤中，利用空洞因子为2的9*9卷积核提取原始图像块和对应的高分辨率图像块的图像特征，并设置网络输出的特征图为64，即输出通道为64。具体地，卷积操作公式如下：

f1(y)＝max(0,w1*ly+b1)

其中，w1和b1表示空洞卷积核的权重和偏置变量，*l表示空洞卷积。w1对应于大小为c×f1×f1的n1个滤波器，c为输入图像的维度，f1为滤波器的大小。b1是一个n1维向量，且每一个元素与一个卷积核相对应。因此，根据卷积的原理，空洞卷积超分辨率网络的第一层输出共有n1个特征图。

特别地，空洞卷积操作具体如下：

定义离散函数：f:z²→r，假设ωr＝[-r,r]²∩z²,k:ω→r是大小为(2r+1)²的离散滤波器，则离散卷积操作*的定义为：

(f*k)(p)＝∑s+t＝p

空洞卷积一般形式表示为：

(f*lk)(p)＝∑s+lt＝p

其中l为空洞因子，*l表示空洞卷积，当l＝1时，为普通离散卷积操作*，基于空洞卷积的网络支持感受野指数增长，不丢失分辨率信息，记f0,f1,...,fn-1:z²→r为离散函数，k0,k1,...,kn-1:ω→r是离散的3x3滤波器，采用指数增长卷积核后，

fi+1＝fi*2iki,当i＝0,1,...,n-2

定义fi+1中的元素p感受野为：f0中可以改变fi+1(p)值的元素集。fi+1中p感受野大小即为这些元素集数目。容易得到，fi+1中各元素感受野大小为(2ⁱ⁺²-1)×(2ⁱ⁺²-1)。

步骤s320，将得到的原始图像块的图像特征和高分辨率图像块的图像特征，利用卷积核的映射特性，建立单层神经网络并学习两个图像特征间的非线性映射关系。

本步骤的操作主要在网络第二层中实现，本步骤主要是将网络第一层中生成的高维向量非线性映射到另一个高维向量，这些新生成的高维向量组成了另一个向量集。在本步骤中，将步骤s310中所生成的64个通道生成的特征图利用1*1卷积核进行非线性映射，将低分辨率的高维向量映射到具有高分辨率特征的高维向量空间，并生成32个特征图。接着，把在网络第一层中生成的向量为n1维的特征图，在网络第二层中将n1维的向量映射到n2维。这样的操作等价于用n2个大小为1×1的卷积核进行卷积，网络第二层表示为：

f2＝max(0,w2*f1(y)+b2)

其中，w2包含了n2个大小为n1×f2×f2的卷积核，b2是一个大小为n2维的向量。网络第二层的每一个输出将会被用来重建图像的高分辨率图像块。最后，将32个通道特征图通过一个5*5卷积核重构为一张高分辨率图像块，实现图像超分辨率重构。

步骤s330，将映射到的高分辨率图像块进行聚集重构，生成高分辨率图像。

本步骤的操作主要在网络第三层中实现，本步骤将上述网络第二层的高分辨率图像集合生成高分辨率图像，生成的该图像与真正的原始图像相似。在传统方法中，重构操作通过将预测到的高分辨率块求平均值产生最终完整的高分辨率图像。其实，求平均的过程也可以看做是一个预先训练好的滤波器在一个特征图集上进行卷积。本步骤在网络第三层中的操作就是受到了这样的启发，即通过卷积操作得到最终的高分辨率图像。网络第三层表示为：

f(y)＝w3*f2(y)+b3

其中，w3对应于c个大小为n2×f3×f3的卷积核，b3是一个c维的向量。如果高分辨率块是在图像域里，那么将滤波器视作一个均值滤波器；如果高分辨率块是其他域，那么卷积核w3先将各个系数投影到图像域上后再求平均。

接着，由上述的结果得到高分辨图像，则空洞卷积超分辨率网络中需要不断更新的参数为θ＝{w1,w2,w3,b1,b2,b3}，重建的图像为f(y；θ)，且对应的原始图像为x。用均方误差作为损失函数即：

其中，n是训练样本的个数。损失函数用随机梯度下降(sgd)法进行权值更新，公式为：

其中，l∈{1,2,3}，i是层数和迭代次数，η是学习速率。

在相同的计算条件下，空洞卷积提供了更大的感受野。当网络层需要较大的感受野，但计算资源有限而无法提高卷积核数量或大小时，可以利用空洞卷积。空洞卷积能够整合多尺度内容信息，且不损失分辨率，支持感受野指数增长。同时，整合了不同尺度内容信息，使任何分辨率加入到已有的网络结构中，有利于网络重用性。传统卷积神经网络中，采用池化层达到降维的目的，但这种做法在图像超分辨率中会产生一定的副作用，经过池化后的特征层上像素尺寸比较低，即使通过上采样，特征图也会丢失一定精度，因此，本发明采用空洞卷积方式代替池化层增大网络的感受野。

另外，为了实现上述实施例中的多尺度空洞卷积神经网络超分辨率重构方法，本发明实施例还提供了一种储存多尺度空洞卷积神经网络超分辨率重构方法的装置，该装置包括控制模块和用于储存控制指令的储存介质，所述控制模块读取所述储存介质中的控制指令并执行以下操作：

对原始图像进行多尺度数据增强，得到增强图像；

对增强图像进行数据预处理，得到预处理图像；

构建空洞卷积超分辨率网络，利用所述空洞卷积超分辨率网络对所述预处理图像进行超分辨率重构。

进一步地，控制模块执行操作对原始图像进行多尺度数据增强，得到增强图像时，包括以下操作：

把原始图像作为初始训练集；

对所述初始训练集中的每幅图像分别进行不同尺度的缩放，并结合原始图像形成中间训练集；

对所述中间训练集中的每幅图像分别进行不同角度的旋转，并结合所述中间训练集中的每幅图像形成处理训练集，所述处理训练集中的图像即为所述的增强图像。

进一步地，控制模块执行操作对增强图像进行数据预处理，得到预处理图像时，包括以下操作：

提取增强图像的亮度分量，对亮度分量进行裁剪，并对裁剪后的图像按不同的尺度因子进行下采样；

将经过下采样后的图像按对应的所述尺度因子进行上采样，生成分辨率高于原始图像的初始高分辨率图像；

将所述初始高分辨率图像和原始图像分别按照步长m裁剪成大小为n*n的高分辨率图像块和原始图像块，其中，m和n均为常数。

进一步地，控制模块执行操作构建空洞卷积超分辨率网络时，包括以下操作：把卷积神经网络中的池化层及所述池化层后面的卷积层替换为一个空洞卷积层。

进一步地，控制模块执行操作利用所述空洞卷积超分辨率网络对所述预处理图像进行超分辨率重构时，包括以下操作：

提取所述原始图像块和对应的高分辨率图像块的图像特征；

将得到的原始图像块的图像特征和高分辨率图像块的图像特征，利用卷积核的映射特性，建立单层神经网络并学习两个图像特征间的非线性映射关系；

将映射到的高分辨率图像块进行聚集重构，生成高分辨率图像。

以上是对本发明的较佳实施进行了具体说明，但本发明并不局限于上述实施方式，熟悉本领域的技术人员在不违背本发明精神的前提下还可作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。