一种基于全局分布学习的真实图像超分辨率重建方法

本发明属于数字图像处理中的图像超分处理领域，具体涉及基于深度学习的单张图像超分辨率重建方法，注重高性能且能够重建任意分辨率的算法处理。

背景技术：

1、图像超分辨率(super-resolution,sr)是指由一幅低分辨率图像

2、(low-resolution,lr)或图像序列恢复出高分辨率图像(high-resolution,hr)。hr意味着图像具有高像素密度，可以提供更多的图像细节，这些细节往往在应用中起到关键作用。要获得高分辨率图像，最直接的办法是采用高分辨率图像传感器，但由于传感器和光学器件制造工艺和成本的限制，在很多场合和大规模部署中很难实现。因此，利用现有的设备，通过基于深度学习的超分辨率技术来获取hr图像具有非常重要的现实意义。

3、单张图像超分辨率重建问题属于不适定的算法问题，即对于任意的低分辨率图像，都存在无数的高分辨率图像与之对应。通常，基于单张图像的超分辨率重建算法可以分为插值算法，重建模型算法和学习算法三大类。其中，最常见的单图像超分辨率插值算法包括最近邻插值，双线性插值，双三次插值等算法。而基于重建模型的方法是将图像的先验知识输入到图像超分辨重建过程中，使单张图像超分辨重建的不适定性变得似乎有解。基于学习的方法通过训练图像数据集学习低分辨率和高分辨率图像之间的映射关系，来预测低分辨率图像中丢失的高频信息从而达到重建高分辨率图像的目的；包括使用机器学习、稀疏表示和耦合字典训练。

4、近年来，随着研究人员对深度学习的领域不断挖掘，基于深度学习的图像超分辨算法也得到了快速发展，其中，最早的是由dong等人提出的基于卷积神经网络的超分辨率重建(super-resolution using convolutionalneural networks，srcnn)方法。随后几年中，vdsr，srdensenet，edsr等一些列模型被提出应用在超分辨领域，都取得了不错的效果。但是这一系列算法都是在自定义的退化模型上研究出来，因此，对于由自然环境和拍照设备所带来的图像退化，具有不确定的退化模型，这些算法所带来得效果不佳。尽管目前也存在对于这类退化图像的算法研究，比如realsr、esrgan等，但是这些算法所需的计算代价和内存开销都较大，难以部署在移动终端设备上，并且都只能处理整数倍数的比例因子，不能处理任意的比例因子。

技术实现思路

1、由于现存的基于深度学习的真实图像超分辨率重建网络都是在处理整数倍数的比例因子，不能处理任意的比例因子。本发明提供一种基于全局分布学习的真实图像超分辨率重建方法，用于重建任意比例因子的超分辨率图像。

2、本发明旨在提供一种能够重建任意比例因子的超分辨率图像，且性能高的真实图像超分辨率重建网络。该网络模型包含三个模块：全局分布学习模块、采样点计算模块以及图像重建模块。全局分布学习模块用于学习图像的连续分布函数的参数，从而构造图像的真实分布。采样点计算模块则用于计算采样坐标，从而在学习出来的真实分布中进行采样。图像重建模块则用于重建出超分辨率图像。

3、一种基于全局分布学习的真实图像超分辨率重建方法，步骤如下：

4、步骤(1)、数据预处理：

5、首先获取数据集，进行训练集和测试集的划分，然后对数据集中的图像进行格式转换，裁剪和数据增强操作。

6、步骤(2)、构建基于全局分布学习的真实图像超分辨率重建网络；

7、真实图像超分辨率重建网络包括三个模块：全局分布学习模块、采样点计算模块和图像重建模块。通过低分辨率图像学习出图像的真实场景分布函数，再估计出采样点坐标，从而进行重新采样，构建出超分辨率图像。

8、步骤(3)、通过预处理后的数据集训练构建的真实图像超分辨率重建网络。

9、进一步的，数据预处理具体方法如下：

10、1-1：数据集下载：采用realsr数据集。realsr数据集是由两款全帧dslr相机(佳能5d3和尼康d810)来捕捉图像收集得到的。它在每个比例因子分别包含183(x2)，234(x3)和178(x4)对lr-hr图像对。所有图像的高度在700到3100间，宽度在600到3500之间。对于训练集和测试集，从每个相机的每个比例因子上随机选择15对图像对来作为测试集，同时使用剩下的图像对作为训练集。

11、1-2：数据处理：对realsr数据集中的图像进行格式转换，将图像统一转换成ycrcb格式，并只保留图像的y通道信息。对于训练集，则再进一步以步长为192对数据集进行裁剪，得到192*192大小的图像块，并将其进行顺时针旋转90°，180°，270°以及水平旋转，以达到数据增强的目的。通过上述数据处理在每个比例因子上分别能够得到43490(x2)，61500(x3)和41765(x4)不重叠的训练lr-hr图像对。

12、进一步的，步骤(2)具体方法如下；

13、2-1：确定图像超分辨率重建理论。

14、数字图像实际上就是对所拍摄场景的连续信号进行采样，然后通过量化得到的。本发明的真实图像超分辨重建方法目的就是模仿这一过程。通过低分辨率图像学习出图像的真实场景分布函数，再估计出采样点坐标，从而进行重新采样，构建出超分辨率图像。

15、2-2：构建基于全局分布学习的真实图像超分辨率重建网络。

16、真实图像超分辨率重建网络包括三个模块：全局分布学习模块、采样点计算模块和图像重建模块。

17、全局分布学习模块学习估计出用于构建图像全局分布函数的参数。其结构主要包含三部分：浅层特征提取部分、深层特征提取部分和参数生成部分。浅层特征提取部分由1个卷积层和1个激活层组成。卷积层的输入通道为1，输出通道为64，滤波核尺寸为3*3。激活函数则为relu非线性激活函数。为了保证输出与输入的尺寸相同，卷积层对图像进行相应的像素填充，填充为n/2，其中n为滤波核尺寸的大小。深层特征提取部分则由4个rstb模块组成，每个rstb模块又由2个窗口注意力机制层(stl,swin transformer layer)、1个卷积层和一个激活函数组成。卷积层的输入通道为64，输出通道为64，滤波核尺寸为3*3。激活函数为leakyrelu激活函数。参数生成部分则由1个卷积层和1个自适应平均池化层组成。卷积层的输入通道为64，输出通道k，滤波核尺寸为3*3。k的计算公式如下：

18、

19、其中li为图像重建模块的线性层的第i层的神经元数。

20、具体来说，对于全局分布学习模块，给定一张输入的低分辨图像首先通过浅层特征提取部分提取浅层特征f0∈ic×h×w，公式如下：

21、f0＝ε(cn1(ilr))

22、其中，cin和c分别表示为输入图像和中间特征的通道数，cn1(·)表示一个3*3卷积层，ε(·)为激活函数。然后通过深层特征提取部分获取各像素点的相互关系以及深层次的特征信息fd∈ic×h×w，公式如下：

23、fd＝e(f0)

24、其中e(·)表示深层特征提取部分，由g个残差窗口注意力机制模块(rstb，residual swin transformer block)组成，该g个rstb模块依次处理中间的特征信息，公式如下:

25、fi＝ei-rstb(fi-1)i＝1,2,...,m

26、其中，ei-rstb(·)表示为第i个rstb模块的操作，fi表示为第i个rstb模块提取到的深层次特征信息。然后通过一个全局残差连接将浅层特征和深层特征进行融合，并通过一个卷积层cn2和一个自适应平均池化层(aap，adaptiveavgpool2d)来生成用于构建全局分布函数的参数。公式如下：

27、p＝aap(cn2(fd+f0))

28、采样点计算模块用于计算采样点，采用均匀采样。具体来说，对于想要重建出一张h*w大小的超分辨率图像。均匀采样点坐标的计算公式如下:

29、dx＝(v1-v0)/(2*x)x∈[w,h]

30、

31、其中dx为两个像素点之间的距离，[v0,v1]为坐标的取值范围。

32、图像重建模块则是由4个线形成组成，第1层线性层，即输入层神经元数为2，第2层线性层神经元数为6，第3层线性层神经元数为8，第4层线性层，即输出层神经元数为1。其中在每个线性层之间有1个leakyrelu激活函数。

33、进一步的，步骤(3)具体方法如下：

34、将数据预处理中获得的低分辨率图像ilr作为网络模型的输入，首先经过全局分布学习模块的浅层特征提取部分，将图像从低维空间映射到高维空间中。然后再进过深层特征提取部分来提取图像更多的特征信息。最后通过参数生成部分估计出用于构建图像全局分布函数的参数。然后将采样点计算模块计算出的采样坐标作为图像重建模块的输入，全局分布学习模块生成的参数作为图像重建模块中各线性层神经元的权重，最后进行采样，重建出超分辨率图像iout，即网络模型的输出。该网络的学习率为10-4。优化器使用adam优化器，batchsize设为64。采用l1损失函数进行监督，实现l1(iout-ihr)趋于0，即使得网络模型输出的图像out和数据预处理中的高分辨率图像hr近似相同。

35、本发明有益效果如下：

36、优点1：相比现有的方法，本发明通过转置卷积层和pixleshuffle层来获得超分辨率图像。该发明创新的提出了一种全新的网络模型算法，能够模拟数字图像获得的过程。通过学习和构建图像全局分布函数，然后根据计算出来的采样坐标进行采样量化，从而重建出超分辨率图像。

37、优点2：相比现有的方法，只能重建整数倍比例因子的超分辨率图像，该发明能够重建出任意比例因子的超分辨率图像，且能获得更好的性能指标。