基于循环训练的超分辨率重建方法与流程

本发明涉及超分辨率图像重建，尤其是涉及通过循环训练残差网络生成超分辨率图像的基于循环训练的超分辨率重建方法。

背景技术：

解决超分辨率(sr)的方法大致分为两类，一类是非深度学习的方法，另一类是深度学习的方法。非深度学习的方法主要分为基于插值的方法和基于重建的方法。采用典型的插值法，如基于小波的双线性插值，以及基于光滑性约束的delaunay三角化插值，重构的图像存在细节缺失和边缘模糊的问题，超分辨率能力有限；采用基于重建的方法，如凸集投影法(pocs)、最大后验概率(map)以及map/pocs混合法等，重构的计算代价与时间复杂度过大(1、龙超.图像超分辨率重建算法综述[j].科技视界,2015(13):88-89)。

为解决超分辨率问题，近年来提出了许多基于深度卷积网络的端到端的模型。我们的模型也是基于这种方式训练。这种基于深度学习的超分辨率算法对训练样本有很高的要求(2、timofter,rother,goollv.sevenwaystoimproveexample-basedsingleimagesuperresolution[c]//computervisionandpatternrecognition.ieee,2016:1865-1873)。当训练样本尤其是输入的低分辨率图片有较多噪声时，传统的基于深度学习的模型并不能生成理想的高分辨率图片，需要改进训练过程，对生成结果进行优化。

技术实现要素：

本发明的目的在于提供通过循环训练残差网络生成超分辨率图像的基于循环训练的超分辨率重建方法。

本发明包括以下步骤：

1)输入低分辨率图片，生成高分辨率图片，预训练图像放大生成器；

2)输入高分辨率图片，生成低分辨率图片，预训练图像缩小生成器；

3)连接图像放大生成器和图像缩小生成器，循环训练直至收敛。

本发明受到cyclegan的启发，采用了一个对称的图像放大和缩小的网络结构，它由两个生成器组成，可以实现从低分辨率图片到高分辨率图片的循环生成，通过这种循环训练的方式对sr效果进行调优。

附图说明

图1为本发明实施例的网络中用于输出不同尺寸图像放大生成器。

图2为本发明实施例的网络中用于输出不同尺寸图像缩小生成器。

图3为本发明实施例的模型整体结构图。

具体实施方式

以下实施例将结合附图对本发明作进一步的说明。

本发明实施例包括以下步骤：

1)输入低分辨率图片，生成高分辨率图片，预训练图像放大生成器；

2)输入高分辨率图片，生成低分辨率图片，预训练图像缩小生成器；

3)连接图像放大生成器和图像缩小生成器，循环训练直至收敛。

本发明提出了由残差学习和循环训练(cycle-training)驱动的新型超分辨率网络结构。该结构由两个对称的残差网络组成，分别用于图像的放大和缩小。如图1，2所示，其中，图像放大生成器学习从低分辨率图像到高分辨率图像的映射关系，图像缩小生成器学习从高分辨率图像到低分辨率图像的反向映射关系。因此，该结构不仅生成高分辨率图像(超分辨率)，也产生低分辨率图像。本发明的循环训练方式是将生成的低分辨率图片和高分辨率图片组成新的训练样本，在循环或迭代训练过程中对模型调优。

图1和图2是网络中用于输出不同尺寸图像放大生成器和图像缩小生成器。图1的放大生成器的处理流程为：以一张彩色图片作为输入，首先通过卷积操作，将3通道变换为n个通道，然后经过16个残差单元提取图片特征，与之前预处理结果叠加，再经过放大模块变换尺寸，最后将n个通道进行通道压缩变换为3通道，作为重构后的图片输出。而图2的缩小生成器的处理过程则是：先将输入的彩色图片进行通道扩增，将3通道扩增为n个通道，然后经过缩小模块变换尺寸，之后也是经过16个残差单元提取图片特征，与之前预处理结果叠加，最后将3通道变换为n个通道，作为重构后的图片输出。

其中两个生成器主要都是由两部分组成：残差单元和缩放模块(图1中对应放大模块，图2对应缩小模块)，分别用于图像细节纹理特征的提取和图像尺寸的缩放。每个残差单元由两个卷积层组成，卷积核的大小是3×3，共有16个残差单元；每个残差单元在卷积之前先使用修正线性单元(relu)，它是一个表达式为f(x)＝max(0,x)的激活函数；每个残差单元中也包含相应的缩放层，将每个残差单元的结果进行一定比例的缩放。对于不同的放大倍数，可以通过控制反卷积层的层数来实现。图1的放大模块中，放大层×2表示：将图片尺寸放大2倍，放大的操作是通过反卷积实现的，若放大8倍，则需要3个反卷积层。图2的缩小模块中，缩小层×2则表示：将图片尺寸缩小2倍，缩小操作是通过卷积实现的，若缩小8倍，则需要3个卷积层。

图3是模型整体结构，将图1和图2连接，其中，图1的放大生成器的输出作为图2的缩小生成器的输入，即将图1和图2对应的两个生成器串联起来，实现循环训练。

通过这种循环训练的方式，可以实现从低分辨率图片到高分辨率图片的循环生成，从而实现对sr效果的改进和调优。

技术特征：

技术总结
基于循环训练的超分辨率重建方法，涉及超分辨率图像重建。输入低分辨率图片，生成高分辨率图片，预训练图像放大生成器；输入高分辨率图片，生成低分辨率图片，预训练图像缩小生成器；连接图像放大生成器和图像缩小生成器，循环训练直至收敛。受到CycleGAN的启发，采用了一个对称的图像放大和缩小的网络结构，它由两个生成器组成，可以实现从低分辨率图片到高分辨率图片的循环生成，通过这种循环训练的方式对SR效果进行调优。

技术研发人员：林坤辉;邱明;景丽婷;曾捷航;王颖
受保护的技术使用者：厦门大学
技术研发日：2018.06.14
技术公布日：2018.11.06