用于图像超分辨率重构的递归密集残差网络的制作方法

图像处理。

背景技术：

超分辨率影像重构技术于60年代有hamm和goodman最初以单张影像复原的概念和方法提出，随后许多人对其进行了研究，并相继提出了各种复原方法，虽然这些方法都做出了较好的仿真结果，但并没有在实际中得到广泛的应用。在90年代初，随着计算机技术、电子技术以及信号处理理论与技术特别是小波理论、自适应滤波理论以及一些优化理论的发展，人们在超分辨影像重构方法研究上取得了进一步的发展，近年来，随着人工智能等学科的蓬勃发展，以及深度学习在计算机视觉领域的出色表现，越来越多的基于深度学习的图像重构技术被提出。并且，相比传统的方法取得了更好的效果。由于超分辨率重构是采用算法的方法来提升图像的空间分辨率，而不需要更换原有的成像设备，使之成为一种有效而经济的方法。自开始研究到现在，其应用已经渗透到航天航空遥感，医学计算机成像的分析，目标识别、监视系统成像等诸多领域。

图像超分辨率重构目的在于通过相关技术，从一张低分辨率图像中恢复出一张相应的高分辨率图像。到目前为止，图像超分辨率重构方法可以广义地分为两大类：传统的多帧图像超分辨技术和基于样本的图像超分辨率重构。在传统的多帧图像超分辨重构方法中，首先需要获得一组基于同一场景的低分辨率图像(像素不重合)，通过求解相应确定的方程组获得超分辨率图像。与此不同的是，在基于样本的超分辨率重构方法中，相对应的低分辨率图像块和高分辨率图像块映射关系通过相应的低分-高分图像数据集学习获得。目前主要的研究都集中在基于样本的图像超分辨率重构，而且，随着深度学习展现的强大学习能力，尤其是卷积神经网络在计算机视觉领域广泛而成功的应用。基于深度学习的图像超分辨重构技术不断发展。例如，chaodong和chenchangeloy提出了利用三层卷积神经网络(srcnn)进行图像超分辨率重构，这也是首次利用深度学习技术应用于图像超分辨率重构。之后相继提出了vgg网络，残差网络，和密集网络等等一系列的网络模型，用于从算法层面实现图像超分辨率重构。

现有的专利中，董吉文等人的专利中[1],通过模型中的二次特征提取层对医学图像进行更细致的特征提取，通过模型中的重叠池化层减小提取的特征维度，使提取的特征更具代表性，通过模型中的连接层弥补各层卷积操作的损失，最终得到更好的超分辨率重构效果。杨鑫等人的专利中[2]，主要是利用深度卷积神经网络探索一种实现速度快、修复品质高的单幅图像超分辨率重构方法。提供更加适合于单幅图像的超分辨率重建算法融合的方法，解决时间损耗多、算法实现所需要的硬件需求高等问题。

[1]一种基于多层卷积神经网络的医学图像超分辨率重构方法，申请号/专利号：cn201710655267.8，发明设计人：董吉文高运星李恒建冯光。

[2]基于卷积神经网络的超分辨率方法，申请号/专利号：cn201710859461.8，发明设计人：杨鑫王鑫许可尹宝才张强。

技术实现要素：

本发明是在已有的深度学习方法基础上，提出一种新的应用于图像超分辨率重构的深度学习网络：递归密集残差网络。设计残差递归可以有效的加深网络，使得整个网络能够获得更大的感受野，从而使得对于低分辨率图像信息利用更充分，达到更好的重构效果。整个网络包含以密集连接的卷积神经网络作为递归单元，通过残差方式进行递归。密集连接的卷积神经网络层数和递归次数可以根据具体任务进行不同搭配。将结合附图对网络模型做进一步说明。

附图说明

图1显示密集残差连接单元的基本结构示意图，作为递归单元。

图2显示利用图1为递归单元的整个递归密集残差网络的结构示意图。

具体实施方式：

步骤一：数据预处理：将低分辨率rgb图像转换成ycrcb图像，取其y通道图像，由于网络的输入大小固定。将y通道图像分割成大小为31*31的子图像。保留其他两个通道。用以合成重构后的高分辨率图像。

步骤二：训练网络：训练数据集为291张包含多个种类的不同高分辨率图像，并进行了90度，180度，270度的旋转，人为扩展了数据集。训练数据由高分辨率图像进行两次双三次插值得到低分变化率图像(图像尺寸与高分辨率图像保持一致)。对应的原高分辨率图像最为学习标签。以set5数据集做验证。

网络搭建，在caffe框架中搭建好递归密集残差网络模型，网络模型见附图2。

网络训练，设置超参数，基础学习率设为0.1；momentum值设为0.9；权值衰减参数设为：0.0001,；学习策略设为：“step”，其中gamma值设为0.5，stepsize值设为：100000；梯度剔除参数设为：0.01；最大迭代次数设为2000000；选择gpu加速。基于caffe框架对网络进行训练，利用1080t显卡加速。

步骤三：图像重构

分别将步骤一种准备的大小为31*31的y通道子图像，通过已经训练好的网络模型得到重构后的图像，再按原来位置拼合，得到重构后的y通道图像。再与步骤一种的其他两个通道结合得到重构后的ycrcb图像，进行图像格式转换成后的即可得到重构后的rgb图像。

技术特征：

技术总结
一种用于图像超分辨率重构的递归密集残差网络，网络以密集连接的多层卷积神经网络为递归单元，在此基础上进行多次残差递归。通过密集连接充分利用低分辨率图像信息，多次残差递归保证了深层的网络能够得到更好的训练。主要包括以下步骤：1)数据预处理，将低分辨率图像由RGB转换成YCrCb图像，再取Y通道图像将其裁剪成31*31大小的子图像。2)网络训练，准备好训练和测试数据集，基于caffe框架训练好网络。3)通过训练好的网络实现超分辨重构，将预处理好的数据分别通过训练好的网络，得到重构后的Y通道子图像。把所有重构的子图像按原来的位置拼合起来，得到最终的整幅Y通道图像，最后结合对应的其他两个通道组合成重构后的YCrCb图像，再转换成RGB图像。完成图像的超分辨率重构。

技术研发人员：王威;张彤;王新
受保护的技术使用者：长沙理工大学
技术研发日：2018.05.16
技术公布日：2019.01.15