一种基于层次化残差神经网络的图像超分辨率方法与流程

本发明属于图像处理和机器视觉等技术领域，具体涉及一种基于层次化残差神经网络的图像超分辨率方法。

背景技术：

现有数码相机、摄像机等成像设备采集图像的分辨率时常偏低，严重影响了后续图像分析与理解。

传统图像超分辨率方法采用手工刻画特征建模，难以描述现实复杂的超分辨率问题，限制了其性能和应用范围。

现有基于深度学习的图像超分辨率方法通过增大网络深度和共享参数提升性能，但造成网络模型过于庞大，难以用于实际场景。而轻量型的超分辨率方法的性能较差。这些因素制约了现有图像超分辨率方法在成像系统的应用。

随着成像科学与技术的不断进步，人们对成像设备采集图像的分辨率要求越来越高。然而，由于成像设备的固有限制和成像环境的干扰，实际采集图像的分辨率时常偏低，但现实中通常需要高分辨率图像。例如，在安防监控领域中，像元尺寸、曝光时间、焦距等成像参数设置决定了图像分辨率，但同时受噪声、像差、运动模糊、光照变化等影响。作为一种常用的软件解决方案，图像超分辨率直接从退化的低分辨率图像中重建出高分辨率图像，不需要改变现有图像采集过程，广泛应用于图像处理和机器视觉等领域，尤其医学影像、遥感影像和安防监控。

过去40多年，尽管出现大量图像超分辨率方法，其中包括基于插值的方法、基于重建的方法和基于学习的方法，但它们的效果不够理想。近年，基于深度学习的方法取得较好的效果，其性能超过传统方法，引起人们的极大重视。现有基于深度学习的图像超分辨率方法通常是通过加大网络深度来提高性能，但仍不能满足现实中很多应用场景的需求，例如，从3层的卷积神经网络srcnn到160层以上的多尺度深层超分辨率网络mdsr。这些网络模型的深度和性能显著提升，但由于梯度爆炸或消失，深层网络模型训练难度增加。随后出现的基于极深卷积网络的高精度超分辨率方法vdsr和基于深度递归卷积网络的超分辨率方法drcn通过引入残差学习改善网络性能，但无法使用不同网络分层信息。接着，一种基于持久内存网络的图像复原方法memnet利用记忆块构建网络模型，但存在局部卷积层不能直接访问后续网络层的缺点。密集块能够提取深层网络的多层特征，但增加了网络训练的难度。基于残差密集网络的超分辨率方法rdn通过引入残差学习改善网络训练的收敛性，但网络深度较大。基于级联残差网络的轻量型超分辨率方法carn通过牺牲少许性能降低网络深度和计算复杂度。虽然这些方法取得较好的效果，但它们缺乏高效的网络模型，并且性能仍不能满足实际应用需求。

技术实现要素：

针对现有技术存在的缺陷或不足，本发明的目的在于，提供一种基于层次化残差神经网络的图像超分辨率方法，用于学习低分辨率和高分辨率图像之间的复杂映射，将训练好的网络模型用于高分辨率图像重建，促进超分辨率技术在医学影像、遥感影像和安防监控等领域的推广与应用。

为了实现上述任务，本发明采取如下的技术解决方案：

一种基于层次化残差神经网络的图像超分辨率方法，其特征在于，采用层次化残差学习策略和双域增强模块，构建层次化残差神经网络模型，将其用于学习低分辨率和高分辨率图像之间的复杂映射关系，然后利用训练好的网络模型从输入的低分辨率图像重建出高分辨率图像；

所述的层次化残差神经网络模型由特征提取层、特征映射层和特征融合层组成，其中，特征提取层由卷积模块构成，特征映射层由多个双域增强模块级联构成，特征融合层由上采样模块和卷积模块构成。

根据本发明，所述双域增强模块由3个宽激活残差密集块、2个卷积模块、1个反向离散余弦变换和跳连接组成；双域增强模块首先利用两个级联的宽激活残差密集块和单个宽激活残差密集块分别对空域特征和频域特征进行映射，其次使用反向离散余弦变换将频域输出特征转换到空域并与空域输出特征拼接，然后通过卷积模块送入后一级双域增强模块，最后利用外层网络残差学习改善网络性能和特征映射效果；

所述宽激活残差密集块由3个宽激活残差模块、1个卷积模块和跳连接组成，宽激活残差密集块利用前馈方式和密集块提取更多特征，采用尺寸为1×1的卷积模块保证输入特征通道数和输出特征通道数一致，从而改善中层网络残差学习效果；

所述宽激活残差模块由2个卷积模块、1个指数线性单元和跳连接组成，宽激活残差模块使用宽激活方式强化内层网络残差学习效果，利用指数线性激活函数修正映射特征，实现特征信息提取。

与现有技术相比，本发明的基于层次化残差神经网络的图像超分辨率方法，能够重建出更好的高分辨率图像，并且具备网络模型参数量较小和计算效率高的优点。其中的双域增强模块可以有效挖掘空域和频域的互补信息，层次化残差学习策略改善了网络信号前向传播和反向传播，设计的灵活高效层次化残差神经网络模型，能够恢复出更多细微结构，提高了图像超分辨率重建效果。此外，实验结果验证了层次化残差学习策略和双域增强模块的有效性和优越性。

附图说明

图1是层次化残差神经网络模型的流程结构图；

图2是双域增强模块(a图)、宽激活残差密集块(b图)和宽激活残差模块(c图)的网络结构图；

以下结合附图和实施例对本发明作进一步的详细说明。

具体实施方式

本实施例给出一种基于层次化残差神经网络的图像超分辨率方法，涉及网络结构、图像预处理和实现细节等三个部分。该方法采用层次化残差学习策略和双域增强模块，构建层次化残差神经网络模型，将其用于学习低分辨率和高分辨率图像之间的复杂映射关系，然后利用训练好的网络模型从输入的低分辨率图像重建出高分辨率图像。

图1是图像超分辨率重建模型的网络结构图，由特征提取层、特征映射层和特征融合层组成，其中特征提取层由卷积(conv)模块构成，特征映射层由多个双域增强模块(dem)级联构成，特征融合层由上采样(upsample)模块和卷积(conv)模块构成。

1)网络结构

图像超分辨率重建模型采用了五种操作：正向离散余弦变换(dct)、反向离散余弦变换(idct)、卷积(conv)、拼接(concat)和作为激活函数的指数线性单元(elu)。其中，dct和idct用于空间域和频域的相互转换。从图1可知，针对输入的低分辨率图像，所述图像超分辨率重建模型建立在层次化残差学习策略的基础上，首先利用尺寸为k1×k1的卷积模块提取特征，其次将提取的空间域特征和频域特征送入由多个双域增强模块构成的特征映射层，然后把映射特征与输入图像的残差送入由上采样和卷积模块构成的特征融合层，最后输出高分辨率图像，其中，层次化残差学习策略分别利用双域增强模块(dem)、宽激活残差密集块(wrdb)和宽激活残差模块(wrb)实现外层、中层和内层网络残差学习，改善特征映射效果和超分辨率网络性能。

(1)双域增强模块(dem)

双域增强模块(dem)由3个宽激活残差密集块(wrdb)、2个卷积模块(conv)、1个反向离散余弦变换(idct)和跳连接组成，其网络结构如图2(a)所示。

所述双域增强模块(dem)首先利用两个级联的wrdb和单个wrdb分别对空域特征和频域特征进行映射，其次使用反向离散余弦变换(idct)将频域输出特征转换到空域并与空域输出特征拼接，然后通过卷积模块送入后一级双域增强模块(dem)，最后利用外层网络残差学习改善网络性能和特征映射效果。

(2)宽激活残差密集块(wrdb)

宽激活残差密集块(wrdb)由3个宽激活残差模块(wrb)、1个卷积模块和跳连接组成，其网络结构如图2(b)所示。

该宽激活残差密集块(wrdb)利用前馈方式和密集块提取更多特征，采用尺寸为1×1的卷积模块保证输入特征通道数和输出特征通道数一致，从而改善中层网络残差学习效果。

(3)宽激活残差模块(wrb)：

宽激活残差模块(wrb)由2个卷积模块(conv)、1个指数线性单元(elu)和跳连接组成，其网络结构如图2(c)所示。

所述宽激活残差模块(wrb)使用宽激活方式强化内层网络残差学习效果，利用指数线性激活函数(elu)修正映射特征，实现特征信息提取。

2)图像预处理

采用数据扩充技术，例如翻转和旋转等操作，对训练图像进行预处理，从而增加训练数据样本容量和多样性，提高模型的泛化能力。

3)实现细节

对于输入低分辨率图像x，上述网络模型旨在通过学习映射函数来重建超分辨率图像y。采用超分辨率图像与基准图像之间的平均绝对误差最小化(即l1范数)构建损失函数，提出层次化残差学习策略改善网络的性能和收敛性。

为了最小化损失函数，本实施例选用自适应矩估计(adam)优化器训练网络模型，其中adam参数配置如下：

β1＝0.9，β2＝0.999，eps＝1e-08。

在本实施例中，学习速率从lr＝0.0001开始，每30万次衰减一半，所有权重和偏差参数的初始化服从均匀分布θ～∪(-k,k)；其中，cin是输入映射特征通道数。

按照本实施例的基于层次化残差神经网络的图像超分辨率方法，对当今常用的5个公开数据集(set5、set14、bsd100和urban100)，申请人分别开展放大倍数为2、3和4的测试实验，实验结果如下表所示。

从表中可以看出，本实施例的基于层次化残差神经网络的图像超分辨率方法，能够重建出更好的高分辨率图像，并且网络模型参数量较小和计算效率高。其中的双域增强模块可以有效挖掘空域和频域的互补信息，层次化残差学习策略改善了网络信号前向传播和反向传播，设计的灵活高效网络模型能够恢复出更多细微结构，提高了图像超分辨率重建效果。实验结果验证了层次化残差学习策略和双域增强模块的有效性和优越性。