一种基于深度学习的视网膜超分辨重建系统及方法与流程

本发明涉及超分辨技术领域，尤其涉及一种基于深度学习的视网膜超分辨重建系统及方法。

背景技术：

图像超分辨率重建技术就是利用一组低质量、低分辨率图像(或运动序列)来产生单幅高质量、高分辨率图像。图像超分辨率重建应用领域及其宽广，在军事，医学，公共安全，计算机视觉等方面都存在着重要的应用前景。目前，超分辨率重建的理论和方法包含三个主要方向：基于插值的超分辨率重建、基于重构的超分辨率重建和基于学习的超分辨率重建。

基于插值的超分辨率重建的方法。这种方法将每一张图像都看做是图像平面上的一个点，那么对超分辨率图像的估计可以看做是利用已知的像素信息为平面上未知的像素信息进行拟合的过程，这通常由一个预定义的变换函数或者插值核来完成。基于插值的方法计算简单、易于理解，但是也存在着一些明显的缺陷。首先，它假设像素灰度值的变化是一个连续的、平滑的过程，但实际上这种假设并不完全成立。其次，在重建过程中，仅根据一个事先定义的转换函数来计算超分辨率图像，不考虑图像的降质退化模型，往往会导致复原出的图像出现模糊、锯齿等现象。常见的基于插值的方法包括最近邻插值法、双线性插值法和双立方插值法等。

基于重构的超分辨率重建方法。这种方法则是从图像的降质退化模型出发，假定高分辨率图像是经过了适当的运动变换、模糊及噪声才得到低分辨率图像。这种方法通过提取低分辨率图像中的关键信息，并结合对未知的超分辨率图像的先验知识来约束超分辨率图像的生成。常见的基于重构的方法包括迭代反投影法、凸集投影法和最大后验概率法等。

基于学习的超分辨重建方法。这种方法则是利用大量的训练数据，从中学习低分辨率图像和高分辨率图像之间某种对应关系，然后根据学习到的映射关系来预测低分辨率图像所对应的高分辨率图像，从而实现图像的超分辨率重建过程。常见的基于学习的方法包括流形学习、稀疏编码和深度学习方法。

近年来深度学习在各个领域取得不多成绩。2014年，dong等人首次将深度学习应用到图像超分辨率重建领域，他们使用一个三层的卷积神经网络学习低分辨率图像与高分辨率图像之间映射关系，自此，在超分辨率重建率领域掀起了深度学习的浪潮。但是这些方法大多数是通过残差连接，或者密集连接的方式来提高网络结构的表征能力，没有考虑到卷积网络所提取特征对超分辨率重要性，导致得到的图像分辨率不高，效果不佳。

技术实现要素：

本发明提供了一种基于深度学习的视网膜超分辨重建系统及方法，利用深度学习网络从单张低分辨率视网膜图像恢复对应的高分辨率图像；提出一个深度学习模型，该模型由上采样和下采样模块与通道注意力模块级联组成，从而使得模型从时域与频率两个方面提取更加具有辨别性的特征。

为了解决上述技术问题，本发明实施例提供了一种基于深度学习的视网膜超分辨重建系统，包括：上采样和下采样模块、通道注意力模块、3x3和1x1卷积层、以及反卷积和3x3卷积层；

所述通道注意力模块由全局平均池化层、relu激励函数、1x1卷积层和sigmoid函数组成；所述1x1卷积层包括第一1x1卷积层和第二1x1卷积层；所述全局平均池化层、第一1x1卷积层、relu激励函数、第二1x1卷积层和sigmoid函数依次连接构成所述通道注意力模块；所述上采样和下采样模块包括多个反卷积层、多个卷积层和多个1x1卷积层；

低分辨率的目标图片依次通过所述3x3和1x1卷积层、上采样和下采样模块、通道注意力模块、反卷积和3x3卷积层，得到高分辨率眼底图像。

作为优选方案，所述上采样和下采样模块和所述通道注意力模块的数量均为多个且数量相同；所述上采样和下采样模块和所述通道注意力模块依次交替连接。

作为优选方案，相邻的每个所述上采样和下采样模块和所述通道注意力模块进行短连接，构成局部残差模块。

作为优选方案，在所述3x3和1x1卷积层的输入端和所述反卷积和3x3卷积层的输出端进行长连接。

作为优选方案，所有的卷积层后均含有激励函数relu。

本发明实施例还提供了一种基于深度学习的视网膜超分辨重建方法，基于上述所述的基于深度学习的视网膜超分辨重建系统进行低分辨率图像重建，其步骤包括：

获取低分辨率的眼底图像，将所述眼底图像通过3x3和1x1卷积层进行提取浅层特征；

将所述浅层特征通过局部残差模块产生权重向量，根据函数对特征层赋予不同的权值；

经过多个局部残差模块后的特征层通过反卷积层使得特征层从低分辨率扩展为高分辨率特征层；

低分辨率图像通过上采样与高分辨率特征层相加产生高分辨率眼底图像。

作为优选方案，所述获取低分辨率的眼底图像的步骤，具体包括：获取多例眼底图片，通过下采样的方式对所述眼底图片转换成低分辨率图片。

作为优选方案，所述对特征层赋予不同的权值用于代表通道与关键信息的相关度。

相比于现有技术，本发明实施例具有如下有益效果：

本发明利用深度学习网络从单张低分辨率视网膜图像恢复对应的高分辨率图像。提出一个深度学习模型，该模型由密集连接块与通道注意力块级联组成，从而使得模型从时域与频率两个方面提取更加具有辨别性的特征。另外，模型通过局部与全局的残差连接，使得模型训练稳定，有利于高频信息的恢复。

附图说明

图1：为本发明基于深度学习的视网膜超分辨重建系统的结构示意图；

图2：为本发明实验结果生成图像视觉效果差异图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参照图1，本发明优选实施例提供了一种基于深度学习的视网膜超分辨重建系统，包括：上采样和下采样模块、通道注意力模块、3x3和1x1卷积层、以及反卷积和3x3卷积层；所述通道注意力模块由全局平均池化层、relu激励函数、1x1卷积层和sigmoid函数组成；所述1x1卷积层包括第一1x1卷积层和第二1x1卷积层；所述全局平均池化层、第一1x1卷积层、relu激励函数、第二1x1卷积层和sigmoid函数依次连接构成所述通道注意力模块；所述上采样和下采样模块包括多个反卷积层、多个卷积层和多个1x1卷积层；低分辨率的目标图片依次通过所述3x3和1x1卷积层、上采样和下采样模块、通道注意力模块、反卷积和3x3卷积层，得到高分辨率眼底图像。

在本实施例中，所述上采样和下采样模块和所述通道注意力模块的数量均为多个且数量相同；所述上采样和下采样模块和所述通道注意力模块依次交替连接。在本实施例中，相邻的每个所述上采样和下采样模块和所述通道注意力模块进行短连接，构成局部残差模块。在本实施例中，在所述3x3和1x1卷积层的输入端和所述反卷积和3x3卷积层的输出端进行长连接。在本实施例中，所有的卷积层后均含有激励函数relu。

本发明从时域与频域两个角度提出一个新颖的网络结构，该网络结构主要包含两部分：通道注意力模块、密集连接模块。将两模块通过级联的方法，从时域与频域两个角度选择性的提出特征作用于视网膜眼底超分辨率重建。

本发明实施例还提供了一种基于深度学习的视网膜超分辨重建方法，基于上述所述的基于深度学习的视网膜超分辨重建系统进行低分辨率图像重建，其步骤包括：

s1，获取低分辨率的眼底图像，将所述眼底图像通过3x3和1x1卷积层进行提取浅层特征；在本实施例中，所述获取低分辨率的眼底图像的步骤，具体包括：获取多例眼底图片，通过下采样的方式对所述眼底图片转换成低分辨率图片。

s2，将所述浅层特征通过局部残差模块产生权重向量，根据函数对特征层赋予不同的权值；在本实施例中，所述对特征层赋予不同的权值的函数为损失函数，注意力模块为每个通道特征产生一个权重，来代表通道与关键信息的相关度。

s3，经过多个局部残差模块后的特征层通过反卷积层使得特征层从低分辨率扩展为高分辨率特征层；

s4，低分辨率图像通过上采样与高分辨率特征层相加产生高分辨率眼底图像。

下面结合具体实施例，对本发明技术方案进行详细说明。

1.在医院获取3914例分辨率为1800x1800的眼底图片，首先通过下采样的方式产生低分辨率图片，下采样因子为r，此时分辨率为(1800/r，1800/r)，这个低分辨率的图片也就是我们模型的输入。

2.眼底图像通过一个3x3与1x1的卷积层提取浅层特征。

3.浅层特征首先经过第一个局部残差模块。局部残差模块由一个密集块、通道注意力块和局部短连接组成。如图1所示：密集块由卷积层与反卷积层通过密集连接组成，这种连接方式使得该模块保留更多的高频信息。通过注意力块由全局平均池化层、relu激励函数、1x1卷积层和sigmoid函数组成。特征层通过该块产生一个权重向量，该向量大小为1x1xc，并且其中的值取值范围为[0,1]，经过这样操作，根据损失函数，对特征层赋予不同的权重。为了网络训练的稳定性，通过局部短连接的方式缓解梯度爆炸与消失问题。

其中，注意力的模块如图1中的cam所示：1).cxhxw的特征层经过一个全局平均池化层变为cx1x1；2).1x1conv相当于一个降维，cx1x1的向量变为c/2x1x1；3).激励函数relu；4).1x1conv升维，将c/2x1x1的变为cx1x1的向量；5).经过sigmod函数产生cx1x1的向量，这个向量与刚刚特征向量cxhxw相乘。整个过程就是通道注意力，作用使通过cx1x1的权值，调整特征cxhxw的数值大小。

4.特征层经过多个局部残差模块后，通过反卷积层使得特征层从低分辨率扩展为高分辨率特征层。

5.最后，低分辨率图像通过上采样与高分率特征层相加产生高分辨率眼底图像。低分辨率图(1800/r，1800/r)通过bicubic上采样为(1800，1800)的图像，注意彩色图像是三通道，此时特征层通过3x3卷积层后，通道数也为3，分辨率为(1800，1800)，此时每个像素点相加即为重建图像。

对得到的结果进行实验，从主观与客观两个角度来评价模型的性能：

客观角度：客观上，通过型生成图像与真实图像之间的结构一致性(ssim)、峰值信噪比(psnr)，实验数据结果如下表1所示：

表1，实验数据表

主观角度：主观上，评价每个模型生成图像视觉效果上的差异，如图2所示。

本发明的优点在于：

1.相比现有技术，恢复质量更高地视网膜眼底图像。

2.相比现有技术，实现同等超分辨率效果具有更少参数。

3.该技术从通过两个模块从频域与时域两个角度提取具有辨别性的特征。

4.模型通过全局残差连接，使得子网络结构更加注意高频信号的恢复。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步的详细说明，应当理解，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围。特别指出，对于本领域技术人员来说，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。