基于级联空洞卷积的三维医学图像超分辨率重建方法与流程

本发明涉及一种基于级联空洞卷积的三维医学图像超分辨率重建方法，主要应用于三维医学图像的超分辨率重建。

背景技术：

图像超分辨率是指从低分辨率图像中恢复高分辨率图像的过程，是计算机视觉和图像处理中的一类重要的图像处理技术。它具有广泛的实际应用，如医学成像^[1]、监视和安全等。

医学图像作为医学诊断的重要依据，对诊断的清晰度要求很高，但由于硬件设备和现有成像技术的局限性，医生往往得不到理想的高分辨率图像。而图像超分辨率技术在医学图像中的应用能够使医生获得高质量、高分辨率的医学图像，如ct或mri图像。高清晰度医学图像可以为医学诊断提供更准确的线索。通过这些高清晰度的医学图像，医生可以更准确地识别病变部位。因此，提高医学图像的分辨率具有重要的现实意义。

一般来说，这个问题是很有挑战性的，而且本质上是病态的，因为总是有多个hr图像对应于单个lr图像。文献中提出了各种经典的方法。基于插值的方法包括最近邻插值，双线性插值以及双三次插值。基于重建的方法，其中空域方法包括迭代反投影(ibp)，最大后验概率等，频率域方法主要是销混叠重建方法。基于学习的方法包括流形学习，稀疏编码^[2]以及深度学习。

近年来，随着深度学习技术的飞速发展，基于深度学习的sr模型已经得到了积极的探索，并且经常在sr的各种基准上实现最先进的性能。

dong^[3]等提出一个三层的网络(srcnn)，包含特征提取，非线性映射，重建三个部分，建立起低分辨率到高分辨率的端到端映射，但是再加深网络也不能得到更好的结果。由于lr图像和hr图像在很大程度上共享了相同的信息，kim等人引入了剩余学习(vdsr)^[4]，加快训练，抑制由于网络加深带来的梯度消失或者爆炸问题。在编解码网络^[5]中引入了许多对称的跳过连接，用于图像恢复任务。然而，相对于使用单一跳过连接的drcn方法^[6]，sr性能的改善是微不足道的。专利“基于稠密卷积神经网络的三维医学图像超分辨率重建方法”(cn109360152a)提出了使用稠密神经网络进行超分辨率重建。

尽管这些现有的基于深度学习的方法已经努力提高sr性能，但网络倾向于加深加宽，导致参数增多，增加内存开销。另外，过深的网络会导致细节的丢失以及梯度消失问题。

因此本发明提出一种级联的空洞卷积块，在不增加参数的情况下提高网络的性能，而且在一定程度上抑制了梯度消失问题的出现，重建效果比较好。

技术实现要素：

本发明提出一种基于级联空洞卷积的三维医学图像超分辨率重建方法，重建效果比较好。技术方案如下：

第一步，构建数据集并进行数据预处理：

(1)本发明使用了公开的adni(thealzheimer’sdiseaseneuroimaginginitiative)数据集，数据集中每一张三维高分辨率图像的尺寸不同，大多数高分辨率图像的尺寸为256*256*170。由于gpu显存限制，不能直接训练整张图像，因此将每一张三维高分辨率图像切分成64*64*64的小块，对这些小块进行数据增强(平移、翻转等)以增加数据量。最后一共得到23000个64*64*64的高分辨率小块，按照训练集和测试集4:1的比例进行数据划分，将18000个小块作为训练集，5000个小块作为测试集。

(2)将(1)中切分的高分辨率小块记为ihr，ihr经过k空间变换得到与其对应的低分辨率小块，每个低分辨率小块的尺寸均为64*64*64，将得到的低分辨率小块记为ilr。此过程可以表示为：ilr＝f(ihr),其中f表示k空间变换。

第二步，通过深度学习框架tensorflow搭建基于级联空洞卷积的三维医学图像超分辨率重建网络。基于级联空洞卷积的三维医学图像超分辨率重建网络包括三个部分，浅层特征提取模块、非线性映射模块和重建模块。下面对这三个部分进行详细介绍：

(1)将尺寸为64*64*64的低分辨率小块ilr输入浅层特征提取模块，该模块由两个3*3*3的卷积层组成，得到[2,64,64,64,32]的输出特征图。浅层特征提取模块的结构如图1所示，具体参数由表一给出。

(2)将(1)中[2,64,64,64,32]的输出特征图输入到非线性映射模块中，非线性映射模块由四个相同的级联空洞卷积块组成。每一个级联空洞卷积块分为两个相同的分支，每个分支由一个gn层，一个relu激活函数和一个3*3*3的扩张率为2的空洞卷积层组成。两个分支的输出特征图通过拼接进行特征融合得到[2,64,64,64,64]的特征图，再经过一个1*1*1的卷积层，得到[2,64,64,64,32]的特征图。每两个级联空洞卷积块的输出特征图与(1)中的输出特征图进行相加操作，得到[2,64,64,64,32]的输出特征图。级联空洞卷积块的结构如图2所示，具体参数由表二给出。

(3)将(2)和(1)中[2,64,64,64,32]的输出特征图输入重建模块，重建模块由一个3*3*3的卷积层组成。重建模块的输出特征图即为超分辨率小块，记为isr。

第三步，模型训练：

将低分辨率小块ilr输入基于级联空洞卷积的三维医学图像超分辨率重建网络，通过正向传播得到超分辨率小块isr。计算高分辨率小块ihr和超分辨率小块isr的误差，利用l1损失构建误差项loss＝|isr-ihr。该误差项由输出层向隐藏层逐层的反向传播，更新网络参数直至输入层，使用adam优化器不断反馈优化直至误差不再减小。

学习率设置为0.0001，每迭代15000次下降为原来的0.95；迭代次数设置为9000，即每一轮训练9000次；batch_size设置为2，即每一次训练2个低分辨率小块；epoch设置为100，即整个网络需要训练100轮。训练完成后保存网络的模型和参数。

第四步，输入三维医学低分辨率小块ilr，加载第三步训练好的模型，即可输出的超分辨率小块isr。

第五步，本发明采用结构相似性(structralsimilartyindex，ssim)和峰值信噪比(peaksignaltonoiseratio，psnr)来衡量算法效果。

附图说明

附图1为基于级联空洞卷积的三维医学图像超分辨率重建网络

附图2为级联空洞卷积块

具体实施方式

附表一为浅层特征提取模块参数

附表二为级联空洞卷积块参数

一种基于级联空洞卷积的三维医学图像超分辨率重建方法，下面将结合附图、附表对实施方式进行详细描述：

第一步，构建数据集并进行数据预处理：

(1)本发明使用了公开的adni(thealzheimer’sdiseaseneuroimaginginitiative)数据集，数据集中每一张三维高分辨率图像的尺寸不同，大多数高分辨率图像的尺寸为256*256*170。由于gpu显存限制，不能直接训练整张图像，因此将每一张三维高分辨率图像切分成64*64*64的小块，对这些小块进行数据增强(平移、翻转等)以增加数据量。最后一共得到23000个64*64*64的高分辨率小块，按照训练集和测试集4:1的比例进行数据划分，将18000个小块作为训练集，5000个小块作为测试集。

(2)将(1)中切分的高分辨率小块记为ihr，ihr经过k空间变换得到与其对应的低分辨率小块，每个低分辨率小块的尺寸均为64*64*64，将得到的低分辨率小块记为ilr。此过程可以表示为：ilr＝f(ihr),其中f表示k空间变换。

第二步，通过深度学习框架tensorflow搭建基于级联空洞卷积的三维医学图像超分辨率重建网络。基于级联空洞卷积的三维医学图像超分辨率重建网络包括三个部分，浅层特征提取模块、非线性映射模块和重建模块。下面对这三个部分进行详细介绍：

(1)将尺寸为64*64*64的低分辨率小块ilr输入浅层特征提取模块，该模块由两个3*3*3的卷积层组成，得到[2,64,64,64,32]的输出特征图。浅层特征提取模块的结构如图1所示，具体参数由表一给出。

(2)将(1)中[2,64,64,64,32]的输出特征图输入到非线性映射模块中，非线性映射模块由四个相同的级联空洞卷积块组成。每一个级联空洞卷积块有两个相同的分支，每个分支由一个gn层、一个relu激活函数和一个3*3*3的扩张率为2的空洞卷积层组成。两个分支的输出特征图通过拼接进行特征融合得到[2,64,64,64,64]的特征图，再经过一个1*1*1的卷积层降维，得到[2,64,64,64,32]的特征图。每两个级联空洞卷积块的输出特征图与(1)中的输出特征图进行相加操作，得到[2,64,64,64,32]的输出特征图。级联空洞卷积块的结构如图2所示，具体参数由表二给出。

(3)将(2)和(1)中[2,64,64,64,32]的输出特征图输入重建模块，重建模块由一个3*3*3的卷积层组成。重建模块的输出特征图即为超分辨率小块，记为isr。

第三步，模型训练：

将低分辨率小块ilr输入基于级联空洞卷积的三维医学图像超分辨率重建网络，通过正向传播得到超分辨率小块isr。计算高分辨率小块ihr和超分辨率小块isr的误差，利用l1损失构建误差项loss＝|isr-ihr。该误差项由输出层向隐藏层逐层的反向传播，更新网络参数直至输入层，使用adam优化器不断反馈优化直至误差不再减小。

学习率设置为0.0001，每迭代15000次下降为原来的0.95；迭代次数设置为9000，即每一轮训练9000次；batch_size设置为2，即每一次训练2个低分辨率小块；epoch设置为100，即整个网络需要训练100轮。训练完成后保存网络的模型和参数。

第四步，输入三维医学低分辨率小块ilr，加载第三步训练好的模型，即可输出的超分辨率小块isr。

第五步，本发明采用结构相似性(structralsimilartyindex，ssim)和峰值信噪比(peaksignaltonoiseratio，psnr)来衡量算法效果。重建的超分辨率小块isr与高分辨率小块ihr结果比对，计算出平均ssim(结构相似性)＝0.9488,平均psnr(峰值信噪比)＝34.8923。

表一浅层特征提取模块参数

表二级联空洞卷积块参数