基于三维增强深度残差网络的磁共振超分辨率重建方法与流程

本发明涉及图像处理技术，具体涉及一种基于三维增强深度残差网络的磁共振超分辨率重建方法。
背景技术：
随着深度学习崛起，通过卷积层的堆叠形成的卷积神经网络被应用于自然图像的超分辨率重建，并取得了较好的效果。在超分辨率重构中，srcnn使用双三次插值方法(bicubic)将低分辨率图像放大为目标尺寸，紧接着通过三层卷积网络拟合非线性映射，最后输出高分辨率图像结果，这样能得到较高的峰值信噪比(psnr)。fsrcnn是在srcnn的基础进行改进，主要体现在三个方面：一是fsrcnn在最后使用一个反卷积层来替代srcnn中的bicubic方法来放大尺寸。二是改变特征维数，使用更小的卷积核和使用更多的映射层。三是fsrcnn可以共享其中的映射层，能够适应不同上采样倍率的模型，这样做加快了网络的收敛。densenet在稠密块(denseblock)中将每一层的特征都输入给之后的所有层，使所有层的特征都串联起来。这样的结构具有减轻梯度消失问题、加强特征传播、支持特征复用、减少参数数量等优点，而且这样做利于低层特征和高层特征的结合，使超分辨率重建的性能得到了提升。众所周知，卷积神经网络之所以能够得到较好的效果，是因为它能够提取到一定的先验特征信息用来训练学习。现有的技术方案，主要应用于自然图像，且训练数据都是二维图像，都采用的二维卷积提取先验信息特征。在医学图像领域中，医学图像本身是三维图像(由多层二维图像构成)每层图像之间具有一定的空间相关性，而现有的技术方案均是从每层图像里提取二维图像块，这样仅仅保留了层内的空间信息，而丢失了层间的空间信息，因此很难保证网络重建精度。技术实现要素：针对现有技术中的上述不足，本发明提供的基于三维增强深度残差网络的磁共振超分辨率重建方法能够提高图像超分辨率重建精度。为了达到上述发明目的，本发明采用的技术方案为：提供一种基于三维增强深度残差网络的磁共振超分辨率重建方法，其包括：s1、对若干3d高分辨率磁共振脑部图像进行预处理，并采用预处理后的图像构建训练集和测试集；s2、构建由一个输入层、两个三维卷积层、一个上采样层、一个输出层和残差模块组成的三维增强深度残差网络；s3、构建三维增强深度残差网络模型：s31、初始化三维增强深度残差网络的卷积层和解卷积层中卷积核权重和偏置对损失函数导数为零；s32、将训练集中图像分成若干批训练图像，每次输入一批训练图像至输入层；s33、采用三维卷积层对输入的训练图像进行特征提取：output＝(a1-f+1)*(a2-f+1)*(a3-f+1)*n其中，a1、a2、a3分别为输入的训练图像大小；f为过滤器大小，过滤器维度为f*f*f*c，c为卷积核的数量；n为过滤器数量；s34、将特征提取后的训练图像与残差模块的节点参数进行计算，实现网络训练的前向传播，再经过上采样层，最后通过输出层输出重构图像；s35、采用均方差误差计算多批输出的重构图像和归一化的3d高分辨率转换图像的误差：其中，t为批次数；observedt为重构图像；predictedt为归一化的3d高分辨率转换图像；n为批次总数；s36、采用adam梯度优化算法，更新三维增强深度残差网络的网络参数：其中，为无偏估计一阶矩的估计值；为无偏估计二阶矩的估计值；η为学习步长；当l＝1时，w(1)＝0，b(1)＝0；ε为10^-8；s37、当迭代次数小于设定迭代次数时，返回步骤s32；当迭代次数等于设定迭代次数时，完成三维增强深度残差网络模型的训练；s4、将测试集中归一化后的3d高分辨率磁共振图像输入到三维增强深度残差网络模型进行重构，得到重构的超分辨率图像。本发明的有益效果为：由于本方案的医学磁共振图像本身是三维图像，先验信息量远大于二维图像，在采用构建的三维增强深度残差网络对磁共振图像进行超分辨率重构时，充分利用了磁共振图像的先验信息特征，保留了特有的空间特征信息，从而提高了超分辨率的重建精度。附图说明图1为基于三维增强深度残差网络的磁共振超分辨率重建方法的流程图。图2为三维卷积和二维卷积的对比图，其中，a为二维卷积操作；b为三维卷积操作。图3为三维深度超分辨率网络的网络结构图。图4为残差模块的结构图。图5为图像效果对比图，其中a为原高分辨率磁共振图像，b为采用本方案的重构方法重构后的高分辨率磁共振图像。具体实施方式下面对本发明的具体实施方式进行描述，以便于本
技术领域：
的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本
技术领域：
的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。参考图1，图1示出了基于三维增强深度残差网络的磁共振超分辨率重建方法的流程图，如图1所示，该方法s包括步骤s1至步骤s4。在步骤s1中，对若干3d高分辨率磁共振脑部图像进行预处理，并采用预处理后的图像构建训练集和测试集。在本发明的一个实施例中，对若干3d高分辨率磁共振脑部图像进行预处理，并采用预处理后的图像构建训练集和测试集进一步包括：获取若干格式为dicom的3d高分辨率磁共振脑部图像，并采用医学影像分析软件将其转换为格式为nitfi的3d高分辨率转换图像；移除3d高分辨率转换图像中的骨头得到3d高分辨率脑部图像，并对3d高分辨率脑部图像进行下采样得到缩小设定倍数的3d高分辨率磁共振图像；对3d高分辨率脑部图像和3d高分辨率磁共振图像进行归一化处理，并采用归一化后的3d高分辨率脑部图像构建训练集，归一化后的3d高分辨率磁共振图像构建测试集。图像预处理，主要优点大致为三个，首先是将源数据标准格式转换为我们可处理格式，其次就是下采样操作，这样操作为后续构建训练集和测试集作基础，最后就是归一化操作，将所有的数据值归一化到[0,1]区间内，为后续训练过程减少计算量，提高训练的效率。在步骤s2中，构建由一个输入层、两个三维卷积层、一个上采样层、一个输出层和残差模块组成的三维深度超分辨率网络，三维深度超分辨率网络的网络结构参考图3。其中，三维卷积层采用三维卷积核(三维卷积和二维卷积的区别见图2)进行特征提取，两个三维卷积层分别被放置在输入层之后，输出层之前；残差模块分为两个路径，一类为主路径，直接输出；一类为子路径，由两个三维卷积层和一个relu激活函数组成，其输出与主路径的输出特征相加后输出到下一个残差模块。残差模块的结构图参考图4，残差模块的表达式为：y＝f(x,{wi}+x)其中，x、y分别为残差模块的输入和输出；f(x,{wi})为残差函数。在步骤s3中，构建三维增强深度残差网络模型，其具体包括步骤s31至步骤s37。在步骤s31中，初始化三维增强深度残差网络的卷积层和解卷积层中卷积核权重和偏置对损失函数导数为零；即：δw(l)＝0，δb(l)＝0，其中l是迭代次数。在步骤s32中，将训练集中图像均匀地分成若干批训练图像，每次输入一批训练图像至输入层；在步骤s33中，采用三维卷积层对输入的训练图像进行特征提取：output＝(a1-f+1)*(a2-f+1)*(a3-f+1)*n其中，a1、a2、a3分别为输入的训练图像大小；f为过滤器大小，过滤器维度为f*f*f*c，c为卷积核的数量；n为过滤器数量；在步骤s34中，将特征提取后的训练图像与残差模块的节点参数进行计算，实现网络训练的前向传播，再经过上采样层，最后通过输出层输出重构图像；在步骤s35中，采用均方差误差计算多批输出的重构图像和归一化的3d高分辨率转换图像的误差：其中，t为批次数；observedt为重构图像；predictedt为归一化的3d高分辨率转换图像；n为批次总数，即训练集中图像均匀地分成训练图像的总批次；在步骤s36中，采用adam梯度优化算法，更新三维增强深度残差网络的网络参数：其中，为无偏估计一阶矩的估计值；为无偏估计二阶矩的估计值；η为学习步长；l为迭代次数，当l＝1时，w(1)＝0，b(1)＝0；ε为10^-8；在步骤s37中，当迭代次数小于设定迭代次数时，返回步骤s32；当迭代次数等于设定迭代次数时，完成三维增强深度残差网络模型的训练。在三维增强深度残差网络模型构建过程中，三维增强深度残差网络在结构上与srresnet相比，就是把规范化处理(batchnormalization,bn)操作去掉。在相同的计算资源下，三维增强深度残差网络就可以堆叠更多的网络层或者利用三维卷积在网络层提取更多的特征，保证三维图像层与层所具有的空间相关性特征不丢失，从而得到更好的性能表现。edsr用l1范数样式的损失函数来优化网络模型，在训练时先训练低倍数的上采样模型，接着用训练低倍数上采样模型得到的参数来初始化高倍数的上采样模型，这样能减少高倍数上采样模型的训练时间，同时训练结果也更好。在步骤s4中，将测试集中归一化后的3d高分辨率磁共振图像输入到三维增强深度残差网络模型进行重构，得到重构的超分辨率图像。在本发明的一个实施例中，所述无偏估计一阶矩的估计值的计算公式为：ml＝β1ml-1+(1-β1)gl其中，gl为在时间步l,代价函数j(θl-1)的一阶梯度；β1为0.9；l为迭代次数；为0.9的l次幂；ml,ml-1分别为第l次与第l-1次的一阶矩，初始值为0；无偏估计二阶矩的估计值的计算公式为：其中，β2为0.999；为0.999的l次幂；vl,vl-1分别为第l次与第l-1次的二阶矩，初始值为0。为了验证本方案提出的重构方法的效果，下面采用峰值信噪比(psnr)和结构相似性(ssim)两个评价指标进行评价，其表达式分别为：其中，mse是原高分辨率磁共振图像与重构图像之间的均方误差。其中，x、y分别为原高分辨率磁共振图像和重构图像，μx是x的平均值，μy是y的平均值，是x的方差，是y的方差，σxy是x和y的协方差，c1＝(k1l)2，c2＝(k2l)2是用来维持稳定的常数，l是像素值的动态范围，k1＝0.01，k2＝0.03。采用psnr和ssim对采用本方案重构后的图像的测试结果见下表：评价指标测试集图像重建后图像ssim0.76730.9274psnr20.974727.5788采用本方案的重构方法重构的图像与原高分辨率磁共振图像对比图可以参考图5，由图5中a和b及上述表格可以看，本方案的重构方法可以大幅度提高磁共振图像的分辨率。当前第1页12