基于递归残差U型网络的快速磁共振成像方法与流程

本发明属于磁共振成像领域，涉及一种基于递归残差u型网络的快速磁共振成像方法。

背景技术：

磁共振成像(magneticresonanceimaging，mri)技术因其具有较高的软组织分辨率，对人体没有电离辐射损伤等优点在临床应用中非常受欢迎。但是由于mri的成像速度较慢，成像过程中被检者的生理性运动等往往会造成成像伪影，难以满足实时成像的要求，因此如何加快mri的成像速度是mri理论和技术研究的热点之一。减少mri的k空间数据采集总量是一种有效的加速方法，但是数据采集量的大量减少，会带来图像质量的显著下降，尽管研究者可通过多种重建算法，例如，压缩感知(compressedsensing，cs)技术等，提高欠采样图像重建的质量，但是往往需要较长的重建时间，难以满足实时重建的临床需求。

2015年，由于卷积神经网络具有离线训练、快速成像的优点，研究者开始将它应用到快速磁共振成像研究中。卷积神经网络利用大量的数据对网络进行训练，生成参数优化后的卷积神经网络，再将需要重建的欠采样数据利用训练好的网络进行快速高质量重建，已成为这两年mri快速成像领域的研究热点。

目前已申请的基于卷积神经网络的快速mri成像方面的专利有：磁共振成像方法和系统(申请号：cn201310633874.6)，基于深度网络模型来估计k空间中已采样点和未采样点之间的映射关系，从而估计出完整的k空间数据来重建磁共振图像；一种基于深度卷积神经网络的快速磁共振成像方法及装置(申请号：cn201580001261.8)，提出基于深度卷积神经网络来实现快速磁共振成像；一种磁共振成像方法及装置(申请号：cn201710236330.4)，提出基于多对比度的欠采和全采mri图像来训练网络；一种基于卷积神经网络的多对比度磁共振图像重建方法(申请号：cn201711354454.9)，提出利用多对比度mri图像来训练卷积神经网络；一种磁共振成像方法和系统(申请号：cn201611006925.2)，基于深度学习方法提高cs-mri图像重建的质量和速度；基于机器学习的并行磁共振成像grappa方法(申请号：cn201210288373.4)，提供一种基于机器学习的并行磁共振成像grappa方法；基于深度卷积网的一维部分傅里叶并行磁共振成像方法(申请号：cn201710416357.1)和一种基于深度学习和凸集投影的磁共振重建方法(申请号：cn201810306848.5)，这两个专利将深度学习方法应用于磁共振并行成像领域。目前已申请的基于u型网络的快速mri成像方面的专利有：一种基于双通路u型卷积神经网络的医学图像分割方法(申请号：cn201810203917.x)，主要用于医学图像分割。基于深度学习进行薄层磁共振图像重建的方法(申请号：cn201810435306.8)，将厚层磁共振图像用三维u型网络生成薄层磁共振图像，提高了磁共振图像中灰质、白质和全部脑容积的估计准确率。目前已申请的基于递归残差神经网络的快速mri成像方面的专利有：一种基于增强递归残差网络的磁共振图像超分辨重建方法(申请号：cn201810251558.5)，以反复递归的残差模块为基本单元建立递归残差网络，获得磁共振超分辨重建效果；一种基于递归残差注意力网络的图像超分辨率重建方法(申请号：cn201810600397.6)，加入残差注意力网络和递归网络，增加层数的同时而不增加新的参数提高超分辨率重建的精度。目前还未能查询到任何基于递归残差u型网络的快速磁共振成像方法的授权发明专利或申请。

目前国内外已发表的基于深度学习卷积神经网络的快速磁共振成像方面的文章有：wangs等人提出基于卷积神经网络进行快速磁共振图像重建(wangs,etal.acceleratingmagneticresonanceimagingviadeeplearning,inproc.ieee13thint.conf.biomedicalimaging,pp.514–517,2016.)。yus等人提出基于生成对抗网络的深度学习方法加速cs-mri重建(yus,dongh,yangg,etal.deepde-aliasingforfastcompressivesensingmri.arxivpreprintarxiv:1705.07137,2017.)。yangy等人提出在generic-admm-net网络的非线性转换层中加入广义运算算子构成complex-admm-net实现图像重建(yangy,etal.admm-net:adeeplearningapproachforcompressivesensingmri.arxiv:1705.06869v1,2017.)。leed等人提出深度伪影学习网络用于cs-mri并行成像(leed,yooj,yejc.deepartifactlearningforcompressedsensingandparallelmri.arxivpreprintarxiv:1703.01120,2017.)，通过幅值网络和相位网络直接估计混叠伪影，可将欠采样重建的图像减去估计的混叠伪影来获得无混叠图像。hammernikk等人提出一种深度变分网络并加速基于并行成像的mri重建(hammernikketal.learningavariationalnetworkforreconstructionofacceleratedmridata,magn.reson.med.vol.79,no.6,pp.3055-3071,2017.)。目前已发表的基于u型网络的mri快速成像方面的文章有：jinkh等人(jinkh,etal.deepconvolutionalneuralnetworkforinverseproblemsinimaging.ieeetransactionsonimageprocessing,2017,26(9):4509-4522.)提出基于滤波反投影的深度学习网络结构解决成像中的逆问题，其中的基础网络是u型网络结构。2018年，yangg等人提出了以u型网络为基础的生成对抗网络dagan，用于cs-mri成像(yangg,etal.dagan:deepde-aliasinggenerativeadversarialnetworksforfastcompressedsensingmrireconstruction.ieeetransactionsonmedicalimaging,2018,37(6):1310-1321.)。hyuncm等人(hyuncm,kimhp,leesm,etal.deeplearningforundersampledmrireconstruction.physicsinmedicineandbiology,10.1088/1361-6560/aac71a，2018.)为u型网络mri快速成像提供了数学理论依据。corey-zumar将u型网络应用于脑部和前列腺图像重建(https://github.com/corey-zumar/mrireconstruction/tree/master/sub-mrine)。目前已发表的基于递归残差u型网络的文章有：mdza等人使用递归残差u型网络进行视网膜图像中的血管分割、皮肤癌分割和肺病变分割(mdza,mahmudulh,chrisy.recurrentresidualconvolutionalneuralnetworkbasedonu-net(r2u-net)formedicalimagesegmentation,arxiv:1802.06955,2018.)。mdza等人将r2u-net首次应用于公开数据集中的核分割，清楚地证明了r2u-net模型对核分割任务的鲁棒性(mdza,chrisy,tarekmt,andvijayanka.nucleisegmentationwithrecurrentresidualconvolutionalneuralnetworksbasedu-net(r2u-net),ieeenationalaerospaceandelectronicsconference,arxiv:1811.03447,2018.)。

以上发表的基于深度学习卷积神经网络的快速mri成像方面的文章或申请的发明专利，主要是基于卷积神经网络或u型网络的深度学习方法来进行快速mri成像，或者是基于递归残差卷积神经网络的快速mri成像，或者是基于递归残差u型网络的医学图像分割，没有出现过任何基于递归残差u型网络的快速mri成像的专利或文章。

技术实现要素：

本发明针对现有的基于u型网络的快速mri成像在成像质量上的不足，对现有的u型网络模块进行改进，加入递归残差卷积神经网络模块，在增加u型网络层数的同时不增加新的参数，能在重建时恢复出更多图像的高频信息。

本发明包含三个步骤：数据处理、模型训练、图像重建。

1.数据处理

数据处理包含两个步骤：数据采样、填零重建。

1-1.数据采样

全采样k空间数据为kref(xk,yk)，其中xk表示k空间频率编码(frequencyencoding,fe)方向，yk表示相位编码(phaseencoding,pe)方向。全采样k空间数据kref(xk,yk)由全采样参考图像iref(x,y)经离散傅里叶变换(dft)得到。

kref(xk,yk)＝dft(iref(x,y))(1)

对于k空间数据的模拟欠采样，使用1维均匀欠采样模板mask，在pe方向隔n行进行数据采集，在pe方向中心的4％行进行采集，在fe方向全采集。用欠采样模板和全采样k空间数据点乘表示采样过程。

ku(xk,yk)＝mask*kref(xk,yk)(2)

其中，ku(xk,yk)表示欠采样k空间数据；*表示点乘；mask为全采样k空间数据相同大小的矩阵，采集的点用1表示，未采集的点用0表示。

1-2.填零重建

将得到的欠采样k空间数据进行离散傅里叶反变换，生成填零重建图像，即欠采样的图像iu(x,y)。全采样参考图像iref(x,y)和欠采样图像iu(x,y)组成一对训练数据。

2.网络训练

网络训练包含两个步骤：构建网络、训练网络。

2-1.构建网络

构建网络包含2个步骤：u型网络、递归残差模块。

2-1-1.u型网络

u型网络包含降采样和升采样两部分，采样包含卷积(convolution,conv)、批标准化(batchnormalization，bn)、激活函数(activationfunction,af)、池化(pooling)、转置卷积(transposedconvolution)五个基本单元。

卷积公式如下：

cl＝wl*cl-1+bl(4)

其中，cl表示第l层输出；wl表示第l层的卷积核，其大小为wh×wh×nl，nl表示通道数，wh×wh表示单通道卷积核尺寸；cl-1表示第l层输入；bl表示第l层偏置量。

批标准化公式如下：

其中，μ，ρ分别是批数据的均值和方差；t为批数据大小；是批标准化输出；γ、β为经验参数。

激活函数公式如下：

其中，σ为激活函数。

池化公式如下：

c1＝pool(cl)(10)

其中，pool为池化。

转置卷积公式如下：

cl＝wl^t*cl-1+bl(11)

其中，wl^t为转置卷积核。

降采样包含4层，每层包含1个递归残差模块和1个池化模块。

降采样的最后一层输出经过一次递归残差模块处理，得到升采样的输入。

升采样包含4层，每层包含1个转置卷积模块和1个递归残差模块。在升采样中，每层的转置卷积输出ca会和同层降采样递归残差计算输出cb进行合并(concat)，得到升采样递归残差模块输入ccat，合并公式如下：

ccat＝concat(ca+cb)(12)

2-1-2.递归残差模块

递归残差模块包含2个递归(recurrent)计算和1个残差(residual)计算，递归计算由卷积模块组成每个卷积模块包含卷积、批标准化和激活函数三个单元，递归计算公式如下：

其中，t表示递归次数；bn表示批标准化；cls表示残差计算的输出。

残差计算公式如下：

cl-1＝wl-2*cl-2+bl-2(15)

cls＝recus(cl-1)(16)

clo＝cl-1+cls(17)

其中，recus表示递归计算；clo表示递归残差模块输出。

2-2.网络训练

网络训练包含3个步骤：损失函数、优化算法、循环计算。

2-2-1.损失函数

使用均方根误差函数(meansquarederror，mse)作为反向传播的损失函数，求得输出层的损失值loss。对数据集损失函数计算公式如下：

其中，角标i表示批数据的第i个矩阵；i＝(1,2…t)，rr_unet表示递归残差u型网络；θ表示训练的网络参数。

2-2-2.优化算法

优化算法使用随机梯度下降法(stochasticgradientdescent，sgd)算法流程如下：

θ←θ-lr×g(20)

其中，g表示第i批数据梯度均值；表示参数梯度；lr表示学习率。

2-2-3.循环计算

以差值dif作为损失值和损失阈值的判断条件：

其中，τ表示损失阈值。

计算差值dif，若差值不小于零，则执行优化算法；若差值小于零，则迭代结束。执行n次循环计算，直到求得最优网络参数θ。

3.图像重建

用训练好的递归残差u型网络对测试图像itu(x,y)进行在线重建，得到重建预测图像irecon(x,y)，重建算法如下：

irecon(x,y)＝rr_unet(itu(x,y),θbest)(22)

其中，θbest表示训练好的网络最优参数。

将重建预测图像进行离散傅里叶变换得到k空间预测数据krecon(xk,yk)，用实际采集到的k空间数据ktu(xk,yk)去替换krecon(xk,yk)中相应位置的数据，最后的重建图像用iout(x,y)表示：

iout(x,y)＝idft(krecon(xk,yk)(1-mask)+ktu(xk,yk))(23)

其中，1表示与采样mask相同的1矩阵。

本发明采用的递归残差u型网络的快速mri成像，在降采样和升采样的每一层都使用了递归残差模块，递归残差模块不仅能解决网络反向传播带来的梯度爆炸和梯度消失的问题，还能在增加网络层数的同时不增加新的网络参数，在训练和重建的过程中有更好的细节表现。同时采用随机梯度下降法(sgd)，能加快算法收敛速度，更快训练出较优模型。此外，采用规则欠采样方式进行数据采集，实现方式简单。本发明具有以下特点：

1、在u型网络每个采样层加入递归残差模块，解决网络反向传播带来的梯度爆炸和梯度消失的问题，增加网络层数的同时不增加新的网络参数。

2、在优化器选择上使用了随机梯度下降法，加快算法收敛速度，更快训练出较优模型。

3、在采样中使用1维均匀欠采样，能加快采集速度，更易于硬件实现。

附图说明

图1是采用本发明进行数据采集的示意图；

图2是本发明的网络结构图；

图3是图像重建实例的结果对比图；

具体实施方式

本发明包含三个步骤：数据处理、模型训练、图像重建。

1.数据处理

数据处理包含两个步骤：数据采样、填零重建。

1-1.数据采样

全采样k空间数据为kref(xk,yk)(如图1(a)所示)，其中xk表示k空间频率编码(frequencyencoding,fe)方向，yk表示相位编码(phaseencoding,pe)方向。全采样k空间数据kref(xk,yk)由全采样参考图像iref(x,y)(如图1(b)所示)经离散傅里叶变换(dft)得到。

kref(xk,yk)＝dft(iref(x,y))(1)

对于k空间数据的模拟欠采样，使用1维均匀欠采样模板mask(如图1(c)所示)，在pe方向隔n行进行数据采集，在pe方向中心的4％行进行采集，在fe方向全采集。用欠采样模板和全采样k空间数据点乘表示采样过程。

ku(xk,yk)＝mask*kref(xk,yk)(2)

其中，ku(xk,yk)表示欠采样k空间数据(如图1(d)所示)；*表示点乘；mask为全采样k空间数据相同大小的矩阵，采集的点用1表示，未采集的点用0表示。

1-2.填零重建

将得到的欠采样k空间数据进行离散傅里叶反变换，生成填零重建图像，即欠采样的图像iu(x,y)(如图1(e)所示)。全采样参考图像iref(x,y)和欠采样图像iu(x,y)组成一对训练数据。

2.网络训练

网络训练包含两个步骤：构建网络、训练网络。

2-1.构建网络

构建网络包含2个步骤：u型网络、递归残差模块。

2-1-1.u型网络

u型网络(如图2所示)包含降采样和升采样两部分，采样包含卷积(convolution,conv)、批标准化(batchnormalization，bn)、激活函数(activationfunction,af)、池化(pooling)、转置卷积(transposedconvolution)五个基本单元。

卷积公式如下：

cl＝wl*cl-1+bl(4)

其中，cl表示第l层输出；wl表示第l层的卷积核，其大小为wh×wh×nl，nl表示通道数，wh×wh表示单通道卷积核尺寸；cl-1表示第l层输入；bl表示第l层偏置量。

批标准化公式如下：

其中，μ，ρ分别是批数据的均值和方差；t为批数据大小；是批标准化输出；γ、β为经验参数。

激活函数公式如下：

其中，σ为激活函数。

池化公式如下：

cl＝pool(cl)(10)

其中，pool为池化。

转置卷积公式如下：

cl＝wl^t*cl-1+bl(11)

其中，wl^t为转置卷积核。

降采样包含4层，每层包含1个递归残差模块和1个池化模块。

降采样的最后一层输出经过一次递归残差模块处理，得到升采样的输入。

升采样包含4层，每层包含1个转置卷积模块和1个递归残差模块。在升采样中，每层的转置卷积输出ca会和同层降采样递归残差计算输出cb进行合并(concat)，得到升采样递归残差模块输入ccat，合并公式如下：

ccat＝concat(ca+cb)(12)

2-1-2.递归残差模块

递归残差模块包含2个递归(recurrent)计算和1个残差(residual)计算(如图2所示)，递归计算由卷积模块组成每个卷积模块包含卷积、批标准化和激活函数三个单元，递归计算公式如下：

其中，t表示递归次数；bn表示批标准化；cls表示残差计算的输出。

残差计算公式如下：

cl-1＝wl-2*cl-2+bl-2(15)

cls＝recus(cl-1)(16)

clo＝cl-1+cls(17)

其中，recus表示递归计算；clo表示递归残差模块输出。

2-2.网络训练

网络训练包含3个步骤：损失函数、优化算法、循环计算。

2-2-1.损失函数

使用均方根误差函数(meansquarederror，mse)作为反向传播的损失函数，求得输出层的损失值loss。对数据集损失函数计算公式如下：

其中，角标i表示批数据的第i个矩阵；i＝(1,2…t)，rr_unet表示递归残差u型网络；θ表示训练的网络参数。

2-2-2.优化算法

优化算法使用随机梯度下降法(stochasticgradientdescent，sgd)算法流程如下：

θ←θ-lr×g(20)

其中，g表示第i批数据梯度均值；表示参数梯度；lr表示学习率。

2-2-3.循环计算

以差值dif作为损失值和损失阈值的判断条件：

其中，τ表示损失阈值。

计算差值dif，若差值不小于零，则执行优化算法；若差值小于零，则迭代结束。执行n次循环计算，直到求得最优网络参数θ。

3.图像重建

用训练好的递归残差u型网络对测试图像itu(x,y)进行在线重建，得到重建预测图像irecon(x,y)，重建算法如下：

irecon(x,y)＝rr_unet(itu(x,y),θbest)(22)

其中，θbest表示训练好的网络最优参数。

将重建预测图像进行离散傅里叶变换得到k空间预测数据krecon(xk,yk)，用实际采集到的k空间数据ktu(xk,yk)去替换krecon(xk,yk)中相应位置的数据，最后的重建图像用iout(x,y)表示：

iout(x,y)＝idft(krecon(xk,yk)(1-mask)+ktu(xk,yk))(23)

其中，1表示与采样mask相同的1矩阵。

以下结合人体头部的mri数据，对基于递归残差u型网络快速磁共振成像方法进行实例说明，如图1所示，(a)为全采样k空间数据kref(xk,yk)，经过离散傅里叶变换得到全采样图像，(b)为全采样图像数据iref(x,y)，(c)为1维均匀欠采样模板mask，采样方式为每隔4行采集一行数据，并采集中间16行主要数据，数据尺度大小均为256*256，对(a)进行欠采样生成欠采样k空间数据，(d)为欠采样k空间数据ku(xk,yk)，(d)经过离散傅里叶变换得到欠采样图像iu(x,y)，本发明采集3200对图像数据，其中3000对数据用于递归残差u型网络的训练，200对数据用于重建对比。网络结构如图2所示，包含4层降采样，4层升采样和每个采样层的一个递归残差模块。递归残差模块包含1次残差计算和2次递归计算，递归计算的递归次数为2。实验环境为inteli5-446016g内存,nvidiagtx10808g显存,windows10,python3.6.5,pytorch1.0.1。基于u型网络训练共2.5小时，重建时间约为1.2秒，基于递归残差u型网络训练共4小时，重建时间约1.6秒。图3显示了各重建方法的结果图，(a)是原始图像，(b)是填零重建图像，(c)是基于u型网络的重建图像，(d)是基于递归残差u型网络的重建图像，(e)、(f)、(g)分别是(b)、(c)、(d)与原始图像(a)的差值图。从图中可以直观的看出填零重建的误差最大，基于u型网络的重建图像(c)能较好的还原出原始图像，基于递归残差u型网络的重建图像(d)能在基于u型网络的基础上进一步提高图像的细节信息，误差更小。总相对误差(totalrelativeerror,tre)公式如下：

填零重建的tre值为1.6215，基于u型网络的重建tre值为0.9707，而本发明的重建tre值为0.5351。

通过本发明可以看出，相同欠采样的条件下，在加入递归残差模块的u型网络能比u型网络在增加网络层数的同时没有增加网络参数。相比u型网络，虽然本专利提出的方法训练时间有所增加，但重建图像质量提升显著，能恢复出更多的图像细节。