一种基于超深稠密网络的压缩感知磁共振图像重建方法与流程

本发明属于磁共振图像重建领域，尤其涉及一种基于超深稠密网络的压缩感知磁共振图像重建方法。

背景技术：

磁共振成像(mri)是一种相对安全的，并且能提供较高软组织对比度的医学断层成像技术。在近20年来，磁共振成像已经在生命科学和医学等领域和研究取得了飞跃性的发展，并成为临床诊断和基础研究的重要工具。然而，在临床医学成像中，受磁共振成像扫描时间长、采样对象运动引起重建图像质量差等因素的影响，限制了磁共振成像进一步的应用和发展。如何快速获得高质量的磁共振图像就一直是最受关注的前沿研究课题之一。压缩感知磁共振成像是一种快速磁共振成像技术，在只需要部分降采k空间数据的前提下，通过压缩感知理论可以重建出原始的全采重建磁共振图像。

传统的压缩感知磁共振图像重建方法^[1-4]都是基于压缩感知理论，探讨磁共振数据的稀疏性质，结合正则化约束，通过求解l1范数或者l0范数的数学模型，得到重建的磁共振图像。传统的压缩感知磁共振图像重建方法需要通过迭代算法求解数学模型，重建速度慢，并且在低采样率时重建图像比较模糊，存在欠采伪影。

近年来，基于深度学习的压缩感知磁共振图像重建方法也被相继提出。与传统的方法比较，这类方法重建速度快，重建图像质量高。wang等^[5]提出了首个基于卷积神经网络的压缩感知磁共振重建方法，通过3层卷积神经网络，学习从降采磁共振重建图像到全采磁共振图像的端到端映射关系。lee等^[6]引入残差学习机制，采用u型网络(u-net)学习降采磁共振重建图像到欠采伪影的映射关系。这两个网络没有生成预重建图像，只在网络末端输出一张重建图像。yang等^[7]根据admm算法提出了admm-net，通过多个子网络模拟admm算法的迭代步骤生成多张预重建磁共振图像。schlemper等[8]提出了基于多子网络的磁共振重建网络，并引入了k空间数据修正层dc对每个子网络生成的磁共振图像进行修正，从而最终提高网络的重建性能。自dc层被提出之后被广泛应用于后续的基于深度学习的压缩感知磁共振图像重建方法。这些包含多个子网络的压缩感知磁共振图像网络存在两个缺陷。其一，每个子网络都只是利用其前面一个子网络的结果，而没有充分利用到前面所有子网络的信息；其二，这些网络大部分是浅网络，网络层不多，并且网络结构相对简单，限制了整个网络的重建性能。

技术实现要素：

本发明的目的在于客服现有基于深度学习的压缩感知磁共振方法的不足，把每个子网络稠密连接起来，使得每个子网络不仅可以利用前一个子网络的信息，而且可以通过融合先前所有子网络的全部信息，预重建出一张清晰的磁共振图像；基于此，本发明提出了一种基于超深稠密网络的压缩感知磁共振图像重建方法。

为实现上述目的，本发明的技术方案是：一种基于超深稠密网络的压缩感知磁共振图像重建方法，以超深稠密网络作为压缩感知磁共振图像重建的深度网络，超深稠密网络首先把输入的欠采k空间数据ku经过填零、二维反傅里叶变换得到一张模糊的带欠采伪影的磁共振重建图像x0，然后把x0作为输入，经过n个磁共振图像重建子网络进行反复地修正重建分别得到x1,x2,…,xn，最终生成一张高质量磁共振图像

在本发明一实施例中，所述超深稠密网络包括n个磁共振图像重建子网络，其中第n个子网络会预重建一张磁共振图像xn，其中1≤n≤n；子网络包含一个图像域重建网络和一个k空间数据修正层。

在本发明一实施例中，每个磁共振图像重建子网络是稠密连接的，使得第n个子网络可通过分析多个预重建磁共振图像x0,x1,…,xn-1，重建出一张磁共振图像xn，其中1≤n≤n。

在本发明一实施例中，所述图像域重建网络包括嵌入网络模块、推理网络模块和重建网络模块；

所述嵌入网络模块包括一个连接层和一个卷积层，用于收集预重建磁共振图像，并提取特征；

所述推理网络模块包括d个递归特征提取融合子模块；

所述重建网络模块包括一个连接层和卷积层，其中连接层用于收集递归特征提取融合子模块生成的特征，卷积层将这些特征卷积成一张磁共振残差图像；残差图像与前一个图像域重建网络的重建图像相加，重建出新的一张磁共振图像。

在本发明一实施例中，在第n个子网络中，

嵌入网络模块首先经过收集x0和前面n-1个子网络预重建的磁共振图像x1,x2,…,xn-1，用一个卷积层提取这些图像的浅层特征fn,0：

fn,0＝wn*[x0,x1,…,xn-1]+bn

其中wn和bn对应卷积层的卷积核和偏移，*表示卷积层的卷积运算所述嵌入网络模块；

推理网络模块包括d个递归特征提取融合子模块，假设第d个递归特征提取融合子模块的功能用表示，其中1≤d≤d，输入为fn,d-1，输出为fn,d：

fn,d-1是第d-1个递归特征提取融合子模块的输出，当d＝1时，fn,d-1是嵌入网络模块的输出fn,0；

重建网络模块首先经过收集前面嵌入网络模块的输出fn,0和推理网络模块中d个递归特征提取融合子模块的输出fn,1,fn,2,…,fn,d，用一个卷积层生成一个残差图像rn：

其中和对应卷积层的卷积核和偏移；最后通过一个跨层连接，把残差图像rn和第n-1个子网络生成的磁共振图像xn-1相加，得到一张较清晰的磁共振图像zn＝rn+xn-1。

在本发明一实施例中，在第n个子网络中，第d个递归特征提取融合子模块，包含h个组件，一个连接层和一个卷积层；每个组件包含一个非线性激活层lrelu和一个卷积层。

在本发明一实施例中，h个组件的参数是共享的，第h个组件输入为fn,d,h-1，其中1≤h≤h，输出为：

fn,d,h＝wn,d*(σ(fn,d,h-1))+bn,d

其中σ表示lrelu函数，wn,d和bn,d对应组件中所有卷积层的卷积核和偏移；当d＞1时，fn,d,h-1是第h-1个组件的输出，当d＝1时，fn,d,h-1是第d-1个递归特征提取融合子模块的输出fn,d-1。

在本发明一实施例中，子模块包含一个连接层和一个卷积层；连接层收集特征fn,d,0,fn,d,1,…,fn,d,h，卷积层输出fn,d：

其中和对应卷积层的卷积核和偏移。

在本发明一实施例中，所述k空间数据修正层对图像域重建网络的输出z在k空间进行数据修正；k空间数据修正层首先把z转换到k空间数据k，然后根据ku修正k，得到

其中(i,j)表示矩阵索引，ω是k空间采样位置的集合，ρ表示噪声水平；最后再把转换回图像域，得到修正后的磁共振图像x。

在本发明一实施例中，当提供一组训练数据其中l为训练数据库中磁共振图像的数量，和x^l分别是降采k空间数据和全采重建磁共振图像，则其损失函数可以表示为：

其中是由基于超深稠密网络的压缩感知磁共振图像重建方法重建的磁共振图像。

相较于现有技术，本发明具有以下有益效果：本发明所述的基于超深稠密网络的压缩感知磁共振图像重建方法，基于稠密连接网络中每个层能够利用前面网络层的所有信息从而提高网络性能的良好特性，设计包含多个能预重建磁共振图像的复杂子网络，并通过稠密连接所有的子网络，使得每个子网络能够融合前面所有子网络的预重建磁共振图像，最终整个网络可以重建高质量的磁共振图像。

附图说明

图1是本发明中用于压缩感知磁共振图像重建的超深稠密网络(vddcn)的示意图；

图2是本发明中磁共振图像重建子网络(fefb)的示意图；

图3是本发明中递归特征提取融合子模块(rfefsb)的示意图；

图4是本发明中k空间数据修正层(dc)的示意图。

图5是重建实数数据的效果示意图。

图6是重建复数数据的效果示意图。

具体实施方式

下面结合附图，对本发明的技术方案进行具体说明。

本发明的目的在于客服现有基于深度学习的压缩感知磁共振方法的不足，基于稠密连接网络中每个层能够利用前面网络层的所有信息从而提高网络性能的良好特性，设计包含多个能预重建磁共振图像的多个复杂子网络，并通过稠密连接所有的子网络，使得每个子网络能够融合前面所有子网络的预重建磁共振图像，最终整个网络可以重建高质量的磁共振图像。

本发明所述的基于超深稠密网络的压缩感知磁共振图像重建方法中，超深稠密网络，如图1所示，包含一个二维反傅里叶变换(idft)层和n个磁共振图像重建子网络；每个子网络包含一个一个图像域重建网络(fefb)和一个k空间数据修正(dc)层。idft把欠采k空间数据转换到图像域，子网络则是对图像域数据做反复地修复重建，最后生成高质量地磁共振图像。

图像域重建网络(fefb)，如图2所示，包含一个嵌入网络模块，嵌入网络模块中由一个连接(concat)层和一个卷积(conv)层组成；包含一个推理网络模块，推理网络模块由d个递归特征提取融合子模块(rfefsb)组成；包含一个重建网络模块，重建网络模块由一个连接(concat)层和一个卷积(conv)层组成。fefb首先通过嵌入网络模块融合前面子网络生成的预重建磁共振图像，得到数据的浅层特征，然后经过推理网络模块生成多个不同层次的特征图，最后重建网络模块融合不同层次的特征图，重建出一张磁共振图像。

递归特征提取融合子模块(rfefsb)，如图3所示，包含n个组件，一个连接层(concat)和一个卷积(conv)层。每个组件包含一个非线性激活层lrelu和一个卷积核大小为1×1的卷积(conv)层。首先rfefsb通过n个组件生成n个不同层次的特征图，最后通过concat层和conv层，融合这些特征图，生成更高层次的紧凑特征，为fefb的重建网络提供更有效的重建信息。

k空间数据修正(dc)层，如图4所示，把fefb生成的磁共振图像进行修正，重建出一行质量更好的磁共振图像。

基于上述原理，本发明所述的方法具体实施如下：

本发明中，超深稠密网络首先把输入的欠采k空间数据ku经过填零、二维反傅里叶变换得到一张模糊的带欠采伪影的磁共振重建图像x0＝idft(ku)，其中idft表示二维反傅里叶变换；然后把x0作为输入，经过n个磁共振图像重建子网络进行反复地修正重建分别得到x1,x2,…,xn，最终生成一张高质量磁共振图像其中第n个子网络(1≤n≤n)可以通过稠密连接，把多个预重建磁共振图像x0,x1,…,xn-1作为输入，输出一张质量较好的磁共振图像xn＝fn(x0,x1,…,xn-1)，其中fn表示第n个子网络的功能函数。

每个子网络包含一个图像域重建网络和一个k空间数据修正层。假设第n个子网络(1≤n≤n)中，图像域重建网络和k空间数据修正层的功能函数分别用gn和dc表示，则函数xn＝fn(x0,x1,…,xn-1)可以分解成zn＝gn(x0,x1,…,xn-1)和xn＝dc(zn)两个函数。

在第n个子网络(1≤n≤n)中，图像域重建网络又分为嵌入网络模块、推理网络模块和重建网络模块。首先嵌入网络模块收集x0和前面n-1个子网络预重建的磁共振图像x1,x2,…,xn-1，用一个卷积层提取这些图像的浅层特征fn,0：

fn,0＝wn*[x0,x1,…,xn-1]+bn

其中wn和bn对应卷积层的卷积核和偏移，*表示卷积层的卷积运算所述嵌入网络模块；其次推理网络模块包括d个递归特征提取融合子模块，其中第d个递归特征提取融合子模块(1≤d≤d)的功能用表示，输入为fn,d-1，输出为fn,d：

fn,d-1是第d-1个递归特征提取融合子模块的输出，当d＝1时，fn,d-1是嵌入网络模块的输出fn,0；然后经过重建网络模块收集前面嵌入网络模块的输出fn,0和推理网络模块中d个递归特征提取融合子模块的输出fn,1,fn,2,…,fn,d，并生成一个残差图像rn：

其中和对应卷积层的卷积核和偏移；最后通过一个跨层连接，把残差图像rn和第n-1个子网络生成的磁共振图像xn-1相加，得到一张较清晰的磁共振图像zn＝rn+xn-1。

在第n个子网络(1≤n≤n)的第d个递归特征提取融合子模块(1≤d≤d)，包含h个组件，一个连接层和一个卷积层；每个组件包含一个非线性激活层lrelu和一个卷积层。h个组件的参数是共享的，第h个组件(1≤h≤h)输入为fn,d,h-1，输出为：

fn,d,h＝wn,d*(σ(fn,d,h-1))+bn,d

其中σ表示lrelu函数，wn,d和bn,d对应组件中所有卷积层的卷积核和偏移；当d＞1时，fn,d,h-1是第h-1个组件的输出，当d＝1时，fn,d,h-1是第d-1个递归特征提取融合子模块的输出fn,d-1。然后递归特征提取融合子模块最后收集特征fn,d,0,fn,d,1,…,fn,d,h，并通过卷积得到

其中和对应卷积层的卷积核和偏移。

在第n个子网络(1≤n≤n)中，k空间数据修正层对图像域重建网络的输出z在k空间进行数据修正；k空间数据修正层首先把z转换到k空间数据k，然后根据ku修正k，得到

其中(i,j)表示矩阵索引，ω是k空间采样位置的集合，ρ表示噪声水平；最后再把转换回图像域，得到修正后的磁共振图像x。

当提供一组训练数据其中l为训练数据库中磁共振图像的数量，和x^l分别是降采k空间数据和全采重建磁共振图像，则其损失函数可以表示为：

其中是由基于超深稠密网络的压缩感知磁共振图像重建方法重建的磁共振图像。

基于本发明所述的方法进行如下实验：

本实施例的超深稠密网络中，卷积层卷积核大小为3×3。对于每个图像域重建网络的最后一个卷积层，当只需要重建磁共振幅值图像时，输出通道数目为1；如果需要重建复数形式的磁共振图像时，输出通道数目为2，分别输出磁共振图像的实部和虚部。除了每个图像域重建网络的最后一个卷积层，其余卷积层输出通道数目均为64。子网络个数是15。数据集包括两个，一个是实数数据集，包含3000张脑部图像作为训练集，200张脑部图像作为测试集；另一个是复数数据集，包含200张膝盖图像，其中150张作为训练集，另外50张作为测试集。采样模式采用辐射采样(radialsampling)和一维随机采样，采样率分别为10％，20％，30％，40％，50％。本发明在深度学习框架tensorflow下使用adam优化器，学习率设置为10^-4，每批训练样本个数设为1。

表1

表2

为了显示本发明所述方法的有效性，实验把本方法现有的六种代表性压缩感知磁共振图像重建方法做横向比较。这六种方法包括四种传统方法(pano^[1]、pbdw^[2]、fdlcp^[3]和bm3d-mri^[4])和两种基于深度学习的方法(u-net^[5]和dccnn^[8])。

在重建实数数据的实验中，六种代表性压缩感知磁共振图像重建方法与本发明的方法定量效果对比如表1和表2所示，评价指标为峰值信噪比(psnr)和结构相似度(ssim)，示值为测试数据集的压缩感知磁共振图像重建结果均值。表1显示在辐射采样的情况下各个方法的对比，表2显示在一维随机采样的情况下各个方法的对比。

实验数据表明，不管是辐射采样还是一维随机采样，还是不同的采样率，与其他压缩感知磁共振图像重建方法比较，本发明(vddcn)性能更好，psnr比次优的方法dccnn至少提高2db。

在重建复数数据的实验中，六种代表性压缩感知磁共振图像重建方法与本发明的方法定量效果对比如表3所示。表格3显示了采样率为10％，不同的采样模式下不同方法的压缩感知磁共振图像重建效果比较。与重建实数数据的实验相同，本发明(vddcn)在重建复数数据时，客观评价指标也是最高的。

表3

在重建视觉效果方面，不同方法在采样率为10％，六种代表性压缩感知磁共振图像重建方法与本发明的方法在重建实数数据的效果对比如图5所示，在重建复数数据的效果对比如图6所示。由图5和图6可以看出，本发明基于超深稠密网络的压缩感知磁共振图像重建方法能更好地重建出精确的组织结构。

可见通过稠密连接，本发明中vddcn的每个子网络能够利用更多的信息，使得整个网络的性能得到提升，得益于网络层数的大量增加，重建效果明显比其它方法更好。

上述实施例仅是用来说明本发明，而并非用作对本发明的限定。只要是依据本发明的技术实质，对上述实施例进行变化、变型等都将落在本发明的权利要求的范围内。

参考文献：

[1]x.qu,y.hou,f.lam,d.guo,j.zhong,andz.chen,“magneticresonanceimagereconstructionfromundersampledmeasurementsusingapatch-basednonlocaloperator,”medicalimageanalysis,vol.18,no.6,pp.843-856,2014.

[2]x.qu,d.guo,b.ning,y.hou,y.lin,s.caiandz.chen,“undersampledmrireconstructionwithpatch-baseddirectionalwavelets,”magneticresonanceimaging,vol.30,no.7,pp.964-977,2012.

[3]z.zhan,j.cai,d.guo,y.liu,z.chen,andx.qu,“fastmulticlassdictionarieslearningwithgeometricaldirectionsinmrireconstruction,”ieeetransactionsonbiomedicalengineering,vol.63,no.9,pp.1850-1861,2016.

[4]e.eksioglu,“decoupledalgorithmformrireconstructionusingnonlocalblockmatchingmodel:bm3d-mri,”journalofmathematicalimagingandvision,pp.1-11,2016.

[5]s.wang,z.su,l.ying,x.peng,s.zhu,f.liang,d.feng,andd.liang,“acceleratingmagneticresonanceimagingviadeeplearning,”inieeeinternationalsymposiumonbiomedicalimaging,pp.514-517,2016.

[6]d.lee,j.yoo,andj.ye,“deepresiduallearningforcompressedsensingmri,”inieeeinternationalsymposiumonbiomedicalimaging,pp.15-18,2017.

[7]y.yang,j.sun,h.li,andz.xu,“admm-csnet:adeeplearningapproachforimagecompressivesensing,”ieeetransactionsonpatternanalysisandmachineintelligence,doi:10.1109/tpami.2018.2883941,2019.

[8]j.schlemper,j.caballero,j.v.hajnal,a.n.price,andd.rueckert,“adeepcascadeofconvolutionalneuralnetworksfordynamicmrimagereconstruction,”ieeetransactionsonmedicalimaging,vol.37,no.2,pp.491-503,2017.。