基于深度卷积网的一维部分傅里叶并行磁共振成像方法与流程

本发明涉及磁共振成像技术领域，尤其涉及一种基于深度卷积网的一维部分傅里叶并行磁共振成像方法。

背景技术：

并行成像技术通常用来加速临床磁共振成像设备的扫描成像，该技术采用多个接收线圈阵列同时采集数据，在保持空间分辨率不衰减的情况下，减少相位编码步数，对k空间进行欠采样，大幅度缩短了磁共振扫描时间，提高了成像速度。并行成像技术需要对每个线圈数据进行各种变换，并采用重建算法进行图像重建，才能得到期望的图像，因此精确的多线圈欠采样磁共振图像重建方法至关重要。

研究者们为此开发了多种多线圈欠采样磁共振图像重建算法，其中，基于k空间插值的全面自动校准部分并行采集(grappa)和spirit算法，由于通过校验行数据隐含的利用线圈灵敏度信息，取得了较好的效果。grappa和spirit都是利用未采样点周围的采样数据点加权生成未采样的数据点，权重系数是通过全采样的校验行自校验获得的，然后通过傅里叶变换生成每个线圈扫描的图像。

具体而言，grappa是通过重建块来重建未采集的数据行，以第j个线圈与采样数据行偏移为m的数据行重建为例，grappa重建公式如(1)：

其中，nb表示重建过程中重建块的个数。n(j,b,l,m)是权重系数，l是线圈的索引，b是重建块的索引。

同grappa算法相似，spirit算法中的未采样k空间数据也是由其邻域的k空间数据加权产生。不同之处在于，加权使用的数据不仅有采样的数据，还有迭代产生的未采样数据。spirit算法能更好地确定采样点与采样点之间的重建关系。用xi(r)表示第i个线圈的未采样k空间数据，r表示数据点在k空间的位置，rr表示是一个从k空间中选择需要的点的操作符，rrxi表示位置r处邻近所有的数据，则xi(r)重建公式如(2)：

其中gji称为spirit核，g^hji是其共轭转置(gji是通过一个局部全采样的k空间数据的自动校准获得)，nc是总的线圈数。

目前比较流行的磁共振重建方法grappa和spirit在使用三倍一维均匀欠采样模式时取得了较好的效果，但是这两种方法重建速度过于缓慢，且重建图像含有大量噪声，在视觉效果上并不令人满意。因此，需要一种更加快速且可消除重建图像中噪声的方法。

技术实现要素：

针对现有技术中的上述不足，本发明提出了一种基于深度卷积神经网络(deepconvolutionalneuralnetwork，dcnn)的一维部分傅里叶并行磁共振成像方法。

深度卷积神经网络(也称为深度卷积网)是一种多层的神经网络，其具有局部连接和权值共享的特点，因此在图像处理方面有着独特的优越性，权值共享降低了网络的复杂性，特别是多维输入向量的图像可以直接输入网络这一特点避免了特征提取和分类过程中数据重建的复杂度，因而可加速图像处理。此外，深度卷积网络在图像处理中还具有一个重要的特点，即，通过卷积运算可以使原信号特征增强并且可降低噪音以获得更加清晰、噪声更少且视觉效果更好的图像。

为此，本发明提出了一种基于深度卷积网的一维部分傅里叶并行磁共振成像方法，其包括以下步骤：

s1)基于已存在欠采样多通道磁共振图像创建训练用的样本集和样本标签集；s2)构建包括依次连接的输入层、l个卷积层和输出层的初始深度卷积网模型；s3)输入所述样本集的一个训练样本(x,y)到所述初始深度卷积网模型进行正向传播，比较正向传播的输出结果与所述样本标签集中的期望结果，使用梯度下降法进行训练直至获得使所述输出结果与所述期望结果一致度最大的各层参数；s4)利用所获得的各层参数创建最优深度卷积网模型；以及s5)将在线采样到的多线圈欠采样图像输入到所述最优深度卷积网模型，在所述最优深度卷积网模型上进行正向传播，输出重建的单通道全采样图像。

在其中的一个实施例中，在步骤s1中，所述样本集中的训练样本是从线下已存在的多线圈欠采样图像中提取的重合的欠采样图像提取块，所述标签集中的样本标签是与所述欠采样图像提取块对应的全采样多通道图像提取块的平方和的平方根。

在其中的一个实施例中，可以按照以下方式，将输入的图像(即欠采成像的图像)与标记图像(即全采成像的图像)分割成图像块对(欠采样图像提取块xt,n与全采样图像提取块yt,n)，来增加样本的个数，这些图像块对在同一个图中是可以重叠的。

作为训练样本的所述欠采样图像提取块可以按照下式获得：

其中，c是用隐层参数q＝{(w1,b1),...(wl,bl),...(wl,bl)}来估计的端对端的映射关系，t是一个图像中提取的样本的个数，n是图像总个数。

在其中的一个实施例中，所述线下已存在的多线圈欠采样图像是采用3倍一维低频加汉明窗并左移23列的欠采样模式在k空间欠采样多线圈全采样图像获得，其优点在于，相比于传统的grappa和spirit所采用的一维均匀欠采样模式，可以获得更加高质量的欠采样图像样本集，而训练样本集的质量越高，则所得的深度卷积网模型的越佳。

在其中的一个实施例中，在步骤s2中，所述初始深度卷积网模型的l个卷积层按如下方式创建：

其中，c表示卷积层，x表示输入样本；式中w1是第一卷积层c1的大小为c×m1×m1×n1的卷积算子，b1是与元素相关的n1维偏置，c是图像通道的数量，m1是滤波器的大小，n1是滤波器的数量；wl是第l卷积层cl的大小为nl-1×ml×ml×nl的卷积算子，bl是与元素相关的nl维偏置，ml是滤波器的大小，nl是滤波器的数量；wl是最后一个卷积层cl的大小为nl-1×ml×ml×c的卷积算子，其中，bl是与元素相关的nl维偏置，c是图像通道的数量，ml是滤波器的大小，nl是滤波器的数量。

在其中的一个实施例中，所述初始深度卷积网模型还包括与所述l个卷积层中的一个或多个连接的激活层。

在其中的一个实施例中，所述初始深度卷积网模型包括输入层、第一卷积层、第二卷积层、第三卷积层和输出层，其中，所述第一卷积层与第一激活层连接，所述第二卷积层与第二激活层连接。

在其中的一个实施例中，所述激活层使用relu激活函数。

在其中的一个实施例中，所述输出层采用欧几里得损失函数。

在其中的一个实施例中，在步骤s3中的所述梯度下降法包括如下步骤：

s31)对于一个训练样本(x,y)，根据下式计算最后一个卷积层cl的梯度：

其中，且cl＝σ(dl)；

s32)δ^l的第l层非线性映射层的梯度通过下式更新：

式中*代表互相关操作(correlation)，表示数组元素依次相乘；

s33)由此获得每个卷积层的梯度为：

s34)基于计算得到的每个卷积层的梯度，更新每个卷积层的参数。

本发明的另一方面还提供了一种计算机可读介质，该计算机可读介质具有存储在其中的程序，该程序是计算机可执行的以使计算机执行上述所有步骤的处理。

本发明的另一方面还提供了一种基于深度卷积网的一维部分傅里叶并行磁共振成像装置，其包括：

用于基于已存在欠采样多通道磁共振图像创建训练用的样本集和样本标签集的模块；用于构建包括依次连接的输入层、l个卷积层和输出层的初始深度卷积网模型的模块；用于输入所述样本集的一个训练样本(x,y)到所述初始深度卷积网模型进行正向传播，比较正向传播的输出结果与所述样本标签集中的期望结果，使用梯度下降法进行训练直至获得使所述输出结果与所述期望结果一致度最大的各层参数的模块；用于利用所获得的各层参数创建最优深度卷积网模型的模块；以及用于将在线采样到的多线圈欠采样图像输入到所述最优深度卷积网模型，在所述最优深度卷积网模型上进行正向传播，输出重建的单通道全采样图像的模块。

在其中的一个实施例中，在所述用于基于已存在欠采样多通道磁共振图像创建训练用的样本集和样本标签集的模块中，所述样本集中的训练样本是从线下已存在的多线圈欠采样图像中提取的重合的欠采样图像提取块，所述标签集中的样本标签是与所述欠采样图像提取块对应的全采样多通道图像提取块的平方和的平方根。

在其中的一个实施例中，作为训练样本的所述欠采样图像提取块是按照下式获得：

其中，x为欠采样图像提取块，y为对应的全采样图像提取块，c是用隐层参数q＝{(w1,b1),...(wl,bl),...(wl,bl)}来估计的端对端的映射关系，t是一个图像中提取的样本的个数，n是图像总个数。

在其中的一个实施例中，所述线下已存在的多线圈欠采样图像是采用3倍一维低频加汉明窗并左移23列的欠采样模式在k空间欠采样多线圈全采样图像获得的。

在其中的一个实施例中，在所述用于构建包括依次连接的输入层、l个卷积层和输出层的初始深度卷积网模型的模块中，所述初始深度卷积网模型的l个卷积层按如下方式创建：

其中，c表示卷积层，x表示输入样本；式中w1是第一卷积层c1的大小为c×m1×m1×n1的卷积算子，b1是与元素相关的n1维偏置，c是图像通道的数量，m1是滤波器的大小，n1是滤波器的数量；wl是第l卷积层cl的大小为nl-1×ml×ml×nl的卷积算子，bl是与元素相关的nl维偏置，ml是滤波器的大小，nl是滤波器的数量；wl是最后一个卷积层cl的大小为nl-1×ml×ml×c的卷积算子，其中，bl是与元素相关的nl维偏置，c是图像通道的数量，ml是滤波器的大小，nl是滤波器的数量。

在其中的一个实施例中，所述初始深度卷积网模型还包括与所述l个卷积层中的一个或多个连接的激活层。

在其中的一个实施例中，所述初始深度卷积网模型包括输入层、第一卷积层、第二卷积层、第三卷积层和输出层，其中，所述第一卷积层与第一激活层连接，所述第二卷积层与第二激活层连接。

在其中的一个实施例中，所述激活层使用relu激活函数。

在其中的一个实施例中，所述输出层采用欧几里得损失函数。

在其中的一个实施例中，所述梯度下降法包括如下步骤：

s31)对于一个训练样本(x,y)，根据下式计算最后一个卷积层cl的梯度：

其中，且cl＝σ(dl)；

s32)δ^l的第l层非线性映射层的梯度通过下式更新：

式中*代表互相关操作，表示数组元素依次相乘；

s33)由此获得每个卷积层的梯度为：

s34)基于计算得到的每个卷积层的梯度，更新每个卷积层的参数。

基于深度卷积网的上述优点，本发明通过把大量已经存在的欠采样多通道磁共振图像作为样本输入深度卷积网，并把和欠采样图像相对应的全采样图像相关的矢量作为样本的标签也输入深度卷积网，训练深度卷积网去学习欠采样图像和全采样图像之间的一个非线性关系，然后使用该非线性关系作为预测器线上重建磁共振图像，由此能够更加快速地重建磁共振图像，并获得更加清晰、噪声更少、视觉效果更好的磁共振重建图像。

附图说明

图1是本发明的基于深度卷积网的一维部分傅里叶并行磁共振成像方法的整体构思；

图2为本发明方法的流程图；

图3a为线下一个样本在深度卷积网上的前向传导过程，图3b为深度卷积网的一个训练框架示例；以及

图4a为全采样图像，图4b为grappa和spirit使用的一维均匀欠采样模式，图4c为本发明所使用的3倍一维低频加汉明窗左移23列的欠采样模式，图4d是利用spirit得到的重建视觉效果，图4e是利用grappa得到的重建视觉效果，图4f是利用本发明方法得到的重建视觉效果。

具体实施方式

下面结合附图对本发明的具体实施方式进行说明。在下文所描述的本发明的具体实施方式中，为了能更好地理解本发明而描述了一些很具体的技术特征，但是，很显然的是，对于本领域的技术人员来说，并不是所有的这些技术特征都是实现本发明的必要技术特征。下文所描述的本发明的一些具体实施方式只是本发明的一些示例性的具体实施方式，其不应被视为对本发明的限制。

图1是本发明的基于深度卷积网络的一维部分傅里叶并行磁共振成像方法的整体构思，其主要由两个部分组成：线下训练深度卷积网模型和线上重建磁共振图像。

首先，将训练样本集中的样本和样本标签集中与样本对应的标签输入到所创建的深度卷积网模型中进行训练，并训练深度卷积网去学习欠采样图像和全采样图像之间的一个非线性映射关系，也即，建立最优的深度卷积网模型，然后使用该最优深度卷积网模型作为预测器线上重建磁共振图像。

线下训练深度卷积网包括构建深度卷积网络模型和训练样本。以下结合附图对深度卷积网模型的构建和线下训练过程进行具体说明。本发明的深度卷积网模型的构建和训练基本上包括以下步骤：

(1)建立训练样本集以及对应的样本标签集：

基于大量已经存在的欠采样多通道磁共振图像来创建训练用的样本集和样本标签集。

在一个优选实施例中，训练样本可以是从线下已存在的多线圈欠采样图像中提取的重合的欠采样图像提取块，样本标签可以是与所述欠采样图像提取块对应的全采样多通道图像提取块的平方和的平方根。

在一个具体实施例中，作为样本而提取的图像提取块大小可以为33*33*12，标签大小可以为17*17。但本发明并不限于此，也可以使用其他大小的图像提取块和标签作为样本。

样本集的选择对于构建最优深度卷积网是至关重要的。因此，在本发明的一个优选实施例中，沿着预设维度对k空间的视野进行非对称欠采掩模的设置，对所述欠采掩模进行汉明滤波，以获取相应的欠采轨迹。在本发明的另一优选实施例中，上述的多线圈欠采样图像采用3倍一维低频加汉明窗并左移23列的欠采样模式在k空间欠采样多线圈全采样图像获得。

图4b和4c分别示出了grappa和spirit所采用的一维均匀欠采样模式与本发明所采用的3倍一维低频加汉明窗并左移23列的欠采样模式的示意图。

使用3倍一维低频加汉明窗并左移23列的欠采样模式的优点在于，相比于传统的grappa和spirit所采用的一维均匀欠采样模式，可以获得更加高质量的欠采样图像样本集，而训练样本集的质量越高，对于训练深度卷积网模型而言越有利。

此外，样本数量越多，则训练得到的深度卷积网的准确性越佳。因此，在本发明的一个具体实施方式中，使用了一个数量庞大的训练集，包含大约65万个带标签的样本，容量可达34.8g。

在将样本输入到网络模型之前，需要对样本的数据进行处理。

首先，定义欠采样的k空间为：

f＝pfu(2)

式中p表示欠采样模型的对角矩阵，f是通过公式f^hf＝i进行归一化后的全采样傅里叶编码矩阵，u是表示原始图像或线下图像的矢量矩阵，则fu表示全采样的k空间数据。

h代表厄米特(hermitian)变换，其零填充磁共振图像z可通过已观察到的数据直接逆变换得到，其表达式如下所示：

z＝f^hpfu(3)

根据线性代数的相关理论可知，一个信号u加一个突变信号p的循环卷积可以表示为f^hpfu，式中p是傅里叶变换p的对角项，其是非零项。

此外，为了实现本发明的目的，需要尽量从欠采样的傅里叶数据中学习一个全局的卷积神经网络来重建磁共振图像，但考虑到事先获得的磁共振图像的数据有线下真实的和破损的，因此需要通过以下目标函数来最小化误差。

式中c是用隐层参数q＝{(w1,b1),...(wl,bl),...(wl,bl)}来估计的端对端的映射关系，t是一个图像中提取的样本的个数，n是图像总个数。

为了增加网络的鲁棒性，在一个实施例中，可以按照下式来获得更多训练样本：

其中，c是用隐层参数q＝{(w1,b1),...(wl,bl),...(wl,bl)}来估计的端对端的映射关系，t是一个图像中提取的样本的个数，n是图像总个数；

在以下的叙述中，为了表达方便，只采用一对(x,y)作为训练样本。

(2)构建深度卷积网模型：

在本发明的深度卷积网模型的一个示例中，按照如下方式创建了一个具有输入层、l个卷积层和输出层的卷积网模型。

该卷积网模型的第一卷积层定义为：

c1＝σ(w1*x+b1)(6)

式中w1是大小为c×m1×m1×n1的卷积算子，b1是与元素相关的n1维偏置，c是图像通道的数量，m1是滤波器的大小，n1是滤波器的数量。

对于非线性响应，为了更有效地计算，采用整流线性单元，例如，relu函数等。

接下来进一步进行非线性映射，也即，从nl-1维映射到n1，可通过下式定义图像特征和结构来代表全部数据重建的图像：

cl＝σ(wl*cl-1+bl)(7)

式中wl是大小为nl-1×ml×ml×nl的卷积算子，bl是与元素相关的nl维偏置，ml是滤波器的大小，nl是滤波器的数量。

考虑最后一层的卷积问题，为了从卷积神经网络重建最终预测的图像，需要构建另一层卷积，通过最后一层激活函数预测最终图像。

cl＝σ(wl*cl-1+bl)(8)

式中wl是大小为nl-1×ml×ml×c的卷积算子，其中，bl是与元素相关的nl维偏置，c是图像通道的数量，ml是滤波器的大小，nl是滤波器的数量。

最后，设计了一个具有l个卷积层的卷积神经网络来学习映射关系：

接着结合附图进行具体说明，图3a和图3b示出了本发明所构建的一个深度卷积网示例，并且示出了样本在深度卷积网上的前向传导过程和在一个深度学习构架中搭建的训练框架。

图3a和图3b中所创建的深度卷积网模型包括依次连接的输入层data、第一卷积层conv1、第二卷积层conv2、第三卷积层conv3和包含损失函数(loss)的输出层。

本发明的深度卷积网络的结构并不限于图3a和图3b中的示例。例如，本发明的深度卷积网络模型可以包括多于三层的卷积层，也可以包括仅两个卷积层。

此外，该模型还包括整流线性单元，例如，与第一卷积层连接的第一激活层relu1和与第二卷积层连接的第二激活层relu2以线性校正各个卷积层的输出。

在图3b的实施例中，第一和第二激活层均采用relu激活函数，而损失层是采用欧几里得损失(euclideanloss)函数。其中，relu是激活函数的一种，在卷积神经网络中常用的非线性激活函数有sigmoid、relu等等。

在本发明的该实施方式中，采用relu作为激活函数的原因在于，使用relu函数能够避免sigmoid函数饱和(也即，在sigmoid函数接近1的平缓区域，梯度下降很慢)的问题，提高训练速度以加快图像重建，并且能够避免梯度扩散，精确度更高。

(3)训练深度卷积网模型：

接下来，将训练样本输入到所创建的深度卷积网模型开始训练过程。

首先，输入所述训练样本集中的一个训练样本到网络模型进行正向传播，比较正向传播的输出结果与样本标签中的数据。

下面以样本大小为33*33*12、标签大小为17*17为例对该样本在图3a和3b所示的深度卷积网模型的正向传播以及训练过程进一步说明。

在图3a中，d表示多通道线圈的通道个数，将提取到的w0*h0*d的图像提取块作为样本输入到输入层，并且如图3b所示将对应的样本标签输入到损失层。

在第一卷积层，通过k1个大小为a的卷积核对输入的图像样本进行卷积提取，如图3a所示，在经过第一卷积层后，可得到从输入样本图像上卷积提取的w1*h1*k1图像特征。

在图3b的实施方式中，第一卷积层conv1使用权重大小为9*9*12*64、偏置大小为64*1的卷积核并且将步长选为1以不扩充边缘(扩充边缘值为0)的形式进行处理。在此处，还可通过第一激活层relu1对所得图像特征进行线性校正，并将校正后的图像特征送至下一处理层。

接着，在第二卷积层对所得的w1*h1*k1图像特征进行第二次卷积提取。

如图3a所示，在经过第二卷积层后，可得到w2*h2*k2的图像特征。在图3b的实施方式中，第二卷积层conv2使用了权重大小为5*5*64*32、偏置大小为32*1的卷积核并且将步长选为1以不扩充边缘的形式(也即，扩充边缘值为0)进行第二次卷积提取。在此处，也可通过第二激活层relu2对所得图像特征进行线性校正，并将校正后的图像特征送至下一处理层。

接下来，将所得到的大小为w2*h2*k2的图像特征送入第三卷积层进行类似的卷积提取。

如图3a所示，在经过第三卷积层后，可得到一个w3*h3的单通道输出图像。在图3b的实施方式中，第三卷积层conv3使用了权重大小为5*5*32*1、偏置项大小为1的卷积核并且将步长选为1以不扩充边缘的形式(也即，扩充边缘值为0)进行第三次卷积提取，由此得到正向传播的输出结果。

接下来，在正向传播结束之后，其输出结果将被送到输出层与期望值进行比较。

如图3b所示，由第三卷积层所得到的输出图像将被送至输出层的损失函数(也可称为误差函数)，从而将该输出值与标签中的数据进行比较。

在深度卷积网络模型中，损失层(loss，损失函数)是用于估量输出的样本预测结果与该样本所对应的理想结果(输入的标签信息)的不一致程度(偏差或误差)。通常，损失函数值越小，则表示预测结果与理想结果一致度越大，模型的鲁棒性越好。事实上，训练样本的整个过程就是寻找使损失函数最小化的模型中的各层参数的过程，该参数包括网络各层的权重和偏置参数。

在本发明的一个实施例中，根据该比较结果(偏差或误差)，利用梯度下降法进行误差反向传播。通常，在梯度下降法的计算过程中采用误差反向传播的方式计算误差函数(损失函数)对全部权值和偏置值的梯度。具体而言，该方法是从任一点开始，沿该点梯度的反方向移动一段距离，再沿新位置的梯度反方向运行一段距离，如此迭代，从而能运动到函数的全局最小点。

例如，对于成对的训练样本(x,y)，其通过式(5)-(8)计算正向传播的输出值。为了更新网络各层参数，通过误差反向传播来计算相应梯度。

先考虑单一的成对的目标(x,y)，式(4)可以由下式表示：

式中cl＝wl*cl-1+bl。

δ^l为反向传播对误差项bl的梯度，计算公式为：

由于并且cl＝σ(dl)，因此，δ^l的第l层非线性映射层的梯度能通过下式更新：

式中*代表互相关操作，表示数组元素依次相乘。

由此获得每层的梯度为：

在训练过程中习惯于计算随机梯度

(4)创建最优的深度卷积网模型：

基于计算所得的每层梯度，确定网络各层的权重和偏置参数，即利用计算出的梯度，采用梯度下降法更新参数wl和bl，由此习得一个从欠采样图像到全采样图像的非线性映射关系。也即，利用在步骤(3)的训练所得到的权重和偏置参数创建最优深度卷积网，该最优深度卷积网可充当一个预测器。

例如，在图3b中的实施方式中，通过与输入的标签(也即，对应的样本全采样图像有关的矢量)进行对比，采用梯度下降法来极小化损失函数，由此确定输入的欠采样图像样本与对应的全采样图像之间的非线性映射关系，也即，由此确定使损失函数最小化的网络各层的权重和偏置参数，利用所得的权重和偏置参数而创建最优深度卷积网模型。

(5)利用最优深度卷积网模型在线上重建磁共振图像：

利用在步骤(4)中创建的最优深度卷积网模型可以进行线上重建磁共振图像，将线上采样的欠采样多线圈图像输入该最优深度卷积网进行前向传导，输出全采样图像。

如在图3b中所示的实施方式中，在正向传播重建磁共振图像时，输入深度卷积网模型的图像不再是分割的图像提取块，而是整幅多线圈欠采样图像。

图4d-f分别示出了利用本发明方法与采用grappa和spirit所得的图像重建结果的比较。

结果表明，相比目前流行的在k空间重建磁共振图像而给重建图像带来噪声的方法grappa和spirit，本发明的基于深度卷积网络的一维部分傅里叶并行磁共振成像方法在k空间欠采样，在空域使用训练出来的权重和偏置通过前向传导重建磁共振图像，其实就是在整幅多通道欠采样图像上使用滤波器(滤波器即训练出来的权重)滤波，因此，相比grappa和spirit，本发明能够很好地去除重建图像的噪声，重建出视觉效果更好的磁共振图像。

此外，重建图像时，使用训练深度网络学习得到权重和偏置参数进行前向传导，而采用并行计算的前向传导速度本身就很快，所以高速重建磁共振图像是本发明的另一优点。

尽管已经根据优选的实施方案对本发明进行了说明，但是存在落入本发明范围之内的改动、置换以及各种替代等同方案。还应当注意的是，存在多种实现本发明的方法和系统的可选方式。因此，意在将随附的权利要求书解释为包含落在本发明的主旨和范围之内的所有这些改动、置换以及各种替代等同方案。