一种螺旋桨磁共振成像的重建系统和方法与流程

1.本发明涉及医学图像处理技术领域，尤其涉及一种螺旋桨磁共振成像的重建系统和方法。


背景技术：

2.对于磁共振成像(mri)，面临的一个重要问题是，病人可能在扫描过程中发生不受意识控制的运动，这样的运动会引起图像的模糊和伪影。应对这种问题的一个解决途径是使用propeller扫描技术进行运动校正(motion correction)，也被称为螺旋桨扫描。propeller方法中，数据在k空间采集时被划分为多个叶片部分被称为blade的部分，在每个叶片当中是类似于传统的笛卡尔扫描方式，使用固定的相位编码方向，采集一个分辨率较低的图像，而在不同叶片的之间相位编码的方向被旋转了一定角度(如图1所示)，由于每个叶片都会采集k空间中心区域的图像，由此可以得到每个blade的低分辨率图像。通过对比不同叶片之间的低分辨率图像，那么可以估算出在不同叶片之间是否发生了运动，如果发生了这样的运动，它们之间的运动参数(例如平移的距离、旋转的角度)也可以被相应的估计出，进而进行校正，之后再合并不同的叶片图像，就可以得到清晰的无伪影的高分辨率磁共振图像。
3.propeller成像的一个问题是其扫描时间较长，有一系列的方法都可以对propeller进行加速，其中包括并行成像(parallel imaging)，也就是在每个叶片当中采集较少的相位编码个数，再通过多通道线圈的灵敏度信息即线圈灵敏度图像进行重建。
4.这种加速的propeller成像数据在重建时候就有一定的困难，因为简单的并行成像重建例如经典sense重建法、经典grappa重建法，放大了噪声，使得其图像质量较低，影响了估计不同叶片之间的运动参数的准确性，如果运动参数估计不准确，那么最终合成的图像也会较为模糊。一种解决思路是使用例如spirit或espirit等迭代重建方法，将不同叶片的数据统一进行重建，但是这样就无法将最重要的运动校正与重建相结合，消除运动带来的伪影。


技术实现要素：

5.基于现有技术中的问题，本发明提供一种螺旋桨磁共振成像的重建系统和方法，旨在解决针对加速采样的磁共振图像在重建图像时造成图像模糊或者存在伪影等技术问题。
6.一种螺旋桨磁共振成像的重建系统，包括：
7.模型建立模块，用于预先建立以及训练形成一深度学习模型；
8.存储模块，连接模型建立模块，用于存储深度学习模型；
9.图像获取模块，用于获取待重建的加速的磁共振图像以及对应的线圈灵敏度图像；
10.结果获取模块，分别连接图像获取模块和存储模块，用于将待重建的加速的磁共
振图像以及线圈灵敏度图像输入深度学习模型中以分别输出叶片图像以及叶片图像之间的运动参数；
11.图像矫正模块，连接结果获取模块，用于基于输出的运动参数对输出的每个叶片图像进行矫正；
12.图像重建模块，连接图像矫正模块，用于对矫正后的每个叶片图像进行合并以获得重建的高分辨率的去伪影的磁共振图像。
13.进一步的，模型建立模块包括：
14.图像收集单元，用于收集已公开的磁共振图像作为训练样本；
15.图像处理单元，连接图像收集单元，用于获取训练样本对应的线圈灵敏度图像；
16.第一参数设置单元，用于设置螺旋桨磁共振仿真的成像参数；
17.第二参数设置单元，用于设置随机运动参数；
18.第一数据生成单元，分别连接图像收集单元、图像处理单元、第一参数设置单元和第二参数设置单元，用于基于训练样本、对应的线圈灵敏度图像、成像参数以及随机运动参数以生成未加速的k空间数据；
19.第二数据生成单元，连接第一数据生成单元，用于对未加速的k空间数据进行欠采样处理生成加速的k空间数据；
20.模型构建单元，建立一未训练的深度学习模型；
21.训练单元，分别连接图像处理单元、第二数据生成单元以及模型构建单元，用于以加速的k空间数据、对应的线圈灵敏度图像作为深度学习模型的输入，深度学习模型输出的叶片图像作为第一输出结果以及叶片图像之间的运动参数作为第二输出结果，基于总损失函数训练深度学习模型，并将训练好的深度学习模型存储于存储模块中。
22.进一步的，深度学习模型的总损失函数由第一损失函数和第二损失函数权重相加获得；
23.第一损失函数用于计算第一输出和未加速的k空间数据之间的损失；
24.第二损失函数用于计算第二输出与随机运动参数之间的损失。
25.进一步的，成像参数包括叶片数量、叶片旋转角度以及k空间矩阵大小。
26.进一步的，随机运动参数包括平移和旋转角度。
27.进一步的，图像处理单元用于：对于为单通道图像或者多通道合并后的训练样本，随机仿真以生产对应的多通道的线圈灵敏度图像。
28.进一步的，深度学习模型的网络架构包括：
29.傅里叶逆变换层，以加速的k空间数据作为输入，将k空间数据从频率域转换成图像域作为输出；
30.共轭相乘层，以傅里叶逆变换层的输出和线圈灵敏度图作为输入，每个叶片图像与对应通道的线圈灵敏度图共轭相乘；
31.线圈通道结合层，输入端连接共轭相乘层的输出端，以将每个通道的共轭相乘结果相加作为输出；
32.第一卷积模块，输入端连接线圈通道结合层的输出端，包括若干卷积层，输出第一次卷积操作后的每个叶片的中间图像；
33.第一傅里叶变换层，输入端连接第一卷积模块的输出端，将叶片的中间图像从图
像域转换成频率域，形成中间的k空间数据；
34.第一数据一致层，一输入端连接第一傅里叶变换层，另一输入端以加速的k空间数据作为输入，以加速的k空间数据部分替换中间的k空间数据；
35.第一中心裁剪层，输入端连接第一数据一致层的输出端，对替换后的k空间数据中每个叶片的k空间进行裁剪获取每个叶片的k空间中心区域并输出；
36.第一全连接层，输入端连接第一中心裁剪层的输出端，输出初步估计的运动参数；
37.初步图像重建层，分别连接第一卷积模块的输出端和第一全连接层的输出端以作为输入，基于初步估计的运动参数对第一次卷积操作后输出的每个叶片的中间进行初步重建合并，进一步初步仿真生成叶片图像；
38.融合层，分别连接初步图像重建层的输出端和第一卷积模块的输出端以作为输入，将初步仿真生成的叶片图像与第一次卷积操作后的图像分别进行融合；
39.第二卷积模块，输入端连接融合层的输出端，包括若干卷积层，对融合后的图像进行第二次卷积操作，第一输出端输出叶片图像作为第一输出结果；
40.第二卷积模块的第二输出端依次连接第二傅里叶变换层、第二数据一致层、第二中心裁剪层、第二全连接层；
41.第二数据一致层还以加速的k空间数据作为输入进行部分数据替换；
42.第二中心裁剪层获取每个叶片的k空间中心区域；
43.第二全连接层的输出端输出运动参数作为第二输出结果。
44.进一步的，第一中心裁剪层和第二中心裁剪层分别截取的k空间中心区域大小为30
×
30。
45.一种螺旋桨磁共振成像的重建方法，使用前述的一种螺旋桨磁共振成像的重建系统，包括：
46.步骤a1，获取待重建的加速的磁共振图像以及对应的线圈灵敏度图像；
47.步骤a2，将待重建的加速的磁共振图像以及线圈灵敏度图像输入训练好的深度学习模型中以输出叶片图像以及叶片图像之间的运动参数；
48.步骤a3，基于输出的运动参数对每个叶片图像进行矫正；
49.步骤a4，对矫正后的每个叶片图像进行合并以获得重建的高分辨率的去伪影的磁共振图像。
50.进一步的，步骤a2中，深度学习模型的训练步骤包括：
51.步骤b1，收集已公开的磁共振图像作为训练样本；
52.步骤b2，获取训练样本对应的线圈灵敏度图像；
53.步骤b3，设置螺旋桨磁共振仿真的成像参数；
54.步骤b4，设置随机运动参数；
55.步骤b5，设置基于训练样本、对应的线圈灵敏度图像、成像参数以及随机运动参数以生成未加速的k空间数据；
56.步骤b6，对未加速的k空间数据进行欠采样处理生成加速的k空间数据；
57.步骤b7，以加速的k空间数据、对应的线圈灵敏度图像输入构建的深度学习模型，输出叶片图像作为第一输出结果以及输出叶片图像之间的估计运动参数作为第二输出结果，训练深度学习模型，并将训练好的深度学习模型进行存储。
58.本发明的有益技术效果在于：基于训练后的深度学习模型，对采集的磁共振图像进行处理仿真的每个叶片图像和估计的运动参数，矫正叶片图像后重建，可以去除伪影，降低噪声，提高运动参数估计的准确性，提高图像质量，重建出高分辨率的磁共振图像。
附图说明
59.图1为现有技术中一种螺旋桨磁共振成像的采集叶片旋转示意图；
60.图2为本发明一种螺旋桨磁共振成像的重建系统的模块示意图；
61.图3为本发明一种螺旋桨磁共振成像的重建系统的模型建立模块的模块示意图；
62.图4为本发明一种螺旋桨磁共振成像的重建系统的训练过程示意图；
63.图5为本发明一种螺旋桨磁共振成像的重建系统的一种深度学习模型的网络结构示意图；
64.图6为本发明一种螺旋桨磁共振成像的重建方法的步骤流程图；
65.图7为本发明一种螺旋桨磁共振成像的重建方法的训练步骤流程图；
具体实施方式
66.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
67.需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
68.下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
69.参见图2，本发明提供一种螺旋桨磁共振成像的重建系统，包括：
70.模型建立模块(1)，用于预先建立以及训练形成一深度学习模型；
71.存储模块(2)，连接模型建立模块(1)，用于存储深度学习模型；
72.图像获取模块(3)，用于获取待重建的加速的磁共振图像以及对应的线圈灵敏度图像；
73.结果获取模块(4)，分别连接图像获取模块(3)和存储模块(2)，用于将待重建的加速的磁共振图像以及线圈灵敏度图像输入深度学习模型中以分别输出叶片图像以及叶片图像之间的运动参数；
74.图像矫正模块(5)，连接结果获取模块(4)，用于基于输出的运动参数对输出的每个叶片图像进行矫正；
75.图像重建模块(6)，连接图像矫正模块(5)，用于对矫正后的每个叶片图像进行合并以获得重建的高分辨率的去伪影的磁共振图像。
76.参见图3-4，进一步的，模型建立模块(1)包括：
77.图像收集单元(101)，用于收集已公开的磁共振图像作为训练样本；
78.图像处理单元(102)，连接图像收集单元(101)，用于获取训练样本对应的线圈灵敏度图像；
79.第一参数设置单元(103)，用于设置螺旋桨磁共振仿真的成像参数；
80.第二参数设置单元(104)，用于设置随机运动参数；
81.第一数据生成单元(105)，分别连接图像收集单元(101)、图像处理单元(102)、第一参数设置单元(103)和第二参数设置单元(104)，用于基于训练样本、对应的线圈灵敏度图像、成像参数以及随机运动参数以生成未加速的k空间数据；
82.第二数据生成单元(106)，连接第一数据生成单元(105)，用于对未加速的k空间数据进行欠采样处理生成加速的k空间数据；
83.模型构建单元(107)，建立一未训练的深度学习模型；
84.训练单元(108)，分别连接图像处理单元(102)、第二数据生成单元(106)以及模型构建单元(107)，用于以加速的k空间数据、对应的线圈灵敏度图像作为深度学习模型的输入，深度学习模型输出的叶片图像作为第一输出结果以及叶片图像之间的运动参数作为第二输出结果，基于总损失函数训练深度学习模型，并将训练好的深度学习模型存储于存储模块中。
85.进一步的，深度学习模型的总损失函数由第一损失函数和第二损失函数权重相加获得；
86.第一损失函数用于计算第一输出和未加速的k空间数据之间的损失；
87.第二损失函数用于计算第二输出与随机运动参数之间的损失。
88.进一步的，成像参数包括叶片数量、叶片旋转角度以及k空间矩阵大小。
89.进一步的，随机运动参数包括平移和旋转角度。
90.进一步的，图像处理单元(102)用于对于为单通道图像或者多通道合并后的训练样本，随机仿真以生产对应的多通道的线圈灵敏度图像。
91.此外，图像处理单元(102)对于训练数据集中为多通道图像的磁共振图像为，直接获取对应的线圈灵敏度图像。
92.本发明采用深度学习模型，首先对深度学习模型进行训练，对每一分训练样本，同时输出不同叶片图像即blade图像和他们之间的运动参数，充分利用不同blade图像之间在空间编码上的互补信息，又同时考虑到了他们之间由于运动导致的差异，以此整体重建形成去伪影高分辨率的磁共振图像。
93.在训练样本采集过程中，可以采用的磁共振图像作为训练样本，首先在机器上采集一些磁共振图像，比如说脑部或腹部的磁共振图像，用这些图像作为基准,根据常见的propeller成像参数，包括blade个数，blade旋转角度，矩阵大小等信息和随机的运动参数，生成未加速即满采的k空间数据，即propeller数据，可以通过对满采的k空间数据进行欠采样的方式生成加速的k空间数据，即propeller数据。
94.磁共振图像对应的线圈灵敏度图像的获取，图像处理单元可以随机仿真以生产对应的多通道的线圈灵敏度图像。在某些实施例中，作为基准的磁共振图像，可能是单通道的或者是已经通道合并后得到的，那么可以随机仿真一些线圈灵敏度图生成多通道的数据，在另外一些实施例中，作为基准的磁共振图像本身可能就是多通道的，那么不需要额外随机仿真生成线圈灵敏度图，而可以利用这些多通道的线圈灵敏度图像，用于后续的重建。
95.在本发明中，深度学习模型的网络架构可以采用卷积神经网络模型、循环神经网络模型、转换器(transformer)模型等。优选的，深度学习模型可以使用以上两种或者多种模型的组合，这样能够带来更准确的输出效果。
96.在本发明中，针对每个训练样本，深度学习模型的两个输入，一个是欠采样的图像，即加速的k空间数据，为复数形式，另一个是线圈灵敏度图像，具体参数例如是：大小为256
×
30(256
×
30为每个叶片的相位编码步数，没采集的位置补零)
×
16(叶片个数)
×
8(线圈通道)
×
2(实部和虚部)的复数k空间数据，以及256
×
256(256
×
256为矩阵大小)
×
8(线圈通道)
×
2(实部和虚部)的线圈灵敏度图像。深度学习模型的输出结果是多个叶片图像以及运动参数，例如输出是256
×
256(256
×
256为大小)
×
16(叶片个数)
×
2(实部和虚部)的各个叶片图像，以及3(运动参数个数)
×
16(叶片个数)，此处3是2d刚体运动下的想xy方向平移和旋转角度。其他实施例中，也可以使用仿射变换、非线性变换的等更复杂模型，会有更多的运动参数。
97.在发明中，可以采用adam或者sgd优化器来最小化损失函数。
98.对于第一损失函数，可以选择均方误差(mean squared error)，也可以额外使用基于gan的损失函数。对于第二损失函数，可以选择均方误差(mean squared error)，绝对误差损失等。
99.参见图5，进一步的，作为一种优选实施方式，深度学习模型的网络架构包括：依次连接的傅里叶逆变换层(例如快速傅里叶逆变换层即ifft层)、共轭相乘层、线圈通道结合层、第一卷积模块、第一傅里叶变换层(例如快速傅里叶变换成即第一fft层)、第一数据一致层、第一中心裁剪层、第一全连接层、初步图像重建层、融合层、第二卷积模块；第二卷积模块第一输出端输出第一输出结果；第二卷积层的第二输出端还依次连接第二fft层(例如快速傅里叶变换成即第二fft层)、第二数据一致层、第二中心裁剪层、第二全连接层；第二全连接层的输出端输出第二输出结果输；即：
100.傅里叶逆变换层，以加速的k空间数据作为输入，将k空间数据从频率域转换成图像域作为输出；
101.共轭相乘层，以傅里叶逆变换层的输出和线圈灵敏度图作为输入，每个叶片图像与对应通道的线圈灵敏度图共轭相乘；
102.线圈通道结合层，输入端连接共轭相乘层的输出端，以将每个通道的共轭相乘结果相加作为输出；
103.第一卷积模块，输入端连接线圈通道结合层的输出端，包括若干卷积层，输出第一次卷积操作后的每个叶片的中间图像；
104.第一傅里叶变换层，输入端连接第一卷积模块的输出端，将叶片的中间图像从图像域转换成频率域，形成中间的k空间数据；
105.第一数据一致层，一输入端连接第一傅里叶变换层，另一输入端以加速的k空间数据作为输入，以加速的k空间数据部分替换中间的k空间数据；
106.第一中心裁剪层，输入端连接第一数据一致层的输出端，对替换后的k空间数据中每个叶片的k空间进行裁剪获取每个叶片的k空间中心区域并输出；
107.第一全连接层，输入端连接第一中心裁剪层的输出端，输出初步估计的运动参数；
108.初步图像重建层，分别连接第一卷积模块的输出端和第一全连接层的输出端以作为输入，基于初步估计的运动参数对第一次卷积操作后输出的每个叶片的中间进行初步重建合并，进一步初步仿真生成叶片图像；
109.融合层，分别连接初步图像重建层的输出端和第一卷积模块的输出端以作为输
入，将初步仿真生成的叶片图像与第一次卷积操作后的图像分别进行融合；
110.第二卷积模块，输入端连接融合层的输出端，包括若干卷积层，对融合后的图像进行第二次卷积操作，第一输出端输出叶片图像作为第一输出结果；
111.第二卷积模块的第二输出端依次连接第二傅里叶变换层、第二数据一致层、第二中心裁剪层、第二全连接层；
112.第二数据一致层还以加速的k空间数据作为输入进行部分数据替换；
113.第二中心裁剪层获取每个叶片的k空间中心区域；
114.第二全连接层的输出端输出运动参数作为第二输出结果。
115.基于上述深度学习模型的网络架构，加速的k空间数据经过快速傅里叶反变换(ifft)层变换从频率域到图像域；然后使用对于每个叶片图像，每个线圈通道乘以线圈灵敏度图的共轭后，所有通道相加，所得图像经过n个卷积层(第一卷积模块)，得到每个叶片通道合并后的中间叶片图像(不是最终的，而是不准确的估计)；中间叶片图像经由第一傅里叶变换层将中间叶片图像从图像域转换成频率域，形成中间的k空间数据，在第一数据一致层，将原始输入的加速的k空间数据的至少部分数据替换中间的k空间数据对应位置的数据，进一步强化特征。k空间中区区域每个叶片图像重合最大，第一中心裁剪层替换后k空间数据的每个叶片的k空间进行裁剪，获取k空间中心区域的部分，取其中心30
×
30的部分(考虑所有叶片，例如16个叶片，形成30
×
30
×
16的张量)，之后将裁剪后的k空间数据接入包含48个(等于总的运动参数个数即3
×
16)神经元的全连接层，得出粗略的运动参数估计，形成初步运动参数，根据初步运动参数对第一卷积模块输出的中间叶片图像进行初步重建合并，基于初步重建合并的图像进行仿真初步生成多个叶片图像，将初步生成的每个叶片图像拼接到原有的之前由第一卷积模块得到的中间叶片图像上，组成新的张量；再经过第二卷积模块的若干卷积层卷积操作后得到每个叶片图像作为第一输出结果，第二卷积模块同时再经过第二傅里叶变换层、第二数据一致层，第二中心裁减层，和第二全连接层得到运动参数作为第二输出结果。
116.优选的，第一卷积模块包含n个卷积层，每个卷积层例如包含32个3
×
3卷积核。
117.进一步的，第一中心裁剪层和第二中心裁剪层分别截取的k空间中心区域大小为30
×
30。
118.参见图6，本发明还提供一种螺旋桨磁共振成像的重建方法，其特征在于，使用前述的一种螺旋桨磁共振成像的重建系统，包括：
119.步骤a1，获取待重建的加速的磁共振图像以及对应的线圈灵敏度图像；
120.步骤a2，将待重建的加速的磁共振图像以及线圈灵敏度图像输入训练好的深度学习模型中以获取叶片图像以及叶片图像之间的运动参数；
121.步骤a3，基于运动参数对每个叶片图像进行矫正；
122.步骤a4，对矫正后的每个叶片图像进行合并以获得重建的高分辨率的去伪影的磁共振图像。
123.参见图7，进一步的，步骤a2中，深度学习模型的训练步骤包括：
124.步骤b1，收集已公开的磁共振图像作为训练样本；
125.步骤b2，获取训练样本对应的线圈灵敏度图像；
126.步骤b3，设置螺旋桨磁共振仿真的成像参数
127.步骤b4，设置随机运动参数；
128.步骤b5，设置基于训练样本、对应的线圈灵敏度图像、成像参数以及随机运动参数以生成未加速的k空间数据；
129.步骤b6，对未加速的k空间数据进行欠采样处理生成加速的k空间数据；
130.步骤b7，以加速的k空间数据、对应的线圈灵敏度图像输入构建的深度学习模型，输出叶片图像作为第一输出结果以及输出叶片图像之间的估计运动参数作为第二输出结果，训练深度学习模型，并将训练好的深度学习模型进行存储。
131.基于本发明提供的一种螺旋桨磁共振成像的重建系统和方法，生成的磁共振图像质量更好，信噪比高、伪影少，有助于医生诊断提升准确率，也有科研人员开展更多更深入的研究。
132.以上仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。