基于特征迁移的三维磁共振平面间超分辨重建方法和系统与流程

本发明涉及磁共振医学影像领域和深度学习领域，尤其涉及一种基于特征迁移的三维磁共振平面间超分辨重建方法的方法和系统。

背景技术：

1、磁共振成像由于其非侵入式成像和丰富的软组织对比度信息成为了脑科学研究中的重要研究手段。然而由于成像系统以及设备本身的限制，临床上获取高质量的磁共振图像并不容易。此外，过长的扫描时间也会给患者带来不适，同时会引入运动噪声，进一步降低图像质量。超分辨重建方法是一种不需要升级硬件设备的图像后处理技术，具有广泛的潜在应用价值。

2、目前比较成熟的磁共振超分辨图像技术主要是处理层面内的采样问题。而很多临床数据是采用的层面间的采样，不同的下采样模式对算法就有了不同的要求。此外，受限于三维磁共振数据的数据量以及高维神经网络的复杂度，大多数算法都是将三维磁共振数据切分成二维磁共振图像，采用单张图像超分辨模型来重建，损失了部分先验知识。事实上，层面间采样的磁共振图像在各个方向上都有空间约束关系，根据图像局部相似性原则判断，相邻层间的切片会比较相似，这意味着每层切片重建时，可以利用相邻层的特征信息。

技术实现思路

1、针对现有大多数技术仅仅使用单张图像重建而没有充分利用三维磁共振数据本身的先验信息，本发明提出了基于特征迁移的三维磁共振平面间超分辨重建方法和系统。本发明将主要解决两个问题：首先，如何获得先验知识，由于层面内采样每一层切片从二维图像上看是高分辨的，且包含相邻数层切片的信息，因而可以作为超分辨重建的参考图像；其次，如何在网络中将高分辨率图像特征迁移到低分辨率图像中，即如何对初始图像与参考图像进行相似度匹配，以及如何迁移参考图像的高分辨率特征。

2、本发明的目的是通过以下技术方案来实现的：第一方面，本发明提供了一种基于特征迁移的三维磁共振平面间超分辨重建方法，该方法包括以下步骤：

3、（1）获取t1加权的三维高分辨率数据和对应的三维低分辨率数据；

4、（2）进行数据预处理并构建输入集，先将三维低分辨率数据进行插值，基于三维低分辨率数据构建二维初始数据并寻找和二维初始数据最相似的二维参考数据，基于三维高分辨率数据寻找和二维初始数据位置对应的二维标签数据；

5、（3）构建基于特征迁移和平面间超分辨的深度学习网络；该网络包括编码模块，用于提取二维初始数据和二维参考数据的不同尺度的特征，每个尺度的特征分别输入到一个特征迁移模块，用于将二维参考数据的信息迁移到待重建的特征中，将迁移的特征和原特征融合后输入到解码模块，恢复出原图像；

6、（4）设计损失函数，利用二维初始数据、二维参考数据和二维标签数据对深度学习网络进行训练；

7、（5）超分辨重建时，根据分辨率构建数据集，输入到训练好的深度学习网络中完成重建；然后，将重建好的二维磁共振数据合成三维磁共振数据。

8、进一步地，步骤（1）中，利用相同的设备在相同环境下，通过设置不同的采样率来分别获得高分辨率的t1加权的三维磁共振数据和对应的三维低分辨率数据。

9、进一步地，步骤（1）中，获取高分辨率的t1加权的三维磁共振数据，然后对三维磁共振数据进行模拟平面间下采样，即沿着平面垂直的方向将多层切片进行数值平均，获得三维低分辨率数据，选取的层数等同于下采样率的倍数。

10、进一步地，步骤（2）中，二维初始数据获得过程具体为：使用三次样条插值方法对三维低分辨率数据进行插值，并沿着下采样方向将三维低分辨率数据展开成多张二维图像；对二维图像灰度值归一化到0~1之间，对图像灰度值求和，然后剔除掉结果小于所设定的阈值的图像，阈值的设定与图像大小相关，保留的数据记作二维初始数据。

11、进一步地，步骤（2）中，二维参考数据获得过程具体为：在三维低分辨率数据中为二维初始数据通过最近邻的方式寻找到最相似的二维切片作为二维参考数据。

12、进一步地，步骤（3）中，二维初始数据和二维参考数据经过第级编码模块的特征输出分别为，经过特征迁移模块后输出为：

13、；

14、其中r为特征迁移模块的图像块匹配算子，s为图像块融合的加权系数，r和s均由之间的相关性来定义。

15、进一步地，步骤（3）中，第级解码模块的特征输入为：

16、；

17、其中为神经网络中的卷积算子，为神经网络中的维度连接算子。

18、进一步地，步骤（4）中深度学习网络的损失函数为均方误差函数：

19、；

20、其中，是训练集数目，是二维图像索引，是第张磁共振的高分辨率图像，是第张磁共振的重建图像。

21、进一步地，步骤（5）中，将重建好的二维磁共振数据合成三维磁共振数据具体过程为：

22、对于单个受试者三维数据，按照步骤（2）沿着采样方向依序展开成二维初始数据序列，表示序列中第k个二维初始数据，m为序列中数据数量，经过深度学习网络重建后得到同序列的，表示序列中第k个二维重建数据，沿着采样方向将二维重建数据序列叠加在一起构成对应的三维磁共振数据。

23、另一方面，本发明还提供了一种基于特征迁移的三维磁共振平面间超分辨重建系统，该系统包括数据获取模块、数据预处理模块和深度学习网络模块；

24、所述数据获取模块用于获取t1加权的三维高分辨率数据和对应的三维低分辨率数据；

25、所述数据预处理模块用于进行数据预处理并构建输入集，先将三维低分辨率数据进行插值，基于三维低分辨率数据构建二维初始数据并寻找和二维初始数据最相似的二维参考数据，基于三维高分辨率数据寻找和二维初始数据位置对应的二维标签数据；

26、所述深度学习网络模块用于构建基于特征迁移和平面间超分辨的深度学习网络；并设计损失函数，利用二维初始数据、二维参考数据和二维标签数据对深度学习网络进行训练；深度学习网络模块包括编码模块、特征迁移模块和解码模块；

27、所述编码模块用于提取二维初始数据和二维参考数据的不同尺度的特征，每个尺度的特征分别输入到一个特征迁移模块；

28、所述特征迁移模块用于将二维参考数据的信息迁移到待重建的特征中，将迁移的特征和原特征融合后输入到解码模块，恢复出原图像；

29、所述解码模块用于超分辨重建，根据分辨率构建测试集，输入到训练好的深度学习网络中完成重建；然后，将重建好的二维磁共振数据合成三维磁共振数据。

30、本发明的有益效果是，本发明通过将三维磁共振数据切分成多张二维磁共振图像，将三维超分辨重建问题转换成二维超分辨重建问题，增加了可训练的数据量，同时降低了训练复杂度；此外为了避免三维数据转二维的信息损失，本发明借助特征迁移的思想，设计了多级特征迁移模块，结合编码网络和解码网络，融合了参考图像的特征信息，进一步提升了图像重建质量。进一步地，由于有相当一部分特征来自参考图像，本发明网络还能有效处理其他不同分辨率的磁共振数据，相比于其他的超分辨图像重建算法有着更高的泛化能力，为临床医学中磁共振图像分割、诊断、治疗提供了一种有效的后处理途径，丰富了医生从图像中获取信息的途径，这对于医学多中心数据融合，医学影像互认有着极为重要的意义。