基于双域卷积神经网络的快速磁共振重建系统及其训练方法与应用与流程

本发明属于医学图像处理技术领域，涉及磁共振成像技术，尤其涉及一种基于双域卷积神经网络的快速磁共振重建系统及其构建方法与应用。

背景技术：

医学影像技术凭借其可以以一种非侵入的方式为人体的内部结构提供丰富的解剖图像，可以比较直观地观察人体内部的各个病灶部位，因此，已经成为临床医学诊断和科学研究的重要辅助技术之一。

磁共振成像作为医学影像领域最重要成像技术之一，相比于其它影像技术，该成像技术有其独特的优点：(1)没有电离辐射，它是物理基础是原子核的磁共振现象，没有像x光、ct等医学图像采用x射线来进行成像的，因此该技术不存在电离辐射；(2)对软组织具有较高的分辨率；(3)可以在任意方位进行成像；(4)成像参数多，能提供更丰富、更精确的诊断信息。

虽然磁共振成像有着其它成像技术无法比拟的优势，但是该方法也存在一个极大的缺陷：成像速度慢，扫描时间长。成像时间长会导致患者的非自主运动，同时伴随自主的生理运动(比如腹部、心脏的自主运动)，从而使最终的磁共振图像含有伪影，这些伪影会导致图像质量下降，最终影响医师的诊断。同时由于其在运转过程中，伴随有巨大的噪声，这会使患者产生不适。同时在一些对动态实时性要求很高的场合，该方法根本无法发挥作用。因此，该缺点严重阻碍该成像技术的全面应用。

目前，有大量的学者研究了许多的方法来加快磁共振成像的速度，这些方法主要可以分为两类：基于系统成像的并行成像和基于信号处理的压缩感知磁共振重建。

并行成像技术使用多个相互独立的接收阵列线圈同时采集数据，同时结合每个线圈的灵敏度进行空间信息编码，最后利用相应的算法来重建出最终的图像。基于系统成像的并行成像方法主要可以分为两类：(1)基于k空间的并行重建算法，该算法最具代表性的算法是由sodickson等人提出的smash算法，它是历史上第一个用于临床检查的磁共振并行成像技术；该算法通过接收线圈的灵敏度的线性组合，来恢复出欠采样导致缺失的k空间数据；(2)基于图像域的并行磁共振重建，这类算法首先将每个线圈采集的数据信号通过逆傅里叶变换得到图像域的数据，再依靠每个线圈的灵敏度信息来重建出最终的图像，这类算法代表算法是pruessmann提出的sense算法；但是这类算法通常加速因子小于线圈个数。

由于采样样本的数量与扫描时间成线性关系，通过稀疏采样(减少采集的数据量)来加快磁共振成像速度已成为快速磁共振成像领域的研究热点，压缩感知理论就是其中具有代表性的工作，若信号具有可压缩性或在某一变换域具有稀疏性，该理论可以在数据采集量低于奈奎斯特采样频率时准确还原出原始信号。但是这类方法有几个缺点：(1)迭代求解的过程比较耗时；(2)超参数的选择比较困难；(3)正则项的选择比较困难。

近年来，深度学习的成功应用给压缩感知快速磁共振重建提出了新的方向并获得大量学者的关注。这类方法大致可分为5类方法：第一类方法是一种基于后处理的方法，该方法首先由欠采样数据利用逆傅里叶变换获得零填充图像(含有伪影)，然后利用神经网络来得到去除伪影的图像。第二类方法是将欠采样数据作为神经网络的输入，恢复出全采样的数据，最后利用逆傅里叶变换来得到磁共振图像。第三类方法是迭代展开的方法，这类方法将压缩感知方法利用不同的数值求解算子展开成网络和数值求解相结合的形式来进行重建。第三类方法利用神经网络直接从欠采样数据来重建出全采样的磁共振图像数据。第五类方法是基于双域的方法。这类方法首先使用是神经网络在欠采样数据上进行处理，然后使用逆傅里叶变换得到图像域数据，然后使用神经网络来重建出最终的图像。

但是，目前存在的基于深度学习的压缩感知磁共振重建方法基本是基于单域的重建模型或基于双域的串联模型。前者只利用了磁共振图像的一种数据形式(k空间或者图像域)来进行重建，没有充分利用各种数据形式带来的细节信息，因此不能充分重建出图像细节信息。后者虽然利用了双域的数据，但是以一种串联的形式来连接两个域的模型，这种形式潜在地为这两种形式的数据引入了优先级的先验信息，因此忽略了它们本身的内部潜在关系，因此重建出的图像还是存在一定细节丢失的情况。

技术实现要素：

针对目前基于深度学习的压缩感知磁共振重建方法存在的无法有效利用数据信息导致的图像细节丢失的技术现状，本发明的目的旨在提供一种基于双域卷积神经网络的快速磁共振重建系统，基于磁共振图像具有k空间和图像域两种形式的数据以及两种形式数据之间还存在的某种潜在关联性，采用两个卷积神经网络作为基本的网络模型分别并行重建k空间数据和图像域数据，然后利用傅里叶变换、反傅里叶变换和数据融合等来重建出细节清晰的图像，有效提升成像质量。

本发明的另一目的旨在提供上述基于双域卷积神经网络的快速磁共振重建系统的训练方法。

本发明的第三个目的旨在提供上述基于双域卷积神经网络的快速磁共振重建系统在磁共振成像中的应用。

本发明提供的基于双域卷积神经网络的快速磁共振重建系统，由多个第一数据处理装置和一个第二数据处理装置以级联的方式组合而成，第二数据处理装置与最后一个第一数据处理装置级联；

所述第一数据处理装置包括第一k空间数据处理模块、第一图像域数据处理模块、k空间数据融合模块和图像域数据融合模块；

所述第一k空间数据处理模块包括沿数据流方向顺次设置的第一卷积神经网络单元、第一k空间数据约束单元和第一k空间数据变换单元；第一卷积神经网络单元用于对输入第一数据处理装置的k空间数据进行重建，第一k空间数据约束单元利用输入快速磁共振重建系统的欠采样k空间数据来对第一卷积神经网络单元重建出的k空间数据进行约束，第一k空间数据变换单元用于将数据约束处理得到的k空间数据转换成图像域数据；

所述第一图像域数据处理模块包括沿数据流方向顺次设置的第二卷积神经网络单元、第一图像域数据约束单元和图像域数据变换单元；第二卷积神经网络单元用于对输入第一数据处理装置的图像域数据进行重建，第一图像域数据约束单元利用输入快速磁共振重建系统的欠采样k空间数据来对第二卷积神经网络重建出的磁共振图像进行数据约束，图像域数据变换单元用于将数据约束处理得到的图像域数据转换成k空间数据；

k空间数据融合模块用于将第一k空间数据约束单元得到的k空间数据与图像域数据变换单元得到的k空间数据融合生成第一数据处理装置输出的k空间数据；

图像域数据融合模块用于将第一图像域数据约束单元得到的图像域数据与第一k空间数据变换单元得到的图像域数据融合生成第一数据处理装置输出的图像域数据；

所述第二数据处理装置包括第二k空间数据处理模块、第二图像域数据处理模块和数据融合输出模块；

所述第二k空间数据处理模块包括沿数据流方向顺次设置的第三卷积神经网络单元、第二k空间数据约束单元和第二k空间数据变换单元；第三卷积神经网络单元用于对输入第二数据处理装置的k空间数据进行重建，第二k空间数据约束单元利用输入快速磁共振重建系统的欠采样k空间数据来对第三卷积神经网络单元重建出的k空间数据进行数据约束，第二k空间数据变换单元用于将数据约束处理得到的k空间数据转换成图像域数据；

所述第二图像域数据处理模块包括沿数据流方向设置的第四卷积神经网络单元和第二图像域数据约束单元；第四卷积神经网络单元用于对输入第二数据处理装置的图像域数据进行重建，第二图像域数据约束单元利用输入快速磁共振重建系统的欠采样k空间数据来对第四卷积神经网络单元重建出的磁共振图像进行数据约束；

所述数据融合输出模块用于将第二图像域数据约束单元得到的图像域数据与第二k空间数据变换单元得到的图像域数据融合生成第二数据处理装置输出的图像域数据。

基于双域卷积神经网络的快速磁共振重建系统，所述第一卷积神经网络单元、第二卷积神经网络单元、第三卷积神经网络单元、第四卷积神经网络单元结构均相同，均包含依次设置的若干卷积单元及位于最后一个卷积单元后的全连接层。所述卷积单元由卷积层和位于卷积层后的激活函数组成。所述全连接层为残差连接层。

基于双域卷积神经网络的快速磁共振重建系统，所述第一k空间数据约束单元和第二k空间数据约束单元采用公式(1)所示的函数进行约束处理：

式中，表示第一卷积神经网络或第三卷积神经网络输出的k空间数据，y表示输入快速磁共振重建系统的欠采样的空间数据，j表示数据坐标点，ω表示原始的采样坐标集合。

基于双域卷积神经网络的快速磁共振重建系统，所述第一图像域数据约束单元和第二图像域数据约束单元结构均相同，包括傅里叶变换子单元、数据约束子单元和逆傅里叶变换子单元，所述傅里叶变换子单元用于将第二卷积神经网络单元或第四卷积神经网络单元重建出的图像域数据转换成k空间数据，所述数据约束子单元利用输入快速磁共振重建系统的欠采样k空间数据对傅里叶变换子单元输出的k空间数据进行数据约束处理，所述逆傅里叶变换单元用于将数据约束子单元得到的k空间数据转换成图像域数据。所述数据约束子单元采用如公式(2)所示的函数完成约束处理：

式中，表示傅里叶变换子单元的输出数据，y表示输入快速磁共振重建系统的欠采样的k空间数据，j表示数据坐标点，ω表示原始的采样坐标集合。

基于双域卷积神经网络的快速磁共振重建系统，所述第一k空间数据转换单元和第二k空间数据转换单元均利用逆向傅里叶变换将数据约束处理得到的k空间数据转换成图像数据，所述图像域变换单元利用傅里叶变换将数据约束处理得到的图像域数据转换成k空间数据。

基于双域卷积神经网络的快速磁共振重建系统，k空间数据融合模块、所述数据融合输出模块和数据融合输出模块均采用公式(3)所示的融合函数完成数据融合：

其中，a表示该函数的输出结果，a1和a2分别表示该函数的输入数据，μ表示加权因子。

本发明进一步提供了上述基于双域卷积神经网络的快速磁共振重建系统的训练方法，包括以下步骤：

s1数据预处理，对训练集原始k空间数据进行处理得到欠采样的k空间数据和零填充图像域数据；

s2生成磁共振重建图像，将预处理得到的欠采样的k空间数据和零填充图像域数据输入所述快速磁共振重建系统，输出磁共振重建图像；

s3获取损失值，将磁共振重建图像带入损失函数中得到相应的损失值；

s4依据损失值判断快速磁共振重建系统是否收敛，若快速磁共振重建系统收敛，即完成所述快速磁共振重建系统的训练；若不收敛，进入步骤s5；

s5优化系统，依据得到的损失值对快速磁共振重建系统进行修正，得到优化后的快速磁共振重建系统，然后返回步骤s2，重复步骤s2-s5，直至损失值收敛，即完成所述快速磁共振重建系统的训练。

上述基于双域卷积神经网络的快速磁共振重建系统的训练方法，由于深度学习在训练过程中，需要具有大量数据的训练集，因此数据收集及预处理是整个过程中至关重要的一步，关系到整个模型建立的成功与否。原始mri(magneticresonanceimaging)图像数据是由磁共振成像设备采集得到的，其为k空间数据。本发明中，由若干训练样本的原始全采样(即采样率为100％)的k空间数据作为构建预处理数据的训练集原始数据，具体按照以下分步骤进行数据预处理：

s11对训练集原始k空间数据和图像域数据进行规约处理；

本步骤中按照以下公式(4)对原始的k空间数据进行规约处理，规约到[0，255]：

其中，x表示原始的k空间数据，x^*表示规约处理后的k空间数据，min表示原始的k空间数据最小值，max表示原始的k空间数据最大值。

s12对规约处理后的k空间数据进行下采样处理，得到欠采样k空间数据。

当缺少欠采样k空间数据时，本发明可以通过对训练集中k空间数据进行下采样处理，所得k空间数据即为欠采样k空间数据。可以利用磁共振成像设备的一些常见的采样轨迹(例如径向采样、一维高斯随机分布，二维高斯随机分布等)对规约处理后的k空间数据进行下采样处理。

s13对欠采样k空间数据进行逆傅里叶变换生成零填充图像域数据。

本实施例中，对采样处理后的欠采样k空间数据进行逆傅里叶变换，生成的零填充图像域数据作为快速磁共振重建系统的输入数据。

上述基于双域卷积神经网络的快速磁共振重建系统的训练方法，步骤s2-s5的目的是利用预处理得到的k空间数据和生成的零填充图像域数据对所述快速磁共振重建系统进行训练和优化。

上述步骤s2中，利用所述快速磁共振重建系统对预处理得到的k空间数据和零填充图像域数据进行处理得到磁共振重建图像，具体包括以下分步骤：

s21通过依次级联的多个第一数据处理装置对预处理得到的k空间数据和零填充图像域数据进行处理；

任一第一数据处理装置对k空间数据和图像域数据处理过程包括k空间数据处理、图像域数据处理、k空间数据融合和图像域数据融合；

所述k空间数据处理包括以下分步骤：

s211利用第一卷积神经网络单元对输入第一数据处理装置的k空间数据进行处理，得到重建的k空间数据；

s212利用第一k空间数据约束单元对第一卷积神经网络单元重建的k空间数据和步骤s1预处理得到的欠采样k空间数据进行数据约束处理；

s213利用第一k空间数据变换单元将数据约束处理得到的k空间数据转换成图像域数据；

所述图像域数据处理包括以下分步骤：

s214利用第二卷积神经网络单元对输入第一数据处理装置的图像域数据进行处理，得到重建的磁共振图像；

s215利用第一图像域数据约束单元对第二卷积神经网络单元重建的磁共振图像和步骤s1预处理得到的欠采样k空间数据进行数据约束处理；

s216利用图像域数据变换单元将数据约束处理得到的图像域数据转换成k空间数据；

所述k空间数据融合处理为：利用k空间数据融合模块将步骤s212得到的k空间数据和步骤s216得到的k空间数据进行融合生成第一数据处理装置输出的k空间数据；

所述图像域数据融合处理为：利用图像域数据融合模块将步骤s213得到的图像域数据和步骤s215得到的图像域数据进行融合生成第一数据处理装置输出的图像域数据；

s22通过第二数据处理装置对最后一个第一数据处理装置输出的k空间数据和图像域数据进行处理，包括k空间数据处理、图像域数据处理和图像域数据融合；

所述k空间数据处理包括以下分步骤：

s221利用第三卷积神经网络单元对输入第二数据处理装置的k空间数据进行处理，得到重建的k空间数据；

s222利用第二k空间数据约束单元对第一卷积神经网络单元重建的k空间数据和步骤s1预处理得到的的k空间数据进行数据约束处理；

s223利用第二k空间数据变换单元将数据约束单元得到的k空间数据转换成图像域数据；

所述图像域数据处理包括以下分步骤：

s224利用第四卷积神经网络单元对输入第二数据处理装置的图像域数据进行处理，得到重建的磁共振图像数据；

s225利用第二图像域数据约束单元对第四卷积神经网络单元重建的磁共振图像数据和步骤s1预处理得到的欠采样k空间数据进行数据约束处理；

所述图像域数据融合处理为：利用数据融合输出模块将步骤s223得到的图像域数据和步骤s225得到的图像域数据进行融合生成第二数据处理装置输出的图像域数据，即磁共振重建图像。

上述步骤s3中，本发明通过均方误差损失函数(即mse损失函数)获取损失值，mse损失函数为：

其中，n表示样本数量，xi表示第i个样本按照步骤s11规约处理后的k空间数据经逆傅里叶变换得到的图像域数据来作为步骤s2生成的磁共振重建图像的参考图像，表示步骤s2生成的磁共振重建图像。

上述步骤s4中，本发明根据损失值变化判断其是否满足收敛要求。当损失值几乎在某个值上下振荡而没有实质降低，此时便可以认为该模型已经收敛，即完成快速磁共振重建系统的训练；也可以将损失值与设定的阈值比较，当损失值小于设定阈值时，即完成快速磁共振重建系统的训练。

上述步骤s5中，对于深度学习模型而言，除了模型结构和损失函数之外，利用损失函数对模型的参数进行优化也是一个重要的组成部分。通常深度学习模型的参数都是数以十万计以上，在训练之前一般是通过随机初始化的方式对参数初始化一个初始值，然后通过优化算法找到使模型达到预期性能的参数值。常用的优化算法包括随机梯度下降、adagrad算法和adam算法。随机梯度下降及其变种是应用最多也是最简单的优化算法，它通过参数的梯度来寻找优化的方向，然后通过一个学习率来计算出参数的更新量，从而更新参数值。adagrad算法的思想是独立地适应模型的每个参数：具有较大偏导的参数相应有一个较大的学习率，而具有小偏导的参数则对应一个较小的学习率。adam算法也是自适应学习率算法的一种，其是目前深度学习算法中使用最为广泛的算法之一。本发明依据得到的损失值，采用adam算法对快速磁共振重建系统进行优化。该算法思想如下：首先计算有偏一阶矩和二阶矩，然后修正一阶矩和二阶矩的偏差，再用修正后的一阶和二阶矩来得到参数的更新量，从而对参数进行更新。

本发明进一步提供了上述基于双域卷积神经网络的快速磁共振重建系统在磁共振成像中的应用。将mri设备采集的欠采样数据(包括k空间数据和零填充图像域数据)输入到所述快速磁共振重建系统中，便可得到清晰、完整的磁共振图像。

本发明提供的基于双域卷积神经网络的快速磁共振重建系统，采用卷积神经网络结构为基本单元，同时引入数据约束、数据融合、数据转换等组合成完整的网络模型，以一种并联的方式对欠采样的磁共振图像双域数据(包括k空间数据和图像域数据)进行处理，不仅能够实现磁共振图像的快速重建，而且能够保留更多的图像细节，获得高质量的磁共振图像。

与现有技术相比，本发明具有以下有益效果：

(1)本发明是基于磁共振图像双域数据所提出的快速磁共振重建系统，以并联的形式来设计双域网络结构，其包括级联的第一数据处理装置和第二数据处理装置，两个数据处理装置均可实现k空间数据和图像域数据的并行处理，并结合数据约束处理和数据融合等，重建出高质量的磁共振图像。

(2)本发明快速磁共振重建系统中第一数据处理装置和第二数据处理装置均沿数据流方向分别并行设置k空间数据处理模块和图像域数据处理模块，从而以并联的方式对k空间数据和图像域数据进行处理，从而消除串联方式引入优先级的先验信息，快速磁共振重建系统通过学习两种数据形式的潜在联系，从而能够避免细节丢失，重建出质量更高的图像。

(3)本发明快速磁共振重建系统，在网络规模和计算量上更小，从而更容易部署且具有更强的泛化性，适于在磁共振成像领域推广使用。

附图说明

图1为本发明基于双域卷积神经网络的快速磁共振重建系统的结构框图图；其中，(a)为快速磁共振重建系统总体结构框图，(b)为第一数据处理装置结构框图，(c)为第二数据处理装置结构框图，(d)为卷积神经网络单元结构框图。

图2为本发明基于双域卷积神经网络的快速磁共振重建系统训练方法示意流程图。

图3为本发明构建预处理数据集分步骤流程图。

图4为本发明构建预处理数据集中下采样处理示意图，其中(a)表示径向采样，(b)表示一维高斯随机采样，(c)表示二维高斯随机采样。

图5为本发明利用快速磁共振重建系统生成磁共振重建图像示意流程图。

图6为本发明基于双域卷积神经网络的快速磁共振重建方法示意流程图。

图7为本发明应用例1中在10％采样率下，对径向采样策略重建得到的大脑磁共振图像数据的重建结果；其中，(a)-(h)分别对应全采样(即采样率为100％对应的磁共振图像，其作为对照图)、零填充、pano、dlmri、admm-csnet、dimension以及经本应用例提供的快速磁共振重建系统得到的磁共振图像；(i)-(o)分别对应各个方法处理得到的残差图。

图8为本发明应用例1中在20％采样率下，对径向采样策略重建得到的大脑磁共振图像数据的重建结果；其中，(a)-(h)分别对应全采样、零填充、pano、dlmri、admm-csnet、dimension以及经本应用例提供的快速磁共振重建系统得到的磁共振图像；(i)-(o)分别对应各个方法处理得到的残差图。

图9为本发明应用例1中在25％采样率下，对径向采样策略重建得到的大脑磁共振图像数据的重建结果；其中，(a)-(h)分别对应全采样、零填充、pano、dlmri、admm-csnet、dimension以及经本应用例提供的快速磁共振重建系统得到的磁共振图像；(i)-(o)分别对应各个方法处理得到的残差图。

图10为本发明应用例2中在20％采样率下，对径向采样策略重建得到的大脑磁共振图像数据的重建结果；其中，(a)-(h)分别对应全采样、零填充、pano、dlmri、admm-csnet、dimension以及经本应用例提供的快速磁共振重建系统得到的磁共振图像；(i)-(o)分别对应各个方法处理得到的残差图。

图11为本发明应用例2中在20％采样率下，对一维高斯随机采样策略重建得到的大脑磁共振图像数据的重建结果；其中，(a)-(h)分别对应全采样、零填充、pano、dlmri、admm-csnet、dimension以及经本应用例提供的快速磁共振重建系统得到的磁共振图像；(i)-(o)分别对应各个方法处理得到的残差图。

图12为本发明应用例2中在20％采样率下，对二维高斯随机采样策略重建得到的大脑磁共振图像数据的重建结果；其中，(a)-(h)分别对应全采样、零填充、pano、dlmri、admm-csnet、dimension以及经本应用例提供的快速磁共振重建系统得到的磁共振图像；(i)-(o)分别对应各个方法处理得到的残差图。

具体实施方式

以下将结合附图给出本发明实施例，并通过实施例对本发明的技术方案进行进一步的清楚、完整说明。显然，所述实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明内容，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施例，都属于本发明所保护的范围。

实施例1

本实施例提供的基于双域卷积神经网络的快速磁共振重建系统，如图1所示，其由四个第一数据处理装置和一个第二数据处理装置以级联的方式组合而成，第二数据处理装置与最后一个第一数据处理装置级联。mri设备采集得到的欠采样的k空间数据和图像域数据输入到快速磁共振重建系统，依次经四个第一数据处理装置和第二数据处理装置后得到重建的磁共振图像。

如图1(b)所示，第一数据处理装置包括第一k空间数据处理模块、第一图像域数据处理模块、k空间数据融合模块(kf)和图像域数据融合模块(sf)。

第一k空间数据处理模块包括沿数据流方向顺次设置的第一卷积神经网络单元(cnn-1)、第一k空间数据约束单元(kdc-1)和第一k空间数据变换单元(ift-1)。cnn-1用于对输入第一数据处理装置的k空间数据进行数据补全，得到重建后的k空间数据，从cnn-1重建出的k空间数据与输入快速磁共振重建系统的欠采样的k空间数据经kdc-1进行数据约束处理，数据约束处理后的k空间数据经ift-1利用逆傅里叶变换得到图像域数据。

第一图像域数据处理模块包括沿数据流方向顺次设置的第二卷积神经网络单元(cnn-2)、第一图像域数据约束单元(sdc-1)和图像域数据变换单元(ft)。cnn-2用于对输入第一数据处理装置的图像域数据处理然后得到重建后的磁共振图像，从cnn-2重建出的图像域数据与输入快速磁共振重建系统的欠采样k空间数据经sdc-1进行数据约束处理，数据约束处理后的图像域数据经ft利用傅里叶变换得到k空间数据。

kf用于将kdc-1得到的k空间数据与ft得到的k空间数据融合生成第一数据处理装置输出的k空间数据。sf用于将sdc-1得到的图像域数据与ift-1得到的图像域数据融合生成第一数据处理装置输出的图像域数据。

如图1(c)，第二数据处理装置包括第二k空间数据处理模块、第二图像域数据处理模块和数据融合输出模块(sf′)。

第二k空间数据处理模块包括沿数据流方向顺次设置的第三卷积神经网络单元(cnn-3)、第二k空间数据约束单元(kdc-2)和第二k空间数据变换单元(ift-2)。cnn-3用于对输入第二k空间数据处理模块的k空间数据进行数据补全，得到重建后的k空间数据，从cnn-3重建出的k空间数据与输入快速磁共振重建系统的欠采样k空间数据经kdc-2进行数据约束处理，数据约束处理后的k空间数据经ift-2利用逆傅里叶变换得到图像域数据。

第二图像域数据处理模块包括沿数据流方向顺次设置的第四卷积神经网络单元(cnn-4)和第二图像域数据约束单元(sdc-2)。cnn-4用于对输入第二k空间数据处理模块的图像域数据处理然后得到重建后的磁共振图像，从cnn-4重建出的图像域数据与输入快速磁共振重建系统的欠采样图像域数据经sdc-2进行数据约束处理。

sf′用于将sdc-2得到的图像域数据与ift-2得到的图像域数据融合生成第二数据处理装置输出的图像域数据，即重建的磁共振图像。

上述第一数据处理装置和第二数据处理装置，通过kdc-1、kdc2、sdc-1和sdc-2的数据约束处理，从而使重建的结果与原始欠采样得到的数据保持一致，且第一数据处理装置将k空间数据和图像域数据进行交叉融合，交叉融合得到k空间数据和图像域数据作为第一数据处理装置的输出数据输入到下一个、与之级联的第一数据处理装置或第二数据处理装置，第二数据处理装置将k空间数据和图像域数据进行交叉融合，交叉融合得到的图像域数据作为最终磁共振图像，这样会使最终重建的数据融合了k空间重建结果和空间域的重建结果，从而重建出更多的图像细节。

本实施例中，如图1(d)所示，cnn-1、cnn-2、cnn-3和cnn-4的卷积神经网络结构均相同，均包含依次设置的五个卷积单元及位于最后一个卷积单元后的全连接层。卷积单元由卷积层和位于卷积层后的激活函数组成，这里卷积层为3×3卷积层，激活函数为leakyrelu激活函数。全连接层为残差连接层。输入卷积神经网络的数据依次经过五个卷积单元得到输出数据，输入数据与输出数据之间设计残差连接，以便于得出输入数据与输出数据之间的残差图。

本实施例中，kdc-1、kdc-2、sdc-1、sdc-2均采用闭式解函数实现数据的约束处理操作。其中，kdc-1和kdc-2采用公式(1)所示的函数来对从cnn-1/cnn-3重建出的k空间数据与输入快速磁共振重建系统的欠采样的k空间数据进行数据约束处理-：

式中，表示cnn-1/cnn-3输出的k空间数据，y表示输入快速磁共振重建系统的欠采样的k空间数据，j表示数据坐标点，ω表示原始的采样坐标集合。

由于上述函数仅作用于k空间数据，而第二卷积神经网络和第四卷积神经网络重建出的是图像域数据，因此需要先将图像域数据利用傅里叶变换转换为k空间数据，再通过公式(1)所示的函数进行数据约束处理，最后使用逆傅里叶变换将约束处理后的k空间数据转换成图像域数据。为了实现该目的，本实施例中，sdc-1和sdc-2结构均相同，包括傅里叶变换子单元、数据约束子单元和逆傅里叶变换子单元，傅里叶变换子单元用于将cnn-2/cnn-4重建出的图像域数据转换成k空间数据，数据约束处理子单元用于将傅里叶变换子单元得到的k空间数据完成数据约束处理，逆傅里叶变换单元用于将数据约束子单元得到的数据约束处理后的k空间数据转换成图像域数据。所述数据约束子单元采用如公式(2)所示的函数完成约束处理：

式中，表示傅里叶变换子单元的输出数据，y表示输入快速磁共振重建系统的欠采样k空间数据，j表示数据坐标点，ω表示原始的采样坐标集合。

本实施例中，kf、sf和sf′均采用公式(3)所示的融合函数完成数据融合：

其中，a表示该函数的输出结果，a1和a2分别表示该函数的输入数据，μ表示加权因子，在快速磁共振重建系统训练过程中是一个变量。

对于kf，a1和a2分别指kdc-1得到的k空间数据和ft得到的k空间数据。对于sf，a1和a2分别指sdc-1得到的图像域数据和ift-1得到的图像域数据。对于sf′，a1和a2分别指sdc-2得到的图像域数据与ift-2得到的图像域数据。

本实施例进一步给出了上述基于双域卷积神经网络的快速磁共振重建系统的训练方法，如图2所示，包括以下步骤：

s1数据预处理，对训练集原始k空间数据进行处理得到欠采样的k空间数据和零填充图像域数据。

由于深度学习在训练过程中，需要大量的训练集，因此数据收集及预处理是整个过程中至关重要一步，关系到整个实验的成功与否。对于本实施例，用于训练网络系统的数据来自一个公开的大脑磁共振数据集——calgary-campinas,可从https://sites.google.com/view/calgary-campinas-dataset/home/mr-reconstruction-challenge得到。该数据集的训练集包含25个人体的磁共振图像，共4524张切片；测试集包含10个人体的磁共振图像，共1700切片。

由于磁共振图像数据是一种复数数据，但是卷积神经网络只能处理实数数值，通常有两种常见做法：使用两个独立的通道来分别表示复数的实部和虚部作为网络输入数据或者使用复数的幅值作为网络输入。本实施例中，采用前种策略来作为卷积神经网络的数据输入方式。

本实施例以上述公开的大脑磁共振数据训练集中原始的全采样(即采样率为100％)k空间数据作为构建预处理数据集的基础数据，按照以下分步骤(如图3所示)进行处理构建预处理数据集：

s11对训练集原始k空间数据进行规约处理。

本步骤中按照以下公式(4)对原始的k空间数据进行规约处理，规约到[0，255]：

其中，x表示原始的k空间数据，x^*表示规约处理后的k空间数据，min表示原始的k空间数据最小值，max表示原始的k空间数据最大值。

s12对规约处理后的k空间数据进行下采样处理。

由于本实施例采用的训练集没有成对的下采样数据。为了得到成对的训练数据，本实施例对规约处理后的k空间数据进行下采样处理，可以利用磁共振成像设备的一些常见的采样轨迹(例如图4中给出的线性角径向采样、一维高斯随机采样和二维高斯随机采样等)对规约处理后的k空间数据进行下采样处理，即将训练集原始全采样k空间数据与常见采样轨迹掩码进行点乘，得到欠采样k空间数据。

s13对欠采样k空间数据进行逆傅里叶变换生成零填充图像域数据。

本实施例中，对采样处理后的欠采样k空间数据进行逆傅里叶变换，所得到的图像域数据即为零填充图像域数据，生成的零填充图像域数据作为快速磁共振重建系统的输入数据。

s2生成磁共振重建图像，将预处理得到的k空间数据和图像域数据输入所述快速磁共振重建系统，输出磁共振重建图像。如图5所示，该步骤包括以下分步骤：

s21通过依次级联的四个第一数据处理装置对预处理数据集中的k空间数据和图像域数据进行处理。

任一第一数据处理装置对k空间数据和图像域数据处理过程包括k空间数据处理、图像域数据处理、k空间数据融合和图像域数据融合。

k空间数据处理包括以下分步骤：

s211利用cnn-1对输入第一数据处理装置的k空间数据进行处理，得到重建的k空间数据；

s212利用kdc-1对cnn-1输出结果和预处理得到的k空间数据进行数据约束处理；

s213利用ift-1将数据约束处理得到的k空间数据转换成图像域数据。

图像域数据处理包括以下分步骤：

s214利用cnn-2对输入第一数据处理装置的图像域数据进行处理，得到重建出的磁共振图像；

s215利用sdc-1对cnn-2重建出的磁共振图像和步骤s1预处理得到的欠采样k空间数据进行数据约束处理；

s216利用ft将数据约束处理得到的图像域数据转换成k空间数据。

k空间数据融合处理为：利用kf将步骤s212得到的k空间数据和步骤s216得到的k空间数据进行融合生成第一数据处理装置输出的k空间数据。

图像域数据融合处理为：利用sf将步骤s213得到的图像域数据和步骤s215得到的图像域数据进行融合生成第一数据处理装置输出的图像域数据。

s22通过第二数据处理装置对最后一个第一数据处理装置输出的k空间数据和图像域数据进行处理，包括k空间数据处理、图像域数据处理和图像域数据融合。

k空间数据处理包括以下分步骤：

s221利用cnn-3对输入第二数据处理装置的k空间数据进行处理，得到重建的k空间数据；

s222利用kdc-2对cnn-3重建的k空间数据和步骤s1预处理得到的k空间数据进行数据约束处理；

s223利用ift-2将数据约束处理得到的k空间数据转换成图像域数据；

图像域数据处理包括以下分步骤：

s224利用cnn-4对输入第二数据处理装置的图像域数据进行处理，得到重建的磁共振图像数据；

s225利用sdc-2对cnn-4重建的磁共振图像数据和步骤s1预处理得到的欠采样k空间数据进行数据约束处理；

图像域数据融合处理为：利用sf′将步骤s223得到的图像域数据和步骤s225得到的图像域数据进行融合生成第二数据处理装置输出的图像域数据，即磁共振重建图像。

s3获取损失值，将磁共振重建图像带入损失函数中得到相应的损失值。

本实施例通过均方误差损失函数(即mse损失函数)获取损失值，mse损失函数为：

其中，n表示样本数量，,i表示第i个样本按照步骤s11规约处理后的k空间数据经逆傅里叶变换得到的图像域数据步骤s2生成的磁共振重建图像的参考图像，表示步骤s2生成的磁共振重建图像。

s4依据损失值判断快速磁共振重建系统是否收敛，若快速磁共振重建系统收敛，即完成所述快速磁共振重建系统的训练；若不收敛，进入步骤s5。

本实施例根据步骤s3得到的损失值变化判断快速磁共振重建系统是否满足收敛要求。当损失函数值趋于稳定不变时，则表示模型已经收敛。此时即完成了对快速磁共振重建系统的训练，对系统的模型参数进行保存即可。若损失值不满足收敛要求，需要进入步骤s5对系统的模型参数进行优化,。

s5优化系统，依据得到的损失值对快速磁共振重建系统进行修正，得到优化后的快速磁共振重建系统，然后返回步骤s2，重复步骤s2-s5，直至损失值收敛，即完成所述快速磁共振重建系统的训练。

本实施例采用adam算法对快速磁共振重建系统的模型参数进行修正。该算法中存在两个参数一阶矩指数衰减率β1和二阶矩指数衰减率β2，均使用默认的参数，其值如下：β1＝0.5，β2＝0.9。

依据得到的损失值l，对快速磁共振重建系统参数w的优化过程为：

1.

2.

其中，第一项表示损失函数对系统中的参数w求导取得梯度，第二项表示利用adam算法和梯度来对参数w进行优化更新，lr表示系统训练过程中的学习率。

应用例1

本应用例利用前面给出的公开数据集中大脑磁共振图像数据，首先按照实施例1提供的训练方法利用公开的数据对快速磁共振重建系统进行训练，训练过程中使用径向采样策略进行下采样处理得到采样率为10％、20％、25％的欠采样的k空间数据和零填充图像域数据，进而得到三种不同采样率对应的快速磁共振重建系统。

然后采用前面给出的公开数据集中的测试集数据对训练得到的快速磁共振重建系统的重建效果进行分析。

本应用例使用的基于双域卷积神经网络的快速磁共振重建方法，如图6所示，其包括以下步骤：

l1数据预处理

按照前面给出的方法，以测试集中某一人体的大脑磁共振图像数据作为处理对象，按照以下分步骤完成数据预处理：

l11对测试集原始k空间数据进行规约处理；

本步骤中按照以下公式(4)对测试集中的原始k空间数据进行规约处理，规约到[0，255]：

其中，x表示原始的k空间数据，x^*表示规约处理后的k空间数据，min表示原始的k空间数据最小值，max表示原始的k空间数据最大值。

l12对规约处理后的k空间数据进行下采样处理。

本应用例中，通过径向采样对规约处理后的k空间数据进行下采样处理，分别得到采样率为10％、20％、25％的欠采样k空间数据。

在实际应用中，由于磁共振成像设备可以同时提供下采样的k空间数据，因此上述所提到的下采样步骤可以省略。

l13对欠采样k空间数据进行逆傅里叶变换生成零填充图像域数据。

本应用例中，对下采样处理后的k空间数据进行逆傅里叶变换，所得到的图像域数据即为零填充图像域数据，生成的零填充图像域数据作为快速磁共振重建系统的输入数据。

l2生成重建磁共振图像

将预处理得到的k空间数据和零填充图像域数据分别输入到上述对应采样率下训练好的快速磁共振重建系统，输出图像即为重建的磁共振图像。重建操作与步骤s2中给出的相同，这里不再详细描述，重建结果如图7-9所示。

为了验证本实施例提供的快速磁共振重建系统的磁共振图像重建效果，进一步将不同采样对应的预处理数据集中的零填充图像输入到pano模型，零填充图像输入到dlmri模型，零填充图像输入到admm-csnet模型，欠采样k空间数据输入到dimension模型对磁共振图像进行重建，重建结果如图7-9所示。

从图中可以看出，采用本应用例提供的快速磁共振重建系统重建得到的磁共振图像中恢复出的结构更清晰，同时细节更多。特别当采样率较低时，本发明提供的快速磁共振重建方法的磁共振重建图像更加清晰，保留的细节更多。

应用例2

本应用例利用前面给出的公开数据集中大脑磁共振图像数据，首先按照实施例1提供的训练方法利用训练集中的数据对快速磁共振重建系统进行训练，训练过程中分别使用径向采样、一维高斯随机采样、二维高斯随机采样策略进行下采样处理得到采样率为20％的欠采样的k空间数据和零填充图像域数据，构建预处理数据集，进而得到三种不同采样策略下采样率均为20％对应的快速磁共振重建系统。

然后采用前面给出的公开数据集中的测试集数据对训练得到的快速磁共振重建系统的重建效果进行分析。

本应用例使用的基于双域卷积神经网络的快速磁共振重建方法，如图6所示，其包括以下步骤：

l1数据预处理

按照前面给出的方法，以测试集中某一人体的大脑磁共振图像数据作为处理对象，按照以下分步骤完成数据预处理：

l11对测试集原始k空间数据进行规约处理；

本步骤中按照以下公式(4)对测试集中的原始k空间数据进行规约处理，规约到[0，255]：

其中，x表示原始的k空间数据，x^*表示规约处理后的k空间数据，min表示原始的k空间数据最小值，max表示原始的k空间数据的最大值。

l12对规约处理后的k空间数据进行下采样处理。

本应用例中，分别通过径向采样、一维高斯随机采样、二维高斯随机采样对规约处理后的k空间数据进行下采样处理，分别得到不同采样策略下采样率均为20％的欠采样k空间数据。

在实际应用中，由于磁共振成像设备可以同时提供下采样的k空间数据，因此上述所提到的下采样步骤可以省略。

l13对欠采样k空间数据进行逆傅里叶变换生成零填充图像域数据。

本应用例中，对下采样处理后的k空间数据进行逆傅里叶变换，所得到的图像域数据即为零填充图像域数据，生成的零填充图像域数据作为快速磁共振重建系统的输入数据。

l2生成重建磁共振图像

将预处理得到的k空间数据和零填充图像域数据分别输入到上述对应采样率下训练好的快速磁共振重建系统，输出图像即为重建的磁共振图像。重建操作与步骤s2中给出的相同，这里不再详细描述，重建结果如图10-12所示。

为了验证本实施例提供的快速磁共振重建系统的磁共振图像重建效果，进一步将不同采样策略采样率均为20％对应的预处理数据集中的零填充图像输入到pano模型，零填充图像输入到dlmri模型，零填充图像输入到admm-csnet模型，欠采样k空间数据输入到dimension模型对磁共振图像进行重建，重建结果如图10-12所示。

从图中可以看出，采用本应用例提供的快速磁共振重建系统重建得到的磁共振图像中恢复出的结构更清晰，同时细节更多。特别当采样率较低时，本发明提供的快速磁共振重建方法的磁共振重建图像更加清晰，保留的细节更多。