基于深度展开神经网络的实时磁共振图像重建方法及系统

1.本发明涉及磁共振图像重建的技术领域，具体地，涉及一种基于深度展开神经网络的实时磁共振图像重建方法及系统。


背景技术：

2.磁共振成像是一种医学成像技术，国际上从一九八二年才正式用于临床。它采用静磁场和射频磁场使人体组织成像，在成像过程中，既不用电子离辐射、也不用造影剂就可获得高对比度的清晰图像。它能够从人体分子内部反映出人体器官失常和早期病变。它在很多地方优于x线ct。虽然x-ct解决了人体影像重叠问题，但由于提供的图像仍是组织对x射线吸收的空间分布图像，不能够提供人体器官的生理状态信息。当病变组织与周围正常组织的吸收系数相同时，就无法提供有价值的信息。只有当病变发展到改变了器官形态、位置和自身增大到给人以异常感觉时才能被发现。磁共振成像装置除了具备x线ct的解剖类型特点即获得无重叠的质子密度体层图像之外，还可借助核磁共振原理精确地测出原子核弛豫时间t1和t2，能将人体组织中有关化学结构的信息反映出来。这些信息通过计算机重建的图像是成分图像(化学结构像)，它有能力将同样密度的不同组织和同一组织的不同化学结构通过影像显示表征出来。这就便于区分脑中的灰质与白质，对组织坏死、恶性疾患和退化性疾病的早期诊断效果有极大的优越性，其软组织的对比度也更为精确。
3.公开号为cn112881958a的中国发明专利文献公开了一种基于低秩和稀疏分解的磁共振介入成像方法。包括：在介入过程中，采用黄金角径向采样方式连续采集k空间数据，对采集到的k空间数据进行分组，采用基于低秩和稀疏分解和framelet变换的方法重建磁共振介入图像。
4.公开号cn111932650a的中国发明专利文献公开了一种基于高通量深度展开网络的核磁共振图像重建方法，通过设计了一个高通量深度展开网络来进行训练和重建，该方法包括以下步骤：步骤1：构造训练数据集；步骤2：构造高通量深度展开网络；步骤3：高通量深度展开网络训练过程；步骤4：应用训练好的高通量深度展开网络进行压缩感知磁共振图像重建过程。
5.针对上述中的相关技术，发明人认为上述方法中的迭代算法，在算法中有多个正则化需要手动调参，非常繁琐耗时，同时需要较多的迭代步骤计算才能获得较好的重建效果，计算时间较长，不适用于实时磁共振介入成像。


技术实现要素：

6.针对现有技术中的缺陷，本发明的目的是提供一种基于深度展开神经网络的实时磁共振图像重建方法及系统。
7.根据本发明提供的一种基于深度展开神经网络的实时磁共振图像重建方法，包括如下步骤：
8.步骤s1：搭建基于低秩和稀疏分解的深度展开神经网络；
9.步骤s2：采用仿真数据训练搭建的深度展开神经网络；
10.步骤s3：利用训练好的深度展开神经网络进行图像实时重建。
11.优选的，所述步骤s1包括如下步骤：
12.步骤s1.1：在磁共振成像中，从介入图像序列x中，将变化的背景和持续动态变化的介入特征分解为低秩矩阵l和稀疏矩阵s，即x＝l+s，通过利用l和s的空间稀疏特性，用于磁共振介入图像重建基于低秩和稀疏分解的模型；
13.步骤s1.2：将基于低秩和稀疏分解的模型展开到深度神经网络中；深度展开神经网络由多个迭代块组成，每个迭代块对应基于低秩和稀疏分解的迭代算法中的一次迭代，基于低秩和稀疏分解的迭代算法中的稀疏变换ψ由多个卷积层和激活函数组成的结构替换，卷积层中卷积核的权重参数在深度展开神经网络训练时学习，基于低秩和稀疏分解的迭代算法中的正则化参数在深度展开神经网络训练时学习；
14.步骤s1.3：第一个迭代块的第一输入为网络初始化后的参数，第二个及第二个之后的迭代块的第一输入均为上一个迭代块的输出，且每个迭代块的第二输入均包括径向采样得到的k空间数据和线圈敏感度图，最终经过所有迭代块后输出重建图像。
15.优选的，在所述步骤s1.1中，用于磁共振介入图像重建的基于低秩和稀疏分解的模型为：
[0016][0017]
其中，e＝ωfc是k空间编码算子，c是线圈敏感度，f是傅里叶变换，ω为采样方式；d是获取的k空间数据；是沿着s时间方向的tv变换；ψ是稀疏变换，λ
l
、λs、以及是正则化参数；k空间表示傅里叶空间。
[0018]
优选的，所述步骤s2包括如下步骤：
[0019]
步骤s2.1：通过仿真得到介入图像序列作为训练集，对介入图像序列作非均匀傅里叶变换，得到仿真的径向采样k空间数据；
[0020]
步骤s2.2：将仿真的径向采样k空间数据和线圈敏感度图作为待训练的深度展开神经网络的输入，深度展开神经网络输出重建图像；
[0021]
步骤s2.3：深度展开神经网络输出的重建图像与介入图像序列计算损失，根据损失通过反向传播的方式更新深度展开神经网络中的参数，深度展开神经网络中的参数包括卷积层中卷积核的权重，以及正则化参数；经过多轮更新训练后得到训练后的网络参数，即得到训练后的深度展开神经网络模型。
[0022]
优选的，所述步骤s3包括如下步骤：
[0023]
步骤s3.1：在进行实时成像之前，采集全采样的参考图像，用于估计线圈敏感度图；
[0024]
步骤s3.2：在进行实时介入成像时，实时采集径向k空间数据，采集到的k空间数据和估计的线圈敏感度图作为已训练好的深度展开神经网络的输入，进而实时重建磁共振介入图像。
[0025]
根据本发明提供的一种基于深度展开神经网络的实时磁共振图像重建系统，包括
如下模块：
[0026]
模块m1：搭建基于低秩和稀疏分解的深度展开神经网络；
[0027]
模块m2：采用仿真数据训练搭建的深度展开神经网络；
[0028]
模块m3：利用训练好的深度展开神经网络进行图像实时重建。
[0029]
优选的，所述模块m1包括如下模块：
[0030]
模块m1.1：在磁共振成像中，从介入图像序列x中，将变化的背景和持续动态变化的介入特征分解为低秩矩阵l和稀疏矩阵s，即x＝l+s，通过利用l和s的空间稀疏特性，用于磁共振介入图像重建基于低秩和稀疏分解的模型；
[0031]
模块m1.2：将基于低秩和稀疏分解的模型展开到深度神经网络中；深度展开神经网络由多个迭代块组成，每个迭代块对应基于低秩和稀疏分解的迭代算法中的一次迭代，基于低秩和稀疏分解的迭代算法中的稀疏变换ψ由多个卷积层和激活函数组成的结构替换，卷积层中卷积核的权重参数在深度展开神经网络训练时学习，基于低秩和稀疏分解的迭代算法中的正则化参数在深度展开神经网络训练时学习；
[0032]
模块m1.3：第一个迭代块的第一输入为网络初始化后的参数，第二个及第二个之后的迭代块的第一输入均为上一个迭代块的输出，且每个迭代块的第二输入均包括径向采样得到的k空间数据和线圈敏感度图，最终经过所有迭代块后输出重建图像。
[0033]
优选的，在所述模块m1.1中，用于磁共振介入图像重建的基于低秩和稀疏分解的模型为：
[0034][0035]
其中，e＝ωfc是k空间编码算子，c是线圈敏感度，f是傅里叶变换，ω为采样方式；d是获取的k空间数据；是沿着s时间方向的tv变换；ψ是稀疏变换，λ
l
、λs、以及是正则化参数；k空间表示傅里叶空间。
[0036]
优选的，所述模块m2包括如下模块：
[0037]
模块m2.1：通过仿真得到介入图像序列作为训练集，对介入图像序列作非均匀傅里叶变换，得到仿真的径向采样k空间数据；
[0038]
模块m2.2：将仿真的径向采样k空间数据和线圈敏感度图作为待训练的深度展开神经网络的输入，深度展开神经网络输出重建图像；
[0039]
模块m2.3：深度展开神经网络输出的重建图像与介入图像序列计算损失，根据损失通过反向传播的方式更新深度展开神经网络中的参数，深度展开神经网络中的参数包括卷积层中卷积核的权重，以及正则化参数；经过多轮更新训练后得到训练后的网络参数，即得到训练后的深度展开神经网络模型。
[0040]
优选的，所述模块m3包括如下模块：
[0041]
模块m3.1：在进行实时成像之前，采集全采样的参考图像，用于估计线圈敏感度图；
[0042]
模块m3.2：在进行实时介入成像时，实时采集径向k空间数据，采集到的k空间数据和估计的线圈敏感度图作为已训练好的深度展开神经网络的输入，进而实时重建磁共振介入图像。
[0043]
与现有技术相比，本发明具有如下的有益效果：
[0044]
1、本发明通过采用将基于低秩和稀疏分解的迭代算法展开到一个深度神经网络中的方式，解决了迭代算法应用于磁共振实时成像中重建时间较长的问题；实现磁共振介入图像的实时重建；
[0045]
2、本发明通过将卷积层和激活函数组成的结构用于替代基于低秩和稀疏分解的迭代算法中的稀疏变换，解决了基于低秩和稀疏分解的迭代算法中稀疏变换固定、计算量较大和时间较长的问题；
[0046]
3、本发明通过在网络训练时学习基于低秩和稀疏分解的迭代算法中的正则化参数，解决了基于低秩和稀疏分解的迭代算法中正则化参数需通过繁琐的手动调参获得的问题。
附图说明
[0047]
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
[0048]
图1为深度展开神经网络的结构图；
[0049]
图2为深度展开神经网络的训练流程图；
[0050]
图3为深度展开神经网络的重建流程图。
具体实施方式
[0051]
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
[0052]
本发明实施例公开了一种基于深度展开神经网络的实时磁共振图像重建方法，如图1所示，图1为基于低秩和稀疏分解的深度展开神经网络，主要包括深度展开神经网络的搭建、训练，以及利用训练好的深度展开神经网络进行实时重建等步骤，具体包括如下步骤：
[0053]
步骤s1：搭建基于低秩和稀疏分解的深度展开神经网络。图1所示为本发明提出的基于低秩和稀疏分解的深度展开神经网络的结构图。
[0054]
步骤s1包括如下步骤：步骤s1.1：在磁共振成像中，从介入图像序列x中，将缓慢变化的背景和一直在动态变化的介入特征分解为一个低秩矩阵l和稀疏矩阵s，即x＝l+s，通过利用l和s的空间稀疏特性，用于磁共振介入图像重建的基于低秩和稀疏分解的迭代算法模型为：
[0055][0056]
其中，e＝ωfc是k空间编码算子，c是线圈敏感度，f是傅里叶变换，ω为采样方式；d是获取的k空间数据；是沿着s时间方向的tv(total variation,全变差)变换；ψ是稀疏
变换，λ
l
、λs、以及是公式(1)中四个项(四个正则项)的系数，也叫正则化参数。这几个参数的确定后可以对式(1)进行优化求解；k空间表示傅里叶空间。表示2范数，‖
·
‖
*
表示核范数，‖
·
‖1表示1范数，是针对矩阵的常规操作。
[0057]
采用原始对偶-固定点算法(pdfp)优化基于低秩和稀疏分解的迭代算法模型，需要多个迭代步骤进行求解。
[0058]
步骤s1.2：本发明将基于低秩和稀疏分解的迭代算法展开到深度神经网络中。深度展开神经网络由多个迭代块组成，每个迭代块对应基于低秩和稀疏分解的迭代算法中的一次迭代。基于低秩和稀疏分解的迭代算法中的稀疏变换ψ由多个卷积层和激活函数组成的结构替换，卷积层中卷积核的权重参数可在深度展开神经网络训练时学习，激活函数可以提高网络的表达能力，基于低秩和稀疏分解的迭代算法中的正则化参数λ
l
、λs,、以及也可在深度展开神经网络训练时学习。
[0059]
步骤s1.3：第一个迭代块的第一输入为网络初始化后的参数，第二个及第二个之后的迭代块的第一输入均为上一个迭代块的输出，且每个迭代块的第二输入均包括径向采样得到的k空间数据和线圈敏感度图，最终经过所有迭代块后输出重建图像。
[0060]
稀疏变换是基于低秩和稀疏分解模型中的ψ，图像经过稀疏变换后可做稀疏约束；卷积层和激活函数的组合用于替代基于低秩和稀疏分解模型中的稀疏变换ψ，卷积层用于提取图像特征，激活函数可提高网络的表达能力；学习后的正则化参数λ
l
,λs,以及作为网络的参数参与后续的图像重建。
[0061]
步骤s2：采用仿真数据训练搭建的深度展开神经网络。图2所示为本发明提出的深度展开神经网络的训练流程。
[0062]
步骤s2包括如下步骤：步骤s2.1：通过仿真得到一系列的介入图像序列作为训练集，对介入图像序列作非均匀傅里叶变换，得到仿真的径向采样k空间数据；线圈敏感度图由各线圈图像除以合成后的图像获得。
[0063]
步骤s2.2：仿真的径向采样k空间数据和线圈敏感度图一起作为待训练深度展开神经网络的输入，深度展开神经网络输出重建图像。
[0064]
步骤s2.3：深度展开神经网络输出的重建图像与介入图像序列计算损失，根据损失通过反向传播的方式更新深度展开神经网络中的参数，包括卷积层中卷积核的权重，以及正则化参数；经过多轮更新训练后得到最佳的网络参数，即得到了训练好的深度展开神经网络模型。
[0065]
步骤s3：利用训练好的深度展开神经网络进行图像实时重建。图3所示为本发明提出的深度展开神经网络的重建流程。
[0066]
步骤s3包括如下步骤：步骤s3.1：在进行实时成像之前，采集全采样的参考图像，用于估计线圈敏感度图。线圈敏感度图由各线圈图像除以合成后的图像获得。
[0067]
步骤s3.2：在进行实时介入成像时，实时采集径向k空间数据，采集到的k空间数据和估计的线圈敏感度图作为已训练好的深度展开神经网络的输入，进而实时重建磁共振介入图像。
[0068]
本发明实施例还公开了一种基于深度展开神经网络的实时磁共振图像重建系统，
包括如下模块：
[0069]
模块m1：搭建基于低秩和稀疏分解的深度展开神经网络。
[0070]
模块m1包括如下模块：模块m1.1：在磁共振成像中，从介入图像序列x中，将变化的背景和持续动态变化的介入特征分解为低秩矩阵l和稀疏矩阵s，即x＝l+s，通过利用l和s的空间稀疏特性，用于磁共振介入图像重建基于低秩和稀疏分解的模型。
[0071]
用于磁共振介入图像重建的基于低秩和稀疏分解的模型为：
[0072][0073]
其中，e＝ωfc是k空间编码算子，c是线圈敏感度，f是傅里叶变换，ω为采样方式；d是获取的k空间数据；是沿着s时间方向的tv变换；ψ是稀疏变换，λ
l
、λs、以及是正则化参数；k空间表示傅里叶空间。
[0074]
模块m1.2：将基于低秩和稀疏分解的模型展开到深度神经网络中；深度展开神经网络由多个迭代块组成，每个迭代块对应基于低秩和稀疏分解的迭代算法中的一次迭代，基于低秩和稀疏分解的迭代算法中的稀疏变换ψ由多个卷积层和激活函数组成的结构替换，卷积层中卷积核的权重参数在深度展开神经网络训练时学习，基于低秩和稀疏分解的迭代算法中的正则化参数在深度展开神经网络训练时学习。
[0075]
模块m1.3：第一个迭代块的第一输入为网络初始化后的参数，第二个及第二个之后的迭代块的第一输入均为上一个迭代块的输出，且每个迭代块的第二输入均包括径向采样得到的k空间数据和线圈敏感度图，最终经过所有迭代块后输出重建图像。
[0076]
模块m2：采用仿真数据训练搭建的深度展开神经网络。
[0077]
模块m2包括如下模块：模块m2.1：通过仿真得到介入图像序列作为训练集，对介入图像序列作非均匀傅里叶变换，得到仿真的径向采样k空间数据。
[0078]
模块m2.2：将仿真的径向采样k空间数据和线圈敏感度图作为待训练的深度展开神经网络的输入，深度展开神经网络输出重建图像。
[0079]
模块m2.3：深度展开神经网络输出的重建图像与介入图像序列计算损失，根据损失通过反向传播的方式更新深度展开神经网络中的参数，深度展开神经网络中的参数包括卷积层中卷积核的权重，以及正则化参数；经过多轮更新训练后得到训练后的网络参数，即得到训练后的深度展开神经网络模型。
[0080]
模块m3：利用训练好的深度展开神经网络进行图像实时重建。
[0081]
模块m3包括如下模块：模块m3.1：在进行实时成像之前，采集全采样的参考图像，用于估计线圈敏感度图。
[0082]
模块m3.2：在进行实时介入成像时，实时采集径向k空间数据，采集到的k空间数据和估计的线圈敏感度图作为已训练好的深度展开神经网络的输入，进而实时重建磁共振介入图像。
[0083]
本发明为实现实时磁共振介入成像，将基于低秩和稀疏分解的迭代算法展开到一个深度神经网络中，实现磁共振介入图像的实时重建。
[0084]
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供
的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
[0085]
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本技术的实施例和实施例中的特征可以任意相互组合。