一种基于SFT变换多模态融合快速MRI重建方法及装置

一种基于sft变换多模态融合快速mri重建方法及装置
技术领域
1.本发明属于图像处理领域，尤其涉及一种基于sft变换多模态融合快速mri重建方法及装置，用于脑部mri图像的加速高精度重建。


背景技术：

2.目前医学影像在疾病的诊治过程中已经成为一项重要的临床医学工具与诊断依据，随着现代医学成像技术的不断发展，医学影像作为诊断依据与工具的重要性不断提高。
3.在对磁共振成像mri进行采集时，存在采集时间长、成本高、采集过程困难等问题，此外运动伪影等问题也困扰着mri成像在医疗领域的发展。
4.自神经网络运用于mri重构领域伊始，就展现出强大的性能，各种方法层出不穷，网络结构也愈发精妙。常见传统神经网络结构有u
‑
net、dense u
‑
net等，但传统的方法学习能力有限，在输入参数时也只考虑到了较易采集的t2图像信息。
5.虽然也有人提出了一种将t1与t2两种模态图像融合输入网络的方法，利用了t1提供的t2不包含的图像细节信息，来大幅加速sr速度，并大幅提升效果。t1与t2是磁共振成像中的两类图像，在脑部mri重构中，传统一般使用t2，在多模态方法出现后，t1的融入会提升t2的细节。该发现鼓励了许多研究者对其进行研究，然而受限于物理因素，t2图像的采集时间较长和回波时间相对较长。


技术实现要素：

6.本申请的目的是提供一种基于sft变换多模态融合快速mri重建方法及装置，解决了传统脑部核磁共振图像重建后的信噪比降低，图像边缘模糊等问题。
7.为了实现上述目的，本申请技术方案如下：
8.一种基于sft变换多模态融合快速mri重建方法，包括：
9.获取mri图像进行去噪处理；
10.基于去噪后的图像生成t1图像与t2图像，对t2图像进行欠采样，得到欠采样的t2图像；
11.将t1图像和欠采样后的t2图像进行一次傅里叶运算变换为k空间数据，对k空间数据进行mask掩码采样，得到待输入图像数据；
12.将待输入图像数据输入到预训练好的深度级联卷积神经网络，重建mri图像，所述深度级联卷积神经网络中每一个级联网络中包含一个卷积网络层和一个数据一致性层，所述卷积网络层对待输入图像数据进行多模态融合和sft监督融合。
13.进一步的，所述去噪处理，包括：
14.对mri图像通过如下公式进行去噪：
[0015][0016]
其中，含噪声图像为ν，去噪后的图像为中像素点x处的灰度值表示为
其中w(x,y)表示像素点x与之间的相似度，并由距离函数d(x)决定：
[0017][0018][0019]
其中，z(x)为归一化系数，依照(0,1)的区间进行归一化。
[0020]
进一步的，所述对待输入图像数据进行多模态融合，包括：
[0021]
将t1与欠采样的t2分别用x
t1
与进行表示，令将m
t
表输入一个卷积层δ，得到两种模态融合后的特征图f＝δ(m
t
)。
[0022]
进一步的，所述对待输入图像数据进行sft监督融合，包括：
[0023]
γ
i
和β
i
分别是给定的sft监督机制中的先验特征，对于输入的低分辨率图像f，根据如下公式得到超分图像
[0024][0025]
本申请还提出了一种基于sft变换多模态融合快速mri重建装置，包括：
[0026]
预处理模块，用于获取mri图像进行去噪处理；
[0027]
欠采样模块，用于基于去噪后的图像生成t1图像与t2图像，对t2图像进行欠采样，得到欠采样的t2图像；
[0028]
傅里叶变换模块，用于将t1图像和欠采样后的t2图像进行一次傅里叶运算变换为k空间数据，对k空间数据进行mask掩码采样，得到待输入图像数据；
[0029]
融合重建模块，用于将待输入图像数据输入到预训练好的深度级联卷积神经网络，重建mri图像，所述深度级联卷积神经网络中每一个级联网络中包含一个卷积网络层和一个数据一致性层，所述卷积网络层对待输入图像数据进行多模态融合和sft监督融合。
[0030]
进一步的，所述预处理模块进行去噪处理，执行如下步骤：
[0031]
对mri图像通过如下公式进行去噪：
[0032][0033]
其中，含噪声图像为ν，去噪后的图像为中像素点x处的灰度值表示为其中w(x,y)表示像素点x与之间的相似度，并由距离函数d(x)决定：
[0034][0035][0036]
其中，z(x)为归一化系数，依照(0,1)的区间进行归一化。
[0037]
进一步的，所述对待输入图像数据进行多模态融合，包括：
[0038]
将t1与欠采样的t2分别用x
t1
与进行表示，令将m
t
表输入
一个卷积层δ，得到两种模态融合后的特征图f＝δ(m
t
)。
[0039]
进一步的，所述对待输入图像数据进行sft监督融合，包括：
[0040]
γ
i
和β
i
分别是给定的sft监督机制中的先验特征，对于输入的低分辨率图像f，根据如下公式得到超分图像
[0041][0042]
本申请提出的一种基于sft变换多模态融合快速mri重建方法及装置，将深度级联网络与磁共振成像的采样原理相结合，借鉴深度级联网络的结构，前一个网络的输出经过数据一致性层后作为输入，提高重建效果，数据一致性层的使用也有效的避免了每一级网络输入时低频信息的准确性。对网络的训练使用sft变换监督，以使深度级联网络的每次级联都能够有效地处理图像的纹理细节。将t1、欠采样的t2进行多模态融合，发挥了t2图像对重构结果的增强作用。实验表明，本申请所提供的方法能够有效地快速重建mri图像。将t1和欠采样后的t2进行多模态融合后作为输入，使得超分网络映射输出后清晰度变高，多模态的使用使图像纹理被进一步放大，有效的改善了传统方法超分后图片过平滑的缺点，sft监督模块的运用，将极大的增强图像纹理细节，数据一致性层也能避免源图像低频信息随重构而发生变异的问题。
附图说明
[0043]
图1为本申请基于sft变换多模态融合快速mri重建方法流程图；
[0044]
图2为本申请深度级联卷积神经网络结构示意图。
具体实施方式
[0045]
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅用以解释本申请，并不用于限定本申请。
[0046]
在使用传统网络对磁共振成像mri进行重构时，传统的神经网络所学习到的冗余信息太多，学习这种冗余信息可能会对网络的重构能力产生消极的影响。同时，传统的方法缺少对其他模态信息的利用，这会舍弃掉其他模态图像能够提供的更丰富的细节信息。在卷积神经网络中，仅对像素空间进行超分，超分后的图像会过于平滑，所以，需要在特征空间中找到一个合适的映射，将lr图像的图像细节凸显，为此本申请一种基于sft变换的多模态融合快速脑部mri重建方法。
[0047]
如图1所示，本申请提供了一种基于sft变换多模态融合快速mri重建方法，包括如下步骤：
[0048]
步骤s110、获取mri图像进行去噪处理。
[0049]
本申请去噪处理具体如下：
[0050]
首先对mri图像通过如下公式进行去噪：
[0051][0052]
其中，含噪声图像为ν，去噪后的图像为中像素点x处的灰度值表示为
其中w(x,y)表示像素点x与之间的相似度，并由距离函数d(x)决定：
[0053][0054][0055]
其中，z(x)为归一化系数，依照(0,1)的区间进行归一化。
[0056]
步骤s120、基于去噪后的图像生成t1图像与t2图像，对t2图像进行欠采样，得到欠采样的t2图像。
[0057]
mri是多参数成像，出于分析图像的方便，希望一帧mri图像的灰度主要由一个特定的成像参数决定，这就是所谓的加权图像(weighted imaging，wi)，例如图像灰度主要由t1决定时就是t1加权图像、主要由t2决定时就是t2加权图像，主要由质子密度决定时就是质子密度加权图像。t1为自旋
‑
点阵或纵向驰豫时间，t2为自旋
‑
自旋或横向弛豫时间。
[0058]
对t2图像x
t2
进行u0倍下采样，得到欠采样t2图像
[0059]
步骤s130、将t1图像和欠采样后的t2图像进行一次傅里叶运算变换为k空间数据，对k空间数据进行mask掩码采样，得到待输入图像数据。
[0060]
本申请将t1图像和欠采样后的t2图像进行一次傅里叶运算变换为k空间数据，对k空间数据进行mask掩码采样，没有采样到的部分使用零填充。
[0061]
步骤s140、将待输入图像数据输入到预训练好的深度级联卷积神经网络，重建mri图像，所述深度级联卷积神经网络中每一个级联网络中包含一个卷积网络层和一个数据一致性层，所述卷积网络层对待输入图像数据进行多模态融合和sft监督融合。
[0062]
本申请构建的深度级联卷积神经网络如图2所示，主网络由经典deepcascaded级联网络构成，每一个级联网络中包含一个卷积网络层(cnn)和一个数据一致性层(dc)。卷积网络层对待输入图像数据进行多模态融合和sft监督融合。每个cnn包括顺序的神经网络和sft监督融合模块。
[0063]
多模态融合，即将掩码采样后的t1和t2进行多模态融合。将t1与欠采样的t2分别用x
t1
与进行表示，令将m
t
表输入一个卷积层δ，得到两种模态融合后的特征图f＝δ(m
t
)，其中卷积层δ包含6通道，共有32个3
×
3大小的卷积核，每次多模态融合操作可以使用3张t1与3张t2进行δ操作。
[0064]
sft监督融合，针对给定的低分辨率图像，经过sft监督融合后会得到一个高分辨的图像。γ
i
和β
i
分别是给定的sft监督机制中的先验特征，对于输入的低分辨率图像f，根据如下公式得到超分图像
[0065][0066]
如图2所示，给定监督机制中的先验特征对应超分图像为γ
i
和β
i
分别是sft监督融合中conv1和conv2的输入，也即给定的先验特征，求得每一个sft监督融合层中的
[0067]
数据一致性层需要将mask掩码采样后的图表示成m
(0，1)
，m
(0，1)
用0和1填充，元素提取后标1，未操作记0，按位取反后m
(0，1)
变成即有f”为当前重构图像，得到高频信息特征图f
h
和低频信息特征图f
l
，最后将f
n
＝f
h
+f
l
输入网络。
[0068]
本申请需要对深度级联卷积神经网络进行训练，采用训练好的深度级联卷积神经网络来对mri图像进行重建。网络训练数据集采用msseg2016(multiple sclerosis segmentation)提供的部分数据。训练前对图像进行筛选、去噪等预处理，将大大提高训练效果。去噪后，重新生成一组336
×
336
×
261大脑3d磁共振成像图，使用此图集为新数据集并按8:1:1生成训练集、验证集和测试集。
[0069]
取n组完全采样的图像{x1,x2,...x
n
}作为基准图像集th，集合中第i组数据即为包含t1加权与t2加权的磁共振成像待输入图像。对集合进行u0倍下采样，得到图像集作为训练集里面的t2。
[0070]
随后对训练集进行傅里叶运算，转换为k空间数据，并对k空间数据进行mask掩码采样，得到最终的训练集。
[0071]
采用如图2所示的深度级联卷积神经网络，设置网络参数，初始学习率设为e
‑4，级联次数m设为5,进行训练，得到训练好的深度级联卷积神经网络。
[0072]
本申请在对mri图像进行重建后，还通过计算峰值信噪比psnr和结构相似性ssim的值来评估网络性能。当psnr与ssim值过低时，调整网络参数，重复进行网络训练，直至网络性能达标。
[0073]
本申请技术方案，相比较现有的基于深度学习的快速磁共振成像方法，本申请主要有益效果体现在：(1)在传统级联网络中的输入图像中采用多模态融合，尽可能的挖掘t1和t2的相关性，对t2进行欠采样提升重建速度。(2)将传统级联网络的cnn网络替换成sft监督融合网络，在使用正确的损失函数时重建效果突出。(3)级联网络中使用数据一致性dc层，避免源图像低频信息随重构发生变异。
[0074]
在一个实施例中，本申请还提供了一种基于sft变换多模态融合快速mri重建装置，包括：
[0075]
预处理模块，用于获取mri图像进行去噪处理；
[0076]
欠采样模块，用于基于去噪后的图像生成t1图像与t2图像，对t2图像进行欠采样，得到欠采样的t2图像；
[0077]
傅里叶变换模块，用于将t1图像和欠采样后的t2图像进行一次傅里叶运算变换为k空间数据，对k空间数据进行mask掩码采样，得到待输入图像数据；
[0078]
融合重建模块，用于将待输入图像数据输入到预训练好的深度级联卷积神经网络，重建mri图像，所述深度级联卷积神经网络中每一个级联网络中包含一个卷积网络层和一个数据一致性层，所述卷积网络层对待输入图像数据进行多模态融合和sft监督融合。
[0079]
关于基于sft变换多模态融合快速mri重建装置的具体限定可以参见上文中对于基于sft变换多模态融合快速mri重建方法的限定，在此不再赘述。上述基于sft变换多模态
融合快速mri重建装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0080]
存储器和处理器之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件互相之间可以通过一条或多条通讯总线或信号线实现电性连接。存储器中存储有可在处理器上运行的计算机程序，所述处理器通过运行存储在存储器内的计算机程序，从而实现本发明实施例中的网络拓扑布局方法。
[0081]
其中，所述存储器可以是，但不限于，随机存取存储器(random access memory，ram)，只读存储器(read only memory，rom)，可编程只读存储器(programmable read
‑
only memory，prom)，可擦除只读存储器(erasable programmable read
‑
only memory，eprom)，电可擦除只读存储器(electric erasable programmable read
‑
only memory，eeprom)等。其中，存储器用于存储程序，所述处理器在接收到执行指令后，执行所述程序。
[0082]
所述处理器可能是一种集成电路芯片，具有数据的处理能力。上述的处理器可以是通用处理器，包括中央处理器(central processing unit，cpu)、网络处理器(network processor，np)等。可以实现或者执行本发明实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0083]
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。