基于多阶段多模块神经网络的磁共振图像重建和超分方法

1.本发明涉及一种磁共振图像重建和超分的方法。


背景技术：

2.磁共振图像(mri)是由核磁共振成像仪获得的一种特殊图像，其因高分辨率和低辐射而被广泛应用。通过生成不同模态的图像，mri可以为临床诊断提供功能性和解剖学信息，包括神经、肌肉骨骼和肿瘤疾病。由于出色的表现，mri在当今的医疗诊断中扮演着极其重要的角色。然而，由于复杂的物理原理，数据采集过程将耗费较长的时间，给病人带来极大的痛苦。同时，病人的呼吸运动等会导致图像伪影的产生，抑制高分辨率mri图像的获取。因此，提高mri的数据采集速度是近几十年来的一个重要研究领域。
3.传统的mri图像修复技术有压缩感知、低秩矩阵、字典学习、并行成像等，这些技术都是利用图像的先验知识来解决因违反香农-奈奎斯特采样定理而产生的图像伪影。但在很高的加速度下，并行成像会将图片的噪声放大而产生低质量图片。压缩感知也会导致伪影的残留，同时耗费较长的重建时间。
4.随着计算机视觉技术的发展，图像的重建和超分是解决以上问题的重要手段。在图像重建上，通过使用采样掩码来获取较少的mri数据，进而减少mri的扫描时间。图像超分技术可以将低分辨率mri恢复成高分辨率mri，以展示更多的图像细节，为临床医疗诊断提供更可靠的保障。


技术实现要素：

5.本发明克服了现有技术上的上述缺点，提出一种基于多阶段多模块神经网络的磁共振图像重建和超分方法。
6.本发明的一种基于多阶段多模块神经网络的磁共振图像重建和超分方法，包括以下步骤：
7.s1.读取欠采样掩码i
mask
，原始高分辨图像i
hr
(height
×
width)。其中，height表示图像纵向的分辨率，width表示图像横向的分辨率。
8.s2.对读取的图片i
hr
进行归一化处理，将图片的像素值归一化至0～1。使用图片截断和欠采样掩码i
mask
构建需要重建和超分的灰度图像构建需要重建和超分的灰度图像
9.s3.将输入图像i
lr
按照不同的切割方式生成4类patch。其中，对应的两两一组，构建两组输入数据，分别为(i
lr，top
，i
lr，bottom
)和(i
lr，left
，i
lr，right
)。使用多通道特征增强模块获得多通道特征图，公式如下：
[0010][0011][0012]
其中，mfe1()，mfe2()分别表示上下分支的多通道特征增强模块。
[0013]
s4：使用编解码器提取不同patch内的特征。其中，在编解码模块以及跳连接中均使用通道注意力模块来增强有效信息的表达和抑制无效信息的表达，公式如下：
[0014][0015][0016][0017]
其中表示第1，2，3层编码器的输出，其中，i∈{top，bottom，left，right}。enc
ca
表示跳连接的输出，deci表示最后一个解码器的输出。encoderj()和decoderj()分别表示编码器模块和解码器模块，其中，j∈{1，2}，1代表上分支，2代表下分支，如图2所示。
[0018]
s5.将每条分支对应的每组特征图进行拼接，之后将两条分支的特征图进行相加，公式如下：
[0019]
f＝cat(dec
top
，dec
bottom
)+cat(dec
left
，dec
right
)
ꢀꢀꢀꢀ
(6)
[0020]
其中cat()表示拼接操作，f表示不同patch提取到的混合增强特征。
[0021]
s6.使用自注意力模块提取完整图像的增强特征。公式如下：
[0022]
f0＝sab(f)
ꢀꢀꢀꢀꢀ
(7)
[0023]
其中sab()表示自注意力模块。f0表示对f进行特征提取得到的第一阶段特征，如图3所示。
[0024]
s7.使用编解码器架构和自注意力模块提取第二阶段的特征，其中第二阶段编解码器架构和自注意力模块与第一阶段保持一致。公式如下：
[0025]fi
＝uneti(f
i-1
)，i∈1，2，3...n
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8)
[0026]fi
＝sabi(fi)，i∈1，2，3...n
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(9)
[0027]
其中uneti()表示编解码器架构的简写，sabi()表示自注意力模块，i表示第二阶段的第i个模块。
[0028]
s8.在第三阶段使用深度残差卷积提取空间信息。公式如下：
[0029][0030]
其中s()表示深度残差卷积模块，用来提取富含空间准确度信息的特征。fn表示第二阶段最后一个模块的输出结果，gi表示第i个深度残差卷积模块输出的结果，如图4所示。
[0031]
s9.对第二阶段的输出结果(gn)进行上采用和卷积操作即可得到目标图像i
sr
。公式如下：
[0032]isr
＝conv(upsample(gn))
ꢀꢀꢀꢀꢀꢀꢀꢀ
(11)
[0033]
与现有技术相比，本发明具有以下优点：
[0034]
(1)解决了低分辨率欠采样mri的超分和重建问题。通过修改上采样模块，网络可以单独解决超分或重建问题，提高模型的泛化能力。
[0035]
(2)图像峰值信噪比和结构相似度指标提升。该发明提出的多阶段多模块网络，利用不同模块的不同功能，将复杂的超分重建问题分解成更易解决的较小问题，降低网络学
习的难度。
[0036]
(3)模型参数较少，推理速度快。该发明提出的网络与先前方法相比，在达到更优表现的前提下，具有更好的模型参数和更快的推理速度。
附图说明
[0037]
图1为本发明方法总体流程图。
[0038]
图2为本发明方法中编解码器网络结构图。
[0039]
图3为本发明方法中自注意力模块结构图。
[0040]
图4为本发明方法中深度残差卷积模块结构图。
具体实施方式
[0041]
为了能够更容易理解本发明的过程，本发明将结合实例对本发明进行详细描述。
[0042]
基于多阶段多模块神经网络的磁共振图像重建和超分方法，包括：
[0043]
将收集到的mri数据集(单个数据尺寸为320
×
256
×
256)进行切片分类，切片后的数据尺寸为256
×
256，记为i
hr
。使用欠采样掩码生成器生成相应加速度的欠采样掩码(加速度包括
×
4、
×
6、
×
8)，记为i
mask
。i
hr
在归一化处理后进行截断和欠采样操作，得到欠采样的低分辨率mri，记为i
lr
(以scale＝2为例，i
lr
尺寸大小为128
×
128)。将i
lr
输入到本发明的网络中，即可得到目标图片i
sr
，尺寸为256
×
256。具体实现步骤如下：
[0044]
s1.读取欠采样掩码i
mask
，原始高分辨图像i
hr
(height
×
width)。其中，height表示图像纵向的分辨率，width表示图像横向的分辨率。
[0045]
s2.对读取的图片i
hr
进行归一化处理，将图片的像素值归一化至0～1。使用图片截断和欠采样掩码i
mask
构建需要重建和超分的灰度图像构建需要重建和超分的灰度图像
[0046]
s3.将输入图像i
lr
按照不同的切割方式生成4类patch。其中，对应的两两一组，构建两组输入数据，分别为(i
lr，top
，i
lr，bottom
)和(i
lr，left
，i
lr，right
)。使用多通道特征增强模块获得多通道特征图，公式如下：
[0047][0048][0049]
其中，mfe1()，mfe2()分别表示上下分支的多通道特征增强模块。
[0050]
s4：使用编解码器提取不同patch内的特征。其中，在编解码模块以及跳连接中均使用通道注意力模块来增强有效信息的表达和抑制无效信息的表达，公式如下：
[0051][0052][0053][0054]
其中表示第1，2，3层编码器的输出，其中，i∈{top，
bottom，left，right}。enc
ca
表示跳连接的输出，deci表示最后一个解码器的输出。encoderj()和decoderj()分别表示编码器模块和解码器模块，其中，j∈{1，2}，1代表上分支，2代表下分支，如图2所示。
[0055]
s5.将每条分支对应的每组特征图进行拼接，之后将两条分支的特征图进行相加，公式如下：
[0056]
f＝cat(dec
top
，dec
bottom
)+cat(dec
left
，dec
right
)
ꢀꢀꢀꢀ
(6)
[0057]
其中cat()表示拼接操作，f表示不同patch提取到的混合增强特征。
[0058]
s6.使用自注意力模块提取完整图像的增强特征。公式如下：
[0059]
f0＝sab(f)
ꢀꢀꢀꢀꢀꢀ
(7)
[0060]
其中sab()表示自注意力模块。f0表示对f进行特征提取得到的第一阶段特征，如图3所示。
[0061]
s7.使用编解码器架构和自注意力模块提取第二阶段的特征，其中第二阶段编解码器架构和自注意力模块与第一阶段保持一致。公式如下：
[0062]fi
＝uneti(f
i-1
)，i∈1，2，3...n
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8)
[0063]fi
＝sabi(fi)，i∈1，2，3...n
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(9)
[0064]
其中uneti()表示编解码器架构的简写，sabi()表示自注意力模块，i表示第二阶段的第i个模块。
[0065]
s8.在第三阶段使用深度残差卷积提取空间信息。公式如下：
[0066][0067]
其中s()表示深度残差卷积模块，用来提取富含空间准确度信息的特征。fn表示第二阶段最后一个模块的输出结果，gi表示第i个深度残差卷积模块输出的结果，如图4所示。
[0068]
s9.对第二阶段的输出结果(gn)进行上采用和卷积操作即可得到目标图像i
sr
。公式如下：
[0069]isr
＝conv(upsample(gn))
ꢀꢀꢀꢀꢀ
(11)
[0070]
本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。