一种磁共振图像分割方法、装置、终端设备及存储介质与流程

本发明属于图像分割领域，涉及一种磁共振图像分割方法、装置、终端设备及存储介质。

背景技术：

磁共振成像(magneticresonanceimaging，mri)具有出色的软组织对比度和功能成像能力，可以提供扫描区域的形态信息和生成受不同类型组织参数影响的图像，包括t1加权像(t1weighted)、t1ce(contrastenhancedt1-weighted)、t2加权像(t2weighted)及flair(fluidattenuatedinversionrecovery)等多参数mri图像来为扫描区域的描述提供准确的信息。

近年来，基于mri图像的分割方法分为人工分割、半自动分割和自动分割三种。其中，在人工分割方法中，分割区域通过人工在所有连续切片上标注，但这是一项费时、费力且受主观因素影响的任务。半自动分割算法是一种典型的图像处理方法，如阈值分割和区域分割等传统方法，这些方法快速、简单且易于实现，但过度依赖用户定义的参数和图像的预处理。而自动分割方法中以卷积神经网络u-net为代表的深度学习在计算机视觉领域取得了很大的进展，提出了许多基于深度学习的mri图像分割方法，并取得了很大的进展。

shen等人[1]充分利用全卷积网络(fullyconvolutionalnetworks，fcn)来执行多模态mri图像分割任务，上采样分别用边缘检测和区域检测在fcn基础上进行联合训练。fcn虽然可以输入任意大小的图像，但是过程中缺失了局部信息，得到的结果还是不够精细。dong等人[2]使用u-net对mri图像分割，取得了较好的结果，采用跳过连接拼接扩展路径和收缩路径的特征向量fcn改进模型。残差连接和密集连接可以促进u-net网络收敛，将残差连接用于u-net卷积层被称为res-u-net。虽然u-net利用底层信息补充高层信息提升了精确度，但边缘区域的分割结果与真实分割标签有差距，分割区域存在部分区域细节之处不清楚。

技术实现要素：

本发明的目的在于针对上述现有技术中对于mri图像分割精度不足的问题，提供一种磁共振图像分割方法、装置、终端设备及存储介质，不仅能够提高图像分割的精度，保留图像的边缘信息，生成完整的特征图，而且能够简化计算过程，提高图像处理过程的效率。

为了实现上述目的，本发明有如下的技术方案：

一种磁共振图像分割方法，包括以下步骤：

1)数据预处理；下载mri图像数据，mri图像数据采用miccai提供的公共数据集brats2017，数据集包括多模态mri扫描图像，对获取的mri图像中的各种模态图像分别进行去偏置场效应处理和灰度归一化预处理，得到预处理后的多模态mri图像数据；

2)搭建u-net卷积神经网络模型：

a.搭建残差密集模块，残差密集模块的结构依次包括输入层、若干个卷积层、密集特征提取层、残差特征提取层和输出层；所述的若干个卷积层用于特征提取，所述的密集特征提取层连接所有卷积层通道，然后采用合并操级联卷积层的特征映射，最后使用一层1×1的卷积进行特征融合，残差特征提取层将输入通道与密集特征提取层通道相加学习特征；

b.搭建多通道注意力模块，多通道注意力模块的结构依次包括输入层、多通道处理层、卷积特征提取层、注意力特征提取层和输出层；多通道处理层将多个不同尺寸的通道进行池化，然后将所有通道合并；卷积特征提取层采用若干个卷积进行特征提取，融合学到的深度特征，经过softmax映射特征概率作为各个通道的权重；注意力特征提取层采用相乘计算多通道处理层和卷积特征提取层的输出，获得新的特征图，将该特征图与卷积层的输入连接；

c.构建多通道注意力u-net分割网络，采用跳跃连接将收缩路径特征映射到扩展路径；

3)训练u-net卷积神经网络模型：

将不同模态数据当作神经网络的各个通道输入u-net卷积神经网络模型中训练，u-net卷积神经网络模型包含一个用于提取特征的收缩路径和一个用于恢复目标对象的扩展路径；在收缩路径中，随着网络的深入，不断对输入图像的抽象表示进行编码，提取图像丰富的特征；在扩展路径中，结合收缩路径中的高分辨率特征，以精确定位感兴趣的目标结构；

4)使用训练之后的u-net卷积神经网络模型进行图像分割。

作为一种可选方案，在本发明的磁共振图像分割方法当中，所述的步骤1)当中，数据集提供包括t1、t1ce、t2和flair四种模态的mri图像，并包含手工标定的真实分割标签，精确反映同一位置的情况；除了所标定的真实分割标签，其他的都被标记为0。

作为一种可选方案，在本发明的磁共振图像分割方法当中，所述的步骤1)当中，采用n4itk算法进行去偏置场效应处理和灰度归一化预处理，对最后处理后的多模态mri图像数据再进行水平翻转、垂直翻转和旋转，作为预处理后的多模态mri图像数据。

作为一种可选方案，在本发明的磁共振图像分割方法当中，所述的步骤2)在构建多通道注意力u-net分割网络时，将u-net中的卷积模块采用残差密集模块进行替代，将在u-net收缩路径下采样的输出层序列输入到多通道注意力模块进行特征学习，在u-net扩展路径中采用转置卷积和缩放卷积减小特征图的尺寸并优化边界。

作为一种可选方案，在本发明的磁共振图像分割方法当中，所述的步骤3)对训练得到的u-net卷积神经网络模型从dice系数、灵敏度和特异度方面进行验证，使之满足要求。

本发明还提供一种磁共振图像分割装置，包括：

数据预处理模块，用于对获取的mri图像中的各种模态图像分别进行去偏置场效应处理和灰度归一化预处理，得到预处理后的多模态mri图像数据；

u-net卷积神经网络模型搭建模块，用于搭建残差密集模块和多通道注意力模块，构建多通道注意力u-net分割网络，采用跳跃连接将收缩路径特征映射到扩展路径；

u-net卷积神经网络模型训练模块，用于将不同模态数据当作神经网络各个通道的输入，输入到u-net卷积神经网络模型中进行训练，反复验证之后，使之满足要求；

以及，图像分割模块，使用训练之后的u-net卷积神经网络模型进行图像分割。

本发明还提供一种终端设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行所计算机程序时实现所述磁共振图像分割方法的步骤。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述的计算机程序被处理器执行时实现所述磁共振图像分割方法的步骤。

相较于现有技术，本发明具有如下的有益效果：首先下载数据库中的mri图像，并对获取的图像进行预处理，通过在u-net网络上添加残差密集结构和多通道注意力单元得到改进的多通道注意力u-net网络，再将处理后的图像作为输入，对训练样本进行预训练，得到多通道注意力u-net网络模型的初始参数，最后采用训练好的多通道注意力u-net神经网络模型对测试样本进行分割，得到分割后的图像。实验结果表明新模型实现了多通道注意机制，在简化计算的同时，具有先进的性能效率，对mri图像分割任务特别有帮助。相较于其他方法，本发明方法对分割区域的分割具有很高的准确性，分割结果边界完整，细节清楚。

进一步的，本发明首先在收缩路径上使用多通道密集连接和注意力模块，有效地促进了低层次特征(空间信息)和高层次特征(上下文信息)的利用；然后使用残差密集连接卷积模块代替原有卷积层，提取图像特征，促进网络收敛；其次结合采用转置卷积和缩放卷积在扩展路径上增强采样进行精度提升，更好的优化了分割区域的边界和局部细节。

附图说明

图1以大脑肿瘤为例不同模态的mri图像：

(a)t1模态；(b)t1ce模态；(c)t2模态；(d)flair模态；(e)truth模态；

图2残差密集模块结构示意图；

图3多通道注意力u-net分割网络的结构示意图；

图4多通道注意力u-net分割网络示意图；

图5四种模型在三个不同水平切面的lgg和hgg的分割结果图；

图6不同epoch权重系数下网络的损失变化图；

图7不同epoch权重系数下网络的精确度变化图。

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开内容的实施例，并与说明书一起用于解释本公开内容的原理。通过上述附图，已示出本公开内容明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开内容构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。以下示例性实施例中所描述的实施方式并不代表与本公开内容相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开内容中的一些方面相一致的装置和方法的例子。

本发明磁共振图像分割方法的一种实施例，有以下步骤：

1)数据预处理；

下载mri图像数据，采用了miccai提供的公共数据集brats2017，数据集包括多模式mri扫描图像。数据集提供t1、t1ce、t2和flair等四种模态mri图像，并包含多名专家手工标定的真实分割标签，精确的反映大脑中同一位置的肿瘤情况。如图1所示，标签包括增强肿瘤(enhancedtumor，et-标签4)、肿瘤水肿区(edema，ed-标签2)、坏死和非增强肿瘤核心(necrotic/non-enhancementtumor，ncr/net-标签1)。除了这些标签1、2、4之外，其他的都被标记为0。数据集包括210名hgg患者和75名lgg患者，每位患者都155张不同扫描层的图像，尺寸大小均为240x240。其次对获取的mri图像中的flair、t1、t1c和t2四种模态图像分别进行n4itk算法的去偏置场效应处理和灰度归一化预处理；当使用小样本训练数据训练大型神经网络时，容易出现过度拟合。为了解决这个问题，最后处理后的多模态mri图像数据再进行水平翻转、垂直翻转和旋转，作为预处理后的多模态mri图像数据。

2)搭建改进的u-net卷积神经网络模型：a.搭建残差密集模块，其结构依次为：输入层→三个卷积层→密集特征提取层→残差特征提取层→输出层。其中，三个卷积用于特征提取。密集特征提取层，结构如图2所示，连接所有卷积层通道，然后采用合并操级联卷积层的特征映射，最后使用一层1×1的卷积进行特征融合。残差特征提取层将输入通道与密集特征提取层通道相加学习特征。b.搭建多通道注意力模块，结构如图3所示，其结构依次为：输入层→多通道处理层→卷积特征提取层→注意力特征提取层→输出层。多通道处理层采用适应性池化将多个不同尺寸的通道进行池化，然后将所有通道合并。卷积特征提取层采用三个卷积用于特征提取，一个全连接层融合学到的深度特征，最后经过softmax映射特征概率作为各个通道的权重。注意力提取层采用相乘处理多通道处理层和卷积特征提取层的输出，获得新的特征图，将该特征图与卷积层的输入相连接。c.构建多通道注意力u-net分割网络，结构如图4所示，采用跳跃连接连接将收缩路径特征映射到扩展路径。将u-net中的卷积模块采用残差密集模块替代，在u-net收缩路径下采样前的三个输出层序列输入到多通道注意力模块进行特征学习，将u-net扩展路径中的采用转置卷积和缩放卷积减小特征图尺寸并优化边界。实施例模型中的卷积层卷积核大小为3×3，卷积步长为1，使用batchnormalization批量归一化，使用relu激活函数。池化层应用2×2步长为1的最大池化层。

3)训练改进的u-net卷积神经网络模型：在训练过程中，将患者的四种模态数据当作神经网络的四个通道输入到改进的u-net卷积神经网络模型中进行训练，以便网络学习到不同模态的不同特征，进行更精确的分割，包含一个用于提取特征的收缩路径以及一个用于恢复目标对象的扩展路径；在收缩路径中，随着网络的深入，不断对输入图像的抽象表示进行编码，以提取图像丰富的特征；在扩展路径中，结合收缩路径中的高分辨率特征，以精确定位感兴趣的目标结构。使用折叠交叉验证避免偏差，每次训练170名hgg患者和65名lgg患者图像用作训练样本。本发明实施例中模型设置的具体过程如下：

3.1)初始化。初始化函数选择xavier-glorot方法来缓解后向传播过程中的梯度消失或爆炸问题，有助于更好更快地收敛神经网络。

3.2)激活函数。扩展路径中在每个卷积层中使用校正线性单元(relu)对卷积层后的数据做非线性转换，解决网络中的梯度消失问题，定义输入为x，则relu定义为：

f(x)＝max(0,x)(0)

在多通道注意力u中使用随机带泄露的校正线性单元(randomizedleakyrectified

linearunit，rrelu)做非线性转换，rrelu是由relu改进的激活函数，可以避免激活过程中图像信息的过分压缩，从而取得较好的图像重建能力。rrelu特点在于为负值输入添加了一个在每个节点上斜率都是随机分配(通常服从均匀分布)的线性项。本发明形式上：

其中，i是从均匀分布u(l，u)中抽取的随机数，l，u∈[0，1)，ai是在给定的范围内随机抽取的值。最后一层输出分类概率，采用1×1滤波器的softmax。

3.3)池化层。模型下采样使用最大子采样(max-pooling)函数选取邻域内特征点最大值。它只激活最大输入。减少网络要学习的参数数量、防止过拟合、扩大感知野。实现不变性：平移不变性、旋转不变性和尺度不变性。模型上采样使用转置卷积也称为分阶跃卷积或反卷积，其工作原理是交换卷积的正反向传递，通过学习得到更高的精度并进行分辨率恢复。缩放卷积会以阻碍高频棋盘效应的方式来隐式地集中权重。所以在多通道注意力u-net网络架构上，采样阶段结合转置卷积和缩放卷积调整特征图尺寸大小并优化分割边界。

3.4)正则化。在卷积层中，l1范数更容易得到稀疏解，l2范数的解比较平滑，使得训练误差最小化。因此，本发明使用l2正则化来减少过拟合。l2正则化在层输出的计算中添加了一个平方权重项。在每一层中，l2正则化确保任何功能内核的权重不会掩盖其他功能的影响，或将其减少到几乎消失。它有助于控制过滤器的权重。本发明图像分割方法的实施例中，还在每个卷积层之后使用了批处理规范化，以控制并减少权重分布的变化。

3.5)损失函数。基于交叉熵的损失函数常用于分割任务。然而，一般基于交叉熵的损失函数只是简单地总结了每个像素的错误，而没有给出一个特定类的结论。在图像分割任务中，由于分割区域往往比背景更小，因此等级不平衡更为明显。为了解决这个问题，本发明的分割方法使用混合损失函数，选择交叉熵损失和广义dice损失的组合。损失的交叉熵部分作为稳定训练的一种形式，避免梯度消散。广义dice损失通过在交叉熵损失达到接近于零的情况下直接最大化，使得训练更快地完成。交叉熵损失函数如下：

对所有示例的集合n和所有标签的集合l进行计算，其中，yi是第i个示例和第l个标签的一个热编码(0或1)，并且是对第i个示例和第l个标签的预测概率。

广义的dice损失为了确保所有类都被公平地考虑在内，最大化每个类的dice系数，设计每个类的权重与其频率平方成反比。广义dice损失函数如下：

对所有示例的集合n和所有标签的集合l进行计算，其中ξ是防止出现除以0的计算错误设置的一个极小数，在实验中将ξ固定到0.0000001，wl定义为：

式5可能会在lgg数据集中的一些样本出现分母为零的情况，实验中将wl设为零。

lossce和lossdice的主要区别在于，lossce将背景数据考虑在内，而lossdice将背景数据作为无用数据处理。最后的混合loss的计算方法是：

loss＝βlossce+(1-β)lossdice(6)

定义超参数β来控制lossdice和lossce之间的平衡。

通过实验将超参数β固定到β＝0.7时，网络训练损失最小。

4)训练改进的u-net卷积神经网络模型：使用40名hgg患者和10名lgg患者图像用作验证集。为了评估所提出方法的性能，使用图像分割最常用的标准性能指标：dice系数、灵敏度(sensitivity)和特异度(specificity)。dice系数是一种评估相似度的函数，用于计算两个样本的相似度，即分割准确的区域占真实分割标签的概率。此值越大，说明分割方法越准确。灵敏度，也称为真阳性率，是指实际为阳性的样本中，判断为阳性的比例，即能正确地分割为相应标签的概率，此值越大，说明分割方法越灵敏。特异度，也称为真阴性率，是指实际为阴性的样本中，判断为阴性的比例，即能正确分割背景区域的能力。此值越大，说明分割方法越精确。特异性和敏感性可以判断分割方法是过度分割还是分割不足。

性能指标计算方法如下：

这些指标定义为：对增强区域(仅增强区域被认为是阳性，其余均被认为是阴性)、核心区域(坏死、增强和非增强区域合并为阳性)和所有区域(所有区域合并为阳性)进行评估。其中tp、tn、fp和fn分别对应真阳性、真阴性、假阳性和假阴性。

上述方法可以由一种磁共振图像分割装置实现，该装置包括：

数据预处理模块，用于对获取的mri图像中的各种模态图像分别进行去偏置场效应处理和灰度归一化预处理，得到预处理后的多模态mri图像数据；

u-net卷积神经网络模型搭建模块，用于搭建残差密集模块和多通道注意力模块，构建多通道注意力u-net分割网络，采用跳跃连接将收缩路径特征映射到扩展路径；

u-net卷积神经网络模型训练模块，用于将不同模态数据当作神经网络各个通道的输入，输入到u-net卷积神经网络模型中进行训练，反复验证之后，使之满足要求；

以及，图像分割模块，使用训练之后的u-net卷积神经网络模型进行图像分割。

一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，处理器执行计算机程序时实现前述的磁共振图像分割方法的步骤。

一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，所述的计算机程序被处理器执行时实现所述的磁共振图像分割方法的步骤。

参见图5，四种模型在三个不同水平切面的lgg和hgg的分割结果中，水肿区域整体轮廓分割效果好，非增强区域的分割不如其他区域准确，增强区域分割则具有挑战性。

其中fcn虽然对轮廓分割平滑，但由于融合较少层次的特征导致分割边界细节缺失且分割精度不高。u-net对轮廓分割细节加强，但存在明显的过分割。res-u-net分割的分割边界较为明显但分割出的边界还是不够细腻，且有较多的孤立散点。可以观察到，四种方法预测分割区域都与真实分割标签都有重叠，相较于其他方法，多通道注意力u-net对所有区域的分割具有很高的准确性。比如在分割第6例较复杂的mri图像时，由于边界太复杂导致其他模型的分割结果都差强人意，但采用本发明的方法却能够分割出比较满意的结果。总的来说，采用多通道注意力机制的u-net模型结构可以端对端的获得与分割标签相似的分割结果，从而细化分割边界，有效解决mri图像的过分割与欠分割问题。

从图6可以看出，在第16个epoch之后，网络损失开始基本趋于稳定，在多个epoch之后，网络开始在训练集上过度拟合。如图7所示，在第18个poch时，网络在训练期间获得的最高验证精度为99.33％，并且这些权重是在产生最佳结果时选择的，测试集的准确率平均为99.44％，网络损失降到最低且保持平稳。所以本文最终采取epoch权重系数为18，能够表征全体数据的特征，使梯度下降方向更准确，且迭代次数少，总体速度更快。

参见表1，表1给出了测试集数据分别采用不同卷积网络模型进行整体区域、核心区域和增强区域三种分割目标的dice均值结果。从表1可以看出fcn和u-net在dice方面的表现相似。本发明改进的网络结构均比原res-u-net网络有一定提高，并且本发明最终提出的多通道注意力u-net模型在三种分割目标上都有更高的分割精度。

实验结果表明，通过在u-net模型中适当添加深度监督，残差密集连接结构以及密集连接可以在一定程度上提高模型的分割精度和稳定性。

表1四种模型的评估结果

参见表2，表2总结了其他先进的分割方法和本发明提出的多通道注意力u-net方法的dice评分对比，各种先进分割方法的dice评分达到0.85～0.89，可以看出本发明提出的多通道注意力u-net方法在性能总体优于其他方法。最重要的因素是本发明提出的u-net卷积神经网络模型是采用注意力机制和上采样阶段的改进提高分割精确度，尤其是增强区域分割表现优异dice评分达到了0.90，非增强区域的分割dice评分也取得相当好的表现。

表2多通道注意力u-net与其他先进分割方法的dice对比

以上所述仅仅是本发明的较佳实施例，并不用以对本发明的技术方案进行任何限定，本领域技术人员应当理解的是，在不脱离本发明精神和原则的前提下，本发明的技术方案还可以进行若干简单的修改和替换，这些修改和替换也均会落入权利要求所划定的保护范围之内。