一种基于SEResU-Net模型的MRI脑肿瘤图像分割方法及系统

一种基于seresu-net模型的mri脑肿瘤图像分割方法及系统
技术领域
1.本发明涉及图像处理技术领域，尤其涉及一种基于seresu-net模型的mri脑肿瘤图像分割方法及系统。


背景技术：

2.脑肿瘤是一种在脑组织中非自然分裂和不正常生长的异常细胞，严重危害人体的健康。较早的、准确的检测分割出肿瘤对于患者后期的治疗至关重要。具有高分辨率、无损伤特点的mri是首选的脑肿瘤检查筛查的技术方法。根据mri人工分割脑肿瘤具有很强的主观性，容易出错；传统的分割方法繁琐且精度不够高；深度学习的分割技术可以通过网络结构逐层学习到更为抽象的特征，相比传统方法不仅极大的减轻了医生负担，而且大幅度的提升了分割精度，为临床治疗和病理学的研究提供可靠的依据。
3.u-net具有收缩路径和扩展路径的编码-解码架构，通过跳跃连接来融合高级特征信息和低级特征信息，对于医学图像分割有着突出的表现，是图像分割领域应用最广泛的网络。虽然u-net在多领域已经有很好的表现了，但它依然存在可待改进之处。在u-net下采样降低维度过程中，由于网络的层次不是足够深，从而容易忽视掉小规模肿瘤信息，在上采样过程中，经过跳跃连接进行信息恢复时，会产生冗余信息丢失一些有用信息。


技术实现要素：

4.本发明的目的在于提供一种基于seresu-net模型的mri脑肿瘤图像分割方法及系统，以解决在 u-net下采样降低维度过程中，由于网络的层次不是足够深，从而容易忽视掉小规模肿瘤信息，在上采样过程中，经过跳跃连接进行信息恢复时，会产生冗余信息丢失一些有用信息，从而导致分割精度较低的技术问题。
5.本发明的目的是采用以下技术方案实现的：一种基于seresu-net模型的mri脑肿瘤图像分割方法，包括如下步骤：
6.s1：模型训练，训练seresu-net网络模型，得到最优分割模型；
7.s2：预处理，对病人多模态的mri脑肿瘤数据进行预处理，得到numpy文件；
8.s3：肿瘤分割，将numpy文件导入分割模型中，通过分割模型对脑肿瘤图像进行分割，并标注出病变脑区；
9.s4：结果输出，生成预测的分割结果，结果以切片的形式进行存储；
10.s5：查看分割结果及评分，通过评价指标对分割结果进行评分；
11.s6：3d重建，将得到的2d结果进行3d重建生成3d分割结果，以便于更加立体直观地查看分割结果。
12.进一步的，所述步骤s1包括如下子步骤：
13.s11：从miccai提供的brats2018和brats2019公共数据集中获取训练数据集与测试数据集，并将训练数据集与测试数据集中的flair、t1、t1ce和t2四个模态的mri图像进行预处理；
14.s12：预处理得到训练集、验证集、测试集，训练seresu-net网络模型；
15.s13：重复上述步骤，得到最优分割模型。
16.进一步的，在训练seresu-net网络模型的过程中采用早停法early stopping来防止seresu-net网络模型过拟合。
17.进一步的，所述步骤s2包括如下子步骤：
18.s21：标准化，采用z-score方法对每个模态图像进行标准化；
19.s22：裁剪，对原始病人的mri脑肿瘤图像进行裁剪，去掉无关背景信息，并进行对比度和亮度增强；
20.s23：切片处理，筛选去除无病灶切片、合并各模态的切片，保存为numpy文件。
21.进一步的，所述标准化为：将每个模态的数据标准化为零均值和单位标准差，其中标准差公式为：z-score标准转化公式：式中μ表示总体数据的均值，σ表示总体数据的标准差，x表示个体观测值，n表示样本数，z表示标准化后的结果。
22.进一步的，所述步骤s5具体为：通过不同颜色显示分割出的整体脑肿瘤区域wt、脑肿瘤核心区域tc和增强脑肿瘤区域et，并通过评价指标：dsc、sensitivity、specificity和hd对分割结果进行评分。
23.进一步的，所述dsc用于衡量预测结果与真实结果的相似度：所述 sensitivity表示的是所有正样本中被正确识别为正样本的比例，衡量了分类器对正样本的识别能力：所述specificity表示的是所有负样本中被正确识别为负样本的比例，衡量了分类器对负样本的识别能力：所述hd距离是描述两组点集之间相似程度的一种度量，在这里表示预测结果和真实结果之间最大不匹配程度，hd越小表示分割精度越高：
24.一种基于seresu-net模型的mri脑肿瘤图像分割系统，包括模型训练模块、预处理模块、肿瘤分割模块、结果输出模块、查看分割结果及评分模块和3d重建模块，所述模型训练模块用以训练seresu
‑ꢀ
net网络模型，得到最优分割模型；所述预处理模块用以对病人多模态的mri脑肿瘤数据进行预处理，得到numpy文件；所述肿瘤分割模块用以将numpy文件导入分割模型中，通过分割模型对脑肿瘤图像进行分割，并标注出病变脑区；所述结果输出模块用以生成预测的分割结果，结果以切片的形式进行存储；所述查看分割结果及评分模块用以通过评价指标对分割结果进行评分；所述3d重建模块用以将得到的 2d结果进行3d重建生成3d分割结果，以便于更加立体直观地查看分割结果。
25.本发明的有益效果在于：本发明针对u-net分割脑肿瘤的不足，提出了seresu-net网络分割模型，加强了u-net下采样的特征提取能力与上采样抑制冗余信息突出有用信息的能力，提高了对多模态脑肿瘤的分割精度，实现了高准确率的自动分割，为医生临床诊断提供了高效且有价值的参考信息。
附图说明
26.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
27.图1为发明流程图；
28.图2为residual network结构图；
29.图3为squeeze-and-excitation network原理图；
30.图4为seresu-net整体模型结构图；
31.图5为本发明系统框图。
具体实施方式
32.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
33.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
34.下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
35.实施例1：
36.参阅图1，一种基于seresu-net模型的mri脑肿瘤图像分割方法，包括如下步骤：
37.s1：模型训练，训练seresu-net网络模型，得到最优分割模型；
38.s2：预处理，对病人多模态的mri脑肿瘤数据进行预处理，得到numpy文件；
39.s3：肿瘤分割，将numpy文件导入分割模型中，通过分割模型对脑肿瘤图像进行分割，并标注出病变脑区；
40.s4：结果输出，生成预测的分割结果，结果以切片的形式进行存储；
41.s5：查看分割结果及评分，通过评价指标对分割结果进行评分；
42.s6：3d重建，将得到的2d结果进行3d重建生成3d分割结果，以便于更加立体直观地查看分割结果。
43.在本实施例当中，所述步骤s1包括如下子步骤：
44.s11：从miccai提供的brats2018和brats2019公共数据集中获取训练数据集与测试数据集，并将训练数据集与测试数据集中的flair、t1、t1ce和t2四个模态的mri图像进行预处理；
45.s12：预处理得到训练集、验证集、测试集，训练seresu-net网络模型；在训练seresu-net网络模型的过程中采用早停法(early stopping)来防止seresu-net网络模型过拟合；
46.s13：重复上述步骤，得到最优分割模型，能够最精确的分割出：整体脑肿瘤区域wt，即 ed+et+net；肿瘤核心区tc，即et+net；增强肿瘤区et。
47.步骤s1主要将residual network加入到u-net的下采样部分，这样保证了增加网络的深度不会导致梯度消失。网络深度的增加提高了对特征信息的提取能力，能够提取到细微的信息；将squeeze-and
‑ꢀ
excitation network(senet)加入到u-net上采样部分，加入senet后增强了有用特征信息，抑制了不相关区域的特征响应，减少冗余特征的数量。
48.进一步的，residual network：卷积神经网络层数越深，对特征的提取能力越强。但是当网络层数达到一定程度时，再增加网络层数会出现梯度弥散等问题，导致网络退化，使模型的准确率下降。为了解决网络退化问题，提出了residual network，由于residual network引入了恒等映射层(identity mapping)，将输入直接映射到输出，所以即使增加网络的深度，误差也不会增加。如图2所示：假设输入为x，期望输出为h(x)，定义h(x)＝f(x)+x，当f(x)＝0时，h(x)＝x，模型变成浅层网络，可避免网络退化问题的产生。此时，residual network需要学习的不再是h(x)，而是h(x)和x的差值，即残差：f(x)＝h(x)-x。因此，模型训练的目的要将残差结果逼近于0，使得网络加深，而准确率不下降。
49.squeezed-and-excitation network(senet)：注意力机制借鉴人类的选择性认知机制，可以有效的选择并突出有用信息，抑制冗余信息。为了增强网络的特征提取与表达能力，该模型结合了senet。以往注意力机制侧重研究如何增强空间编码能力，而senet重在探索通道上的注意力。senet能通过网络的损失值(loss)去学习特征权重，获取每个特征通道的重要程度，再根据重要程度给每个特征通道赋予相应的权重值，从而让神经网络去提升有用特征抑制用处不大的特征。图3展示了senet的原理结构：输入x 经过卷积之后得到一个特征图u，将u进行挤压操作(squeeze)，将一个c2通道w
×
h特征图压缩成 c2通道1
×
1的特征图，公式如下：
50.接着进行激励操作(excitation)得到一个权重调整过后的通道注意力向量s(1
×1×
c2)，公式如下：
51.s＝f
ex
(z,w)＝σ(w2δ(w1z))，
52.式中δ代表relu激活函数，σ代表sigmoid函数，w1、w2代表两个全连接层；
53.最后利用s对u进行重新标定操作(scale),得到特征权重调整后的特征图x＇。
54.seresu-net：结合residual network和senet通道注意力模块的优势，提出了seresu-net模型。该模型的网络结构如图4所示：seresu-net网络具有收缩路径和扩展路径的编码-解码结构体系。首先，编码器部分结合resnet50进行下采样，加深的网络进一步增强了对初始特征的提取和表达能力，更多的跳跃连接能更好的结合图像的背景语义信息。相比原始u-net编码部分，加入residual network有效减小了下采样过程中对小规模脑肿瘤的分割误差。解码器部分结合了senet通道注意力模块，将经过长连接特征融合后的特征图(feature map)经relu激活函数后输入到se模块当中得到加权后的特征图(featuremap)，最后达到提高分割精度的目的。相比u-net解码部分，加入senet后的网络增强了显著特征信息，抑制了不相关区域的特征响应，减少冗余特征的数量。
55.模型损失函数：采用dice loss和cross-entropy loss结合的混合损失函数。dice系数是一种集合相似度度量函数，通常用于计算两个样本的相似度，取值范围为[0,1]，表达式为：dice loss 表达式为：cross-entropy loss主要用来判
定实际输出与期望输出的接近程度，用它来衡量网络的输出与标签的差异，利用这种差异经过反向传播去更新网络参数，表达式为：式中p代表正确值q代表预测值，结合dice loss和cross-entropy loss的优点，混合损失函数能考虑到脑肿瘤类别的所有权重信息，并充分抑制类别不平衡对脑肿瘤分割的影响。
[0056]
在本实施例当中，所述步骤s2包括如下子步骤：
[0057]
s21：标准化，由于四个模态的数据对比度不同，首先采用z-score方法对每个模态图像进行标准化，即将每个模态的数据标准化为零均值和单位标准差，其中标准差公式为：z-score标准转化公式：式中μ表示总体数据的均值，σ表示总体数据的标准差，x表示个体观测值， n表示样本数，z表示标准化后的结果；
[0058]
s22：裁剪，对原始病人的mri脑肿瘤图像(大小为240
×
240
×
155体素)进行裁剪(裁剪为160
ꢀ×
160
×
155体素)，去掉无关背景信息，并进行对比度和亮度增强；
[0059]
s23：切片处理，筛选去除无病灶切片、合并各模态的切片，保存为numpy文件。
[0060]
在本实施例当在，所述步骤s3，肿瘤分割，将经过预处理后的数据输入分割系统，分割系统调用已经训练好的seresu-net模型参数对脑肿瘤进行分割，分割并标注出相应的病变脑区。
[0061]
在本实施例当中，所述步骤s4，结果输出，最后会生成预测的分割结果，结果以切片形式保存到相应文件夹。
[0062]
在本实施例当中，所述步骤s5具体为：通过不同颜色显示分割出的整体脑肿瘤区域wt、脑肿瘤核心区域tc和增强脑肿瘤区域et，并通过评价指标：dsc、sensitivity、specificity和hd对分割结果进行评分。
[0063]
进一步的，所述dsc用于衡量预测结果与真实结果的相似度：所述 sensitivity表示的是所有正样本中被正确识别为正样本的比例，衡量了分类器对正样本的识别能力：所述specificity表示的是所有负样本中被正确识别为负样本的比例，衡量了分类器对负样本的识别能力：所述hd距离是描述两组点集之间相似程度的一种度量，在这里表示预测结果和真实结果之间最大不匹配程度，hd越小表示分割精度越高：
[0064]
在本实施例当中，所述步骤s6，3d重建，将得到的2d分割结果进行3d重建生成3d的分割结果，以便更加立体直观地查看分割结果。
[0065]
参阅图5，基于同一发明构思，本发明提出了一种基于seresu-net模型的mri脑肿瘤图像分割系统，以实现上述基于seresu-net模型的mri脑肿瘤图像分割方法，该系统包括模型训练模块、预处理模块、肿瘤分割模块、结果输出模块、查看分割结果及评分模块和3d重建模块，所述模型训练模块用以训练seresu-net网络模型，得到最优分割模型；所述预处理模块用以对病人多模态的mri脑肿瘤数据进行预处理，得到numpy文件；所述肿瘤分割模
块用以将numpy文件导入分割模型中，通过分割模型对脑肿瘤图像进行分割，并标注出病变脑区；所述结果输出模块用以生成预测的分割结果，结果以切片的形式进行存储；所述查看分割结果及评分模块用以通过评价指标对分割结果进行评分；所述3d重建模块用以将得到的2d结果进行3d重建生成3d分割结果，以便于更加立体直观地查看分割结果。
[0066]
本发明提出了一种用于多模态mri脑肿瘤分割的端到端seresu-net模型，不仅能提取到更加深层次的信息，而且能够关注小规模脑肿瘤信息，提高分割精度；在下采样中，结合resnet50深度残差网络，解决了梯度消失和网络退化的问题,能够提取更加深层次的精细信息；上采样结合senet通道注意力模块，用以学习重要的特征信息，充分抑制了冗余信息，加强了对精细信息的分割，提高了分割精度；使用了 dice loss和cross-entropy loss混合损失函数，解决了由于类别不平衡对脑肿瘤分割的影响；本发明有效的解决脑肿瘤分割图像分割准确率低的问题；可以提升肿瘤的可识别性；通过软件界面可以直接进行操作，快速高效。
[0067]
本发明在性能上：从预处理得到分割结果只需要很短的时间，不仅可以输入一例病例还可以同时输入多例病例同时进行分割。功能上：完善了结果的展示，可以查看预处理的结果、2d分割结果、3d重建结果。成本上：时间成本低，结果呈现快速；硬件成本低。质量上：通过客观评价指标dsc、 sensitivity、specificity、hd对分割结果进行综合评价，验证了本发明提出的模型能够准确分割出肿瘤组织，对整个脑肿瘤的分割敏感性(sensitivity)达到了94％。
[0068]
需要说明的是，对于前述的实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本技术并不受所描述的动作顺序的限制，因为依据本技术，某一些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例属于优选实施例，所涉及的动作并不一定是本技术所必须的。
[0069]
上述实施例中，描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。