基于金字塔场景分析网络的MRI脑肿瘤分割方法及系统与流程

本公开属于MRI脑肿瘤分割领域，尤其涉及一种基于金字塔场景分析网络的MRI脑肿瘤分割方法及系统。

背景技术：

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

MRI也就是磁共振成像，英文全称是：Magnetic Resonance Imaging。经常为人们所利用的原子核有：1H、11B、13C、17O、19F、31P。在这项技术诞生之初曾被称为核磁共振成像，到了20世纪80年代初，作为医学新技术的NMR成像(NMR Imaging)一词越来越为公众所熟悉。

大脑是人的身体重要组成部分，据有关调查报告显示，脑肿瘤的发病率呈上升趋势。脑肿瘤精确分割是脑肿瘤治疗过程中的重要环节，基于脑肿瘤的精确分割结果，医生即可获得肿瘤的形态、大小及位置等多种信息，对其进行定量的分析和跟踪比较，掌握肿瘤的病变发展和生长状态，对医学影像分析和临床应用研究具有十分重要的意义。

发明人发现，目前临床应用中对脑肿瘤的分割过程主要是由经验丰富的专家根据自身的医学图像分割经验，借助专业的软件直接画出感兴趣区域的边缘轮廓。医学图像的专家分割是图像分割的金标准，虽然人工手动分割准确率高，但是耗时耗力，实时性差，效率较低，不能满足批量处理肿瘤图像分割工作的需要，并且分割结果的好坏依赖于操作者的先验知识和经验积累，具有一定的主观性，不同医生对同一病人的MRI图像会有不同的判断结果，同一名医生在不同时期对同一病人MRI图像的分割结果也不尽相同，存在个体性差异，可重复操作性较差。因此，利用图像分割算法对脑肿瘤图像进行自动或半自动分割，给医生的诊断和治疗提供辅助参考，减轻医生的工作负担，提高肿瘤分割的准确性，不仅是医学图像分割研究的发展趋势，同时也是临床医学应用的现实需要。

发明人还发现，基于核磁共振图像的脑转移瘤和脑胶质瘤分割是一件十分具有挑战性的工作。它的挑战主要在于脑肿瘤通常浸润周围组织而不是替代周围组织，使得肿瘤在磁共振图像中边界模糊且与正常脑组织混叠在一起，要实现对脑肿瘤的正常分割非常困难。目前的人工脑肿瘤分割存在效率低、可靠性低和分割不稳定缺点。

技术实现要素：

为了解决上述问题，本公开的第一个方面提供一种基于金字塔场景分析网络的MRI脑肿瘤分割方法，其将卷积神经网络与金字塔池化模型结合起来，通过结合局部和全局线索来提高最终预测的可靠性。

为了实现上述目的，本公开采用如下技术方案：

一种基于金字塔场景分析网络的MRI脑肿瘤分割方法，包括：

预处理MRI脑肿瘤图像，得到MRI脑肿瘤的切片图像及其对应的标签，进而形成训练集和测试集；所述标签包括正常组织区、水肿区、非增强肿瘤区、增强肿瘤区和坏死区；

利用训练集对卷积神经网络模型进行训练，直至卷积神经网络模型输出MRI脑肿瘤分割图像与期望分割图像之间的误差小于预设阈值，停止训练；

利用训练好的卷积神经网络模型对测试集进行分割，并取特征图作为金字塔池化模型的输入值；

金字塔池化模型对特征图进行池化和上采样以及不同级别特征拼接操作，输出逐像素预测分割结果。

为了解决上述问题，本公开的第二个方面提供一种基于金字塔场景分析网络的MRI脑肿瘤分割系统，其将卷积神经网络与金字塔池化模型结合起来，通过结合局部和全局线索来提高最终预测的可靠性。

为了实现上述目的，本公开采用如下技术方案：

一种基于金字塔场景分析网络的MRI脑肿瘤分割系统，包括：

预处理模块，其用于预处理MRI脑肿瘤图像，得到MRI脑肿瘤的切片图像及其对应的标签，进而形成训练集和测试集；所述标签包括正常组织区、水肿区、非增强肿瘤区、增强肿瘤区和坏死区；

模型训练模块，其用于利用训练集对卷积神经网络模型进行训练，直至卷积神经网络模型输出MRI脑肿瘤分割图像与期望分割图像之间的误差小于预设阈值，停止训练；

测试分割模块，其用于利用训练好的卷积神经网络模型对测试集进行分割，并取特征图作为金字塔池化模型的输入值；

金字塔池化模块，其用于金字塔池化模型对特征图进行池化和上采样以及不同级别特征拼接操作，输出逐像素预测分割结果。

为了解决上述问题，本公开的第三个方面提供一种计算机可读存储介质，其将卷积神经网络与金字塔池化模型结合起来，通过结合局部和全局线索来提高最终预测的可靠性。

为了实现上述目的，本公开采用如下技术方案：

一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述所述的基于金字塔场景分析网络的MRI脑肿瘤分割方法中的步骤。

为了解决上述问题，本公开的第三个方面提供一种计算机可读存储介质，其将卷积神经网络与金字塔池化模型结合起来，通过结合局部和全局线索来提高最终预测的可靠性。

为了实现上述目的，本公开采用如下技术方案：

一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述所述的基于金字塔场景分析网络的MRI脑肿瘤分割方法中的步骤。

本公开的有益效果是：

本公开利用卷积神经网络提取MRI脑肿瘤的局部特征，提取MRI脑肿瘤的不同级别的局部特征被拼接为最终的金字塔池化全局特征，将卷积神经网络与金字塔池化模型结合起来，通过结合局部和全局线索来提高最终预测的可靠性，避免了人工分割的低效率和不稳定的缺陷，提供了快速可靠的脑肿瘤鉴别结果，从而为脑肿瘤的诊断和治疗提供准确的依据。

附图说明

构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。

图1是本公开实施例提供的一种基于金字塔场景分析网络的MRI脑肿瘤分割方法流程图。

图2是本公开实施例提供的卷积神经网络模型示意图。

图3是本公开实施例提供的金字塔池化模型示意图。

图4是本公开实施例提供的最终预测结果图。

图5是本公开实施例提供的一种基于金字塔场景分析网络的MRI脑肿瘤分割系统结构示意图。

具体实施方式

下面结合附图与实施例对本公开作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

图1是本公开实施例提供的一种基于金字塔场景分析网络的MRI脑肿瘤分割方法流程图。

如图1所示，本实施例的一种基于金字塔场景分析网络的MRI脑肿瘤分割方法，包括：

S101：预处理MRI脑肿瘤图像，得到MRI脑肿瘤的切片图像及其对应的标签，进而形成训练集和测试集；所述标签包括正常组织区、水肿区、非增强肿瘤区、增强肿瘤区和坏死区。

具体地，在步骤S101中，收集脑转移瘤和脑胶质瘤的核磁共振图像，并且调整图像的大小，对多模态核磁共振图像进行处理，获得对应的切片图像；

手动分割切片图像，获得与其对应的标签图像；

将所有收集的脑转移瘤和脑胶质瘤的核磁共振切片图像及其标签图像根据留一法分成训练集和测试集。

其中，核磁共振图像包括T1、T1C、T2和Flair四种模态的磁共振图像，脑部将分割成正常组织区、水肿区、非增强肿瘤区、增强肿瘤区和坏死区等5个区域，并且5个区域互不重叠。

T1、T1C、T2是用于测定电磁波的物理量，可作为成像的数据。

Flair，是fluid attenuated inversion recovery的英文缩写，磁共振成像液体衰减反转恢复序列。

S102：利用训练集对卷积神经网络模型进行训练，直至卷积神经网络模型输出MRI脑肿瘤分割图像与期望分割图像之间的误差小于预设阈值，停止训练。

在具体实施中，利用训练集对卷积神经网络模型进行训练之前还包括：

将训练集内的切片图像的像素使用最大最小标准化进行线性变换归一化映射到区间[0,1]。

训练集图像数据输入卷积神经网络前，需对输入数据进行归一化处理，即将分布于[0,255]的原始数据归一化至[0,1]区间；

使用最大最小标准化对原始数据进行线性变换，将A的一个原始值x通过最大最小标准化映射到区间[0,1]的值x1，公式如下：

其中，minA和maxA分别属于属性A的最大值和最小值。

卷积神经网络训练的具体过程如下：卷积神经网络的训练过程分为两个阶段。

第一个阶段是数据由低层次向高层次传播的阶段，即前向传播阶段。

另外一个阶段是，当前向传播得出的结果与预期不相符时，将误差从高层次向底层次进行传播训练的阶段，即反向传播阶段。

训练过程为：

1)、网络进行权值的初始化；

2)、输入数据经过卷积层、下采样层、全连接层的向前传播得到输出值；

3)、求出网络的输出值与目标值之间的误差；

4)、当误差大于我们的期望值时，将误差传回网络中，依次求得全连接层，下采样层，卷积层的误差。各层的误差可以理解为对于网络的总误差，网络应承担多少；当误差等于或小于我们的期望值时，结束训练；

5)、根据求得误差进行权值更新，然后在进入到第2)步。

S103：利用训练好的卷积神经网络模型对测试集进行分割，并取特征图作为金字塔池化模型的输入值。

如图2所示，对于卷积神经网络的卷积层，它的卷积过程数学表达公式：

其中，inNum为输入矩阵的个数，Xk代表第k个输入矩阵，Wk代表卷积核的第k个子卷积核矩阵，s(i,j)即卷积核W对应的输出矩阵的对应位置元素的值,b为偏置参数；

卷积后的输出通过ReLU激活函数，将输出的张量中小于0的位置对应的元素值都变成0，再经过池化，得到特征图，并且建立好卷积神经网络模型。

所述整流线性单元ReLU定义如下：

g(x)＝max(0,x)；

其中，g(x)表示整流线性单元函数，x是一个输入值。

用训练好的卷积神经网络模型对测试集进行分割，并取特征图作为金字塔池化模型的输入值的具体过程为：

用训练好的卷积神经网络模型进行卷积、激励、池化、卷积、激励、池化等操作；

取最后卷积层作为金字塔池化模型的输入特征值。

S104：金字塔池化模型对特征图进行池化和上采样以及不同级别特征拼接操作，输出逐像素预测分割结果。

其过程为：

给金字塔池化模型输入特征值，通过金字塔池化模块产生不同的子区域并形成不同位置的池化表示；

其中，如图3所示，金字塔结构的各级分别采用不同大小的池化核通过一定的步长分析不同的子区域。因此，这些多级核在表示上应该保持一个合理的间隔。金字塔池化模块是一个4级结构，其中的卷积核大小分别为1x1、2x2、3x3和6x6。

通过上采样与特征值的拼接形成包含局部和全局上下文信息的特征表示，经过向量卷积运算(conv)输出最终的逐像素预测结果，如图4所示。

在另一实施例中，基于金字塔场景分析网络的MRI脑肿瘤分割方法，还包括：

S105：对输出的逐像素预测分割结果的每一层切片图像进行中值滤波，并移除小于预设像素值的区域以及填充图像空洞区域。

例如：预测结果的每一层切片图像利用6 X 6的中值滤波器，并移除小于300像素的区域以及填充图像空洞区域。

本实施例利用卷积神经网络提取MRI脑肿瘤的局部特征，提取MRI脑肿瘤的不同级别的局部特征被拼接为最终的金字塔池化全局特征，将卷积神经网络与金字塔池化模型结合起来，通过结合局部和全局线索来提高最终预测的可靠性，避免了人工分割的低效率和不稳定的缺陷，提供了快速可靠的脑肿瘤鉴别结果，从而为脑肿瘤的诊断和治疗提供准确的依据。

如图5所示，另一实施例中，提供了一种基于金字塔场景分析网络的MRI脑肿瘤分割系统，包括：

(1)预处理模块，其用于预处理MRI脑肿瘤图像，得到MRI脑肿瘤的切片图像及其对应的标签，进而形成训练集和测试集；所述标签包括正常组织区、水肿区、非增强肿瘤区、增强肿瘤区和坏死区。

具体地，在预处理模块中，收集脑转移瘤和脑胶质瘤的核磁共振图像，并且调整图像的大小，对多模态核磁共振图像进行处理，获得对应的切片图像；

手动分割切片图像，获得与其对应的标签图像；

将所有收集的脑转移瘤和脑胶质瘤的核磁共振切片图像及其标签图像根据留一法分成训练集和测试集。

其中，核磁共振图像包括T1、T1C、T2和Flair四种模态的磁共振图像，脑部将分割成正常组织区、水肿区、非增强肿瘤区、增强肿瘤区和坏死区等5个区域，并且5个区域互不重叠。

T1、T1C、T2是用于测定电磁波的物理量，可作为成像的数据。

Flair，是fluid attenuated inversion recovery的英文缩写，磁共振成像液体衰减反转恢复序列。

(2)模型训练模块，其用于利用训练集对卷积神经网络模型进行训练，直至卷积神经网络模型输出MRI脑肿瘤分割图像与期望分割图像之间的误差小于预设阈值，停止训练。

在具体实施中，利用训练集对卷积神经网络模型进行训练之前还包括：

将训练集内的切片图像的像素使用最大最小标准化进行线性变换归一化映射到区间[0,1]。

训练集图像数据输入卷积神经网络前，需对输入数据进行归一化处理，即将分布于[0,255]的原始数据归一化至[0,1]区间；

使用最大最小标准化对原始数据进行线性变换，将A的一个原始值x通过最大最小标准化映射到区间[0,1]的值x1，公式如下：

其中，minA和maxA分别属于属性A的最大值和最小值。

卷积神经网络训练的具体过程如下：卷积神经网络的训练过程分为两个阶段。

第一个阶段是数据由低层次向高层次传播的阶段，即前向传播阶段。

另外一个阶段是，当前向传播得出的结果与预期不相符时，将误差从高层次向底层次进行传播训练的阶段，即反向传播阶段。

训练过程为：

1)、网络进行权值的初始化；

2)、输入数据经过卷积层、下采样层、全连接层的向前传播得到输出值；

3)、求出网络的输出值与目标值之间的误差；

4)、当误差大于我们的期望值时，将误差传回网络中，依次求得全连接层，下采样层，卷积层的误差。各层的误差可以理解为对于网络的总误差，网络应承担多少；当误差等于或小于我们的期望值时，结束训练；

5)、根据求得误差进行权值更新，然后在进入到第2)步。

(3)测试分割模块，其用于利用训练好的卷积神经网络模型对测试集进行分割，并取特征图作为金字塔池化模型的输入值。

如图2所示，对于卷积神经网络的卷积层，它的卷积过程数学表达公式：

其中，inNum为输入矩阵的个数，Xk代表第k个输入矩阵，Wk代表卷积核的第k个子卷积核矩阵，s(i,j)即卷积核W对应的输出矩阵的对应位置元素的值，b为偏置参数；

卷积后的输出通过ReLU激活函数，将输出的张量中小于0的位置对应的元素值都变成0，再经过池化，得到特征图，并且建立好卷积神经网络模型。

所述整流线性单元ReLU定义如下：

g(x)＝max(0,x)；

其中，g(x)表示整流线性单元函数，x是一个输入值。

用训练好的卷积神经网络模型对测试集进行分割，并取特征图作为金字塔池化模型的输入值的具体过程为：

用训练好的卷积神经网络模型进行卷积、激励、池化、卷积、激励、池化等操作；

取最后卷积层作为金字塔池化模型的输入特征值。

(4)金字塔池化模块，其用于金字塔池化模型对特征图进行池化和上采样以及不同级别特征拼接操作，输出逐像素预测分割结果。

具体地，所述金字塔池化模块，包括：

池化表示模块，其用于特征图通过金字塔池化模型的各级不同大小池化核分析不同的子区域，形成不同位置的池化表示；

卷积运算模块，其用于通过上采样与特征值的拼接形成包含局部和全局上下文信息的特征表示，经过向量卷积运算输出最终的逐像素预测结果。

如图3所示，金字塔结构的各级分别采用不同大小的池化核通过一定的步长分析不同的子区域。因此，这些多级核在表示上应该保持一个合理的间隔。金字塔池化模块是一个4级结构，其中的卷积核大小分别为1x1、2x2、3x3和6x6。

在另一实施例中，基于金字塔场景分析网络的MRI脑肿瘤分割系统，还包括：

(5)分割结果二次处理模块，其用于对输出的逐像素预测分割结果的每一层切片图像进行中值滤波，并移除小于预设像素值的区域以及填充图像空洞区域。

例如：预测结果的每一层切片图像利用6 X 6的中值滤波器，并移除小于300像素的区域以及填充图像空洞区域。

本实施例利用卷积神经网络提取MRI脑肿瘤的局部特征，提取MRI脑肿瘤的不同级别的局部特征被拼接为最终的金字塔池化全局特征，将卷积神经网络与金字塔池化模型结合起来，通过结合局部和全局线索来提高最终预测的可靠性，避免了人工分割的低效率和不稳定的缺陷，提供了快速可靠的脑肿瘤鉴别结果，从而为脑肿瘤的诊断和治疗提供准确的依据。

在另一实施例中，还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如图1所示的基于金字塔场景分析网络的MRI脑肿瘤分割方法中的步骤。

在另一实施例中，还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如图1所示的基于金字塔场景分析网络的MRI脑肿瘤分割方法中的步骤。

本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。

以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。