结合改进U-Net和CMF的三维脑肿瘤图像分割方法与流程

本发明是医学影像领域中的一个重要领域，将医学图像和计算机算法结合起来，完成三维脑肿瘤核磁共振图像精确分割。具体讲，涉及改进的u-net神经网络和连续最大流三维脑肿瘤图像分割方法。

背景技术：

颅内肿瘤又称“脑瘤”，是神经外科中最常见的疾病之一。脑肿瘤是具有不同形状、大小和内部结构的异常组织，随着这种异常组织的增长，它们对周围组织施加压力，引起各种问题，因此组织类型的准确表征和定位在脑肿瘤诊断和治疗中起关键作用。神经成像方法特别是核磁共振成像(magneticresonanceimaging，mri)，提供关于脑肿瘤的解剖学和病理生理学信息，有助于诊断、治疗和患者的随访。脑肿瘤mri序列包括t1加权(t1-weighted)、t1c(contrastenhancedt1-weightedimages)、t2加权(t2-weightedimages)及flair(fluidattenuatedinversionrecovery)等成像序列，临床上通常结合四种序列图像共同诊断肿瘤的位置和大小。但由于脑肿瘤外观和形状的多变性，多模式mri扫描中脑肿瘤的分割是医学图像分析中最具挑战性的任务之一。肿瘤组织的手动分割是一项繁琐且耗时的工作，并且会受到分割者的主观意识影响，因此如何高效，精准且全自动的分割脑肿瘤成为研究的重点。

脑肿瘤图像分割的方法主要有基于区域，基于模糊聚类，基于图论，基于能量和基于机器学习等方法。每种算法都有其各自的优缺点，为了提高脑肿瘤分割算法的准确性和稳定性，可以结合各种算法的优点，以达到分割要求。

卷积神经网络是一种深度前馈人工神经网络，已成功地应用于图像识别等领域。lecun等将卷积神经网络(convolutionneuralnetwork,cnn)首次应用于图像识别领域。cnn不需要依靠人工来提取特征，可以直接从数据中学习到隐藏的复杂特征，从而依靠这些特征对图像实现分类、识别和分割等任务，避免了对图像复杂的前期预处理。shelhamer等提出了一种用于语义分割的端到端，像素到像素的全卷积网络(fullyconvolutionalnetworks，fcn)。ronneberger等修改和扩展了全卷积网络的架构，提出了用于生物医学图像分割的卷积网络u-net。ozgun等在u-net的基础上，通过用3d对应物取代所有2d操作，提出了基于体素分割的三维全卷积神经网络3du-net。

最大流和最小割算法作为能量最小化方法，是模拟和解决图像处理和计算机视觉中实际问题的关键策略之一，已成功应用于图像分割和三维重建等应用领域。相关的能量最小化问题通常被映射为相应图形上的最小割问题，然后通过最大流算法求解。近年来，研究人员更多地研究在连续框架中的最大流和最小割模型。strang等首次研究连续域上的最大流最小割的相关优化问题。appleton等提出了一种连续的最小曲面方法来分割2d和3d物体，并通过偏微分方程进行计算。chan等提出了通过凸最小化方法分割连续图像域。yuan等首次证明了连续最大流模型是chan等提出的连续最小割模型的对偶问题，求解连续最小割问题可以转化为求解连续最大流问题。

技术实现要素：

为克服现有技术的不足，针对现有分割算法对脑肿瘤图像分割精度不高的问题，本发明旨在提出一种结合卷积网络和传统方法的两阶段分割方法，利用深度卷积网络进行脑肿瘤预分割，利用连续型最大流算法改进脑肿瘤分割边界即进行精细分割，最终完成分割全肿瘤区域、肿瘤核心区域和增强区域的目标。本发明采用的技术方案是，

一种结合改进u-net和cmf的三维脑肿瘤图像分割方法，步骤如下：

1)数据预处理：对原始脑部mri图像中的flair、t1、t1c和t2四种模态图像分别进行灰度归一化预处理,将预处理后的图像分为训练集和测试集；

2)改进的u-net卷积神经网络初分割：改进的u-net卷积神经网络包含一个用于提取特征的分析路径和一个用于恢复目标对象的合成路径,在分析路径中，随着网络的深入，不断对输入图像的抽象表示进行编码，以提取图像丰富的特征,在合成路径中，结合分析路径中的高分辨率特征，以精确定位感兴趣的目标结构；每个路径均有五个分辨率，滤波器基数即初始通道数量为8；

分析路径中，每个深度均包含两个内核大小为3×3×3的卷积层，并在它们之间加入丢失层(丢失率为0.3)以防止过度拟合,相邻的两个深度之间，采用步长为2内核大小为3×3×3的卷积层进行下采样，使特征映射的分辨率降低的同时维度加倍；

合成路径中，相邻两个深度之间，采用上采样模块使特征映射的分辨率增加的同时维度减半；上采样模块包括内核大小为2×2×2的上采样层和一个内核大小为3×3×3的卷积层；在上采样之后，合成路径中的特征映射与分析路径中特征映射级联，之后是一个内核大小为3×3×3的卷积层和内核大小为1×1×1的卷积层；在最后一层，内核大小为1×1×1的卷积层将输出通道的数量减少到标签数量，之后通过softmax层输出图像中每个体素点分别属于各个类别的概率；

对所有卷积层的非线性部分采用leakyrelu激活函数；

搭建好改进的u-net卷积神经网络模型后，利用训练集对改进的卷积神经网络模型进行训练；在训练过程中，将患者的四种模态数据当作神经网络的四个通道输入到改进的u-net卷积神经网络模型中，以便网络学习到不同模态的不同特征，进行更精确的分割,得到粗分割结果；

3)连续最大流算法再分割：将步骤2)中得到的初分割结果作为连续最大流算法的先验，进一步细化分割图像边缘，方法如下：

设ω是一个封闭且连续的2d或3d域，s和t分别表示流的源点和汇点，在每个位置x∈ω，p(x)表示通过x的空间流量；ps(x)表示从s到x的定向源流；pt(x)表示从x到t的定向汇流；

连续最大流模型表示为

对空间域ω上的流函数p(x)，ps(x)和pt(x)进行约束

|p(x)|≤c(x)；(2)

ps(x)≤cs(x)；(3)

pt(x)≤ct(x)；(4)

divp(x)-ps(x)+pt(x)＝0，(5)

其中c(x)，cs(x)和ct(x)是给定的容量限制函数，divp表示在x周围局部计算总输入空间流量；

连续最大流模型中，容量限制函数的表达式为

cs(x)＝d(f(x)-f1(x))，(6)

ct(x)＝d(f(x)-f2(x))(7)

其中d(·)是惩罚函数，f(x)为待分割图像，f1(x)和f2(x)为根据分割区域的先验知识所设定的源点和汇点的初始值；

设经过所述的初分割后的图像中，前景的集合为t集，背景的集合为f集，分别统计分割图中t集和f集的灰度信息，tu(i)表示t集中灰度级为i-1的像素点的个数，fu(i)表示f集中灰度级为i-1的像素点的个数，其中i∈[0，255]，则源点和汇点的初始值为

其中n和m满足

在连续最大流算法再分割过程中，参数设定为：增广拉格朗日算法的步长c＝0.35，终止参数ε＝10^-4，最大迭代次数n＝300，时间步长t＝0.11ms；确定各参数的初值之后，按照连续最大流算法的步骤进行求解，得到最终精细分割后的图像。

针对现有分割算法对脑肿瘤图像分割精度不高的问题，本发明提出一种结合改进u-net和cmf的三维脑肿瘤图像分割方法。与一些经典的方法相比较，其优势主要体现在：

1)新颖性：首次将卷积网络和传统方法结合起来，有效的利用了两种不同分割方法各自的优势；

2)创新性：以用于生物医学图像分割的卷积网络u-net作为基础，通过对网络参数的调整和各种策略的应用，改进了u-net卷积神经网络结构，提高了网络性能。

3)准确性：首先利用深度卷积网络进行脑肿瘤预分割，其次利用连续最大流算法对脑肿瘤边界进行精细分割。本发明算法在全肿瘤、肿瘤核心和增强肿瘤的平均dice评价分别可达0.9072、0.8578和0.7837，相较于目前脑肿瘤图像分割领域较先进的分割算法，本发明算法具有更高的精确度和更强的稳定性。

附图说明

图1本发明分割算法流程图

图2改进的u-net卷积神经网络结构图

图3不同卷积网络模型的分割结果比较图

图4本发明算法各阶段分割结果比较图

具体实施方式

本发明将医学图像和计算机算法结合起来，完成三维脑肿瘤核磁共振图像精确分割。针对现有分割算法对脑肿瘤图像分割精度不高的问题，本发明提出一种结合改进u-net和cmf的三维脑肿瘤图像分割方法。图1是本发明提出的算法框图，首先对原始mri图像中的四种模态分别进行预处理；其次将预处理后的图像分为训练集和测试集，利用训练集对改进的卷积神经网络模型进行训练，之后在测试集上测试模型，进行评估并得到初次分割后的图像；最后将得到的初分割结果作为连续最大流算法的先验，再次进行精细分割。

1)数据预处理

由于mri强度值是非标准化的，因此对mri数据进行标准化处理非常重要。但数据来自不同的研究所，并且使用的扫描仪和采集协议也有所不同，因此采用同一种算法进行处理至关重要。在处理过程中，需要确保数据值的范围不仅在患者之间而且在同一名患者的各种模态之间都要匹配，以避免网络的初始偏差。

本发明首先通过减去平均值并除以大脑区域的标准偏差，来独立地标准化每个患者的每种模态。然后，将结果图像裁剪到[-5，5]以去除异常值，之后重新归一化为[0，1]，并将非脑区域设置为0。在训练过程中，将患者的四种模态数据当作四个通道输入到网络模型中进行训练，以便网络学习到不同模态的不同特征，进行更精确的分割。

2)改进的u-net卷积神经网络初分割

本发明提出的卷积神经网络包含一个用于提取特征的分析路径和一个用于恢复目标对象的合成路径。在分析路径中，随着网络的深入，不断对输入图像的抽象表示进行编码，以提取图像丰富的特征。在合成路径中，结合分析路径中的高分辨率特征，以精确定位感兴趣的目标结构。每个路径均有五个分辨率步骤，即网络的深度为5，滤波器基数(即初始通道数量)为8。网络结构如图2所示。

分析路径中，每个深度均包含两个内核大小为3×3×3的卷积层，并在它们之间加入丢失层(丢失率为0.3)以防止过度拟合。相邻的两个深度之间，采用步长为2内核大小为3×3×3的卷积层进行下采样，使特征映射的分辨率降低的同时维度加倍。

合成路径中，相邻两个深度之间，采用上采样模块使特征映射的分辨率增加的同时维度减半。上采样模块包括内核大小为2×2×2的上采样层和一个内核大小为3×3×3的卷积层。在上采样之后，合成路径中的特征映射与分析路径中特征映射级联，之后是一个内核大小为3×3×3的卷积层和内核大小为1×1×1的卷积层。在最后一层，内核大小为1×1×1的卷积层将输出通道的数量减少到标签数量，之后通过softmax层输出图像中每个体素点分别属于各个类别的概率。

在整个网络中，本发明对所有卷积层的非线性部分采用了leakyrelu激活函数，来解决relu函数对负数完全抑制的问题。实验室环境中，批量大小较小，而小批量引起的随机性使批量标准化(batchnormalization,bn)不稳定，因此本发明采用了实例标准化取代了传统bn。

3)连续最大流算法再分割

设ω是一个封闭且连续的2d或3d域，s和t分别表示流的源点和汇点。在每个位置x∈ω，p(x)表示通过x的空间流量；ps(x)表示从s到x的定向源流；pt(x)表示从x到t的定向汇流。

连续最大流模型可以表示为

对空间域ω上的流函数p(x)，ps(x)和pt(x)进行约束

|p(x)|≤c(x)；

(2)

ps(x)≤cs(x)；

(3)

pt(x)≤ct(x)；

(4)

divp(x)-ps(x)+pt(x)＝0,

(5)

其中c(x)，cs(x)和ct(x)是给定的容量限制函数，divp表示在x周围局部计算总输入空间流量。

通过将拉格朗日乘数λ(也称为对偶变量)引入流量守恒线性等式(5)，连续最大流模型(1)可以表示为等价的原始对偶模型：

s.t.ps(x)≤cs(x),pt(x)≤ct(x),|p(x)|≤c(x)

即

s.t.ps(x)≤cs(x),pt(x)≤ct(x),|p(x)|≤c(x)

显然，当最优化原始对偶问题的对偶变量λ时，等价于原始最大流模型(1)。同样，当最优化原始对偶模型(7)中的流函数ps，pt和p时，可等价为连续最小割模型

连续最大流模型中，容量限制函数的表达式为

cs(x)＝d(f(x)-f1(x)),

(9)

ct(x)＝d(f(x)-f2(x))

(10)

其中d(·)是惩罚函数，f(x)为待分割图像，f1(x)和f2(x)为根据分割区域的先验知识所设定的源点和汇点的初始值。如何选取f1(x)和f2(x)的值对分割的精度等至关重要。

一般情况下，根据经验将源点和汇点设置为常数。此方法虽然简单便捷，但不能很好地反应待分割目标的特征。为了更加精细分割卷积神经网络得到的分割图像，本发明将卷积神经网络分割的结果作为连续最大流算法的先验，进一步细化分割图像边缘。

设由卷积神经网络初次分割后的图像中，前景的集合为t集，背景的集合为f集，分别统计分割图中t集和f集的灰度信息。tu(i)表示t集中灰度级为i-1的像素点的个数，fu(i)表示f集中灰度级为i-1的像素点的个数，其中i∈[0,255]，则源点和汇点的初始值为

其中n和m满足

在连续最大流算法再分割过程中，实验参数设定为：增广拉格朗日算法的步长c＝0.35，终止参数ε＝10^-4，最大迭代次数n＝300，时间步长t＝0.11ms。确定各参数的初值之后，按照连续最大流算法的步骤进行求解，得到最终精细分割后的图像。

4)实验结果的比较与分析

为验证本发明对3du-net网络改进的有效性，将本发明提出的改进卷积网络与原3du-net网络取相同深度和相同滤波器基数，在相同的训练集，验证集和测试集上进行模型训练、验证及测试。

首先从模型测试过程中的分割结果图进行定性分析。图3为测试集中一例数据分别采用不同卷积网络模型进行分割后，在横断面、冠状面和矢状面三个方向的分割结果比较图。从图3可以看出，采用3du-net模型只能简单地分割出全肿瘤的大致轮廓，不能分割出更细的边缘以及肿瘤核心和增强性肿瘤此类小的目标对象。采用本发明提出的改进卷积网络模型已经能够大致分割出三类目标对象。

其次，从模型测试过程中的分割结果的dice相似系数评价指标进行定量分析。表1为测试集数据分别采用不同卷积网络模型进行分割后，全肿瘤、肿瘤核心和增强性肿瘤三种分割目标的dice均值结果。从表1可以看出，本发明改进的网络结构比原3du-net网络有一定提高，这与上面的定性分析结果相一致。

表1

为验证本发明提出的两阶段分割法的有效性，分别从各个阶段的分割结果图和评价指标进行定性和定量分析。

图4为数据集中一例数据采用本发明分割方法的各阶段分割结果比较图。从图4可以看出，采用改进的u-net卷积神经网络初分割后的结果图中分割目标边界不准确，存在粘连现象。后续将得到的初分割结果作为连续最大流算法的先验，进行精细分割后，边界有了明显的改善，分割的目标对象也与标签更加接近。

表2为测试集数据采用本发明分割算法进行分割，过程中各个阶段的分割性能评估。从表2可以看出本发明提出的改进u-net卷积神经网络进行的初分割已经能够得到比较好的分割结果，但后续将得到的初分割结果作为连续最大流算法的先验，进行的精细分割，更是进一步提高了分割的各个指标，得到了一个更令人满意的结果。

表2

为验证本发明所提分割算法的优越性，选取目前脑肿瘤图像分割领域较先进的四种分割算法与本发明分割算法在相同测试集上进行分割精确性比较。表3为四种分割算法和本发明算法在dice相似系数方面的性能比较。从表3可以看出，与这些分割算法相比，本发明所提分割算法在全肿瘤和肿瘤核心方面的分割取得了最高精度，虽然增强肿瘤的分割效果略低于chen等提出的算法，但chen等的算法在全肿瘤和肿瘤核心方面分割效果不理想，因此从整体上讲，本发明提出的算法具有更高的精确性。

表3