基于改进的FPN卷积神经网络脑肿瘤图像分割方法与流程

基于改进的fpn卷积神经网络脑肿瘤图像分割方法
[技术领域]
[0001]
本发明涉及基于改进的fpn卷积神经网络脑肿瘤图像分割方法。
[

背景技术：
]
[0002]
目前，脑肿瘤分割的金标准仍然是人工分割，但它昂贵、耗时且主观。因此，一种快速、准确的脑肿瘤mri自动分割方法对临床应用具有重要意义。目前，脑肿瘤图像的自动分割主要有两种方法。(1)基于人工特征的机器学习方法。该方法对各种人工特征使用不同的分类器，例如具有空间和强度特征的支持向量机和具有强度特征的高斯混合模型。但是这些算法需要人工特征提取，成本高且容易出错，且建立在手工特征上的模型泛化性不足。(2)基于端到端深度学习方法。这种方法无需设计复杂的手工特征就可以实现更准确的分割。例如，全卷积网络(fully convolutional network，fcn)将图像级分类扩展到像素级分类，并用卷积层代替全连接层，取得了良好的分割效果，成为语义分割应用中深度学习的先驱。其缺点是对细节特征不敏感，没有充分考虑像素之间的关系，分割结果不够精细。
[0003]
u-net网络是fcn的一种改进和扩展。它采用级联运算融合深度特征和浅层特征，取代了fcn中的求和方法，在上采样过程中缓解了深层特征丢失的问题，有效提高了分割精度。v-net网络是在三维医学图像上的分割应用。编码部分采用残差网络，在保证不断加深网络深度的同时，降低了梯度消失或者梯度爆炸带来的风险。daimary等人将segnet和u-net相结合，提出了一种用于脑肿瘤mri图像分割的混合深度神经网络模型seg-unet和u-segnet。zhuang等人讨论了注意门模型在mri脑肿瘤分割中的应用，并提出了一种新的模型agresu-net，以增强特征学习和提取小脑肿瘤的信息。chen等人提出了一种新的网络voxresnet，它将多模态和多层次的上下文信息无缝集成到网络中，以利用不同模式和不同尺度特征的互补信息。u-net++网络使用一系列网格状密集跳变路径来补偿编码器和解码器子路径之间的语义差异，从而在融合时特征图的比例差异更小，梯度流得到改善，分割精度得到提高。然而，上述u-net和u-net++网络无法提取不同感受野的特征信息，多尺度处理能力有限。
[

技术实现要素：
]
[0004]
本发明克服了现有技术的不足，提供了基于改进的fpn卷积神经网络脑肿瘤图像分割方法，缓解上述模型在目标边缘分割不佳的问题，本方法可适用于不同大小的肿瘤，实现脑肿瘤边缘区域的精细分割。
[0005]
为实现上述目的，本发明采用了下列技术方案：
[0006]
基于改进的fpn卷积神经网络脑肿瘤图像分割方法，其步骤如下：
[0007]
s1、对三维脑肿瘤mri图像数据进行灰度归一化预处理；
[0008]
s2、将预处理图像输入u-net模型进行反卷积和通道维度连接整合；
[0009]
第一层卷积：进行两次3
×
3的16通道的卷积，获得一个像素512
×
512
×
16的初步有效特征层，再进行2
×
2最大池化，获得一个像素256
×
256
×
16的特征层；
[0010]
第二层卷积：进行两次3
×
3的32通道的卷积，获得一个像素256
×
256
×
32的初步有效特征层，再进行2
×
2最大池化，获得一个像素128
×
128
×
32的特征层；
[0011]
第三层卷积：进行三次3
×
3的64通道的卷积，获得一个像素128
×
128
×
64的初步有效特征层，再进行2
×
2最大池化，获得一个像素64
×
64
×
64的特征层；
[0012]
第四层卷积：进行三次3
×
3的128通道的卷积，获得一个像素64
×
64
×
128的初步有效特征层，再进行2
×
2最大池化，获得一个像素32
×
32
×
128的特征层；
[0013]
第五层卷积：进行三次3
×
3的256通道的卷积，获得一个像素32
×
32
×
256的初步有效特征层；
[0014]
s3、对u-net模型的处理数据通过fpn模型进行二次线性插值和对应元素的相加进行积分；
[0015]
u-net模型中每个卷积级保留从最后一个卷积层输出的特征映射，并且获得c1、c2、c3、c4四个尺度的原始特征映射以重构fpn模型；
[0016]
fpn模型通过线性插值对深层特征图进行上采样，通过水平卷积降维对相邻的浅层特征进行处理，将两个特征的输出相加和求和，同时采用3
×
3卷积核来平滑融合后的特征图，获得了分别对应于c1、c2、c3、c4的p1、p2、p3、p4四个尺度特征层，且具有相同的分辨率；
[0017]
s4、将p1、p2、p3、p4四个抽象特征恢复并解码为原始图像的大小，得到最终分割结果。
[0018]
如上所述的基于改进的fpn卷积神经网络脑肿瘤图像分割方法，其特征在于：还包括有
[0019]
s5、使用损失函数平衡u-net和fpn组合模型集中于负样本学习而影响正样本的分割效果。
[0020]
如上所述的基于改进的fpn卷积神经网络脑肿瘤图像分割方法，其特征在于：损失函数公式为
[0021][0022]
其中，a表示实际分割像素的集合；b表示标签中的实际分割像素集合；ξ表示一个参数集。
[0023]
如上所述的基于改进的fpn卷积神经网络脑肿瘤图像分割方法，其特征在于：还包括有
[0024]
s6、使用相应的评价指标对分割结果进行评估。
[0025]
如上所述的基于改进的fpn卷积神经网络脑肿瘤图像分割方法，其特征在于：评价指标包括有dice相似系数(dice similarty coefficient，dsc)、jaccard指数jac和准确性(accuracy，acc)，其中jac指数也称为iou指数(intersection-over union，iou)。
[0026]
如上所述的基于改进的fpn卷积神经网络脑肿瘤图像分割方法，其特征在于：dice相似系数dsc定义为
[0027][0028]
其中，a表示实际分割像素集，b表示标签中的实际分割像素集合。
[0029]
如上所述的基于改进的fpn卷积神经网络脑肿瘤图像分割方法，其特征在于：jaccard指数/iou指数定义为
[0030][0031]
其中，a表示实际分割像素集，b表示标签中的实际分割像素集合。
[0032]
如上所述的基于改进的fpn卷积神经网络脑肿瘤图像分割方法，其特征在于：准确性acc定义为
[0033][0034]
其中，tp、tn、fp和fn分别对应于真阳性、真阴性、假阳性和假阴性。
[0035]
如上所述的基于改进的fpn卷积神经网络脑肿瘤图像分割方法，其特征在于：s2中预处理图像的大小为256
×
256
×
3。
[0036]
本发明的有益效果是：
[0037]
本发明可适用于不同大小的肿瘤，实现脑肿瘤边缘区域的精细分割。通过在u-net模型的下采样阶段引入特征金字塔fpn模型，以此来获得多感受野、多尺度的上下文信息，提升网络的多尺度处理能力；同时丰富每一个像素点在分类时所需要的信息，缓解上述模型在目标边缘分割不佳的问题。
[附图说明]
[0038]
图1为u-net模型结构示意图；
[0039]
图2为fpn模型结构示意图；
[0040]
图3为改进的fpn模型网络结构示意图；
[0041]
图4为u-net模型训练过程中和改进的fpn模型训练过程中dice相似系数的变化趋势和分割结果示意图；
[0042]
图5为对脑肿瘤分割结果的可视化图，图中从左至右分别是原始脑mri图像、对应分割的mask掩膜图像、u-net模型分割结果图像及改进的fpn模型分割结果图像。
[具体实施方式]
[0043]
下面将结合附图，对本发明实施例中的技术方案进行清楚、完整地描述。
[0044]
需要说明，本发明实施例中所有方向性指示(诸如上、下、左、右、前、后
…
)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。另外，在本发明中涉及“优选”、“次优选”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“优选”、“次优选”的特征可以明示或者隐含地包括至少一个该特征。
[0045]
u-net模型由ronneberger等人于2015年提出。它是一种基于fcn模型的改进模型。最初主要用于生物医学细胞分割领域。它主要采用编码器(收缩路径)和解码器(扩展路径)的u形对称结构。如图1所示，需要进行四次下采样和四次上采样。每一次上采样均与相同尺寸的特征输出融合，使用跳跃连接，在不同阶段将编码器池化过程中丢失的特征信息传输
至对应的解码器中，以增强特征信息提取能力。该网络模型适用于多尺度图像分割；同时具有在少量数据训练模型的情况下获得精确的分割结果以及分割速度快等优点。
[0046]
由于不同图像中肿瘤的位置和大小差异很大，网络需要有足够的感受野和强大的空间多尺度处理能力。但u-net模型不能像多尺度空间金字塔池(atrous spatial pyramid pooling，aspp)那样尽可能多地掌握不同尺度的语义信息，也不能满足图像中目标边缘附近区域的精确分割。因此将fpn模型结构添加到u-net模型中，以提高u-net模型集成多尺度语义信息的能力，并丰富像素标签分类中使用的特征中包含的信息。
[0047]
为了提高u-net模型的分割效果，对u-net模型的整体结构进行了改进，将fpn模型结构引入u-net结构中，并充分利用了u-net编码器中包含的多尺度信息的优势。fpn模型结构也称为特征金字塔网络，广泛应用于目标检测任务。fpn模型结构可有效地整合来自编码器的多尺度语义信息。其中如图2所示，fpn模型主要由自底向上流程、自顶向下流程和横向连接三部分构成。，
[0048]
自底向上流程是卷积神经网络正向计算中提取不同尺度特征的过程。自顶向下流程对前述所提取每步卷积特征进行上采样处理，以确保处理后的高层卷积特征维度与自底向上的低层特征维度相同。随后将高级特征图与横向连接传递的低层特征图对应元素进行相加，得到具备多尺度信息的融合特征。低层次特征由于经历的卷积次数相对于高层特征较少，因此具有较多的纹理信息，而高层次特征因为经过多次卷积滤波，具有更高级的语义特征。经过对高层的特征上采样至同等尺寸，与低层次特征进行相加，使用低层次特征包含的纹理和细节信息，进一步对高层特征做补充，丰富了融合后的特征图所包含的信息。
[0049]
u-net模型中使用的反卷积上采样可以获得相对平滑的结构特征，但经过卷积和非线性激活层变换后，无法很好地保留原始特征。因此在u-net模型中，通过跳层连接传入来自浅层的特征对原始特征进行弥补。图像中每个像素的准确分类取决于不同尺度的语义信息，而u-net网络的跳层连接传递的特征相对单一，因此引入了fpn模型结构。此外，fpn模型的上采样方法是二次线性插值。与反卷积运算相比，原始特征得到了更完整的保留。同时加和方式特征整合保证了传递给解码器的每一层都包含尽可能多的多尺度信息。
[0050]
对比fpn模型结构与u-net模型结构，发现二者具有相似性，fpn模型结构中的横向连接可使用u-net模型中的横向连接实现。这一特征为fpn模型结构扩展到u-net模型提供了便利，也充分利用u-net模型结构的同时，极大地利用u-net模型中包含的不同尺度信息。在u-net模型加入fpn模型结构后，改进的fpn模型整体结构如图3所示。
[0051]
fpn模型通过二次线性插值和对应元素的相加进行积分；而u-net模型通过反卷积和通道维度连接进行整合。由于二次线性插值是一种线性运算操作，因此不会改变原始浅层信息。它仅通过线性插值增加特征图的尺寸，对应元素相加的方式保证了传递给每个解码器层的特征都是原始浅层特征加和的方式，避免了因反卷积导致的信息丢失，但是二次线性插值的缺点在于会引入噪声，无法获得平滑的结果，因此选择在保留u-net模型的基础上加入fpn模型结构。
[0052]
如图3所示，convolution 3
×
3箭头表示3
×
3卷积，用于特征提取；skip connection箭头表示用于特征融合；max pooling箭头表示池化，用于降低维度；up sampling箭头表示上采样，用于恢复维度；convolution 1
×
1箭头表示1x1卷积，用于输出结果。
[0053]
先对三维脑肿瘤mri图像数据进行灰度归一化预处理，得到图像大小为512
×
512
×
3的预处理图像。
[0054]
当输入的图像大小为512
×
512
×
3时，具体执行方式如下：
[0055]
第一层卷积：进行两次3
×
3的16通道的卷积，获得一个像素512
×
512
×
16的初步有效特征层，再进行2
×
2最大池化，获得一个像素256
×
256
×
16的特征层；
[0056]
第二层卷积：进行两次3
×
3的32通道的卷积，获得一个像素256
×
256
×
32的初步有效特征层，再进行2
×
2最大池化，获得一个像素128
×
128
×
32的特征层；
[0057]
第三层卷积：进行三次3
×
3的64通道的卷积，获得一个像素128
×
128
×
64的初步有效特征层，再进行2
×
2最大池化，获得一个像素64
×
64
×
64的特征层；
[0058]
第四层卷积：进行三次3
×
3的128通道的卷积，获得一个像素64
×
64
×
128的初步有效特征层，再进行2
×
2最大池化，获得一个像素32
×
32
×
128的特征层；
[0059]
第五层卷积：进行三次3
×
3的256通道的卷积，获得一个像素32
×
32
×
256的初步有效特征层；
[0060]
多尺度卷积特征金字塔fpn模型处理过程：主干卷积神经网络的正向计算过程是一个自下而上的下采样过程，包括五个卷积阶段，每个阶段都有一个下采样。从卷积神经网络的特性来看，从卷积阶段的最后一个卷积层输出的特征图应该具有更抽象的信息。因此，每个卷积级保留从最后一个卷积层输出的特征映射，并且获得c1、c2、c3、c4四个尺度的原始特征映射以重构fpn模型。
[0061]
为了将深部特征向下转移到浅部特征，需要对深部特征图进行上采样，以确保上下特征层的空间分辨率一致。此时，通过上采样获得的特征图具有更高的分辨率，但由于自下而上过程中过度下采样，丢失了大量位置信息，因此特征图中包含的空间信息仍然不够准确。因此，引入水平连接模块来传输浅层信息。此外，由于通过对空间位置求和在fpn模型中融合了上层和下层特征，并且每个尺度的特征图共享分类器或回归器，因此有必要将每个层级的特征图固定到统一的特征维度(空间通道数)。因此，在水平连接模块中，1
×
1卷积检查特征层用于降维。每个特征层中的通道数量最终减少到256层。该过程为通过线性插值对深层特征进行采样，然后通过水平卷积降维对其相邻的浅层特征进行处理，然后将两个特征的输出相加和求和。
[0062]
由于上下特征层的融合方法仅是线性加法处理，因此会在融合后的特征图中产生混叠噪声。因此，在整个自上而下的过程中还引入了3
×
3卷积核来平滑融合后的特征图。在上述过程之后，获得了分别对应于c1、c2、c3、c4的p1、p2、p3、p4四个尺度特征层，且具有相同的分辨率。每个尺度的特征层包含一定量的空间和语义信息，从而形成信息丰富的多尺度卷积特征金字塔。
[0063]
最后，上采样过程最重要的作用是将抽象特征恢复并解码为原始图像的大小，最终得到分割结果。
[0064]
在医学图像分割任务中，由于感兴趣区域(region of interest，roi)较小，正样本的像素在整个图像中所占比例相对较小。当使用交叉熵损失函数进行训练时，模型将集中于负样本的学习，从而影响正样本的分割效果。因此，通过使用骰子损失来解决类之间的不平衡问题。dice是一种集合相似性度量，通常用于医学图像竞赛。dice系数的取值范围为[0，1]，dice值为1，这是极端情况，表明网络预测值与标签图相同。dice值为0表示网络预测
值与标签图完全不同。公式如下：
[0065][0066]
其中a表示实际分割像素的集合；b表示标签中的实际分割像素集合；ξ：这是一个参数集，用于防止分母为0，ξ取100。
[0067]
本案中使用三个评价指标来评价模型的性能，即dice相似系数(dsc)和jaccard指数/iou指数和准确性(acc)。每个评价指标的定义如下：
[0068][0069][0070][0071]
其中，a表示实际分割像素集；b表示标签中的实际分割像素集合；tp、tn、fp和fn分别对应于真阳性、真阴性、假阳性和假阴性；同时真阳性标签1的预测值也为1，真阴性标签0的预测值也为0，假阳性标签0预测值也为1和假阴性标签1预测值也是0。
[0072]
实验过程中，实验硬件环境为nvid1a geforce rtx 3090单个gpu，软件环境采用tensorflow2.1为后端的keras2.2.4库。网络模型的输入图像大小为256
×
256
×
3，批量大小(bitchsize)设置为8，训练epoch次数设置为150，使用早停法(early stopping)提前终止训练以避免网络过拟合。采用adam优化器更新参数。为了保证实验结果的公平性，所有实验均在以上相同设置下进行。本案提出的改进的fpn算法是基于u-net网络的改进，采用fpn模型及数据增强技术的改进策略，能有效分割出脑肿瘤区域。为了直观且公平地评估本案所提改进的fpn算法的分割性能将其与经典算法u-net进行了对比实验。两种分割算法的性能比较如下表所列。图4所示为训练过程中dice的变化趋势和分割结果。
[0073]
表 各种模型的性能评估
[0074][0075]
从上表中可以看出，本案所提改进的fpn模型的dice系数、jaccard指数和准确性分别达到92％，86％和99.1％，均优于u-net模型，证明了本文提出的分割模型提高了脑肿瘤的分割精度。从图4可以看出，改进的fpn模型的收敛速度要快于u-net模型，并且从完整肿瘤的训练趋势可以看出，u-net的变化范围较大，说明其在训练过程中分割结果的准确率变化大。
[0076]
本案所提的改进的fpn算法能够对肿瘤大部分边缘区域进行良好的分割且与分割掩膜更为相似，有效地细化了脑肿瘤的边界，增强了脑肿瘤轮廓细节特征，在分割精度上也有一定的提升，显示出本案改进的fpn算法具有较强的分割能力。图5是两种分割方法对脑
肿瘤分割结果的可视化，从左至右分别是原始脑mri图像、对应分割的mask掩膜、u-net模型分割结果及本案改进的fpn模型的分割结果。从图5可以看出，u-net虽然分割出的脑肿瘤区域较为准确，但分割出的脑肿瘤边界细节缺失且分割精度不高，存在欠分割与过分割的问题。
[0077]
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接或间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。