基于U-Net网络脑胶质瘤的医学图像分割方法与流程

基于u-net网络脑胶质瘤的医学图像分割方法
技术领域
[0001]
本发明属于深度学习技术领域，应用于医学图像分割方面，具体使用了一种新的基于u-net网络脑胶质瘤的医学图像分割方法。
[0002]


背景技术：
及意义
[0003]
医学图像分割是从医学图像中识别器官或病变的像素点，是医学图像诊断和计算机辅助诊断系统中不可缺少的步骤，也是医学图像分析中最具挑战性的任务之一。其中脑肿瘤的医学图像分割是脑肿瘤研究的关键步骤，对脑肿瘤的精确分割能更加准确地对脑肿瘤进行分类并有效地帮助后续的治疗、也是准确设计放疗或手术治疗肿瘤的关键步骤。传统的医学图像分割算法包括基于阀值的分割算法、基于边缘的分割算法、基于区域的分割算法、基于图论的分割算法、基于聚类的分割算法等。
[0004]
近几年来，深度学习的方法在计算机视觉领域取得了巨大的突然。其中卷积神经网络在医学图像分割任务中的表现均超过了传统的算法。在处理医学图像领域中，最常见的分割网络是u-net网络，u-net的主要架构是以相同数量的上采样层和下采样层组合，上采样层和下采样层为对称结构，并以跳跃连接的方式融合上下采样层中高级和低级特征信息，从而得到更加精确的分割结果。
[0005]
随着深度学习的不断发展，如何更好地优化之前的模型并将其应用到医学图像中来，使其分割的医学图像能更加地准确成了目前研究的重要领域。


技术实现要素：

[0006]
本发明要克服现有技术的上述缺点，提供一种基于u-net网络脑胶质瘤的医学图像分割方法。
[0007]
本发明在u-net网络模型的大体框架上加入了在本文中称之为refine的模块。refine模块融合了1x1卷积、空洞卷积和全局平均池化的模块。加入的空洞卷积能使得网络的感受野在不增加卷积核参数的情况下得到有效的提升，有利于在卷积核中建立全局视野，提取整体特征，1x1卷积可以提取更多的细节特征，通过这两部分的结合，能有效地集成粗糙的全局特征和细节的局部特征。全局平均池化能得到各个通道间的相关性，将通过全局平均池化得到的结果与前两个模块的所得到的结果相乘。能得到在空间上更多的特征信息。
[0008]
为使本发明的目的、技术方案和优点更加清晰，下面就对本发明的技术方案作进一步描述。本发明的基于u-net网络脑胶质瘤的医学图像分割方法，包括如下步骤：
[0009]
步骤1)对所选的数据集进行图像预处理；
[0010]
首先读取含有脑胶质瘤患者的mr(核磁共振)图像并将其转换成灰度图，然后通过对原数据集进行裁剪、翻转、旋转、缩放、移位等方式来扩大数据集，这个操作称之为数据增强，数据增强可以增加训练的数据量，提高u-net网络模型的泛化能力，同时也可以增加噪音数据，提升u-net网络模型的鲁棒性。最后对数据进行归一化处理。
[0011]
步骤2)构建u-net网络模型；
[0012]
2.1.本发明所提出的refine模块：
[0013]
refine模块一共由两条路径组成，第一条路径是将输入的数据经过全局平均池化层，全局平均池化是将每一层特征图求平均值，然后通过全局平均池化层之后再通过两层全连接层，最后得到表示通道之间相关性的数据。第二条路径是由1x1卷积和空洞卷积组成，其中空洞卷积的膨胀率每一层都设置不同的数值，从上而下空洞卷积的膨胀率分别为12、6、3、3。数据分别经过1x1卷积和空洞卷积，然后将得到的结果进行想加，1x1卷积能够提取更多的细节特征，空洞卷积能使网络的感受野在卷积核参数不变的情况下得到有效的提升，通过这两部分的结合，能有效地集成粗糙的全局特征和细节的局部特征。最后将两条路径得到的结果进行相乘。
[0014]
2.2.以u-net网络模型为基础的框架：
[0015]
u-net网络模型包含4组对称结构的上采样和下采样，分为编码部分和解码部分，自上而下一共分为6层。除了首尾两层以外，每一层都包含了两个卷积层，每一层经过第一个卷积操作之后会通过relu激活函数，然后经过第二个卷积操作，并通过批标准化和relu激活函数，接着在每次下采样部分都会通过dropout操作，dropout可以使某个神经元的激活值以一定的概率停止工作，这样可以使u-net网络模型的泛化性更强，可以比较有效地缓解过拟合的发送，在一定程度上达到正则化的效果。
[0016]
2.3.将refine模块加入到调整后的u-net网络中：
[0017]
这个小节介绍本发明所提出的u-net网络模型的具体流程：先是编码部分，输入的图片是256x256x3尺寸，接着进入第二层，在第二层中先是经过了两个卷积操作，第一个卷积核是7x7尺寸并且添加了relu激活函数；第二个卷积核是5x5尺寸并且加入了bn(batch normalization批标准化)和relu激活函数。bn就是通过一定的规范化手段，把每层神经网络任意神经元这个输入值的分布强行拉回到均值为0方差为取得标准正态分布，这样能避免梯度消失问题的产生并且大大加快训练速度。然后加入dropout操作，最后进行最大池化操作，池化操作之后表示第一层结束。接下来的三、四、五层中，操作和第二层类似，只是卷积核的不同，第六层，采用1x1的卷积核是为了提取图像中更多的细节信息。然后是解码部分，先是将编码部分得到的结果进行上采样操作，然后将第五层中下采样得到的结果通过refine模块，最后将这两部的数据进行连接起来，通过concatenate操作后再进行两次卷积，接着进行以上的操作依次向上最终得到输出图。
[0018]
步骤3)设置训练策略；
[0019]
将经过预处理的数据集以6:2:2的比例依次划分为训练集、测试集和验证集。采用随机初始化和adam优化算法。根据电脑配置等设置batchsize(一次训练所选取的样本数)以及epoch(表示回合的意思，训练完所有的数据表示一回合)。设置合适的初始学习率，一阶矩估计的指数衰减率、二阶矩估计的指数衰减率、每次更新时学习率下降的值。
[0020]
步骤4)训练u-net网络模型和更新参数；
[0021]
根据设置好的训练策略对u-net网络模型进行训练。更新参数：u-net网络模型中采用反向传播算法(bp)算法对网络中的权重和偏置进行更新。训练迭代过程中利用损失函数(dice loss)进行参数地更新。
[0022]
损失函数dice loss公式为：
[0023][0024]
y代表真实值，p代表预测值。
[0025]
步骤5)评估u-net网络模型；
[0026]
建立包括精确度precision、召回率recall、准确度acc、骰子系数dc、f1分数的评价指标，通过计算评价指标将我们的u-net网络模型与最先进的用于医学图像的深度学习模型进行比较从而评估我们方法的性能。
[0027]
评价标准的公示如下所示：
[0028]
表示在所有预测为正样本的数据中，有多少是真正的正样本；
[0029]
表示所有被正确预测为证样本的样本数量与真实的正样本的总数量的比值；
[0030]
表示所有的样本数据中，有多少是被正确预测的；
[0031]
表示正样本和预测样本间的相似度；
[0032]
表示为精确率和召回率的调和平均数；
[0033]
其中tp为真阳性，tn为真阴性，fp为假阳性，fn为假阴性。
[0034]
步骤6)将验证集送入训练好的u-net网络模型；
[0035]
将之前分割好的验证集送入本发明中所训练好的u-net网络模型，输出的结果会随机地从验证集中挑选50张患者的mr图像进行分割效果的可视化，这50张患者的mr图像中包含了不同类型的肿瘤。分割效果的可视化图片中一共包含了3张图片。从左往右第一张图片表示含有低级神经胶质瘤的脑部mr图像，第二张表示专家分割出的肿瘤图像，第三张表示使用本发明中提出的u-net网络模型所分割出的肿瘤图像。通过对比专家分割出的肿瘤图像和本发明中训练好的u-net网络模型所分割出的图像来对模型进行评估。
[0036]
本发明具有以下优点：
[0037]
1.本发明加入refine模块，refine模块融合了1x1卷积、空洞卷积和全局平均池化的模块。加入的空洞卷积能使得网络的感受野在不增加卷积核参数的情况下得到有效的提升，有利于在卷积核中建立全局视野，提取整体特征，1x1卷积可以提取更多的细节特征，通过这两部分的结合，能有效地集成粗糙的全局特征和细节的局部特征。全局平均池化能得到各个通道间的相关性，将通过全局平均池化得到的结果与前两个模块的所得到的结果相乘。能得到在空间上更多的特征信息。
[0038]
2.本发明在u-net网络模型的基础上加入了dropout，dropout可以使某个神经元的激活值以一定的概率停止工作，这样可以使u-net网络模型的泛化性更强，可以比较有效地缓解过拟合的发送，在一定程度上达到正则化的效果。
附图说明
[0039]
图1是本发明所提出的u-net网络结构图；
[0040]
图2是本发明所提出的refine模块结构图；
[0041]
图3是本发明所提出网络的具体的流程图；
[0042]
图4a～图4c是使用本发明的网络对脑胶质瘤进行分割的示意图，图4a表示含有低级神经胶质瘤的脑部mr图像，图4b表示专家分割出的肿瘤图像，图4c表示使用本发明中提出的网络模型所分割出的肿瘤图像。
具体实施方式
[0043]
以下结合附图对本发明做进一步说明：
[0044]
本发明的一种新的基于u-net网络脑胶质瘤的医学图像分割方法具体包括以下步骤：
[0045]
步骤1)对所选的数据集进行图像预处理；
[0046]
首先读取含有脑胶质瘤患者的mr(核磁共振)图像并将其转换成灰度图，然后通过对原数据集进行裁剪、翻转、旋转、缩放、移位等方式来扩大数据集，这个操作称之为数据增强，数据增强可以增加训练的数据量，提高u-net网络模型的泛化能力，同时也可以增加噪音数据，提升u-net网络模型的鲁棒性。最后对数据进行归一化处理。
[0047]
步骤2)构建u-net网络模型；
[0048]
2.1本发明所提出的模块：
[0049]
如图2所示。这个模块一共由两条路径组成，第一条路径是将输入的数据先经过全局平均池化层(图中用gap表示)，全局平均池化是将每一层特征图求平均值，然后通过2层全连接层(图中用dense表示)，最后得到表示通道之间相关性的数据。第二条路径是由1x1卷积(图中用conv1x1表示)和空洞卷积(图中用dilated conv表示)组成，其中空洞卷积的膨胀率每一层都设置不同的数值，从上而下空洞卷积的膨胀率分别为12、6、3、3。数据分别经过1x1卷积和空洞卷积，最后将得到的结果进行想加，1x1卷积能够提取更多的细节特征，空洞卷积能使网络的感受野在卷积核参数不变的情况下得到有效的提升，通过这两条部分的结合，能有效地集成粗糙的全局特征和细节的局部特征。最后将两条路径得到的结果进行相乘。
[0050]
2.2.以u-net网络模型为基础的框架：
[0051]
如图1所示，u-net网络模型包含4组对称结构的上采样和下采样，分为编码部分和解码部分，自上而下一共分为6层。除首尾两层外每一层都包含了两个卷积层，每一层经过第一个卷积操作之后会通过relu激活函数，然后经过第二个卷积操作，并通过批标准化和relu激活函数，接着在下采样部分之前会通过dropout操作，dropout可以使某个神经元的激活值以一定的概率停止工作，这样可以使u-net网络模型的泛化性更强，可以比较有效地缓解过拟合的发送，在一定程度上达到正则化的效果。
[0052]
2.3.将refine模块加入到调整后的u-net网络模型中：
[0053]
在图3中，详细地介绍了本发明所提出的u-net网络模型的具体流程：先是编码部分，输入的图片是256x256x3尺寸，接着进入第二层，在第二层中先是经过了两个卷积操作，第一个卷积核是7x7尺寸并且添加了relu激活函数；第二个卷积核是5x5尺寸并且加入了bn(batch normalization批标准化)和relu激活函数。bn就是通过一定的规范化手段，把每层神经网络任意神经元这个输入值的分布强行拉回到均值为0方差为取得标准正态分布，这样能避免梯度消失问题的产生并且大大加快训练速度。然后加入dropout操作，最后进行最
大池化操作(图中用maxpol表示)，池化操作之后表示第一层结束。接下来的三、四、五层中，操作和第二层类似，只是卷积核的不同，具体的数据如图3所示。第六层，采用1x1的卷积核是为了提取图像中更多的细节信息。然后是解码部分，先是将编码部分得到的结果进行上采样操作(图中用deconv表示)，然后将第五层中下采样得到的结果通过refine模块，最后将这两部的数据进行连接起来(图中用concatenate表示)，通过concatenate操作后再进行两次卷积，如流程图所示进行以上的操作依次向上最终得到输出图。
[0054]
步骤3)设置训练策略；
[0055]
将经过预处理的数据集以6:2:2的比例依次划分为训练集、测试集和验证集。采用随机初始化和adam优化算法。根据电脑配置等设置batchsize(一次训练所选取的样本数)以及epoch(表示回合的意思，训练完所有的数据表示一回合)。设置合适的初始学习率，一阶矩估计的指数衰减率、二阶矩估计的指数衰减率、每次更新时学习率下降的值。
[0056]
步骤4)训练网络和更新参数；
[0057]
根据设置好的训练策略对u-net网络模型进行训练。更新参数：u-net网络模型中采用反向传播算法(bp)算法对网络中的权重和偏置进行更新。训练迭代过程中利用损失函数(dice loss)进行参数地更新。
[0058]
损失函数dice loss公式为：
[0059][0060]
y代表真实值，p代表预测值。
[0061]
步骤5)评估u-net网络模型；
[0062]
建立包括精确度precision、召回率recall、准确度acc、骰子系数dc、f1分数的评价指标，通过计算评价指标将我们的u-net网络模型与最先进的用于医学图像分割的深度学习模型进行比较从而评估我们方法的性能。
[0063]
评价标准的公示如下所示：
[0064]
表示在所有预测为正样本的数据中，有多少是真正的正样本；
[0065]
表示所有被正确预测为证样本的样本数量与真实的正样本的总数量的比值；
[0066]
表示所有的样本数据中，有多少是被正确预测的；
[0067]
表示正样本和预测样本间的相似度；
[0068]
表示为精确率和召回率的调和平均数；
[0069]
其中tp为真阳性，tn为真阴性，fp为假阳性，fn为假阴性。
[0070]
步骤6)将验证集送入训练好的u-net网络模型；
[0071]
将之前分割好的验证集送入本发明中所训练好的u-net网络模型，输出的结果会随机地从验证集中挑选50张患者的mr图像进行分割效果的可视化，这50张患者的mr图像中包含了不同类型的肿瘤。分割效果的可视化图片中一共包含了3张图片。如图4a～图4c所示，图4a表示含有低级神经胶质瘤的脑部mr图像，图4b表示专家分割出的肿瘤图像，其中白
色的部分表示神经胶质瘤，图4c表示使用本发明中提出的u-net网络模型所分割出的肿瘤图像。通过对比专家分割出的肿瘤图像和本发明中训练好的u-net网络模型所分割出的图像来对模型进行评估。