基于深度学习及权重空间集成的脑肿瘤图像分割方法与流程

本发明属于医学图像分割技术领域，具体涉及一种基于深度学习及权重空间集成的脑肿瘤图像分割方法。

背景技术：

医学图像分割是图像分析处理中的一项关键技术，根据图像内区域的相似性以及特异性将感兴趣的有关组织分离出来，对于临床诊断和治疗过程具有重要意义，是一切后续工作的主要前提，分割效果的好坏程度会直接影响到信息处理工作的顺利进行。关于脑肿瘤的医学图像分割作为图像分割领域的一个重要分支，脑肿瘤的分割技术在脑肿瘤的临床诊断和治疗过程中起着重要的作用，通过对脑肿瘤的分割结果，医生可以测量肿瘤的大小位置、制定手术计划、病情跟踪分析等等，并且随着mri(magneticresonanceimaging)技术日渐应用广泛，脑肿瘤的检出率大大增加。

多模态mri图像即是指利用不同的mri脉冲序列对同一人体进行磁共振成像，由于成像条件有所不同所以得到的图像就有一定的区别，这样的一组图像被称为多模态mri图像(flair、t1、t2、t1c等模态)，其中flair模态mri图像中包含着最大限度的病变组织信息，t1模态mri图像可以突出组织t1弛豫(纵向弛豫)差别，在观察解剖结构方面有较好的应用价值，t2模态mri图像在确定病变范围上有重要的作用，t1c模态mri图像是在t1wi模态的基础上增强对比度的图像，可以更加明显的观察脑部结构，多模态mri图像可以显示更多的信息，相对于单模态mri图像来讲，利用多模态mri图像对病灶的准确提取分割更有成效。

近年来，miccai连续多年举办脑肿瘤分割竞赛，推动脑肿瘤图像分割技术的发展，与此同时，深度学习发展迅猛，目前绝大多数自然场景的分割方法基于卷积神经网络，卷积神经网络具有提取图像特征的优点，被广泛应用于目标分类以及识别任务中，随着技术迭新，全卷积网络掀起图像语义分割的浪潮，使得分割任务能够端到端地从原始图像中预测出稠密的分割结果。传统的集成方法是集成几种不同的模型，再用相同的输入对模型进行预测，然后使用平均方法来确定集成模型的最终预测，当集成方法与深度学习相结合时，可以通过组合多个神经网络的预测来产生最终的预测结果。

基于mri图像的脑肿瘤分割，随着深度学习技术的引入，传统的分割方法产生了根本性的变化，为这一重要领域增添新的活力。

技术实现要素：

针对现有技术中的上述不足，本发明提供的深度学习及权重空间集成的脑肿瘤图像分割方法解决了现有技术中脑肿瘤分割图像效果较为粗糙，类别不平衡的问题。

为了达到上述发明目的，本发明采用的技术方案为：基于深度学习及权重空间集成的脑肿瘤图像分割方法，包括以下步骤，

s1、采集脑肿瘤的多模态mri图像，并对采集到的多模态mri图像进行预处理操作；

s2、构建基于fast-rcnn网络的第一网络模型和第二网络模型；

s3、将预处理后的多模态mri图像输入第二网络模型，穿过权重空间，更新平均权重，对第二网络模型进行训练，将训练后的第二网络模型的权重平均值存入第一网络模型；

s4、将待测试的多模态mri图像输入至第一网络模型中，输出脑肿瘤图像分割结果。

进一步地，所述步骤s1中，采集脑肿瘤的多模态图像包括flair模态图像、t1模态图像、t2模态图像和t1c模态图像；

对所述多模态mri图像进行预处理操作包括：

对flair模态图像和t2模态图像均通过n4itk进行偏场矫正，对t1c模态图像和t1模态图像进行对比度调整，对不同患者不同个体之间的多模态mri图像进行灰度标准化。

进一步地，其特征在于，所述步骤s2中，第一网络模型和第二网络模型均包括卷积神经网络模块、区域建议网络模块和转置卷积模块；

所述卷积神经网络模块的输出端与区域建议网络模块的输入端连接，所述区域建议网络模块与转置卷积模块连接；

所述卷积神经网络模块包括顺次连接的16个残差网络单元，每个所述残差网络单元包括batchnormalization层、relu层、一个3×3×3的卷积层和dropout层；

所述区域建议网络模块包括一个3×3×3的卷积层、两个1×1×1的卷积层、感兴趣区域池化层、一个7×7×7的卷积层、两个全连接层；所述3×3×3的卷积层分别与两个1×1×1的卷积层连接，两个1×1×1的卷积层均与所述感兴趣区域池化层连接，所述感兴趣区域池化层的第一输出端与7×7×7的卷积层、两个所述全连接层顺次连接；所述感兴趣池化层的第二输出端与转置卷积模块连接；

所述转置卷积模块包括四个顺次连接的转置卷积层。

进一步地，其特征在于，所述步骤s3中，更新第二网络模型的平均权重的方法具体为：

将预处理后的多模态mri图像输入至第二网络模型，将第二网络模型穿过权重空间，使用循环学习率进行权重系数的探索，当每个学习速率周期结束时，将当前权重集合与上一次的平均权重之间进行加权平均处理来更新第二网络模型的平均权重；

所述平均权重的更新方程为：

式中，ωswa为权重平均值；

ρmodels为模型训练次数；

ω为当次训练所得权重。

进一步地，其特征在于，所述步骤s3中，对第二网络模型进行训练的方法具体为：

将输入的多模态mri图像的每一像素的d系数和作为损失函数，使用随机梯度下降法，将初始学习率设置为0.001，并根据loss的下降效果降低学习率，当loss下降到训练结果图满足要求时，结束第二网络模型的训练；

所述d系数的表达式为：

式中，n为像素点数；

qi为标注图像当前像素点的真实值；

pi为输入图像当前像素点的预测值；

所述loss的表达式为：

式中，k为类别总数；

k为当前类别；

qi,k为标注图像当前像素点i在当前类k中的真实值；

pi,k为输入图像当前像素点i在当前类k中的预测值。

本发明的有益效果为：本发明可以实现对中以及内部结构端到端的分割，准确率有所提升，加之引入多模态mri图像的优势，可以提升肿瘤的可识别性，由于构建的网络模型内部使用3d卷积模块，可使图像的处理环节时间大大缩短、使图像预处理操作更加便捷，在图像分割过程中使用基于d系数的loss函数可以有效的解决类别不平衡的问题；结合集成方法，能够最大化地提升构建模型的最终性能。解决了现有技术中脑肿瘤分割图像效果较为粗糙，类别不平衡以及图像预处理等技术问题，并提高一定的分割效率及精度。

附图说明

图1为本发明提供的实施例中基于深度学习及权重空间集成的脑肿瘤图像分割方法实现流程图。

图2为本发明提供的实施例中第一网络模型和第二网络模型结构框架图。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

如图1所示，基于深度学习及权重空间集成的脑肿瘤图像分割方法，包括以下步骤，

s1、采集脑肿瘤的多模态mri图像，并对采集到的多模态mri图像进行预处理操作；

上述步骤s1中，采集脑肿瘤的多模态图像包括flair模态图像、t1模态图像、t2模态图像和t1c模态图像；flair模态mri图像中包含着最大限度的病变组织信息，t1模态mri图像在观察解剖结构方面有较好的应用价值，t2模态mri图像在确定病变范围上有重要的作用，t1c模态mri图像可以更加明显的观察脑部结构。

对所述多模态mri图像进行预处理操作包括：

对flair模态图像和t2模态图像均通过n4itk进行偏场矫正，对t1c模态图像和t1模态图像进行对比度调整，由于不同患者采集到的图像存在灰度不均匀的问题，对不同患者之间的多模态mri图像进行灰度标准化；

在对不同个体之间的多模态mri图像进行灰度标准化时，首先减去整个图像的平均值并除以大脑区域的标准偏差对每个患者的每个模态进行标准化，将所有图像的像素值均调整到[-5，5]区间内，小于-5的像素值赋值-5，大于5的像素值赋值5，最后再进行归一化，将整个图像归一化至[0，1]，非脑区域设置为0；最后对已预处理的数据进行平移转换、扭曲增强以及弹性形变，在转换过程中，由于是3d图像，需要以质心坐标点对称的每个体素，每个轴向在做90、180度旋转，与此同时标签图像需要做相同的步骤。

s2、构建基于fast-rcnn网络的第一网络模型和第二网络模型；

如图2所示，上述步骤s2中，第一网络模型和第二网络模型均包括卷积神经网络模块、区域建议网络模块和转置卷积模块；

所述卷积神经网络模块的输出端与区域建议网络模块的输入端连接，所述区域建议网络模块与转置卷积模块连接；

所述卷积神经网络模块的基本结构是基于resnet-50修改而来，包括顺次连接的16个残差网络单元，每个所述残差网络单元包括batchnormalization层、relu层、3×3×3的卷积层和dropout层；3×3×3的卷积层用于提取输入图像的特征，dropout层以稀疏特征图避免过拟合；

所述区域建议网络模块包括3×3×3的卷积层、两个1×1×1的卷积层、感兴趣区域池化层、7×7×7的卷积层、两个全连接层；所述3×3×3的卷积层分别与两个1×1×1的卷积层连接，两个所述1×1×1的卷积层均与所述感兴趣区域池化层连接，所述感兴趣区域池化层的第一输出端与7×7×7的卷积层、两个所述全连接层顺次连接；所述感兴趣池化层的第二输出端与转置卷积模块连接；

所述转置卷积模块包括四个顺次连接的转置卷积层。

上述3×3×3的卷积层进行3×3×3的卷积操作再次提取图像特征，两个1×1×1的卷积层均进行1×1×1的卷积操作，对图像进行大小调整，建议出候选区域，并经过感兴趣区域池化层操作后分两路并行输出，其中第一路经过7×7×7的卷积层和两个全连接层，7×7×7的卷积层进行7×7×7的卷积操作，其中的特征图的个数为256个，之后的两个全连接层的特征图个数均为1024个，然后输出边框坐标参数用以图像边框回归，同时输出目标分类结果；另一路连接转置卷积模块的四个转置卷积层，以提高图像的分辨率，增添更多图像信息，最终输出脑肿瘤图像分割结果。

s2、将预处理后的多模态mri图像输入第二网络模型，穿过权重空间，更新平均权重，对第二网络模型进行训练，将训练后的第二网络模型的权重平均值存入第一网络模型；

上述步骤s3中，更新第二网络模型的平均权重的方法具体为：

将预处理后的多模态mri图像输入至第二网络模型，将第二网络模型穿过权重空间，使用循环学习率进行权重系数的探索，当每个学习速率周期结束时，将当前权重集合与上一次的平均权重之间进行加权平均处理来更新第二网络模型的平均权重；

上述平均权重的更新方程为：

式中，ωswa为权重平均值；

ρmodels为模型训练次数；

ω为当次训练所得权重。

在每个学习周期速率结束时，如上述公式所示，通过在旧的平均权重和第二个网络模型的权重集合之间进行加权平均值来更新第二网络模型的平均权重：

对第二网络模型进行训练的方法具体为：

将输入的多模态mri图像的每一像素的d系数和作为损失函数，使用随机梯度下降法，将初始学习率设置为0.001，并根据loss的下降效果降低学习率，通过人为观察训练结果图，当loss下降到训练结果图满足要求时，结束第二网络模型的训练；

上述d系数的表达式为：

式中，n为像素点数；

qi为标注图像当前像素点的真实值；

pi为输入图像当前像素点的预测值；

所述loss的表达式为：

式中，k为类别总数；

k为当前类别；

qi,k为标注图像当前像素点i在当前类k中的真实值；

pi,k为输入图像当前像素点i在当前类k中的预测值。

s4、将待测试的多模态mri图像输入至第一网络模型中，输出脑肿瘤图像分割结果。

当将待测试的多模态mri图像输入至第一网络模型后，得出的脑肿瘤图像的预测分割结果，可用相应的评价指标对分割结果进行评价，以便更好地改进构建的第一网络模型和第二网络模型，上述评价指标为miccaibarts中的评价标准，主要以dice、spec和sens三个指标来评价分割结果的优劣，对模型参数进行调整。

本发明的有益效果为：本发明可以实现对中以及内部结构端到端的分割，准确率有所提升，加之引入多模态mri图像的优势，可以提升肿瘤的可识别性，由于构建的网络模型内部使用3d卷积模块，可使图像的处理环节时间大大缩短、使图像预处理操作更加便捷，在图像分割过程中使用基于d系数的loss函数可以有效的解决类别不平衡的问题；结合集成方法，能够最大化地提升构建模型的最终性能。解决了现有技术中脑肿瘤分割图像效果较为粗糙，类别不平衡以及图像预处理等技术问题，并提高一定的分割效率及精度。