一种基于全卷积网络的MRI图像脑肿瘤自动分割方法与流程

文档序号:11201273阅读:1735来源:国知局
一种基于全卷积网络的MRI图像脑肿瘤自动分割方法与流程

本发明涉及医学图像分析技术领域,具体涉及一种基于全卷积网络的mri图像脑肿瘤自动分割方法。



背景技术:

脑胶质瘤是一种严重危及患者生命的常见脑肿瘤,而脑肿瘤最常用的治疗方案就是手术切除。核磁共振成像(magneticresonanceimaging,mri)以图像方式显示大脑内部信息,是医学工作者分析颅内肿瘤的有力工具。mri图像脑肿瘤分割对于早期诊断、治疗计划和治疗评估起着至关重要的作用。但是,早期手工分割标记方式工作繁琐且主观性强,脑胶质瘤与正常组织的边界不清晰,并且mri图像本身受到噪声、偏移场效应和部分容积效应等的影响。因此设计自动分割算法是解决手工标记不足的最佳方式,这是分割技术的发展方向之一。

基于mri图像的脑肿瘤传统分割方法大致可以分为三类,即基于边界、基于区域以及两者相结合的方法。其中,基于边界的方法就是在图像中标识目标的边界,基于区域的方法就是在图像中标识目标所占有的区域,两者相结合的方法就是将基于边界和基于区域的方法结合起来,取两者的优势而避免其劣势的方法。但是,本发明的发明人经过研究发现,在这些传统方法中,通过人的主观意识去理解图像,从而提取特定的特征信息,如灰度信息、纹理信息及对称信息等实现脑肿瘤的分割,结果只能针对特定的图像有比较好的分割结果,因而分割结果过于粗糙且分割效率较低。

随着人工智能尤其深度学习的出现,为脑肿瘤的自动分割提供了新的方向,传统的脑肿瘤分割方法逐步被基于机器学习的方式取代。其中,卷积神经网络作为有监督学习的代表,能够直接从数据中学习特征表示,通过逐层特征提取,将图像从简单的边缘、角点等底层特征,逐层组合形成更加抽象的高层次特征,在图像识别领域取得了显著效果,已被广泛地应用于医学图像处理。当前基于机器学习的分割方法是采用图像块分类,但是这种方法需要以滑动窗口的方式对每一个像素进行预测分类,导致分割效率低而不能应用于实际临床医学中。因此本发明的发明人提供了一种更高效、准确的基于全卷积网络的mri图像脑肿瘤自动分割方法。



技术实现要素:

针对现有传统分割方法要通过人的主观意识去理解图像,从而提取特定的特征信息,如灰度信息、纹理信息及对称信息等实现脑肿瘤的分割,结果只能针对特定图像有比较好的分割结果,因而分割结果过于粗糙且分割效率较低的技术问题,本发明提供一种基于全卷积网络的mri图像脑肿瘤自动分割方法,该分割方法能够广泛应用于医学图像分割领域,特别是脑肿瘤分割方面。

为了解决上述技术问题,本发明采用了如下的技术方案:

一种基于全卷积网络的mri图像脑肿瘤自动分割方法,包括以下步骤:

s1、脑肿瘤多模态mri图像预处理,其包括:

s11、对t1和t1c两个模态mri图像进行场偏移校正操作;

s12、提取flair、t1、t1c和t2四个模态的mri图像切片,在每一个mri图像切片中,将大于1%最高灰度设置为0.99倍的最高灰度值,将小于1%最低灰度设置为0.99倍的最低灰度值;

s13、对每一个mri图像切片的灰度值进行数据标准化和线性归一化操作;

s14、获得归一化后的mri图像同一层的肿瘤切片,按照flair、t1、t1c和t2的顺序组合成四通道图像,其中作为训练集、验证集和测试集的比例为10:1:1;

s2、全卷积网络模型构造,其包括:

s21、采用迁移学习方法,获取已经训练好的卷积神经网络模型的中间特征层作为全卷积网络模型的基础特征层,所述基础特征层包括四个卷积层组和池化层;

s22、在所述基础特征层之后,添加三个与全连接层等同的卷积层构成中间层,使得中间层输出与语义分割类别数量相对应的粗糙分割图;

s23、在中间层之后再添加反卷积层进行插值得到分割结果1,分割结果1再与基础特征层中倒数第二个池化层的输出特征图进行融合,融合后进行反卷积层插值得到分割结果2,依次类推,再分别与基础特征层中倒数第三个和第四个池化层进行融合和反卷积层插值,最终得到分割结果3和分割结果4,所述分割结果4是与语义分割类别数量相对应,且与原图像大小一样的预测分数矩阵,分割结果4上的每个像素所分的类是其在预测分数矩阵中最大值所对应的索引,形成了最终的分割结果图;

s3、网络训练与参数调优:将mri图像脑肿瘤的分割转换为像素级语义标注问题,通过高斯随机变量初始化步骤s22中添加的三个卷积层的权值,利用预处理后的四通道图像作为训练样本并将其输入到构造的全卷积网络模型中,再采用随机梯度下降法作为优化方法有监督地最小化损失函数,从而对全卷积网络模型包括的所有卷积层的权值进行调优训练;

s4、脑肿瘤图像自动分割:将归一化后的待分割脑肿瘤四通道图像输入到具有已优化网络权值的全卷积网络模型中,得到与语义分割类别数量相对应的预测分数矩阵,根据这些矩阵值,分割出脑肿瘤及内部结构图像。

进一步,所述步骤s11中,采用n4itk方法进行偏移场校正操作。

进一步,所述步骤s13中,对每一个mri图像切片的灰度值采用下式进行数据标准化操作:

其中,x(i,j)对应切片x的第i行j列的灰度值,和xs分别是切片x的均值和方差,x′(i,j)是x(i,j)标准化的灰度;

线性转化每个切片的灰度值在[0,1]的范围内,并采用下式进行线性归一化操作:

其中,x′(i,j)是标准化后的灰度,x'max和x'min分别是切片x标准化后的最大值和最小值,是线性归一化后的灰度。

进一步,所述步骤s21中,构造全卷积网络模型的基础特征层,是获取已经训练好的16层vgg模型的前四个卷积层组和池化层,所述采用迁移学习方法是将已经训练好的权值作为全卷积网络模型的基础特征层的初始权值。

进一步,所述步骤s21中,在四个卷积组构建的基础特征层中,每组卷积层的个数分别为2、2、3、3,每组卷积层的卷积核个数分别为64、128、256、512,每个卷积层采用3×3的小卷积滤波器进行卷积,且每个卷积层组后跟随采样窗口为2×2,步长为2的池化层。

进一步,其中一个所述卷积核所对应的输出特征图ok采用下式进行计算:

其中,bk是第k个卷积核所对应的偏置项,c是输入数据的通道数,wki是第k个卷积核的第i通道权值矩阵,是卷积操作,x是输入数据。

进一步,所述基础特征层还包括整流线性单元,所述整流线性单元用于将卷积核所对应的输出特征图ok中的每个值进行非线性转化,所述整流线性单元定义如下:

f(x)=max(0,x)

其中,f(x)表示整流线性单元函数,x是一个输入值。

进一步,所述步骤s22中,添加的三个卷积层卷积核个数分别为4096、4096、5,卷积核大小都为1×1,步长也都为1。

进一步,所述步骤s23中,反卷积层插值采用双线性插值方法。

进一步,所述步骤s3中,优化方法采用交叉熵分类损失函数,定义如下:

其中,n为一个批量的大小,l'是真实数据,l是softmax函数输出的预测向量。

与现有传统分割方法相比,本发明提供的基于全卷积网络的mri图像脑肿瘤自动分割方法,包括脑肿瘤多模态mri图像预处理、全卷积网络模型构造、网络训练与参数调优和脑肿瘤图像自动分割步骤,具体为将mri图像脑肿瘤的分割转换为像素级语义标注问题,对mri不同模态强调的差异信息,将flair、t1、t1c和t2四个模态的二维整幅切片合成四通道输入图像,利用已经训练好的卷积神经网络的卷积层组和池化层作为全卷积网络的基础特征层,使得中间层输出与语义分割类别数量相对应的粗糙分割图,并在中间层的后面添加反卷积网络,用于对粗糙分割图进行插值得到与原图像大小一样的分割图。因而,本发明具有如下优点:1、与基于图像块分类的分割方法相比,本发明不仅不需要人工的干预,而且还不需要考虑图像块大小的设置,是一个自动的、简单的脑肿瘤分割方法,不仅提高了分割精度,还大大提高了分割的效率;2、本发明以整个切片作为输入图像,更能考虑分类像素的外观和空间一致性,得到更高的分割精确度;3、本发明利用了迁移学习方法,获取已经训练好的卷积神经网络的中间特征层权值作为全卷积网络基础特征层的初始权值,缩短了训练时间,节约了数据标注成本,在小样本情况下仍有较好的学习性能。

附图说明

图1是本发明提供的基于全卷积网络的mri图像脑肿瘤自动分割方法基本流程示意图。

图2是本发明提供的全卷积网络训练及测试方法流程示意图。

图3是本发明提供的全卷积网络模型示意图。

图4是本发明提供的双线性插值方法示意图。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解,下面结合具体图示,进一步阐述本发明。

请参考图1所示,本发明提供一种基于全卷积网络的mri图像脑肿瘤自动分割方法,包括以下步骤:

s1、脑肿瘤多模态mri图像预处理,其包括:

s11、对t1和t1c两个模态mri图像进行场偏移校正操作,具体可以采用n4itk方法进行偏移场校正操作;

s12、提取flair、t1、t1c和t2四个模态的mri图像切片,在每一个mri图像切片中,将大于1%最高灰度设置为0.99倍的最高灰度值,将小于1%最低灰度设置为0.99倍的最低灰度值(说明:1%最高灰度的值为0.99倍的最高灰度值,见百度百科:灰度色彩模式);

s13、对每一个mri图像切片的灰度值进行数据标准化和线性归一化操作,其中:对每一个mri图像切片的灰度值采用下式进行数据标准化操作:

其中,x(i,j)对应切片x的第i行j列的灰度值,和xs分别是切片x的均值和方差,x′(i,j)是x(i,j)标准化的灰度;

线性转化每个切片的灰度值在[0,1]的范围内,并采用下式进行线性归一化操作:

其中,x′(i,j)是标准化后的灰度,x'max和x'min分别是切片x标准化后的最大值和最小值,是线性归一化后的灰度。

s14、获得归一化后的mri图像同一层的肿瘤切片,按照flair、t1、t1c和t2的顺序组合成四通道图像,由此完成脑肿瘤多模态mri图像预处理;其中作为训练集、验证集和测试集的比例为10:1:1,具体本申请的发明人获取了12000个病人的四通道图像,其中训练集、验证集、测试集的具体数量分别是10000、1000、1000。

s2、全卷积网络模型构造,其包括:

s21、采用迁移学习方法,获取已经训练好的卷积神经网络模型的中间特征层作为全卷积网络模型的基础特征层。

作为具体实施例,所述步骤s21中,构造全卷积网络模型的基础特征层,是获取已经训练好的16层vgg模型的前四个卷积层组和池化层,所述采用迁移学习方法是将已训练好的权值作为全卷积网络模型的基础特征层的初始权值。

作为具体实施方式,请参考图3所示,本发明提供的是具有4个卷积组的网络模型,所述步骤s21中,基础特征层包括第1~4个卷积层组,即基础特征层包括有卷积层组1、卷积层组2、卷积层组3和卷积层组4,每个卷积层组后都有一个池化层,每组卷积层的个数分别为2、2、3、3,卷积核的个数分别为64、128、256、512,每个卷积层采用3×3的小卷积滤波器进行卷积,且所有池化层的采样窗口为2×2,步长为2。其中,第一个卷积层正向传播的信号为原始图像的简单边缘和角点等底层信息,后面的卷积层和池化层正向传播的信号为一些较抽象的组合信息,如图像的局部纹理信息等。由于所有卷积层的卷积核都采用3×3的小核,由此可以构造更深的网络,而连接权值不会骤增。其中,一个所述卷积核所对应的输出特征图ok采用下式进行计算:

其中,bk是第k个卷积核所对应的偏置项,c是输入数据的通道数,wki是第k个卷积核的第i通道权值矩阵,是卷积操作,x是输入数据。

作为具体实施例,为了提高网络的非线性表示能力,所述基础特征层还包括整流线性单元(rectifierlinearunits,relu),所述整流线性单元relu作为全卷积网络的激活函数,用于将卷积核所对应的输出特征图ok中的每个值进行非线性转化,所述整流线性单元relu定义如下:

f(x)=max(0,x)

其中,f(x)表示整流线性单元函数,x是一个输入值;由此可知,当输入值比0大时,则函数值就是输入值本身,反之则为0。

同时,由于卷积层卷积之后的输出特征图可能包含大量的冗余信息,因此,在卷积输出层之后可以采用最大值池化(最大池化层,maxpool)操作消除可能的冗余特征,从而使得输出特征图尺寸变小而且对图像的很小平移和变形具有不变性。

s22、在获取的所述基础特征层之后,添加三个与全连接层等同的卷积层构成中间层,三个卷积层即是图3中所示的卷积层5、卷积层6和卷积层7,最后一个卷积层是保证中间层输出与语义分割类别数量相对应的粗糙分割图,由中间层输出的特征图的大小已经比原始图像小了很多,所述卷积层5、卷积层6和卷积层7的卷积核个数分别为4096、4096、5,卷积核大小都为1×1,步长都为1。

s23、请参考图3所示,在添加的两个卷积层之后再添加反卷积层进行插值得到分割结果1,分割结果1中基本可以标注出目标物体大概准确的位置;分割结果1再与基础特征层中倒数第二个池化层(池化层3)的局部信息进行融合,融合后进行反卷积层插值得到分割结果2;分割结果2再与基础特征层中倒数第三个池化层(池化层2)的局部信息进行融合,融合后进行反卷积层插值得到分割结果3;分割结果3再与基础特征层中倒数第四个池化层(池化层1)的局部信息进行融合,融合后进行反卷积层插值得到分割结果4;此时的分割结果4,相对前面的分割结果3、分割结果2和分割结果1,其分割结果更精细、更准确,且与原图像的大小相同。

其中,所述分割结果4融合了中间层最后输出的全局信息与基础特征层的倒数第二个、第三个和第四个池化层的局部信息,所述的局部信息是池化层的输出特征图(输出矩阵),在与局部信息融合前,需要通过类似最后卷积层7作用获得与语义分割类别数量相对应的局部信息,所述的融合是将输出特征图矩阵对应相加,全卷积网络最后的输出结果即分割结果4是与语义分割类别数量相对应,且与原图像大小一样的预测分数矩阵(scorematrixs),其中每个像素所分的类是其在预测矩阵中最大值所对应的索引,从而最终获得了更精细和更准确的分割结果图。

作为具体实施例,所述步骤s23中,反卷积层插值采用双线性插值方法,请参考图4所示,该方法包括以下步骤:

第一步:在x方向的线性插值,在q12、q22中插入点r2,在q11、q21中插入点r1,其计算公式为:

第二步:在y方向的线性插值,通过第一步计算出的r1和r2在y方向上插值计算出p点,其计算公式为:

s3、网络训练与参数调优:请参考图2所示,将mri图像脑肿瘤的分割转换为像素级语义标注问题,通过高斯随机变量初始化步骤s22中添加的三个卷积层(卷积层5、卷积层6和卷积层7)的权值,利用预处理后的四通道图像作为训练样本并将其输送到构造的全卷积网络模型中,再采用随机梯度下降法作为优化方法有监督地最小化损失函数,从而对全卷积网络模型包括的所有卷积层的权值进行调优训练。作为一种实施例,所述优化方法采用交叉熵分类损失函数,定义如下:

其中,n为一个批量的大小,l'是真实数据,l是softmax函数输出的预测向量。

s4、脑肿瘤图像自动分割:请参考图2所示,选择出分割性能指标较好的模型,将预处理后的待分割脑肿瘤四通道图像输入到具有已优化网络权值的全卷积网络模型中,得到与语义分割类别数量相对应的预测分数矩阵,根据这些矩阵值,分割出脑肿瘤图像及内部结构图像。

为了更好地理解本发明提供的基于全卷积网络的mri图像脑肿瘤自动分割方法,以下将结合具体实施例对本发明的技术方案进行说明。

请参考图2和图3所示,以flair、t1、t1c和t2四个模态的mri脑肿瘤图像为例,具体包括如下步骤:

1、在全卷积网络的输入层,以预处理后的多模态mri图像完整切片作为240×240×4输入图像(其中4为输入的多模态图像种类:flair、t1、t1c和t2,根据实际需要4可以进行相应调整);

2、把四通道图像输入到全卷积网络的第1~4个卷积层组,每组卷积层个数分别为2、2、3、3,卷积核个数分别为64、128、256、512,每个卷积层采用3×3的小卷积滤波器进行卷积,并且除了第一个卷积层组的第一个卷积层的pad参数设置为100外,所有卷积层pad参数和步长都设置为1,保持图像大小不变。每个卷积层组后紧跟着,采样窗口为2×2,步长为2的池化层对每个卷积层组的特征输出块进行最大值池化,分别得到438×438×64,219×219×128,110×110×256,55×55×512的特征图;

3、将第4个池化层的输出特征图像块输入到卷积层5、卷积层6和卷积层7后,输出与语义分割类别数量相对应的粗糙分割图,该粗糙分割图相对于原图像小了很多;

4、将粗糙分割图输入到反卷积层进行插值,并与第三个池化层3输出特征图进行融合,得到的分割图再进行反卷积层插值;然后再将插值后的分割图与第二个池化层2输出特征图进行融合,得到的分割图再进行反卷积层插值;最后再将插值后的分割图与第一个池化层1输出特征图进行融合,得到的分割图在反卷积层进行插值,得到最终的240×240×5分割图;对于每个像素点,取所在输出特征图最大值所对应的类作为最终的分类结果,即每个像素所分的类是其在5个预测分数矩阵中具有最大值所对应的索引(从0开始),这样形成了最终的分割结果图,该分割结果大多数值为0,表示背景或者正常组织,非零则被认为是肿瘤区域;

5、利用softmaxwithloss层结合真值标签图像,对卷积层输出的240×240的预测分数矩阵进行损失值计算,通过反向传播和随机梯度下降法有监督地更新网络权值,最小化损失函数;

6、在测试模型阶段,执行前述步骤1~4的过程,得到肿瘤分割结果,将分割结果与真值标签图像进行比对,从而计算出分割性能指标;最终分割结果包含水肿结构、增强肿瘤结构、非增强肿瘤结构和坏死的肿瘤结构共4个类别的结果;所述图像分割性能指标包括dice相似系数(dicesimilaritycoefficient,dsc)、阳性预测值(positivepredictivevalue,ppv)、灵敏度(sensitivity)等指标;

7、在脑肿瘤图像自动分割阶段,将预处理后的待分割脑肿瘤四通道图像输入到具有已优化网络权值的全卷积网络模型中,得到脑肿瘤分割结果,为了区分脑肿瘤内部结构,用红色表示坏死结构,用绿色表示水肿结构,用黄色表示非增强肿瘤结构,蓝色表示增强肿瘤结构。

与现有传统分割方法相比,本发明提供的基于全卷积网络的mri图像脑肿瘤自动分割方法,包括脑肿瘤多模态mri图像预处理、全卷积网络模型构造、网络训练与参数调优和脑肿瘤图像自动分割步骤,具体为将mri图像脑肿瘤的分割转换为像素级语义标注问题,对mri不同模态强调的差异信息,将flair、t1、t1c和t2四个模态的二维整幅切片合成四通道输入图像,利用已经训练好的卷积神经网络的卷积层组和池化层作为全卷积网络的基础特征层,使得中间层输出与语义分割类别数量相对应的粗糙分割图,并在中间层的后面添加反卷积网络,用于对粗糙分割图进行插值得到与原图像大小一样的分割图。因而,本发明具有如下优点:1、与基于图像块分类的分割方法相比,本发明不仅不需要人工的干预,而且还不需要考虑图像块大小的设置,是一个自动的、简单的脑肿瘤分割方法,不仅提高了分割精度,还大大提高了分割的效率;2、本发明以整个切片作为输入图像,更能考虑分类像素的外观和空间一致性,得到更高的分割精确度;3、本发明利用了迁移学习方法,获取已经训练好的卷积神经网络的中间特征层权值作为全卷积网络基础特征层的初始权值,缩短了训练时间,节约了数据标注成本,在小样本情况下仍有较好的学习性能。

最后说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的宗旨和范围,其均应涵盖在本发明的权利要求范围当中。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1