一种基于多监督全卷积神经网络的图像分割方法与流程

本发明涉及一种基于多监督全卷积神经网络的图像分割方法，属于医学图像处理领域。

背景技术：

计算机断层成像(computedtomography，ct)是骨肉瘤诊断与治疗中常用的医学影像成像方式，从骨肉瘤ct图像中精确地分割出肿瘤病灶区域，对术前新辅助放化疗计划的制定，以及术后的放化疗的疗效效果评估都起着至关重要的作用。临床上急需实现肿瘤区域的自动分割。

随着计算机辅助诊断技术的发展，研究者针对骨肉瘤图像的自动分割做了不少突出的工作。总的来说，这些骨肉瘤图像分割方法主要分为基于聚类的方法、人工神经网络法以及有监督的机器学习方法。

(1)基于聚类的方法

这类方法主要是交互式的选择目标区域以及背景区域的种子点，然后计算其他像素点与种子点之间的相似性特征，再量化每一类的特征，从而把图像分割成背景区域和目标区域[1，r.mandava,o.moh'dalia,b.c.wei,d.ramachandram,m.e.aziz,i.l.shuaib,osteosarcomasegmentationinmriusingdynamicharmonysearchbasedclustering,softcomputingandpatternrecognition(socpar),2010internationalconferenceof,ieee,2010,pp.423-429.]。基于聚类的算法需要预先指定初始聚类中心对图像进行分割，此种算法对图像中的噪声以及算法的初始化非常敏感，只能处理简单的图像，比如肿瘤区域和正常组织区域对比度比较大的图像以及病灶纹理比较规则的图像，而对于复杂的骨肉瘤ct图像的分割效果并不是很好。

(2)人工神经网络方法

神经网络主要模仿人类大脑的方式进行工作，它主要是由输入层、中间隐含层以及输出层构成，每个隐含层都是由一系列神经元组成的，后一层中每个神经元都与前一层中的所有神经元相连[2a.f.frangi,m.egmont-petersen,w.j.niessen,j.h.reiber,m.a.viergever,bonetumorsegmentationfrommrperfusionimageswithneuralnetworksusingmulti-scalepharmacokineticfeatures,imageandvisioncomputing,19(2001)679-690.]。它的工作方式主要分为两部分：模型训练与模型测试。首先是网络模型的构建与训练，将训练图像与训练标签一起输入到网络之中，根据前向运算和反向传播算法调整网络中神经元权重参数，直至预测值和真实标签之间的误差不再下降为止。模型训练好之后，第二步就是将新的测试图像输入到训练好的模型里进行测试，得出模型在测试图像上的分割结果。这类方法在应用时有些不足，这类方法需要人工提取特征，网络参数太多，训练速度慢，而且在训练过程中极易发生过拟合现象，算法的分割精度有限。

(3)有监督的机器学习方法

有监督的机器学习方法是从一堆数据中发掘数据之间的规律，并把这种规律用在新的数据之中[3cx.chen,d.zhang,n.li,x.-j.qian,s.-j.wu,s.gail,osteosarcomasegmentationinmribasedonzernikemomentandsvm,chinesejournalofbiomedicalengineering,2(2013)007.]。其主要流程是首先收集训练数据以及训练标签，然后对训练数据进行人工特征提取、特征筛选、构建分类器模型，将所提的训练数据的特征输入到设计好的模型中进行训练，最后用训练好的模型对测试数据进行测试，得到预测结果。常用的分类器主要有随机森林、贝叶斯网络以及支持向量机等。这类方法把图像分割任务看成是对图像中的每个像素进行分类的任务。首先，从图像中提取一定量的人工特征，诸如纹理特征、小波特征、形态学特征等，然后再用这些人工特征训练分类器模型。最后用训练好的分类器来识别图像中的骨肉瘤病灶。基于有监督的机器学习方法的不足之处主要体现在以下几个方面。首先，输入图像的分割标签是条件独立的，这类方法并没有考虑到标签的局部独立性。其次，这类传统的机器学习方法需要手工提取特征，特征的表达能力对模型分类结果的准确性起关键性作用。许多人工提取特征的方法只考虑到常见的自然图像的一些边缘纹理等相关信息，没有考虑到医学图像的特点，不一定能很好地抓取医学图像的有效信息。此外，这类方法耗时长，运行时占用内存高。由于手工特征的限制，这些方法并不适用于结构复杂以及纹理信息混乱的骨肉瘤ct图像的分割。

为了解决上述问题，本发明提出了一种基于多监督全卷积神经网络结构的图像分割方法，该方法可以融合多层次的图像语义特征，准确快速地实现图像分割。

技术实现要素：

本发明要解决的技术问题是：克服现有分割方法的特征提取不丰富，特征主观性强，计算量大，鲁棒性差，分割效率差等问题，提供一种基于多监督全卷积神经网络的图像分割方法，实现骨肉瘤肿瘤ct图像的自动分割，该方法可以自动学习图像中的多尺度特征，并且拼接融合多个尺度上的特征对图像进行分割，具有鲁棒性强，时效性快等特点。

本发明技术解决方案：一种基于多监督全卷积神经网络的图像分割方法，并将此种方法用在骨肉瘤ct图像分割之中。该方法搭建了多监督全卷积神经网络，不需要人工提取特征以及进行特征筛选，多监督全卷积神经网络可以直接从骨肉瘤ct图像中学习到多层次的特征，然后根据学习到的特征对图像进行分割。

具体步骤如下：

第一步，采用各向异性扩散滤波算法对输入图像进行去噪处理，接着对去除噪声后的图像进行标准化处理，得到标准化处理后的图像；

第二步，将第一步标准化后的图像输入到多监督全卷积神经网络中进行训练；

第三步，将经过步骤一中预处理操作后的测试图像输入到步骤二中已经训练好的多监督全卷积神经网络模型之中，将多监督全卷积神经网络模型中得到的融合层的分割结果作为最终的分割结果。

所述步骤二中，所述多监督全卷积神经网络的结构设计如下，在conv5_3之前保持vgg-16模型的原始网络结构，分别在conv3_3,conv4_3以及conv5_3后添加一个上采样层，将conv3_3,conv4_3以及conv5_3输出的特征图上采样到与输入图像同样大小，在上采样过程中保留所有的特征通道，使得网络学习到更多的全局特征以及多层的语义信息，接着分别在三个上采样层后添加一个边输出分类器来获取边输出层的分割结果，并通过权重损失函数计算分割结果与标签之间的损失值，最后将三个上采样层得到的特征图进行拼接，再经过一个融合层将三个边输出层的分类结果进行融合，得到最终的图像分割结果，并计算融合层输出结果同标签之间的损失值。

所述权重损失函数在计算分割结果与标签之间的损失值时，权重损失函数在传统的softmaxloss函数的基础上作了改进，在softmaxloss函数的计算公式中加入一个类间平衡参数，该类间平衡参数能够减轻目标像素数目与背景像素数目不平衡对分割结果所带来的影响。

本发明与现有技术相比的优点在于：

(1)本发明提出的多监督全卷积神经网络结构，在conv3_3,conv4_3,conv5_3三个不同感受野的卷积层后添加有监督的边输出层，指导网络学习图像的多尺度特征，与传统的全卷积神经网络相比，本发明所提出的多监督全卷积神经网络结构可以在网络训练过程中及时地监督网络中间层的训练，加快网络的训练速度，且能更多地捕获图像的全局特征以及多层次的语义特征。

(2)本发明中提出了一个带有权重的损失函数，在图像分割时，背景区域与目标区域的像素个数不平衡，在损失函数中加入一个权重参数，与传统的神经网络种所用的softmaxloss损失函数相比，带有权重的损失函数可以减轻类别不平衡所带来的分割误差，提升图像的分割精度。

(3)本发明中提出了一个权重融合层来融合网络在三个尺度上的分割结果。由于浅层的网络可以学习到更多的形状边缘信息，而深层的网络则可以学习到更多的语义信息，由多个边输出层产生的不同的尺度的分类结果使用不同的权重进行融合，该权重在优化过程中自动学到，不需要事先定义，使得网络可以根据图像中目标的特征自动调整不同尺度下边输出层输出特征的权重，提高网络模型的鲁棒性，进而提高该分割方法对复杂骨肉瘤ct图像的分割精度。

附图说明

图1为本发明的主要工作流程示意图；

图2为多监督全卷积神经网络的结构图。

具体实施方式

如图1所示，本发明一种多监督全卷积神经网络的分割方法，具体技术细节如下：

(1)收集骨肉瘤ct图像并对图像进行预处理；

首先用各向异性扩散滤波算法对输入图像进行去噪处理，接着对去除噪声后的图像进行标准化处理，得到标准化处理后的图像。

(2)训练多监督全卷积神经网络模型。

将第一步中标准化处理后的图像以及标签图像输入到多监督全卷积神经网络中进行训练。

1)多监督全卷积网络结构。

如图2所示，多监督全卷积神经网络由两部分组成：卷积部分和有监督的边输出层网络部分。保留conv5_3之前的vgg-16模型的原始网络结构作为多监督全卷积网络的卷积部分。对一张大小为a×b(a,b分别表示输入图像的长和宽)的输入图像进行第一阶段的卷积与池化后，输出的特征图的尺寸是原图像的1/2，接着对上一层输出的特征图进行第二次卷积与池化后，输出的特征图的大小变为原来的1/4，接着继续对图像进行第三阶段的卷积池化后，输出的特征图尺寸变为原来的1/8，以此类推，对图像进行第四阶段的卷积和池化操作以及第五阶段的卷积操作。保留三四五阶段最后一层卷积层输出的特征图，保留下来的特征图的尺寸分别为原图的1/4、1/8以及1/16。先对第三阶段卷积(conv3_3)操作后输出的尺寸为原图像1/4的特征图进行4倍的上采样操作(见图2中步骤①))，此时输出的特征图的尺寸与原图像大小相同，接着在上采样层后面连接一个全卷积层(见图2中步骤②)，在全卷积层后面连接一个边输出分类器来获取边输出层1的分割结果(见图2中步骤③)。以此次类推，分别对第四、五阶段卷积操作(conv4_3，conv5_3)后输出特征图进行8倍以及16倍的上采样操作，分别在两个上采样层后面连接一个全卷积层(见图2中步骤②)，在全卷积层后面连接一个边输出分类器来获取边输出层2和边输出层3的分割结果(见图2中步骤③)。每个边输出分类器都可以通过损失函数计算边输出层的分割结果与标签之间的损失值，然后反向传播损失值信息，进而指导多尺度特征的学习。最后，级联所有的边输出结果，用一个1×1的卷积层作为融合层来融合所有的边输出结果(见图2中步骤④)。融合层的输出结果就是最终的分割结果。总而言之，该网络模型含有三个具有不同感受野的边输出层以及一个融合层。

2)多监督全卷积网络模型训练过程。

训练数据主要包括原始图像i＝{ij,j＝1,...,|i|}(ij表示图像i中的第j个像素，|i|表示图像i中共有|i|个像素)和与其相对应的标签图像g＝{gj,j＝1,...,|i|}(gj∈{0,1})。(gj表示图像i中第j个像素的类别，gj＝1表示像素j是在肿瘤区域内，而gj＝0表示像素j属于非肿瘤组织)。

该多监督全卷积神经网络有三个边输出层。每个边输出层与一个分类器相连。表示边输出层的损失函数。其中w是网络的权重参数，θ^(k)表示第k个边输出分类器的参数。在骨肉瘤ct图像中，肿瘤区域的像素数目与非肿瘤区域的像素数目相差很大，在数量上分布不均匀。非肿瘤区域的像素个数远远大于肿瘤区域的像素个数。因此，在定义损失函数时，本发明定义了一个权重损失函数来减小样本类与类之间不平衡所带来的影响。边输出层的权重损失函数定义见以下公式：

其中表示第k个边输出分类器给出的输入像素j属于第n类的预测概率值，n表示图像中像素的类别。表示边输出层权重损失函数的类间平衡权重参数，它的定义如下：

其中，表示在标签图像中属于第n类的像素的个数。

对于训练图像而言，每个边输出层都会给出一幅预测概率图。定义了一个融合层来联合所有的边输出层的分割结果，最终的预测概率图定义如下：

pfuse是融合后的预测概率。fk是融合层学习到的融合权重参数。lfuse表示融合层的损失函数，定义如下：

表示融合层的权重损失函数的类间平衡参数，其计算方式跟相同(见公式(2))，f＝(f1,...,fk)是融合层的参数。θ表示融合层分类器的参数，最优的参数w,θ,f可以通过最小化公式(5)中的目标函数来求取：

其中，(w,θ,f)*表示最优的w,θ,f。

(3)将经过步骤(1)中预处理操作后的测试图像输入到步骤(2)中已经训练好的多监督全卷积神经网络模型之中，将多监督全卷积神经网络模型中得到的融合层的分割结果作为最终的分割结果

总之，本发明实现的方法具有分割准确率高，分割速率快的特点；在骨肉瘤ct数据分割中，本发明获得的分割结果的dsc系数达到86.88％左右，优于传统的fcn算法。

提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。