多模态脑肿瘤图像分割系统及方法

1.本发明属于医学图像处理技术领域，尤其涉及一种基于深度卷积生成对抗网络的多模态脑肿瘤图像分割系统及方法。


背景技术：

2.本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。
3.脑部胶质瘤是最常见的原发性中枢神经系统恶性肿瘤，包含多个亚区，并且肿瘤区域的形状和位置差异很大。脑肿瘤磁共振成像(magnetic resonance imaging，mri)中脑肿瘤目标结构复杂、形状多变、图像灰度不均匀以及在不同的患者身上表现出相当大的差异性，并且，图像采集方法在其设置和几何形状以及硬件差异方面可能产生肿瘤外观变化，这些均带来了图像分割的难度。
4.尽管可以采用卷积神经网络(convolutional neural network，cnn)执行图像分割，具体而言，基于特征对图像体素进行分类，获得堆叠特征并产生分割结果。然而，由于图像中的每个像素几乎是相互独立预测的，加之脑肿瘤的出现不可预测，且mri的强度并不均匀，因此，基于cnn方法的分割结果总是边界粗糙，对肿瘤子区域的细节表现不佳。此外，cnn的训练过程需要大量的手工标注数据，但是，mri脑肿瘤图像靶区勾画耗时耗力，常常受到主观差异的影响，而缺少大量手工标注数据的情况下难以实现快速准确的分割结果。


技术实现要素：

5.为克服上述现有技术的不足，本发明提供了一种基于深度卷积生成对抗网络的多模态脑肿瘤图像分割系统及方法，利用多模态脑肿瘤图像分割模型对采集的图像样本进行特征提取和训练，并利用训练好的模型实现快速准确的多模态脑肿瘤图像分割。
6.为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：
7.一种基于深度卷积生成对抗网络的多模态脑肿瘤图像分割系统，包括以下步骤：
8.数据获取模块，用于获取待分割多模态脑部肿瘤图像；
9.图像分割模块，用于采用脑部肿瘤图像分割模型进行图像分割；
10.其中，所述脑部肿瘤图像分割模型基于深度卷积生成式对抗网络预先训练得到；所述深度卷积生成式对抗网络包括生成器和鉴别器，所述生成器以全卷积网络为基础，在输出层后连接附加层，所述附加层为循环神经网络，所述循环神经网络的每一层表示条件随机场的一个步骤。
11.进一步地，所述脑部肿瘤图像分割模型的训练方法包括：
12.获取多模态脑部肿瘤样本作为训练集，所述训练集中的样本均进行了手工标注；
13.将训练集作为输入，基于深度卷积生成式对抗网络进行训练得到脑部肿瘤图像分割模型。
14.进一步地，获取多模态脑部肿瘤样本后，还进行预处理：
15.对所述多模态脑部肿瘤样本进行标准化处理标准化；
16.将样本图像进行裁剪，调整所需分割区域大小；
17.对各模态数据进行切片，并抛弃无病灶切片，最后合并成多通道数据并保存。
18.进一步地，所述生成器的训练方法包括：
19.将训练集作为输入，基于全卷积网络进行训练，得到初始模型参数；
20.基于初始模型参数，基于添加附加层的全卷积神经网络重新进行训练，得到生成器。
21.进一步地，所述鉴别器包括多层卷积神经网络。
22.进一步地，所述深度卷积生成式对抗网络的架构为：
23.首先基于生成器和鉴别器组成基本的生成对抗网络，然后在所有卷积网络中使用卷积和去卷积代替池化层，并且，在生成器和鉴别器中均添加批量归一化操作；卷积后使用全局池化层替代全连接层。
24.进一步地，所述全卷积神经网络为u
‑
net网络。
25.一个或多个实施例提供了一种基于深度卷积生成对抗网络的多模态脑肿瘤图像分割方法，包括以下步骤：
26.获取待分割脑部肿瘤图像；
27.采用脑部肿瘤图像分割模型进行图像分割；
28.其中，所述脑部肿瘤图像分割模型基于深度卷积生成式对抗网络预先训练得到；所述深度卷积生成式对抗网络包括生成器和鉴别器，所述生成器以全卷积网络为基础，在输出层后连接附加层，所述附加层为循环神经网络，所述循环神经网络的每一层表示条件随机场的一个步骤。
29.一个或多个实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的多模态脑肿瘤图像分割方法。
30.一个或多个实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述的多模态脑肿瘤图像分割方法。
31.以上一个或多个技术方案存在以下有益效果：
32.通过采用深度卷积的生成对抗网络作为网络的主体结构，由于深度卷积生成对抗网络具有良好的生成能力，可以使用有限数量的训练数据生成大量高质量的分割结果，有效解决传统分割网络在脑肿瘤标注数据非常少的情况下难以进行准确分割的问题。并且，采用对抗学习的方法对模型进行训练，在生成新的数据样本的同时估计数据样本的潜在分布，有效解决不同脑肿瘤图像存在较大差异性的问题。
33.在生成分割结果的生成器网络中，采用u
‑
net网络和条件随机场进行组合，利用经典的u
‑
net网络实现特征提取，并将提取的图像像素特征提供给条件随机场进行上下文建模和局部精确定位，增强脑肿瘤图像分割结果输出标签的空间连续性，有效解决因脑肿瘤形状复杂多变产生的分割结果边界粗糙的问题。
附图说明
34.构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示
意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
35.图1为本发明实施例中基于深度卷积生成对抗网络的多模态脑肿瘤图像分割方法流程图；
36.图2为本发明实施例中基于深度卷积生成对抗网络的分割模型训练方法流程图；
37.图3为本发明实施例中生成器训练方法流程图。
具体实施方式
38.应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
39.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
40.在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
41.生成对抗算法可以很好的解决标注图像非常少的情况下分割多模态脑部肿瘤图像的问题。生成式对抗网络的基本思想来源于博弈论中的二人零和博弈，它由一个生成器和一个鉴别器组成。采用对抗学习的方法对其进行训练，以估计数据样本的潜在分布并生成新的数据样本。由于其良好的生成能力和善于捕捉数据分布的特点，有效地提高了肿瘤分割的准确性。
42.实施例一
43.本实施例公开了一种基于深度卷积生成对抗网络的多模态脑肿瘤图像分割方法，如图1所示，包括以下步骤：
44.步骤1：获取待分割多模态脑部肿瘤图像；
45.本实施例中，脑部肿瘤图像为mri图像，当然，也可以其他类型的医学图像，在此不做限定。
46.步骤2：采用脑部肿瘤图像分割模型进行图像分割；其中，所述脑部肿瘤图像分割模型基于深度卷积生成式对抗网络预先训练得到。
47.具体地，结合图2，所述脑部肿瘤图像分割模型的训练方法如下：
48.s1：采集多模态脑部肿瘤mri样本，将所有样本分为训练集与测试集，对训练集样本进行手工标注，并对两个数据集样本进行标准化预处理；
49.s2：构建以深度卷积生成式对抗网络(deep convolutional gan，dcgan)为基础的生成对抗算法，输入训练集样本进行训练；
50.s3：将测试集样本输入训练好的生成对抗网络中，得到最终分割模型。
51.所述步骤s1包括以下步骤：
52.s11：将采集到的多模态脑部肿瘤mri样本按一定比例划分为训练集和测试集；
53.s12：对划分好的训练集样本进行手工标注，得到真实分割图；
54.s13：对训练集样本和测试集样本进行标准化预处理。
55.所述步骤s13包括以下步骤：
56.s131：采用z
‑
score方式来对样本数据中每个模态图像分别进行标准化；
57.s132：将样本图像进行裁剪，调整所需分割区域大小；
58.s133：对各模态数据进行切片，并抛弃无病灶切片，最后合并成多通道数据并保存。
59.所述步骤s2包括以下步骤：
60.s21：构建以u
‑
net为基础的分割网络作为生成器(generator，g)，生成训练集样本相应分割图像；
61.s22：构建以cnn为基础的鉴别网络作为鉴别器(discriminator，d)，同时输入训练集样本的真实分割图以及g生成的生成分割图，得到鉴别结果“真”或“假”；
62.s23：构建以dcgan为基础的生成对抗网络；
63.s24：将未标注的原始训练集样本作为d的额外输入信息，指导数据鉴别过程，促进d优化自身以正确区分真实/生成分割结果；
64.s25：加入对抗性损失函数，将d的鉴别结果反馈到g，促使g根据鉴别结果对自身进行优化，尝试生成与手工标注的分割图非常相似的分割结果，从而试图欺骗d。
65.所述步骤s21中以u
‑
net为基础的分割网络结构如下：
66.使用完全卷积的编码器
‑
解码器结构构建u
‑
net网络；使用卷积核为4
×
4、步长为2的卷积层进行下采样，使用卷积核为3
×
3、步长为1的卷积层进行上采样；输出层使用tanh作为激活函数，其它层使用relu作为激活函数；在编码器与解码器相应层之间添加跳跃连接，完成u
‑
net网络构建；在输出层后，以循环神经网络(rnn)的形式添加一个条件随机场(conditional random field，crf)算法作为u
‑
net网络的附加层，并使其具有可训练性，完成g的构建。
67.具体地，条件随机场算法的每一次迭代包括信息传递、滤波结果加权相加，类别兼容转换、加入数据项、归一化五个步骤，将迭代过程的每一步作为一个子层进行程序编写，所有子层叠加并进行迭代训练，并在tensorflow平台中进行实现，即可构成一个循环神经网络形式的条件随机场，即crf
‑
rnn层。
68.该附加层程序可作为u
‑
net的后处理程序，对u
‑
net输出的分割结果图进行细节恢复，以提高分割结果的精确度。使用构建的u
‑
net网络进行特征训练，固定好网络权重后，在u
‑
net网络程序中加入编写好的crf
‑
rnn程序，对新的网络进行训练，使其具有可训练性，完成模型的更新。由于脑肿瘤结构复杂、形状多变，传统的分割方法难以准确捕捉肿瘤形状的变形，而条件随机场可以增强输出标签的空间连续性，对预测像素进行局部精确定位，从而帮助产生平滑准确的脑肿瘤图像分割结果。
69.其中，crf是给定一组输入随机变量条件下另一组输出随机变量的条件概率分布模型，其特点是假设输出随机变量构成马尔可夫随机场。crf主要用于增强输出标签空间连续性，以完全连通的crf作为u
‑
net的后处理程序来提高分割网络的性能，更好的完成输出分割结果图中的细节恢复。
70.设x与y是随机变量，p(y|x)是在给定x的条件下y的条件概率分布。若随机变量y构成一个由无向图g＝(v，e)表示的马尔可夫随机场，即：
71.p(y
v
|x，y
w
，w≠v)＝p(y
v
|x，y
w
，w～v)
72.对任意结点v成立，则称条件概率分布p(y|x)为条件随机场。
73.如图3所示，所述生成器的训练过程如下：
74.首先使用构建好的u
‑
net网络训练特征，训练好所有特征后，插入自定义crf
‑
rnn层。然后重新训练网络，并使用新模型进行推理。
75.所述步骤s22中以cnn为基础的鉴别网络结构如下：
76.使用三个卷积核为3
×
3、步长为2的卷积层构成多层cnn；所有层使用leakyrelu激活函数，完成d的构建。
77.所述步骤s23中以dcgan为基础的生成对抗网络的结构如下：
78.利用所述步骤s21中构建的g以及所述步骤s22中构建的d组成基本的生成式对抗网络结构；在所有卷积网络中使用卷积和去卷积代替池化层；在上述g和d中添加批量归一化操作；卷积后使用全局池化层替代全连接层；完成dcgan的构建。
79.其中，dcgan通过使用去卷积层，改变了传统gan对标准多层感知器体系结构的依赖。并可以有效解决训练不稳定、模式崩溃和内部协变变换等问题。
80.综上，所述步骤s2中：
81.g主要用于学习真实分割结果图的分布，使自己生成的分割结果图更加真实，从而欺骗d。d是对接收到的两种分割结果图真假进行鉴别。整个过程就是使g生成的分割结果图越来越真实，d对真实分割结果图的判断也越来越准确，随着时间的推移，两种模型达到了平衡。即d和g进行了具有以下目标损失函数的极小—极大值博弈过程：
[0082][0083]
如上训练过程可以看作是对上述目标损失函数不断优化的过程，该目标损失函数即为所述步骤s25中的对抗性损失函数。整个目标损失函数由两部分组成，训练过程也可分为两步理解:
[0084]
1)修正生成器g，更新鉴别器d，使目标函数最大化；
[0085]
2)修正鉴别器d，更新生成器g，使目标函数最小化。
[0086]
在此过程中，采用反向传播算法对参数进行更新。
[0087]
通过这一最小最大优化过程，得到以下优化生成模型：
[0088][0089]
作为一个具体的示例，所述系统具体包括：
[0090]
本实施例基于国际医学图像计算和计算机辅助干预协会举办的miccai会议提供的brats 2013数据集。该数据集包括由临床获得的四种模态的3d mri扫描图像(t1、t1c、t2和flair)，并且所有分割图像均由经过专家委员会认证的神经放射科医生手动标注。其中，训练数据集包括20例高级别胶质瘤和10例低级别胶质瘤患者图像。测试数据集则由15例高级别胶质瘤和低级别胶质瘤混合图像构成。数据格式为.mha文件，数据将肿瘤区域手动分割为三个子区域，包括完整肿瘤、肿瘤核心和肿瘤增强。
[0091]
参照上述步骤s1—s3，具体实施步骤如下：
[0092]
s1：采集多模态脑部肿瘤mri样本，将所有样本分为训练集与测试集，对训练集样本进行手工标注，并对两个数据集样本进行标准化预处理；
[0093]
其中，使用上述brats 2013数据集，该数据集已完成步骤s11及步骤s12。因此，对数据集中多模态数据执行步骤s13，对数据集中各个模态的样本进行标准化预处理。
[0094]
首先，brats采用了t1，t2，flair，t1c这四个序列的mri数据，这四个序列是不同模态的图像，因此图像对比度也不一样，采用z
‑
score方式来对每个模态图像分别进行标准化，图像减去均值除以标准差。
[0095]
其次，对各模态脑部肿瘤数据进行裁剪，通过裁剪和调整分割所需区域的大小将其从256x256调整为28x28。
[0096]
最后对各模态数据进行切片，并抛弃无病灶切片，将标准化和切片后的四个模态数据合并成四通道数据，保存数据。
[0097]
s2：构建以dcgan为基础的生成对抗算法，输入训练集样本进行训练；
[0098]
首先，按照s21所述步骤构建g，输入未标记的训练集样本训练特征，生成初步的分割结果图。在初步结果输出层后加入自定义crf
‑
rnn层提高分割网络性能，重新训练网络，并使用新模型进行推理，生成最终分割结果图。
[0099]
第二，按照s22所述步骤构建d，同时输入由神经放射科医生手动标注的训练集样本真实分割图以及g生成的生成分割图，得到鉴别结果“真”或“假”。
[0100]
其次，按照s23所述步骤构建dcgan，完成该生成对抗算法的基本构建。
[0101]
再次，将未标注的原始训练集样本作为d的额外输入信息，指导数据鉴别过程，促进d优化自身以正确区分真实/生成分割结果；
[0102]
最后，加入如下对抗性损失函数，将d的鉴别结果反馈到g，促使g根据鉴别结果对自身进行优化，尝试生成与手工标注的分割图非常相似的分割结果，从而试图欺骗d。
[0103][0104]
在以上训练过程中，采用nvidia tesla p100 gpu进行加速运算。并采用adam优化器，学习率设置为0.001，动量设置为0.9，步长设置为64进行网络训练。
[0105]
s3：将测试集样本输入上述训练好的网络中，设置超参数并进行迭代运算，得到最终分割结果。
[0106]
实施例二
[0107]
本实施例的目的是提供一种基于深度卷积生成对抗网络的多模态脑肿瘤图像分割系统，所述系统包括以下步骤：
[0108]
数据获取模块，用于获取待分割多模态脑部肿瘤图像；
[0109]
图像分割模块，用于采用脑部肿瘤图像分割模型进行图像分割；
[0110]
其中，所述脑部肿瘤图像分割模型基于深度卷积生成式对抗网络预先训练得到；所述深度卷积生成式对抗网络包括生成器和鉴别器，所述生成器以全卷积网络为基础，在输出层后连接附加层，所述附加层为循环神经网络，所述循环神经网络的每一层表示条件随机场的一个步骤。
[0111]
实施例三
[0112]
本实施例的目的是提供一种电子设备。
[0113]
一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如实施例一所述的方法。
[0114]
实施例四
[0115]
本实施例的目的是提供一种计算机可读存储介质。
[0116]
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现
如实施例一所述的方法。
[0117]
以上实施例二至四中涉及的各步骤或模块与实施例一相对应，具体实施方式可参见实施例一的相关说明部分。术语“计算机可读存储介质”应该理解为包括一个或多个指令集的单个介质或多个介质；还应当被理解为包括任何介质，所述任何介质能够存储、编码或承载用于由处理器执行的指令集并使处理器执行本发明中的任一方法。
[0118]
综上所述，本发明提出了一种基于条件随机场的深度卷积生成式对抗网络进行多模态脑部肿瘤图像分割的方法。本发明可用于训练的标注图像非常少的情况下分割多模态脑部肿瘤图像的问题。在标注样本数量少的情况下生成新的标注样本，并通过对抗训练有效地提取分割特征，提高网络分割的性能。本发明一定程度上实现了多模态脑部肿瘤图像的自动化分割，提高了脑部肿瘤预测准确度和有效性，以便更好地制定治疗计划并监测疾病进展，为脑部肿瘤疾病治疗提供了基础保障。
[0119]
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。