基于多尺度特征提取的分割模型建立、分割方法及装置与流程

本发明属于语义分割技术领域，具体涉及一种基于多尺度特征提取的分割模型建立、分割方法及装置。

背景技术：

近年来，随着图像处理和深度学习技术的不断成熟，基于人工智能技术的计算机辅助诊断可以帮助病理医师进行更加客观、有效的诊断。深度卷积神经网络可直接从数据样本中隐式地自动学习医学图像特征，其学习过程本质上是一个优化问题的求解过程。通过学习，模型从训练数据中选择正确的特征，使其在测试新数据时做出正确决策。

虽然将深度学习应用于医学影像问题已十分普遍，但针对消化道肿瘤方面的研究依然稀少。相比于医学图像中研究较多的器官分割，肿瘤分割一直是医学图像分割的难点，也逐渐称为热门的研究主题。肿瘤分割的难点有三方面。第一是类别不平衡，3dct中大部分图像都是背景，只有很小的比例是肿瘤；第二是对比度低，对于从事非医学图像研究的人来说，看少量的病例就能大致知道每个数据中的器官在哪里，但是想把每个病例中的肿瘤都找出来，难度就大很多；第三，相对于器官，肿瘤的尺度变化差异明显，想要更好的分割效果就需要解决多尺度问题。

现有方法对于医学图像分割时常采用u-net方法，然而针对小肠间质瘤的数据集，直接使用u-net进行分割效果并不理想，存在的问题如下：第一，对于体积较小的肿瘤，网络难以区分出来；第二，考虑临床影像特征，肿瘤在三维方向上具有连续性，但分割的结果会出现只有一张ct被标识出肿瘤，临近的ct均未被标识的情况。

技术实现要素：

本发明的目的在于提供一种基于多尺度特征提取的分割模型建立、分割方法及装置，用以解决现有技术中的对尺寸较小的肿瘤分割效果较差的问题。

为了实现上述任务，本发明采用以下技术方案：

本发明与现有技术相比具有以下技术特点：

(1)在消化道影像数据中，肿瘤类病灶区域存在多尺度和医学影像各向异性的特点，传统u-net没有充分融合不同尺度的特征，因此对于肿瘤的定位以及边界分割不准确。本发明改进的3du-net在不同层级的编码器和解码器之间引入skip-connection，增加了网络中信息传递的路径，从而将网络提取到的不同尺度的特征充分融合。

(2)本发明引入消化道器官的分割结果，从而增强了网络对消化道区域的特征提取能力。

(3)为了解决网络医学图像的各向异性，在数据预处理阶段，本发明使用三阶样条插值的方法来将数据各个方向的间距统一。

附图说明

图1表示改进的3du-net结构示意图；

图2表示实施例中d2的输入示意图；

图3表示不同方法产生的模型对小尺度肿瘤的分割效果对比图。

具体实施方式

在本实施例中公开了一种基于多尺度特征提取的分割模型建立方法，包括如下步骤：

步骤1：获取原始腹部3dct图像集，对原始腹部3dct图像集进行预处理，获得腹部3dct图像集，对腹部3dct图像集中每张腹部3dct图像的消化道器官进行标注获得标签集；

步骤2：建立3du-net模型，所述的3du-net模型包括编码器和解码器，所述编码器和解码器均包含由低到高多个层级，结合附图1，高层级指的是角标较大的层级，所述的低层级是指角标较小的层级，每层编码器与同层级以及所有高层级的解码器之间存在跳跃连接(skip-connection)，每层解码器与所有高层级的解码器之间存在跳跃连接；

最低层编码器的输入为腹部3dct图像，其余每层编码器的输入为低层级编码器的输出结果，每层解码器的输入为同层级及低层级的编码器输出结果以及高层级的解码器的输出结果；

所述的编码器用于将输入的腹部3dct图像的尺寸降低到个位数，例如，输入的尺寸为(48,160,224)，经过编码器后，尺寸为(6,5,7)；

所述的编码器用于下采样，所述的解码器用于上采样，其中，每层编码器用于先在x方向和y方向进行下采样，直至x方向和y方向与z方向的分辨率相同后，再开始z方向的下采样；

在x和y方向上，体素间距都小于1毫米，而在z方向上，体素间距普遍为5mm，也就是说数据集存在明显的各向异性。所以在编码器部分，并没有在三个维度同时下采样，而是先下采样高分辨率的维度(x,y)，直至与维度z的分辨率相近后，再开始z方向的下采样，这样有助于缓解医学影像的各向异性；

步骤3：利用步骤1得到的腹部3dct图像集以及标签集对3du-net模型进行训练，将训练好的模型作为基于多尺度特征提取的分割模型。

具体的，步骤1中的预处理包括：数据裁剪、三阶样条插值的重采样和归一化。

采用数据裁剪的原因为：小肠部位在整个ct序列中所占比例不高，为了减轻网络学习的压力，减少冗余信息的输入，有必要对原始的ct数据进行裁剪。在已有小肠分割结果的前提下，寻找小肠区域的最大连通域，然后对原始的ct文件裁剪。经统计，整个裁剪过程可以让输入到网络中的数据缩小40％左右，裁剪掉的数据全部是背景，在一定程度上缓解了类别不平衡的问题。同时原始ct图像中不可避免地出现床位的痕迹，通过裁剪，可以将其一并去除，从而起到了降噪的作用。

采用三阶样条插值的重采样的原因为：在医学图像中，因为扫描仪的不同，不同数据的体素间距各不相同。医学中把这类现象称为体素间距的各向异性。而cnns本身并不理解体素间隔。为了使网络能够正确地学习空间语义，以所有数据的体素间距的中位值为基准，对所有数据进行三阶样条插值的重采样，从而保证输入网络中的图像，体素间距是相等的。

采用归一化的原因为：ct中的像素值和人体内的结构有直接的联系，反应了组织的物理性质。以数据集中前景部分hu值的均值和标准差这两个值为基础，使用z-score方法对数据集进行归一化，从而加快了梯度下降求最优解的速度。

具体的，编码器为6层分别为e0-e5，解码器为5层分别为d0-d4。

解码器的工作原理如下：在解码器部分，每一层级的输入不再是前一层的解码器的输出堆叠同层级的编码器的输出，而是由各层级的编解码输出共同堆叠，以达到进一步融合多尺度特征的目的。如图1所示，举例说明了如何构建d2的输入(d2指解码器的第二层级，层级从0开始，向下递增)。相比于传统u-net，d2不仅接收同层级的编码器e2的输出特征图，还会接收含有更低级语义信息的e0和e1的输出特征图。为了特征图的尺寸一致，e0和e1的输出特征图需要经过下采样。同理，不同层级间的解码器也有更丰富的信息流动：e5、d3和d4的输出在上采样后，通过skipconncetions连接到e2，以传递更多的高级语义信息。将不同层级的特征图经过采样到同一分辨率后，还需要统一各个特征图的通道数，同时也是减少一些过多的信息。具体的做法是将每一个层级的特征图使用32个(z,x,y)尺寸为(3,3,3)的滤波器进行卷积。最后将所有层级的特征图堆叠，完成了不同尺度特征的融合，作为d2的输入。

具体的，步骤2中，每一层的编码器和解码器的结构均为：卷积层+正则化+激活函数。正则化使用3d实例正则化。激活函数选用leakyrelu激活函数。

具体的，步骤3中进行训练时，网络的输入为patch，尺寸为(48,160,224)，一次训练输入两个patch，patch尺寸的确定由机器的显存大小决定，保证一次训练占满显存；网络的输出为和patch尺寸一样的0，1矩阵，其中0表示非肿瘤，1表示肿瘤，从视觉上看就是黑白图像，白色表示肿瘤，黑色表示非肿瘤的背景区域。

具体的，步骤3中进行训练时采用的损失函数为dice损失和交叉熵损失，所述的dice损失的表达形式如式(1)：

其中，a和b分别为预测集合和真实标注集合。

在本实施例中公开了一种基于多尺度特征提取的分割方法，包括如下步骤：

步骤a：获取待分割的原始腹部3dct图像，对待分割的原始腹部3dct图像进行预处理，获得腹部3dct图像；

步骤b：将腹部3dct图像输入任一种基于多尺度特征提取的分割模型建立方法得到的分割模型，获得待分割的原始腹部3dct图像的分割结果。

具体的，所述的分割结果是3dct图像(nii文件)。分割结果的nii文件中，不含有原始的病例ct图像，只是一个图像掩模，白色区域表示对应位置预测为肿瘤，黑色区域为非肿瘤的背景区域。

本实施例还公开了一种基于多尺度特征提取的分割装置，该装置包括处理器和用于存储能够在处理器上运行的多个功能模块的存储器，所述功能模块包括：数据采集和预处理模块、模型建立模块、模型训练模块和分割模块；

所述的数据采集和预处理模块用于获取原始腹部3dct图像集，对原始腹部3dct图像集进行预处理，获得腹部3dct图像集，对腹部3dct图像集中每张腹部3dct图像的消化道器官进行标注获得标签集；

所述的模型建立模块用于建立3du-net模型，所述的3du-net模型包括编码器和解码器，所述编码器和解码器均包含由低到高多个层级，每层编码器与同层级以及所有高层级的解码器之间存在跳跃连接，每层解码器与所有高层级的解码器之间存在跳跃连接；所述的编码器用于下采样，所述的解码器用于上采样，其中，每层编码器用于先在x方向和y方向进行下采样，直至x方向和y方向与z方向的分辨率相同后，再开始z方向的下采样；

所述的模型训练模块用于利用腹部3dct图像集以及标签集对3du-net模型进行训练，将训练好的模型作为分割模型；在显存为12gb的gtx1080ti显卡上进行模型训练，为了尽可能增大输入patch的尺寸，将batch的数量固定为2，在不超出显存容量的情况下，网络输入(z,x,y)尺寸为(48,160,224)的3dpatch，并且限制网络最大的特征图数量为320。

所述的分割模块用于获取待分割的原始腹部3dct图像，对待分割的原始腹部3dct图像进行预处理，获得腹部3dct图像；将腹部3dct图像输入模型训练模块得到的分割模型，获得待分割的原始腹部3dct图像的分割结果。

具体的，数据采集和预处理模块中的预处理包括：数据裁剪和三阶样条插值的重采样。

实施例1

在本实施例中公开了一种基于多尺度特征提取的分割模型建立方法，其中，步骤1的原始腹部3dct图像集为从医院获取小肠间质瘤的医学图像数据共527例，数据以dicom(digitalimagingandcommunicationsinmedicine)格式存储。随机选择451例作为训练集，76例作为测试集。标签集为医生使用相关注释工具对每个病例的间质瘤区域进行了标注，生成了对应的dicom格式的标注文件。借助simpleitk公开库将一个病例的多个连续dicom文件转化为nifti格式图像，作为3d数据输入至网络中，标注文件也做同样的格式转化。

本实施例选取尺寸为(48,160,224)的pacth作为输入。一共训练1000个轮次，每个轮次迭代250次，每次迭代输入2个patch。优化器选择随机梯度下降sgd，动量为0.99，初始学习率设置为0.01，并随着训练轮次的增加而逐渐衰减。

本实施例选取不同方法进行分割的方案设计如下：

表1

上表中，c1表示在数据预处理时，对数据轻度裁剪，即裁剪掉ct图像中人体之外的区域。c2表示在数据预处理时，对数据重度裁剪，即在已有小肠分割结果的前提下，寻找小肠区域的最大连通域，然后对原始的ct文件裁剪。相比于轻度裁剪，重度裁剪也会裁剪掉部分人体组织。r表示使用改进的3du-net模型。p表示在训练时，将小肠分割的模型迁移至间质瘤分割任务。

本实施例的实验结果如下：

表二

其中，dicepercase、diceglobal表示全局dice系数，fpr表示过分割率，3du-net表示原始的3du-net模型。对比3du-net与r方案的实验结果，可以看出改进的3du-net性能优于传统。同时，c1模型的评价指标也高于原始3du-net模型，说明原始数据中确实存在冗余信息和噪声，干扰了网络的学习。

将裁剪的数据预处理与改进的3du-net结合之后，c1-r和c2-r方案的性能相比于之前的两种方案又有了明显的提升。这是因为改进的3du-net网络能更好地融合多尺度信息，增加了网络内部的信息流动渠道，而裁剪减少了冗余信息的输入，使网络能将更多有效的信息融合在一起，最终能让网络分割出体积较小的肿瘤。假阳率的降低也说明了网络对于肿瘤特征的把握更加精确。c2-r方案优于c1-r方案也说明了，重度裁剪是必要。

如图3所示，图3为(a)原始图像，图3(b)为真实标注，图3(c)为c1-r-p，图3(d)为c2-r，传统的u-net网络无法分割出尺寸小的肿瘤，c1-r-p和c2-r模型的分割效果明显提升。c1-r-p优于没有迁移学习的对应方案c1-r。证明了小肠分割任务与小肠间质瘤分割任务存在相关性。因为小肠间质瘤出现在小肠区域，如果网络预先掌握了ct图像中小肠的特征，那么就能减少在非小肠区域分割出间质瘤的错例。