一种基于显著性密集连接扩张卷积网络的胰腺CT自动分割方法与流程

本发明属于ct分割技术领域，尤其涉及一种基于显著性密集连接扩张卷积网络的胰腺ct自动分割方法。

背景技术：

在胰腺疾病的诊断与预后预测中，一个必要的任务是从医学影像(如核磁共振图像(mr)、计算机断层扫描(ct))中识别与分割胰腺区域。胰腺的精确分割可以提供多种重要的生物标志物，例如体积、三维形状特征、三维曲面特征等等。例如，胰腺体积可以为胰腺的内分泌和外分泌功能评估，预测胰十二指肠切除术后胰瘘的发生提供帮助。然而，手工逐层地从三维影像中勾画胰腺边界耗时耗力，且在不同操作者和不同操作下具有多变性。因此，研究快速、鲁棒的胰腺自动分割算法具有重要的临床意义和价值。

胰腺ct自动分割是一个具有挑战性的任务，原因在于：1)胰腺占据整个ct的比例非常小，导致图像分割任务的前景与背景比例悬殊；2)胰腺与周围的器官组织共享灰度纹理分布，边界模糊或者没有可见边界；3)胰腺具有不规则形状，在位置和大小上有很大的差异性。这些特点导致传统的基于图像信息的分割算法(如水平集、图割、阈值法)不适用于胰腺的自动分割。

近年来的深度学习方法在胰腺的分割任务中取得了较大的突破。现有方法一般采取从粗到细的两步或迭代式的分割方式，即首先训练一个粗分割网络模型来预测得到胰腺的初始分割区域。然后，利用初始分割的位置信息对胰腺图像进行感兴趣区域的截取，获得较小的图像块作为精分割网络的输入，训练精分割网络模型得到胰腺的最终分割结果。这种方式虽然可以减轻胰腺区域小带来的检测困难，但是没有充分的利用初始分割信息，只利用了位置信息。另一方面，目前基于深度学习的胰腺分割方法中，较常用到的网络模型为端到端的u-net,densenet,resnet等，没有特别的考虑胰腺尺度多变的特点。

技术实现要素：

本发明的目的在于针对现有从粗到细的两步深度卷积神经网络胰腺ct分割方法的不足，提出一种基于显著性密集连接扩张卷积网络的小目标自动分割模型，实现胰腺ct的精准分割。

本发明的目的是通过以下技术方案来实现的：本发明以密集连接扩张卷积网络为基础网络构架，并在网络中引入新的基于测地距离变换的显著性模块，构建显著性密集连接扩张卷积网络用于胰腺的精准分割。在从粗到细的两步分割框架下，通过显著性模块将粗分割的信息转化为显著性信息加入到精分割网络的特征提取层中，有效利用粗分割信息来引导精分割任务，提高最终胰腺分割的精度。所构建的显著性模块没有对基础网络架构设有任何假设，可以扩展到其他网络结构中。同时，密集连接扩张卷积网络可以获得密集的多尺度特征表达，有效克服胰腺尺度多变的困难，提高网络模型的分割精度。本发明的具体实现步骤如下：

(1)训练集数据预处理，包括：

搜集ct体数据，并做出这些数据的胰腺的标准分割结果；

记三维ct体数据为x，体数据的层数为l；相对应的标准分割为y＝(yj,j＝1,…,|x|),yj＝{0,1}，其中|x|代表x中所有体素个数，yj＝1或yj＝0分别代表体素j属于胰腺或背景；

对x进行轴位面切片，获得二维图像序列；将连续的三张图像组合作为一张三通道伪彩图图像，记为xa,l(l＝1,…,l)；

对y进行轴位面切片，将连续三张标签图像组合作为一张三通道的标签图，记为ya,l(l＝1,…,l)；

对每张二维图像xa,l进行对比度调整；

对每对二维图像xa,l和ya,l，截取固定大小的图像块，作为粗分割网络的输入。

(2)粗分割阶段，包括：

构建用于对胰腺ct进行粗分割的深度卷积神经网络，利用训练集样本训练该网络，得到胰腺初始分割模型；

将待测试图像输入训练完成的网络模型中，使得图像中每一点被赋予属于胰腺的概率值对概率值进行二值化操作，得到胰腺的初始分割结果

根据初始分割结果对原始输入图像进行感兴趣区域框选，根据设定的区域框截取原始图像，记作对原始标签图像进行框选，得到

(3)计算基于测地距离的显著性图，包括：

根据原始图像和初始分割结果计算测地距离图；

对测地距离图作显著性变换，得到显著性图

(4)精分割阶段，包括：

构建显著性密集连接扩张卷积网络：在密集连接扩张卷积网络的每一个密集块后面，加入显著性模块以引入基于测地距离图的显著性信息，记为密集块输出的特征图，将显著性图作为一个权重图，作用到特征图上：

其中c∈{1,2,…,c}是特征图通道的索引，表示逐元素相乘；

将得到的与原来的特征图通过一个恒等变换以及参数η组合在一起：

其中符号代表逐元素相加，参数η为调节系数，在网络中通过训练得到；得到的显著性模块的输出作为下一层过渡层的输入来参与运算；

将原始图像和对应的标签图像输入到构建的显著性密集连接扩张卷积网络中进行参数训练，得到精分割网络模型。

(5)融合多层二维胰腺分割结果，获得胰腺三维分割结果

对于测试图像x^test，将其沿着轴向面切片得到二维图像序列，并将连续的三张灰度图像合成一张三通道的伪彩图图像将每张图像依此输入训练所得的粗分割模型和精分割模型中，得到对每张图像的关于胰腺区域的预测结果pa,l；

对测试结果pa,l进行多层概率值融合，每一层二维原始图像的预测分割结果za(l)为三张伪彩图在该层预测值的均值。

进一步地，所述对每张二维图像xa,l进行对比度调整，具体为：将图像的hu值截断在[-100,240]之间，然后归一化到[0,1]之间。

进一步地，所述粗分割阶段中，利用密集连接扩张卷积网络对胰腺ct进行粗分割，该网络由两部分组成：

第一个部分是密集连接网络161(densenet161)的特征提取层，它包括一层卷积-归一化-relu激活-池化层，4个密集块(denseblock)和4层过渡层(transitionlayer)；第一个密集块得到的特征图有96个，后续的增长率为48；特征提取层输出的特征图大小为1/8大小的输入图像大小；

第二个部分是三层密集连接的扩张卷积层(atrousconvolutionallayer)，扩张率(dilationrate)分别为3，6和12；每一层扩张卷积层的输入为前面所有扩张卷积层的输出；

最后，网络连接一层上采样率为8的上采样层和一层分类层，用于预测图像中每点属于胰腺区域的概率；

网络对应的损失函数设置为：

其中，n是输入图像中的像素点个数，yj和zj分别是像素点j的真实标签和预测标签，c＝1或0分别代表前景或背景；函数i(·)是示性函数，函数log为对数函数，p(·)为网络模型预测的概率函数；符号∑为求和符号，符号∈表示属于。

进一步地，所述粗分割阶段中，将准备好的训练集输入到密集连接扩张卷积网络中，利用反向传播算法求得网络参数。

进一步地，所述测地距离图的计算方式具体为：

根据初始分割记属于胰腺区域和背景的像素点集合分别为sf和sg；从像素点i到sf的测地距离定义为：

其中是所有从像素点i到j的可行路径集合；路径p被s∈[0,1]参数化为p(s)；是垂直于路径方向的单位向量，p(s)′表示关于s求导；图像导数要求从i到j的路径关于图像灰度相似性是最短的；其中的符号表示关于s求从0到1的积分，符号||||表示求l1范数，符号∈表示属于；

设定测地距离图为其计算方式如下：

其中i是测地距离图内像素点。

进一步地，所述显著性图的计算方式如下：

其中r(·)是一个保持大小的显著性变换，包括一层卷积核大小为3×3的卷积层。

进一步地，所述步骤(5)中，每一层二维原始图像的预测分割结果za(l)的计算方式如下：

其中pa,l(i),i＝1,2,3分别表示取pa,l第i个通道的值。

本申请还提出了一种基于显著性密集连接扩张卷积网络的胰腺ct自动分割系统，包括：

存储器，用于存储计算机可执行指令；以及，

处理器，用于在执行所述计算机可执行指令时实现上述方法中的步骤。

本申请还提出了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器执行时实现上述方法中的步骤。

本发明的有益效果是：本发明基于从粗到细的两步分割框架，将密集连接扩张卷积网络作为基础网络架构用于胰腺分割任务，可解决胰腺在大小、位置多变情况下的检测与分割的困难。同时，创新性地在密集连接扩张卷积网络中引入基于测地距离变换的显著性模块，有效将粗分割结果转化为显著性信息加入到精分割网络模型的特征表示层中，提高胰腺分割的准确性。所提出的显著性模块具有很好的可扩展性，可以移植到其他的深度卷积网络结构中。

附图说明

图1为本发明基于显著性密集连接扩张卷积网络的胰腺分割流程图；

图2为密集连接扩张卷积网络结构图；

图3为本发明的分割示例。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。

本申请的扩张卷积为：在标准的卷积核中注入空洞，以此来增加模型的感受野(receptionfield)。hu值：即ct值，是测定人体某一局部组织或器官密度大小的一种计量单位，通常称亨氏单位(hounsfieldunit，hu)，空气为-1000，致密骨为+1000。

本申请提出的一种基于显著性密集连接扩张卷积网络的从粗到细的两步分割流程如图1所示。该流程为：在粗分割阶段，首先构建密集连接扩张卷积网络(如图2)，用于胰腺ct三维体数据的胰腺区域粗分割，并对粗分割结果进行测地距离变换和显著性变换，得到显著性图。同时，利用粗分割结果对输入的原始图像进行感兴趣区域的框选，得到的框选后图像作为精分割模型的输入。在精分割阶段，构建显著性密集连接扩张卷积网络模型，该模型利用原始图像和从粗分割胰腺区域中计算得到的显著性信息，进行训练与预测，实现胰腺的精准分割。具体步骤如下所述：

(1)训练集数据预处理

(1.1)搜集ct体数据，并做出这些数据的胰腺的标准分割结果。记三维ct体数据为x，大小为512×512×l，其中l为体数据的层数。相对应的标准分割为y＝(yj,j＝1,…,|x|),yj＝{0,1}，其中|x|代表x中所有体素个数，yj＝1或yj＝0分别代表体素j属于胰腺或背景。将x进行轴位面切片，获得二维图像序列。将连续的三张图像组合作为一张三通道伪彩图图像，记为xa,l(l＝1,…,l)。同理，对y进行轴位面切片，连续三张标签图像组合作为一张三通道的标签图，记为ya,l(l＝1,…,l)。

(1.2)对每张二维图像xa,l，进行对比度调整。具体的，将图像的hu值截断在[-100,240]之间，然后归一化到[0,1]之间。

(1.3)对每对二维图像xa,l和ya,l，截取大小为448×448的图像块，作为粗分割网络的输入。

(2)利用密集连接扩张卷积网络对胰腺ct进行粗分割

(2.1)构建密集连接扩张卷积网络(见图2)，该网络由两部分组成。首先将密集连接网络161(densenet161)的特征提取层作为第一个部分，它包括一层卷积-归一化-relu激活-池化层，4个密集块(denseblock)和4层过渡层(transitionlayer)。第一个密集块得到的特征图有96个，后续的增长率为48。特征提取层输出的特征图大小为1/8大小的输入图像大小，即56×56。密集连接扩张卷积网络的第二个部分是三层密集连接的扩张卷积层(atrousconvolutionallayer)，扩张率(dilationrate)分别为3，6和12。每一层扩张卷积层的输入为前面所有扩张卷积层的输出。密集连接扩张卷积网络最终输出的特征图大小为56×56。

最后，网络连接一层上采样率为8的上采样层和一层分类层，用于预测图像中每点属于胰腺区域的概率。网络对应的损失函数设置为：

其中，n是输入图像中的像素点个数，yj和zj分别是像素点j的真实标签和预测标签，c＝1或0分别代表前景或背景。函数i(·)是示性函数，函数log为对数函数，p(·)为网络模型预测的概率函数。符号∑为求和符号，符号∈表示属于。

(2.2)利用训练集样本训练密集连接扩张卷积网络中的各种参数。将准备好的训练集输入到网络中，利用反向传播算法求得网络参数。训练完成，得到胰腺初始分割模型。

(2.3)将待测试图像输入训练完成的网络模型中，使得图像中每一点被赋予属于胰腺的概率值对概率值进行二值化操作，二值化阈值取0.5。得到胰腺的初始分割结果

(2.4)根据初始分割结果，对原始输入图像进行感兴趣区域框选。具体，计算的边界框，并增加边界m,m这里设为20个像素。根据设定的区域框，截取原始图像，记作同样的，对原始标签图像进行框选，得到

(3)计算基于测地距离的显著性图

(3.1)根据原始图像初始分割结果计算测地距离图。根据初始分割记属于胰腺区域和背景的像素点集合分别为sf和sg。从像素点i到sf的测地距离定义为：

其中是所有从像素点i到j的可行路径集合。路径p被s∈[0,1]参数化为p(s)。是垂直于路径方向的单位向量，p(s)′表示关于s求导。图像导数要求从i到j的路径关于图像灰度相似性是最短的。其中的符号表示关于s求从0到1的积分，符号||||表示求l1范数，符号∈表示属于。

我们设定测地距离图为其计算方式如下：

其中i是测地距离图内像素点。

(3.2)对测地距离图作显著性变换，得到显著性图

其中r(·)是一个保持大小的显著性变换，包括一层卷积核大小为3×3的卷积层。

(4)利用显著性密集连接扩张卷积网络对胰腺ct进行精分割

(4.1)对密集连接扩张网络引入显著性模块，构建显著性密集连接扩张卷积网络。在步骤(2)所构建的密集连接扩张卷积网络的每一个密集块后面，加入显著性模块以引入基于测地距离图的显著性信息。具体的，记为密集块输出的特征图，将显著性图作为一个权重图，作用到特征图上：

其中c∈{1,2,…,c}是特征图通道的索引，表示逐元素相乘。进一步，将得到的与原来的特征图通过一个恒等变换以及参数η组合在一起：

其中符号代表逐元素相加，参数η为调节系数，在网络中通过训练得到。得到的显著性模块的输出作为下一层过渡层的输入来参与运算。

(4.2)将原始图像和对应的标签图像输入到构建的显著性密集连接扩张卷积网络中进行参数训练，得到精分割网络模型。

(5)融合多层二维胰腺分割结果，获得胰腺三维分割结果

(5.1)对于给定的测试图像x^test，将其沿着轴向面切片得到二维图像序列，并将连续的三张灰度图像合成一张三通道的伪彩图图像将每张图像依此输入训练所得的粗分割模型和精分割模型中，得到对每张图像的关于胰腺区域的预测结果pa,l。pa,l是一张三通道图像，它的第一、二和三通道分别对应原始ct体数据第l-1，l和l+1层属于胰腺的概率值。

(5.1)对测试结果pa,l进行多层概率值融合，每一层二维原始图像的预测分割结果za(l)为三张伪彩图在该层预测值的均值，即：

其中pa,l(i),i＝1,2,3分别表示取pa,l第i个通道的值。

我们在82例胰腺ct数据上对模型进行了测试。采用交叉验证的方法将所有数据分成四份，编号为1,2,3,4。第一组实验使用编号2,3,4训练，1用来测试，第二组实验使用1,3,4训练，2来测试，依次类推，最后将四组实验的准确率取平均。实验表明，使用densenet161网络模型的精分割准确率为82.83％，使用密集连接扩张卷积网络模型的分割准确率为83.88％，而使用本发明显著性密集连接扩张卷积网络模型的准确为85.31％。这表明，本发明所利用和提出的密集连接扩张卷积网络和显著性模块可以有效提高胰腺分割准确率。

图3展示了我们提出的显著性密集连接扩张卷积网络模型在一个ct体数据不同层上的分割结果，白色轮廓线为算法分割结果，黑色轮廓线为金标准。该ct数据的粗分割准确率为80.27％，精分割准确率为85.23％。

本发明的创造点在于：本发明利用密集连接扩张卷积网络进行胰腺ct的分割，获得胰腺的密集多尺度特征表示；基于测地距离变换和单层卷积层变换，对初始分割结果进行显著性变换，得到关于胰腺的显著性信息；对密集连接扩张网络引入显著性模块，构建显著性密集连接扩张卷积网络，使得网络在特征提取阶段获取关于胰腺区域的显著性信息。

以上所述仅是本发明的优选实施方式，虽然本发明已以较佳实施例披露如上，然而并非用以限定本发明。任何熟悉本领域的技术人员，在不脱离本发明技术方案范围情况下，都可利用上述揭示的方法和技术内容对本发明技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。例如，本发明中的密集连接扩张卷积网络还可以替换为其他的深度卷积神经网络模型，例如u-net,densenet,resnet等，网络模型的更换不影响显著性模块的引入。本发明技术方案用于ct胰腺数据，影像模态也可替换为诸如核磁共振图(mri)等其他影像数据，分割目标胰腺可以替代为诸如胆囊等其他较小的器官或组织。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何的简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。