一种腹部CT序列图像中的肝脏区域自动精确分割方法

一种腹部ct序列图像中的肝脏区域自动精确分割方法
技术领域
1.本发明涉及医学图像处理技术领域，特别涉及一种腹部ct序列图像中的肝脏区域自动精确分割方法。


背景技术：

2.肝脏作为人体脏器中最大的实体器官，其血管丰富、结构复杂，具有重要的解毒功能。肝脏部位的疾病种类繁多，严重危害人体健康。目前世界上约33％的人患有不同类型的肝病。肝脏疾病的治疗主要包含化学疗法、外科手术和放射治疗，其中，外科手术和放射治疗均需要从医学图像中准确分割肝脏组织，获取病理、物理、解剖等信息，为治疗方案提供理论依据。肝脏结构复杂、边界模糊、形状各异，即使由经验丰富的专家进行手工勾画，也相当耗时耗力且易受主观因素影响。因此，研究肝脏自动分割已成为当前的研究热点之一，具有重要的临床应用价值。
3.针对ct序列图像肝脏分割问题，很多研究学者提出了不同的方法，主要分为基于人工特征和基于深度学习的方法。基于人工特征的方法主要包括区域增长、阈值法、基于模型的方法和基于机器学习的方法。这些方法通过人工提取输入图像特征，如强度、形状、边缘或纹理，然后根据这些特征生成肝脏的轮廓或区域。该类方法大多数为半自动方法，需要人为设置种子点或感兴趣区域，其分割精度易受特征选择的影响，泛化性较差。近年来，深度学习技术因其强大的特征提取能力，被广泛应用于医学图像分割。考虑到空间和时间效率，大部分基于深度学习的肝脏分割方法均采用2d分割网络，通过依次分割ct序列中每个切片的肝脏区域，获取最终的病人肝脏分割结果。该类方法未考虑切片之间的关联信息，分割精度受限。为了提取ct序列的三维特征信息，也有一些专家学者提出了ct序列图像的3d分割网络。受限于计算资源，这些三维网络通常需要预先将ct序列进行下采样或截取为小尺寸的三维数据，这将导致图像细节信息丢失、网络的分割精度降低。


技术实现要素：

4.针对现有技术的缺点与不足，本发明旨在提供一种腹部ct序列图像中的肝脏区域自动精确分割方法，通过结合2d深度卷积网络、3d轻量卷积网络，以及全连接条件随机场，实现ct序列图像肝脏区域的精确有效分割，提高计算机辅助诊疗的精度与效率。
5.一种腹部ct序列图像中的肝脏区域自动精确分割方法，包括以下步骤：
6.(1)建立包含原始ct序列图像和肝脏区域手动分割结果的原始训练数据集a和b；
7.(2)构建基于空洞空间金字塔卷积的u型2d卷积网络，记作aspp-unet，具体包括：
8.(2-a)采用u形网络作为主干网络，该主干网络包含三个编码层、两个跳跃连接、一个空洞空间金字塔卷积层、三个解码层和和一个1
×
1卷积层，其中：第一个编码层的输出不仅作为第二个编码层的输入，同时还通过第一个跳跃连接与第二个解码层相连作为该解码层的输入；第二个编码层的输出不仅作为第三个编码层的输入，同时还通过第二个跳跃连接与第一个解码层相连作为该解码层的输入；第三个编码层的输出作为空洞空间金字塔卷
积层的输入，且空洞空间金字塔卷积层的输出作为第一个解码层的输入；此外，上一个解码层的输出均作为下一个解码层的输入；为了得到分割结果，将最后一个解码层与一个1
×
1卷积层相连，其中最后一个解码层的输出作为1
×
1卷积层的输入，1
×
1卷积层的输出为各像素属于目标的概率，通过引入阈值ε1，即可得到分割结果；所述ε1优选0.3～0.7的常数；
9.(2-b)在步骤(2-a)所述的主干网络中，每个编码层均由两个2d卷积模块连接组成，即2d双卷积模块，其中每个2d卷积模块包含一个大小为3
×
3的卷积层，一个批归一化层和一个relu激活层；为了对图像进行下采样，第二和第三个编码层中，2d双卷积模块的末尾均增加1个大小为2
×
2的最大池化层；
10.(2-c)在步骤(2-a)所述的主干网络中，空洞空间金字塔卷积层具体包括：采用n个具有不同采样半径{rv|v＝1,2,...,n}的3
×
3卷积核分别对输入特征图进行空洞卷积，并将空洞卷积结果进行拼接作为该空洞空间金字塔卷积层的输出，其中n为大于1的自然数，优选2～10的自然数；为了扩大卷积核的感受野、获取多尺度的上下文信息，采样半径设置为rv＝k
×
v+1，其中k为大于0的自然数，优选1～8的自然数；
11.(2-d)在步骤(2-a)所述的主干网络中，第一和第二个解码层均由一个步骤(2-b)所述的2d双卷积模块、一个2
×
2反卷积层和一个拼接操作连接组成，第三个解码层仅由一个步骤(2-b)所述的2d双卷积模块组成，其中：第一个解码层中2d双卷积模块的输入为空洞空间金字塔卷积层的输出，此后，下一个解码层中2d双卷积模块的输入均为上一个解码层的输出；第一个解码层中的拼接操作用于拼接该解码层中反卷积结果和第二个编码层的输出，拼接结果作为该解码层的输出；第二个解码层中的拼接操作用于拼接该解码层中反卷积结果和第一个编码层的输出，拼接结果作为该解码层的输出；
12.(3)构建轻量级的3d卷积网络，记作lw-3dnet，该网络涉及三个输入和一个输出，网络具体结构包括：首先采用三个3d双卷积模块，分别对三个输入进行卷积，然后采用拼接操作将卷积结果进行拼接，并采用一个3d双卷积模块对拼接结果进行卷积，得到特征图f，最后，采用一个1
×1×
1卷积层对特征图f进行卷积，1
×1×
1卷积层的输出为各体素属于目标的概率；步骤(3)中所述的3d双卷积模块均由两个3d卷积模块连接组成，其中每个3d卷积模块包含一个大小为3
×3×
3的卷积层，一个批归一化层和一个relu激活层；
13.(4)利用aspp-unet，训练多个可用于分割不同视图方向二维切片的网络模型，具体步骤包括：对于训练数据集a中的每一个ct序列，首先分别从矢状面、冠状面和横切面三个视图方向重构二维切片，获取不同视图方向的二维切片，分别记作和然后，将训练数据集中获取的矢状面视图方向的二维切片及其对应的二维切片手动分割结果输入aspp-unet网络进行训练，获取可用于分割矢状面二维切片的网络模型aspp-unet
x
，将训练数据集中获取的冠状面视图方向的二维切片及其对应的二维切片手动分割结果输入aspp-unet网络进行训练，获取可用于分割冠状面二维切片的网络模型aspp-unety，将训练数据集中获取的横切面视图方向的二维切片及其对应的二维切片手动分割结果输入aspp-unet网络进行训练，获取可用于分割横切面二维切片的网络模型aspp-unetz；训练获取网络模型aspp-unet
x
、aspp-unety和aspp-unetz时，损失函数优选基于交叉熵和dice的混合损失函数，具体定义如下：
14.l＝lc+η
·
ld[0015][0016][0017]
其中，lc和ld分别表示交叉熵和dice损失，η为权重参数，优选0.5～2的常数，gw表示ct图像中第w个像素的专家手动分割结果，其中背景标记为0，目标标记为1，pw表示网络模型预测第w个像素属于目标的概率，t为ct图像中的像素数目；
[0018]
(5)利用lw-3dnet，训练一个可用于融合不同视图方向分割结果的网络模型，具体包括：
[0019]
(5-a)构建lw-3dnet网络的训练数据集c，具体包括：首先，对于原始训练数据集b中的每一个ct序列，分别从矢状面、冠状面和横切面三个视图方向重构二维切片，获取不同视图方向的二维切片，分别记作和然后，分别将和输入至已训练好的网络模型aspp-unet
x
、aspp-unety和aspp-unetz中进行测试，得到不同视图方向的二维切片分割结果s
x
、sy和sz；最后，将网络预测的s
x
、sy和sz作为lw-3dnet网络训练的输入，训练数据集b中ct序列三维手动分割结果作为标签，构建lw-3dnet网络的训练数据集c；
[0020]
(5-b)将训练数据集c输入lw-3dnet网络进行训练，损失函数优选dice损失函数，得到训练好的网络模型lw-3dnetf；
[0021]
(6)对于待检测ct序列，首先分别从矢状面、冠状面和横切面三个视图方向进行二维切片重构，获取ct序列图像不同视图方向的二维切片，分别记作t
x
、ty和tz；然后，分别将t
x
、ty和tz输入到已训练好的网络模型aspp-unet
x
、aspp-unety和aspp-unetz中进行测试，得到不同视图方向的二维切片分割结果f
x
、fy和fz；最后，将f
x
、fy和fz输入lw-3dnetf网络模型进行测试，得到ct序列各体素属于目标的概率其中表示第i个体素属于肝脏的概率，n为待检测ct序列的体素数目；
[0022]
(7)利用全连接条件随机场获取精确的肝脏分割结果，具体包括：
[0023]
(7-a)对于待检测的ct序列，构建全连接条件随机场能量函数：
[0024][0025]
其中，x＝{xi|i＝1,...,n}，xi表示为第i个体素分配的标签，φu(xi)和φ
p
(xi,xj)分别为一阶能量项和二阶能量项。φu(xi)表示为第i个体素分配标签xi的代价，计算公式如下：
[0026]
φu(xi)＝-log(p(xi))
[0027]
其中，p(xi)表示将第i个体素分配标签为xi的概率，计算公式如下：
[0028][0029]
其中，表示第i个体素属于肝脏的概率，由步骤(6)所述方式获取，φ
p
(xi,xj)表
示分别为第i和第j个体素分配标签xi和xj的代价，计算公式如下：
[0030]
φ
p
(xi,xj)＝μ(xi,xj)
·
g(fi,fj)
[0031]
其中，fi和fj分别表示第i和第j个体素的特征向量，包含位置、强度特征，g(fi,fj)表示应用于特征向量fi和fj上的高斯势能函数，μ(xi,xj)为类别兼容性函数，用于约束能量仅在相同类别标签的体素对之间传递，即具有相同类别标签体素对之间才能相互影响。针对ct序列图像肝脏分割这一二分类问题，采用对比度敏感的双核高斯势能函数：
[0032]
g(fi,fj)＝ga(fi,fj)+gs(fi,fj)
[0033]
其中，ga和gs分别为表面核和平滑核。表面核用于为位置邻近、强度相似的像素分配相同的标签，平滑核用于移除孤立的小区域，具体计算公式如下：
[0034][0035][0036]
其中，β1和β2分别为表面核和平滑核的权重参数，li和lj分别为第i和第j个体素的空间位置，ii和ij分别为第i和第j个体素的强度，||l
i-lj||表示求li和lj的欧氏距离，|i
i-ij|表示求ii和ij差的绝对值，参数σ
α
和σ
β
分别用于控制被分配为同一类标签的体素之间的空间邻近度和强度相似度，参数σ
γ
用于控制区域的平滑度；所述β1优选0.8～1.2的常数，β2优选0.8～1.2的常数，σ
α
优选3.0～7.0的常数，σ
β
优选1.0～4.0的常数，σ
γ
优选3.0～7.0的常数；
[0037]
(7-b)采用平均场近似方法最小化全连接条件随机场能量函数e(x)，获取最优的标签分配结果，即为最终的肝脏分割结果。
附图说明
[0038]
图1aspp-unet网络结构示意图
[0039]
图2本发明实施方式的空洞空间金字塔卷积层结构示意图
[0040]
图3lw-3dnet网络结构示意图
[0041]
图4可用于分割不同视图方向二维切片的网络模型训练流程示意图
[0042]
图5本发明实施方式的ct序列图像肝脏分割流程示意图
[0043]
图6本发明实施方式的肝脏分割结果三维示例
具体实施方式
[0044]
一种腹部ct序列图像中的肝脏区域自动精确分割方法，具体实施步骤如下：
[0045]
(1)从lits公共数据库中随机挑选100个腹部ct原始序列图像和其对应的肝脏区域手动分割结果，选取其中的50个病例，即50个腹部ct原始序列图像和其对应的肝脏区域手动分割结果，作为训练数据集a，剩余的50个病例作为训练数据集b；手动分割结果中，肝脏区域(即目标区域)标记为“1”，背景区域标记为“0”；
[0046]
(2)构建基于空洞空间金字塔卷积的u型2d卷积网络，记作aspp-unet，结构如图1
所示，具体包括：
[0047]
(2-a)采用u形网络作为主干网络，该主干网络包含三个编码层、两个跳跃连接、一个空洞空间金字塔卷积层、三个解码层和和一个1
×
1卷积层，其中：第一个编码层的输出不仅作为第二个编码层的输入，同时还通过第一个跳跃连接与第二个解码层相连作为该解码层的输入；第二个编码层的输出不仅作为第三个编码层的输入，同时还通过第二个跳跃连接与第一个解码层相连作为该解码层的输入；第三个编码层的输出作为空洞空间金字塔卷积层的输入，且空洞空间金字塔卷积层的输出作为第一个解码层的输入；此外，上一个解码层的输出均作为下一个解码层的输入；为了得到分割结果，将最后一个解码层与一个1
×
1卷积层相连，其中最后一个解码层的输出作为1
×
1卷积层的输入，1
×
1卷积层的输出为各像素属于目标的概率，通过引入阈值ε1，即可得到分割结果；本实施方式优选ε1＝0.5；
[0048]
(2-b)在步骤(2-a)所述的主干网络中，每个编码层均由两个2d卷积模块连接组成，即2d双卷积模块，其中每个2d卷积模块包含一个大小为3
×
3的卷积层，一个批归一化层和一个relu激活层；为了对图像进行下采样，第二和第三个编码层中，2d双卷积模块的末尾均增加1个大小为2
×
2的最大池化层；
[0049]
(2-c)在步骤(2-a)所述的主干网络中，空洞空间金字塔卷积层，具体包括：采用n个具有不同采样半径{rv|v＝1,2,...,n}的3
×
3卷积核分别对输入特征图进行空洞卷积，并将空洞卷积结果进行拼接作为该空洞空间金字塔卷积层的输出，其中n为大于1的自然数；为了扩大卷积核的感受野、获取多尺度的上下文信息，采样半径设置为rv＝k
×
v+1，其中k为大于0的自然数；本实施方式优选n＝4、k＝2，本实施方式的空洞空间金字塔卷积层的具体结构如图2所示，首先采用4个半径为3、5、7、9的3
×
3卷积核分别对输入特征进行空洞卷积，然后将空洞卷积结果进行拼接作为该空洞空间金字塔卷积层的输出；
[0050]
(2-d)在步骤(2-a)所述的主干网络中，第一和第二个解码层均由一个步骤(2-b)所述的2d双卷积模块、一个2
×
2反卷积层和一个拼接操作连接组成，第三个解码层仅由一个步骤(2-b)所述的2d双卷积模块组成，其中：第一个解码层中2d双卷积模块的输入为空洞空间金字塔卷积层的输出，此后，下一个解码层中2d双卷积模块的输入均为上一个解码层的输出；第一个解码层中的拼接操作用于拼接该解码层中反卷积结果和第二个编码层的输出，拼接结果作为该解码层的输出；第二个解码层中的拼接操作用于拼接该解码层中反卷积结果和第一个编码层的输出，拼接结果作为该解码层的输出；
[0051]
(3)构建轻量级的3d卷积网络，记作lw-3dnet，具体结构如图3所示，该网络涉及三个输入和一个输出，网络具体结构包括：首先采用三个3d双卷积模块，分别对三个输入进行卷积，然后采用拼接操作将卷积结果进行拼接，并采用一个3d双卷积模块对拼接结果进行卷积，得到特征图f，最后，采用一个1
×1×
1卷积层对特征图f进行卷积，1
×1×
1卷积层的输出为各体素属于目标的概率；步骤(3)中所述的3d双卷积模块均由两个3d卷积模块连接组成，其中每个3d卷积模块包含一个大小为3
×3×
3的卷积层，一个批归一化层和一个relu激活层；
[0052]
(4)利用aspp-unet，训练多个可用于分割不同视图方向二维切片的网络模型，训练流程如图4所示，具体步骤包括：对于训练数据集a中的每一个ct序列，首先分别从矢状面、冠状面和横切面三个视图方向重构二维切片，获取不同视图方向的二维切片，分别记作和然后，将训练数据集中获取的不同视图方向的二维切片及其对
应的二维切片手动分割结果分别输入aspp-unet网络进行训练，获取三个可用于分割不同视图方向二维切片的网络模型，分别记作aspp-unet
x
、aspp-unety和aspp-unetz，训练过程中，损失函数优选基于交叉熵和dice的混合损失函数，具体定义如下：
[0053]
l＝lc+η
·
ld[0054][0055][0056]
其中，lc和ld分别表示交叉熵和dice损失，η为权重参数，本实施方式优选η＝1，gw表示ct图像中第w个像素的专家手动分割结果，其中背景标记为0，目标标记为1，pw表示网络模型预测第w个像素属于目标的概率，t为ct图像中的像素数目；
[0057]
(5)利用lw-3dnet，训练一个可用于融合不同视图方向分割结果的网络模型，具体包括：
[0058]
(5-a)构建lw-3dnet网络的训练数据集c，具体包括：首先，对于原始训练数据集b中的每一个ct序列，分别从矢状面、冠状面和横切面三个视图方向重构二维切片，获取不同视图方向的二维切片，分别记作和然后，分别将和输入至已训练好的网络模型aspp-unet
x
、aspp-unety和aspp-unetz中进行测试，得到不同视图方向的二维切片分割结果s
x
、sy和sz；最后，将网络预测的s
x
、sy和sz作为lw-3dnet网络训练的输入，训练数据集b中ct序列三维手动分割结果作为标签，构建lw-3dnet网络的训练数据集c；
[0059]
(5-b)将训练数据集c输入lw-3dnet网络进行训练，损失函数优选dice损失函数，得到训练好的网络模型lw-3dnetf；
[0060]
(6)对于待检测ct序列，首先分别从矢状面、冠状面和横切面三个视图方向进行二维切片重构，获取ct序列图像不同视图方向的二维切片，分别记作t
x
、ty和tz；然后，分别将t
x
、ty和tz输入到已训练好的网络模型aspp-unet
x
、aspp-unety和aspp-unetz中进行测试，得到不同视图方向的二维切片分割结果f
x
、fy和fz；最后，将f
x
、fy和fz输入lw-3dnetf网络模型进行测试，得到ct序列各体素属于目标的概率其中表示第i个体素属于目标(即肝脏)的概率，n为ct序列的体素数目；
[0061]
(7)利用全连接条件随机场获取精确的肝脏分割结果，具体包括：
[0062]
(7-a)对于待检测的ct序列，构建全连接条件随机场能量函数：
[0063][0064]
其中，x＝{xi|i＝1,...,n}，xi表示为第i个体素分配的标签，φu(xi)和φ
p
(xi,xj)分别为一阶能量项和二阶能量项。φu(xi)表示为第i个体素分配标签xi的代价，计算公式如下：
[0065]
φu(xi)＝-log(p(xi))
[0066]
其中，p(xi)表示将第i个体素分配标签为xi的概率，计算公式如下：
[0067][0068]
其中，表示第i个体素属于目标(即肝脏)的概率，由步骤(6)所述方式获取，φ
p
(xi,xj)表示分别为第i和第j个体素分配标签xi和xj的代价，计算公式如下：
[0069]
φ
p
(xi,xj)＝μ(xi,xj)
·
g(fi,fj)
[0070]
其中，fi和fj分别表示第i和第j个体素的特征向量，包含位置、强度特征，g(fi,fj)表示应用于特征向量fi和fj上的高斯势能函数，μ(xi,xj)为类别兼容性函数，用于约束能量仅在相同类别标签的体素对之间传递，即具有相同类别标签体素对之间才能相互影响。针对ct序列图像肝脏分割这一二分类问题，采用对比度敏感的双核高斯势能函数：
[0071]
g(fi,fj)＝ga(fi,fj)+gs(fi,fj)
[0072]
其中，ga和gs分别为表面核和平滑核。表面核用于为位置邻近、强度相似的像素分配相同的标签，平滑核用于移除孤立的小区域，具体计算公式如下：
[0073][0074][0075]
其中，β1和β2分别为表面核和平滑核的权重参数，li和lj分别为第i和第j个体素的空间位置，ii和ij分别为第i和第j个体素的强度，||l
i-lj||表示求li和lj的欧氏距离，|i
i-ij|表示求ii和ij差的绝对值，参数σ
α
和σ
β
分别用于控制被分配为同一类标签的体素之间的空间邻近度和强度相似度，参数σ
γ
用于控制区域的平滑度；本实施方式优选β1＝1.0，β2＝1.0，σ
α
＝0.5，σ
β
＝2.5，σ
γ
＝5.0；
[0076]
(7-b)采用平均场近似方法最小化全连接条件随机场能量函数e(x)，获取最优的标签分配结果，即为最终的肝脏分割结果。
[0077]
图5给出了本发明实施方式的ct序列图像肝脏分割流程示意图，对于待分割的原始ct序列图像，首先分别从矢状面、冠状面和横切面三个视图方向进行二维切片重构，获取ct序列图像不同视图方向的二维切片t
x
、ty和tz；然后，分别将t
x
、ty和tz输入到已训练好的网络模型aspp-unet
x
、aspp-unety和aspp-unetz中进行测试，得到不同视图方向的二维切片分割结果f
x
、fy和fz；接着，将f
x
、fy和fz输入lw-3dnetf网络模型进行测试，得到ct序列各体素属于目标的概率p
obj
；最后，利用ct序列图像及概率p
obj
，构建全连接条件随机场能量函数，通过最小化能量函数获取精确的肝脏分割结果。
[0078]
图6给出了本实施方式获取的肝脏分割结果三维示例，图中采用灰度刻度条表示分割结果表面体素与真实肝脏表面体素的最小距离，距离越小灰度取值越低，表明分割结果越精确，可以看到，本发明方法可有效、精准分割ct序列中的肝脏区域，获得的分割结果中大部分肝脏表面距离误差值较小，接近于0。
[0079]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精
神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。