本发明涉及临床图像处理,特别涉及一种ct图像中胆管分割方法。
背景技术:
1、胆管是输送胆汁的管道,当人体进食时,贮存于胆囊的胆汁经过胆囊管、胆总管进入十二指肠,是人体器官的重要组成结构。常见的胆管疾病包含胆结石和胆管癌等。胆管的病变可能造成胆管梗阻使胆汁瘀滞,进一步的影响肝脏功能,胆结石等慢性刺激也可能会诱发恶性肿瘤。近年来,肝胆系统的恶性肿瘤发病率和死亡率一直在稳步上升,严重威胁着人类的生命健康。由于其早期症状的临床表现不明显,确诊时常常已是晚期。同时,对于肝胆系统地恶性肿瘤的诊断和治疗,在医学界一直以来也是一个巨大的困难和挑战。
2、近年来,介入内放疗、纳米磁热疗等新兴治疗方法不断涌现,成为恶性肿瘤治疗体系的重要组成部分。对于肝胆系统的恶性肿瘤治疗,胆道粒子植入通常是通过经皮经肝穿刺或内镜经鼻胆管途径进行。通过这种方法,放射性粒子可以直接作用于肿瘤组织,从而达到治疗的目的。因此,胆管的自动分割在临床治疗过程中具有重要的意义,不仅可以为临床医生提供术前规划,还可以在术中提供导航定位,减轻临床负担。
3、随着深度学习的飞速发展,一些学者将深度学习应用到胆管的分割任务中。卷积神经网络(cnn)是一种经典的深度学习模型,它通过模拟人类视觉系统的识别过程来提取下层边缘纹理的局部特征,并提取深层中的高维特征,具有较高的泛化性能。但目前基于cnn的胆管分割方法不能获取胆管的全局特征表达,并且只对单张ct切片进行分割,而不能有效地保留胆管的3d拓扑结构。
技术实现思路
1、本发明所要解决的技术问题是针对上述现有技术的不足,提供一种ct图像中肝内胆管和胆总管的分割方法,可以实现胆管的自动分割,有效地利用胆管图像的局部和全局特征信息,完整地保留胆管的拓扑结构。
2、为实现上述技术目的,本发明采取的技术方案为:
3、一种ct图像中胆管分割方法,包括:
4、步骤1、采用预训练的网络得到原始图像的肝脏提取框,并采用所述肝脏提取框对所述原始图像裁剪,得到只包含肝脏及其周围区域的局部图像数据集,以实现对原始ct进行肝脏区域的提取;
5、步骤2、将步骤1得到的所述局部图像数据集进行处理,利用训练集的前景体素,对局部ct图像进行归一化和数据增强,得到处理后的局部图像数据集;
6、步骤3、将步骤2得到的处理后的局部图像数据集输入到基于transformer的轴向引导网络中进行训练,分割出胆管区域;
7、步骤4、将步骤3得到的分割结果采用去除小目标区域的方法对其进行后处理。
8、进一步地,所述步骤1包括:
9、步骤101、利用预训练的肝脏分割模型,得到所有病例数据的肝脏提取框;
10、步骤102、沿着ct图像的轴状位对肝脏提取框向前和向后分别扩张10个切片的数值,以保证训练数据的胆总管的完整性;
11、步骤103、利用肝脏提取框对原始数据裁剪,得到肝脏部分的局部图像数据集。
12、进一步地,所述步骤2包括:
13、步骤201、对局部图像数据集通过插值标准化为相同尺寸;
14、步骤202、采集训练集的前景体素,统计整个训练集前景的均值、标准差、0.5%分位hu值和99.5%分位hu值;
15、步骤203、利用0.5%分位hu值和99.5%分位hu值对每张图像截取;
16、步骤204、利用均值和标准差对截取后的图像进行z-score标准化,便于分割网络更快速寻找最优解;
17、步骤205、对标准化后的数据进行数据增强,其中,所述数据增强包括图像翻转、旋转、高斯模糊、线性对比度增强,扩充现有的图像数据集,得到处理后的局部图像数据集,直接送入到分割网络进行分割。
18、进一步地,步骤204采用的z-score标准化计算公式为:
19、
20、其中,y是输出像素值,x是输入像素值,mean和std分别是训练集前景体素的均值和方差。
21、进一步地,步骤3所述的基于transformer的轴向引导网络包含u-net的编码器ε1和解码器结构空洞空间金字塔池化模块和切片轴向注意力模块构成的transformer编码器结构ε2;
22、所述空洞空间金字塔池化模块由倍率分别为6、12、18的空洞卷积和均值池化构成,在编码器的最后一个卷积块中替换第二个3×3的卷积,以增大模型的感受野,捕获胆管的多尺度信息;
23、所述基于u-net编码器的输入为相邻的三张切片,以利用卷积挖掘图像的局部特征信息;
24、所述基于transformer的辅助编码器输入为相邻的三张切片,以挖掘切片间和切片内的全局上下文信息。
25、进一步地,所述基于transformer的轴向引导网络的损失函数为:
26、
27、其中,是损失函数,是分割主损失函数,wk为第k个编码器分支的损失函数权重,η为一致性损失函数的权重;是基于切片引导的一致性损失函数,其公式为:
28、
29、其中,ssim是结构相似性指数,xi和yi为图像中的第i个切割的图像块,m是所有块的总数量。
30、进一步地,所述步骤3包括:
31、步骤301、根据基于u-net网络架构的编码器和空洞空间金字塔池化模块,提取图像中的局部特征和多尺度特征;
32、步骤302、根据基于transformer的辅助编码器,使用切片轴向注意力transformer模块提取不同切片之间和切片内的全局上下文信息;
33、步骤303、将u-net编码器提取的局部特征和transformer编码器提取的全局特征通过轴向对齐引导模块进行桥接;
34、步骤304、根据基于u-net网络架构的解码器,对桥接后的特征进行解码,最终得到胆管的分割结果。
35、进一步地,步骤302所述的切片轴向注意力transformer模块由patch embedding和切片轴向注意力组成;
36、所述patch embedding将不同编码器分支的特征图放缩到统一的空间大小,以平衡特征提取和计算资源;
37、所述切片轴向注意力由自注意力解耦为三个并行的模块,分别沿着特征图的高度、宽度和切片轴方向计算注意力权重,以提取切片内和切片间的全局上下文信息;具体为:
38、
39、其中,fio是多层感知机的输入或输出,分别为不同轴向的自注意力计算。
40、进一步地,步骤303所述的轴向对齐引导模块进行桥接特征的方式具体为:
41、
42、其中,为u-net编码器ε1的第k层的特征图,upsample为上采样操作,conv为卷积操作。
43、进一步地,步骤4所述的后处理方式具体为扫描步骤3的分割结果,以病例的所有切片的组合为单位,扫描3d空间中小于具体目标大小的区域,然后将小目标剔除,得到最终的分割结果。
44、本发明的有益效果为:
45、1、本发明的方法可以实现基于深度学习下ct图像中胆管的自动分割,可以避免费时的手工启发式学习,减少医生的经验依赖性。
46、2、本发明的方法可以有效地利用胆管图像的局部和全局特征信息,完整地保留胆管的拓扑结构,提高胆管分割的准确率。