一种基于全局和局部注意力机制的肺部CT图像分割方法

本发明涉及深度学习和ct图像识别，更具体地，涉及一种基于全局和局部注意力机制的肺部ct图像分割方法。

背景技术：

1、肺癌是一种高度恶性且广泛存在的癌症，发病率和死亡率增长最快，对人们的健康产生严重的危害。计算机断层(computer tomography，ct)扫描以其无创的成像方式被广泛应用于肺部肿瘤的早期检测、诊疗评估等多个阶段。在临床上，基于肺部ct图像进行高质量的肺部肿瘤分割对肺癌的早期诊断至关重要。然而目前临床医生对肺部肿瘤的标注多数采用手工标注的方式，这一过程费时费力，因此迫切需要一种能够自动识别和分割肺癌的方法，以提高临床医生的诊断效率。

2、目前，肺部ct图像的分割通常基于以下两类神经网络模型：1)基于纯2d卷积神经网络的有2d u-net模型、如msds-unet、meau-net等模型；msds-unet是一种多尺度多层次深度监督u-net，将现有的u-net模型与双路径深度监督机制相结合，以实现更好的分割性能，但其主要侧重于局部信息的传递和特征融合，较少关注全局语义信息，使得网络对病灶和周围组织的对比度不敏感；meau-net结合了unet与多编码混合注意力，用来分割肺部肿瘤，但其并未充分考虑不同尺度对特征的表达能力，从而影响分割结果的精确度，产生病灶区域误分割的情况；2)基于transformer的分割模型，如transunet模型、swinunet模型和transfuse模型等；transunet是首个基于transformer架构在医学图像分割领域取得突破的模型，引入了transformer的自注意力机制，以捕捉输入图像中的全局和局部信息，transformer中的自注意力机制允许模型动态地关注输入的不同位置，有助于捕获图像中的长距离依赖关系；swinuent是一种类似u-net的纯transformer模型，解码器和编码器都采用swin transformer模型，swin transformer通过拆分图像成小块(称为局部窗格)并引入跨窗格位置编码实现了长距离依赖的捕获，这种架构能够更好地捕获图像中的全局特征；transfuse结合了transformer和卷积神经网络(cnn),并行运行基于浅层cnn的编码器和基于transformer的分割网络，然后使用bifusion模块将来自两个分支的特征融合在一起，共同做出预测；但是transformer结构的自注意力机制注重全局信息的交互，较远的像素之间的信息传递会受到限制，导致在局部信息建模中丢失细粒度的细节和空间上下文。

3、现有技术中公开了一种全局-局部特征关联融合肺部ct图像分割方法，其实现方案为：建立由transformer层组成的编码器；建立由卷积神经网络组成的编码器；建立由transformer层组成的局部特征关联融合模块；建立由卷积神经网络组成并与第二编码器对称的解码器；将第一编码器与第二编码器并行连接，再与局部特征关联融合模块和解码器级联构成分割网络模型；将训练集数据并行输入至两个编码器，利用反向传播方法对分割网络模型进行迭代训练；将测试图像输入到训练好的分割网络，分割出肺部ct图像的感染区域；尽管该现有技术通过提取全局-局部特征并融合来提高肺部ct图像的分割精度，但其全局-局部特征的提取并不是一个整体结构，而是并行设置，无法同时关注局部信息与全局上下文信息，分割精度仍有待提高。

技术实现思路

1、本发明为克服上述现有技术无法同时关注局部信息与全局上下文信息导致的分割精度不高的缺陷，提供一种基于全局和局部注意力机制的肺部ct图像分割方法，结合局部特征传递、全局语义信息捕获和多尺度特征表达，从而实现对图像的整体语义和上下文信息的深入理解；另外，本发明还提供一种结合层级注意力机制的ha-transunet(hierarchical attention transformer-unet)神经网络，利用不同层级的跳跃连接，并应用多种类型的注意力机制，使模型能够更加精准地关注不同层级的特征，实现多尺度特征的融合与利用，进一步提高分割精度。

2、为解决上述技术问题，本发明的技术方案如下：

3、一种基于全局和局部注意力机制的肺部ct图像分割方法，包括以下步骤：

4、s1：获取肺部ct图像数据集并进行预处理；

5、s2：建立基于全局-局部注意力机制的肺部肿瘤分割模型；

6、所述肺部肿瘤分割模型为u型架构网络，包括：依次连接的编码器和解码器，编码器和解码器之间还设置有跳跃连接；

7、所述编码器包括依次连接的：卷积模块和全局-局部transformer模块；

8、s3：将预处理后的肺部ct图像数据集输入建立的肺部肿瘤分割模型中进行迭代训练，获取训练好的肺部肿瘤分割模型；

9、s4：获取待分割的肺部ct图像，将待分割的肺部ct图像输入训练好的肺部肿瘤分割模型中进行肿瘤分割，完成肺部ct图像的分割。

10、优选地，所述步骤s1中，获取肺部ct图像数据集并进行预处理的具体方法为：

11、获取3d的肺部ct图像数据集，并对获取到的肺部ct图像数据集依次进行肺部区域裁剪、图像重采样和图像归一化，获取归一化后的肺部ct图像数据集；

12、将所述归一化后的肺部ct图像数据集中的每一张肺部ct图像进行2d切片，获取预处理后的肺部ct图像数据集，完成预处理。

13、优选地，所述步骤s1的预处理过程中，利用最近邻插值法进行图像重采样操作；利用z-score标准化进行图像归一化操作。

14、优选地，所述步骤s2中建立的肺部肿瘤分割模型具体为：

15、所述编码器中的卷积模块包括依次连接的第一下采样子模块、第二下采样子模块和线性层；所述第一下采样子模块和第二下采样子模块结构相同，均包括依次连接的若干个卷积块，以及最大池化层；

16、每个所述卷积块结构相同，均包括依次连接的第一卷积层、第一组归一化层和激活函数层；

17、所述编码器中的全局-局部transformer模块包括依次连接的若干个全局-局部transformer子模块；

18、每个所述全局-局部transformer子模块结构相同，均包括依次连接的第二组归一化层、全局-局部注意力网络、第三组归一化层和多层感知机；所述第二组归一化层的输入还与全局-局部注意力网络的输出构成残差加和连接，第三组归一化层的输入还与多层感知机的输出构成残差加和连接；

19、所述全局-局部注意力网络包括并行设置的全局分支和局部分支；

20、所述全局分支包括依次连接的位置编码加和点和多头自注意力层；将所述多头自注意力层的输出作为全局分支的输出；

21、所述局部分支包括并行设置的第一卷积分支和第二卷积分支；所述第一卷积分支和第二卷积分支结构相同，均包括依次连接的第二卷积层和第四组归一化层；将所述第一卷积分支和第二卷积分支的输出加和连接后作为局部分支的输出；

22、将所述全局分支的输出和局部分支的输出加和连接后作为全局-局部注意力网络的输出；

23、所述解码器包括依次连接的第一上采样模块、第一融合模块、第二上采样模块、第二融合模块、第三上采样模块、第三融合模块、第四上采样模块和输出模块；

24、每个所述上采样模块的结构相同，均包括依次连接的若干个卷积块，以及双线性插值层；

25、所述编码器中的第一下采样子模块的输入与解码器中的第三融合模块的输入跳跃连接；所述编码器中的第二下采样子模块的输入与解码器中的第二融合模块的输入跳跃连接；所述编码器中的第二下采样子模块的输出与解码器中的第一融合模块的输入跳跃连接。

26、优选地，所述步骤s2的肺部肿瘤分割模型中，跳跃连接具体为：

27、所述编码器中的第一下采样子模块的输入与解码器中的第三融合模块的输入通过通道注意力ca模块跳跃连接；所述编码器中的第二下采样子模块的输入与解码器中的第二融合模块的输入通过卷积块注意力cbam模块跳跃连接；所述编码器中的第二下采样子模块的输出与解码器中的第一融合模块的输入通过空间注意力sa模块跳跃连接。

28、优选地，所述编码器的卷积模块中，第一下采样子模块和第二下采样子模块中均包括依次连接的卷积块1、卷积块2、卷积块3和最大池化层；

29、所述卷积块2中第一卷积层的卷积核大小为3×3；卷积块1和卷积块3中第一卷积层的卷积核大小为1×1；

30、每个所述卷积块中激活函数层的激活函数具体为relu激活函数；

31、所述最大池化层的卷积核大小为3×3。

32、优选地，所述编码器中的全局-局部transformer模块包括依次连接的12个全局-局部transformer子模块；

33、每个所述全局-局部transformer子模块的局部分支中，第一卷积分支中第二卷积层的卷积核大小为1×1，第二卷积分支中第二卷积层的卷积核大小为3×3。

34、优选地，所述步骤s3中，将预处理后的肺部ct图像数据集输入建立的肺部肿瘤分割模型中进行迭代训练，获取训练好的肺部肿瘤分割模型的具体方法为：

35、s3.1：采用五折交叉验证的策略，将预处理后的肺部ct图像数据集按4：1的比例划分为训练集和测试集；

36、s3.2：将训练集输入建立的肺部肿瘤分割模型中，设置训练参数，并使用adam优化器进行迭代训练；

37、s3.3：利用预设的损失函数计算训练后的肺部肿瘤分割模型的损失值；

38、s3.4：重复步骤s3.2～s3.3，将损失值最小的训练后的肺部肿瘤分割模型保存为训练好的肺部肿瘤分割模型，并利用测试集对训练好的肺部肿瘤分割模型的参数进行优化调整。

39、优选地，所述步骤s3.3中的损失函数具体为dice损失函数。

40、本发明还提供一种基于全局和局部注意力机制的肺部ct图像分割系统，应用上述的一种基于全局和局部注意力机制的肺部ct图像分割方法，包括：

41、数据获取和预处理单元：用于获取肺部ct图像数据集并进行预处理；

42、模型建立单元：用于建立基于全局-局部注意力机制的肺部肿瘤分割模型；

43、所述肺部肿瘤分割模型为u型架构网络，包括：依次连接的编码器和解码器，编码器和解码器之间还设置有跳跃连接；

44、所述编码器包括依次连接的：卷积模块和全局-局部transformer模块；

45、模型训练单元：用于将预处理后的肺部ct图像数据集输入建立的肺部肿瘤分割模型中进行迭代训练，获取训练好的肺部肿瘤分割模型；

46、肺部ct图像分割单元：用于获取待分割的肺部ct图像，将待分割的肺部ct图像输入训练好的肺部肿瘤分割模型中进行肿瘤分割，完成肺部ct图像的分割。

47、与现有技术相比，本发明技术方案的有益效果是：

48、本发明提供一种基于全局和局部注意力机制的肺部ct图像分割方法，首先获取肺部ct图像数据集并进行预处理；建立基于全局-局部注意力机制的肺部肿瘤分割模型；所述肺部肿瘤分割模型为u型架构网络，包括：依次连接的编码器和解码器，编码器和解码器之间还设置有跳跃连接；编码器包括依次连接的：卷积模块和全局-局部transformer模块；之后将预处理后的肺部ct图像数据集输入建立的肺部肿瘤分割模型中进行迭代训练，获取训练好的肺部肿瘤分割模型；最后获取待分割的肺部ct图像，将待分割的肺部ct图像输入训练好的肺部肿瘤分割模型中进行肿瘤分割，完成肺部ct图像的分割；

49、本发明中基于全局和局部注意力机制的肺部ct图像分割方法通过结合局部特征传递、全局语义信息捕获和多尺度特征表达，从而实现对图像的整体语义和上下文信息的深入理解；另外，本发明还提供一种结合层级注意力机制的ha-transunet(hierarchicalattention transformer-unet)神经网络，利用不同层级的跳跃连接，并应用多种类型的注意力机制，使模型能够更加精准地关注不同层级的特征，实现多尺度特征的融合与利用，进一步提高分割精度；另外，本发明还将全局-局部transformer与层级注意力机制相结合，以全面提高图像分割的精确度和性能，该网络结构使模型能够更加准确地理解医学图像，并应对更加复杂的医学图像分割任务。