一种基于Transformer和UNet的多模态医学图像分割方法和系统

本发明属于计算机视觉、深度学习技术、医学图像分割领域，尤其涉及一种基于transformer和unet的多模态医学图像分割方法和系统。

背景技术：

1、医学图像分割是近年来计算机视觉中热门的研究方向，在临床诊断、治疗方案拟定、医学研究等领域都有着重要的应用。随着人工智能技术的快速发展，深度学习技术逐渐成为了图像分割领域研究的主流方法。因为医学图像的成像原理，如mri、ct、超声等图像，其天然存在着噪声、伪影等干扰，还有背景模糊、边界不清晰、目标分割区域较小等问题，导致准确分割的难度较大。而编解码器结构搭配跳跃连接的unet是对于众多医学图像分割任务较为有效的解决方案，但是其跳跃连接的简单特性依然不能较好地学习编码器的多尺度特征以及编码器解码器两条分支之间的信息融合，导致网络的学习能力受限，从而使得网络不能得到更精确的分割结果。

技术实现思路

1、本发明目的在于提供一种基于transformer和unet的多模态医学图像分割方法和系统,以解决现有的unet网络结构中的跳跃连接模块不能很好地学习编码器的多尺度特征以及编解码器两条分支之间的信息融合，导致依然存在明显的语义鸿沟的技术问题。

2、为解决上述技术问题，本发明的具体技术方案如下：

3、一种基于transformer和unet的多模态医学图像分割方法，包括以下步骤：

4、步骤1、数据预处理步骤：每一种具体的医学图像分割任务，其具有相应的训练数据集和待分割图像两部分数据；针对训练数据集或待分割图像的每一张图像，对其使用空背景裁剪、强度值归一化、随机裁剪等预处理方法，得到适合所提出网络的输入数据结构；

5、步骤2、搭建ctrans unet的网络结构并进行网络训练，包括如下子步骤：

6、步骤2.1、设计ctrans unet的网络结构；

7、步骤2.2、从处理好的数据集中选取并构建训练样本；

8、步骤2.3、设计良好的训练和预测策略，设置网络超参数、损失函数，利用步骤2.2中选取构建的训练样本对ctrans unet网络进行有效训练，优化ctrans unet网络的参数，直至训练达到收敛；

9、步骤3、对于待分割的图像，采用滑动预测的方式送入训练好的ctrans unet网络进行分割计算，得到最终的分割结果。

10、进一步的，步骤1中数据预处理步骤具体如下：

11、针对训练集，对每张图像首先进行空背景裁剪，去除背景区域以减小无效计算量；然后进行强度值归一化，来减少样本之间强度值的方差；最后进行随机裁剪，裁剪尺寸需要满足网络输入尺寸，且因为随机性起到数据增强的效果；

12、针对待分割图像，对每张图像首先进行空背景裁剪，去除背景区域以减小无效计算量，并记录裁剪位置；然后进行强度值归一化，来减少样本之间强度值的方差。

13、进一步的，步骤2.1中设计ctrans unet的网络结构，具体包括以下步骤：

14、步骤2.1.1、设计通道级交叉融合transformer模块，简称为ccft模块，利用transformer结构在长程依赖方面的通用优势，弥补局部学习的缺陷，融合多尺度的编码器特征信息；

15、步骤2.1.2、设计通道级交叉注意力机制模块，简称为cca模块，将本层编码器特征和上层上采样的解码器特征进行有效的信息融合，弥补两条分支之间的语义鸿沟；

16、步骤2.1.3、在unet网络结构的基础上，用通道级交叉融合transformer模块和通道级交叉注意力机制模块代替跳跃连接，进行更好地特征融合，组成一个结合了transformer和unet两者优点的混合网络结构，称之为ctrans unet。

17、进一步的，步骤2.2中从处理好的数据集中选取并构建训练样本，具体包括以下步骤：

18、根据硬件环境的条件以及单个图像的大小，每一轮训练都从数据集中随机选取同样数量的图像送入网络训练，且该数量需为2的倍数。

19、进一步的，步骤2.3中设计训练和预测策略，设置网络超参数、损失函数，利用步骤2.2中选取构建的训练样本对ctrans unet进行有效训练，优化ctrans unet网络的参数，直至训练达到收敛，具体包括以下步骤：

20、步骤2.3.1、使用5折交叉验证的训练方式，得到5个训练好ctrans unet的网络，并将待分割图像分别经过这5个网络得到5个分割结果，最后取其平均作为最终结果；

21、步骤2.3.2、网络超参数的必要设置如下：设置初始学习率为lr，优化器选用adam，学习轮数为epoch，学习率的调整策略为reducelronplateau，若损失在patience轮内不下降，学习率降低为原来的factor倍；

22、步骤2.3.3、使用广义dice loss函数来作为大多数医学图像分割方法的损失函数，给不同的类别在损失函数上赋予不同的权重，公式为：

23、

24、其中gdl表示广义dice loss，k为类别数，rkn为像素点n在第k类上的真实标签，pkn为像素点n在第k类上的预测结果，wk即为每种类别在计算dice loss函数时的权重，基于区域越大的类别权重应该越小的原则，wk的计算方式为：

25、

26、使用了体素值求和之后平方的倒数来计算权重，越多体素的类别权重越小，越少体素的类别权重越大，可以有效解决类别不均衡的问题。

27、进一步的，步骤3采用滑动预测方式将待分割图像送入训练好的ctrans unet网络进行分割计算，得到最终的分割结果，具体包括以下步骤：

28、步骤301、对经过预处理后的待分割图像进行滑动切块，沿待分割图像的各轴向按照固定步长step切出若干数量的图像小块，图像小块的尺寸需满足网络输入尺寸要求；

29、步骤302、将滑动切块得到的若干图像小块分别送入训练好的ctrans unet网络进行预测，得到各小块的分割结果；

30、步骤303、对于每个小块的分割结果输出，需要使用argmax函数对分割结果输出的每个像素点进行分类，得到分类之后的分割结果，argmax函数如下所示：

31、

32、对一个函数f(x)，当x取值范围为s的时候，argmax的结果是使得f(x)取得最大值的x点集；其中x,y均表示变量，s表示变量的取值范围，f(x)和f(y)表示x,y对应的函数值；

33、步骤304、将每个小块的分割结果再按照切块时的位置放置到待分割图像相应的位置中，组合成为完整的分割结果。

34、本发明还公开了一种基于transformer和unet的多模态医学图像分割系统，其特征在于，包括数据预处理单元、ctrans unet网络训练单元和待分割图像的预测单元；

35、所述数据预处理单元，针对训练集和待分割图像，进行空背景去除、强度值归一化、随机裁剪等数据预处理步骤；

36、所述ctrans unet网络训练单元，用于训练设计好的ctrans unet网络，被配置以执行以下步骤：

37、步骤a、设计ctrans unet网络的网络结构；

38、步骤b、选取并构建训练样本，作为网络每轮训练的输入；

39、步骤c、设计训练和预测策略，设置网络超参数、损失函数，利用步骤b中选取构建的训练样本对ctrans unet网络进行有效训练，优化ctrans unet网络的参数，直至训练达到收敛；

40、所述待分割图像的预测单元，被配置以执行以下动作：

41、步骤a、对经过预处理后的待分割图像沿各轴向按照固定步长step进行滑动切块，得到若干图像小块；

42、步骤b、将图像小块分别送入训练好的ctrans unet网络进行预测以得到每个小块的分割结果；

43、步骤c、使用argmax函数对每个图像小块的分割结果中的每个像素点进行分类，分类之后的结果作为该图像小块的最终分割结果；

44、步骤d、将图像小块的最终分割结果按照切块时的位置放置到待分割图像的相应位置中，组合成待分割图像的完整分割结果。

45、本发明的一种基于transformer和unet的多模态医学图像分割方法和系统，具有以下优点：

46、1、本发明提出的基于transformer和unet的多模态医学图像分割方法对医学图像的分割具有普适性，在多种医学图像和多种分割场景下均可应用；

47、2、本发明设计了通道级交叉融合transformer模块，使得网络可以融合编码器上多尺度的特征信息，且因为transformer通用的长程依赖特点可以学习到全局信息；

48、3、本发明设计了通道级交叉注意力机制模块来融合编码器和解码器的特征，使得网络两条分支之间的语义鸿沟进一步得到弥补；

49、4、本发明采用了良好的预处理步骤、训练和预测策略，设置了网络超参数，定义了通用的损失函数，这些操作对于网络的有效训练均十分有效，既提高了网络的准确率又能尽量减少训练时间。