一种Transformer和卷积融合的医学图像分割方法及系统

本技术涉及医学图像分割，特别涉及一种transformer和卷积融合的医学图像分割方法及系统。

背景技术：

1、医学图像分割技术在当今的医疗领域具有重要意义，然而传统的医学图像分割方法主要基于手工特征来执行分割任务，这些方法需要大量的劳动力投入，并且可能导致误判或过度分割。近年来，随着深度学习的兴起，基于深度学习的方法在医学图像上的分割性能令人印象深刻，可以很好地辅助医生帮助患者进行检测及诊断。这些基于深度学习的医学图像分割方法可以分为两类：基于卷积神经网络的方法和基于transformer的方法。

2、相比于传统分割方法，基于深度学习的方法可以通过构造模型自动学习图像中的各种特征，从而准确分割出图像的病灶区域。随着卷积神经网络的快速崛起，为医学图像分割领域提供了技术帮助。其中，u-net是最流行的基于卷积神经网络的医学图像分割网络之一，它包括编码路径和解码路径。具体来说，编码路径由多个卷积层和池化层组成，用于提取不同尺度的输入图像的特征。这些特征被传递到由多个反卷积和上采样层组成的解码器，以将特征映射回原始图像的大小，并进行最后的图像分割。为了避免下采样时丢失有意义的信息，u-net还引入了跳跃连接，将不同尺度的特征直接传递给解码器，来学习相应编码路径阶段的相关特征。u-net实现了当时最先进的(sota)性能。因此后来也提出了许多u-net变体，包括u-net++、r2unet、convlstm u-net等。transformer最初被提出作为自然语言处理（nlp）中的自下而上的模型架构，它在图像分类任务中取得了优异的性能。与卷积神经网络方法相比，transformer的权重参数不是在内核中训练来提取和混合感受野中元素之间的特征，而是通过图像分块向量之间的点积运算获得所有图像分块对之间的相似度，以自动提取和混合特征所有图像分块之间，它使transformer具有更有效的全局感受野，并减少模型的归纳偏差。

3、然而，基于卷积神经网络的方法本质上过多关注局部细节，很容易受到噪声的影响，忽略有意义的全局信息，并且由于卷积神经网络这种内在局限性，基于卷积神经网络的方法缺乏建模长距离依赖关系的能力。基于transformer的方法缺乏卷积神经网络固有的一些归纳偏差，因此需要大量的数据训练才能达到更好的性能，容易出现过拟合、欠分割的问题，不能完全满足医学应用对分割精度的严格要求。因此，基于卷积神经网络的方法和基于transformer的方法都无法同时关注到图像的全局特征和局部细节特征，以及由于医学图像数据集存在遮掩部分，导致图像分割存在过拟合问题。

技术实现思路

1、基于此，本技术提出一种transformer和卷积融合的医学图像分割方法及系统，旨在能够解决基于卷积神经网络的方法和基于transformer的方法都无法同时关注到图像的全局特征和局部细节特征，以及由于医学图像数据集存在遮掩部分，导致图像分割存在过拟合问题。

2、实施例的第一方面提供了一种transformer和卷积融合的医学图像分割方法，包括：

3、获取医学图像数据集，并对所述医学图像数据集进行预处理，所述预处理包括数据增强操作；

4、构建基于transformer和卷积神经网络结合的多尺度医学图像分割模型，所述多尺度医学图像分割模型包括图像编码器和图像解码器；

5、在所述图像编码器中使用基于transformer的架构，以使网络关注全局特征；

6、在所述图像解码器中采用具有3个分支的条状局部增强模块来捕获增强的局部特征，使用渐进式特征融合模块来融合分层局部transformer，以消除高层特征与低层特征的特征间隙；

7、构建混合损失函数,所述混合损失函数包括dice损失函数、二分类交叉熵损失函数和基于tversky的适当约束损失函数，并使用所述预处理后的医学图像数据集对所述多尺度医学图像分割模型进行训练，根据所述混合损失函数得到最优模型；

8、使用训练好的所述最优模型对待测医学图像测试集进行预测，以得到预测结果。

9、作为第一方面的一种可选实施方式，所述获取医学图像数据集，并对所述医学图像数据集进行预处理，所述预处理包括数据增强操作的步骤包括：

10、采用结肠息肉像素级分割的内窥镜图像数据集作为所述医学图像数据集，对病变区域进行标记；

11、采用随机翻转、缩放、旋转以及随机膨胀和腐蚀作为数据增强操作。

12、作为第一方面的一种可选实施方式，所述在图像编码器中使用基于transformer的架构，以使网络关注全局特征的步骤包括：

13、在图像编码器中使用基于transformer的架构时采用金字塔transformer编码器来学习图像特征。

14、作为第一方面的一种可选实施方式，所述在所述图像解码器中采用具有3个分支的条状局部增强模块来捕获增强的局部特征的步骤包括：

15、分支1和分支2分别学习水平和垂直方向的局部特征以获取语义信息，分支3用于增加图像分块及其周围分块的宏观权重。

16、作为第一方面的一种可选实施方式，所述使用渐进式特征融合模块来融合分层局部transformer，以消除高层特征与低层特征的特征间隙的步骤包括：

17、在特征融合模块使用渐进式特征融合结构时，具体结构为从上到下融合transformer中4个不同层次的特征，由线性融合层和特征融合层组成，以消除高层特征与低层特征的特征间隙。

18、作为第一方面的一种可选实施方式，所述构建混合损失函数的步骤包括：

19、所述混合损失函数cl计算公式为：

20、；

21、dl是dice损失函数，具体的计算公式为：

22、，

23、其中，n表示类别数，i表示第i个类别，pi表示第i个类别的预测标签值，yi表示第i个类别的真实标签值；

24、bcel是二分类交叉熵损失函数，具体的计算公式为：

25、；

26、tl是基于tversky的适当约束损失函数，具体的计算公式为：

27、，

28、其中，fp为假阳性，fn为假阴性，tp为真阳性，α、β、γ为超参数。

29、作为第一方面的一种可选实施方式，所述使用训练好的所述最优模型对待测医学图像测试集进行预测，以得到预测结果的步骤包括：

30、采用dice相似度系数dsc和交并比iou作为性能评价指标定量评估模型所述的分割结果，dice相似度系数dsc是计算模型得到的分割区域与标签的真实分割区域之间的重叠程度，范围是[0,1]，dice相似度系数dsc的定义公式为：

31、，

32、其中，pi表示第i个类别的预测标签值，yi表示第i个类别的真实标签值;

33、交并比iou计算的是预测分割的边框和真实的边框的交叠率，即预测分割的边框和真实的边框的交集和并集的比值，范围是[0,1]，交并比iou的定义公式为：

34、，

35、其中，fp为假阳性，fn为假阴性，tp为真阳性。

36、本技术实施例的第二方面提供了一种transformer和卷积融合的医学图像分割系统，包括：

37、获取数据模块，用于获取医学图像数据集，并对所述医学图像数据集进行预处理，所述预处理包括数据增强操作；

38、构建模型模块，用于构建基于transformer和卷积神经网络结合的多尺度医学图像分割模型，所述多尺度医学图像分割模型包括图像编码器和图像解码器；在所述图像编码器中使用基于transformer的架构，以使网络关注全局特征；在所述图像解码器中采用具有3个分支的条状局部增强模块来捕获增强的局部特征，使用渐进式特征融合模块来融合分层局部transformer，以消除高层特征与低层特征的特征间隙；

39、训练模型模块，用于构建混合损失函数,所述混合损失函数包括dice损失函数、二分类交叉熵损失函数和基于tversky的适当约束损失函数，并使用所述预处理后的医学图像数据集对所述多尺度医学图像分割模型进行训练，根据所述混合损失函数得到最优模型；

40、分割预测模块，用于使用训练好的所述最优模型对待测医学图像测试集进行预测，以得到预测结果。

41、本技术实施例的第三方面提供了一种计算机设备，所述计算机设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像处理程序，所述图像处理程序被所述处理器执行时实现上述医学图像分割方法。

42、本技术实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有图像处理程序，所述图像处理程序被处理器运行时执行上述医学图像分割方法。

43、与现有技术相比，本技术提供的一种transformer和卷积融合的医学图像分割方法，首先获取医学图像数据并对医学图像数据数据预处理形成数据集，再将数据集输入构建的transformer和卷积神经网络结合的多尺度医学图像分割模型进行训练，通过所述医学图像分割模型中的图像编码器基于transformer架构捕获图像的全局特征，以及通过所述医学图像分割模型中的图像解码器的条状局部增强模块捕获增强的图像局部特征,还能够消除高层特征与低层特征的特征间隙，使得所述医学图像分割模型具有良好的捕获全局特征和多尺度特征处理能力；再通过由dice损失函数、二分类交叉熵损失函数和基于tversky的适当约束损失函数综合而成的混合损失函数，再利用所述混合损失函数优化训练上述构建的医学图像分割模型，以防止图像分割时容易出现过拟合、欠分割的问题。由此，本技术提出的所述方法及系统，能够解决基于卷积神经网络的方法和基于transformer的方法都无法同时关注到图像的全局特征和局部细节特征，以及由于医学图像数据集存在遮掩部分，导致图像分割中存在过拟合问题。

44、本技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实施例了解到。