基于TC-Unet的半监督脑肿瘤MRI图像分割方法、系统、设备及存储介质

本发明属于医学图像处理，具体为一种基于tc-unet的半监督脑肿瘤mri图像分割方法、系统、设备及存储介质。

背景技术：

1、随着人工智能技术在医疗领域的应用越来越广泛，开发自动、准确和可靠的医学图像处理算法对于计算机辅助诊断和手术导航系统至关重要。脑肿瘤图像现在大都是手动分割，分割精度受人员的专业知识、经验、是否细心等因素影响；手动分割工作量大，分割精度往往随工作人员工作时间的持续而下降，因此开发出一种高效的分割算法是非常必要的。

2、基于深度学习的方法在医学图像分割领域取得令人兴奋的效果，特别是基于卷积神经网络(cnn)的u型网络；卷积在局部特征提取方面表现优秀，由于卷积核的感受野受限，cnn难以捕捉图像的全局信息，这阻碍了cnn性能的进一步提升；vit(vision transformer)凭借其优秀的全局建模能力弥补了cnn的缺点。将卷积和transformer结合来提取局部和全局特征被认为是当下脑肿瘤分割网络性能提升的又一方向，事实证明该方法确实可以使分割精度得到提升；如申请号为cn202211518005.4提出了一种基于全局和局部特征融合的unet脑肿瘤图像分割算法，该算法使用融合transformer和resnet模块改进的unet网络构成脑肿瘤分割网络模型，其局部分支注重获取脑肿瘤的细节信息,空间信息丰富，全局分支感受野大,具有丰富的语义特征,并且融合transformer模块,有强大的全局建模能力，最后将获取的局部和全局图像放入设计的自适应特征融合模块中进行图像融合，实现对脑肿瘤图像的精准分割；该算法虽然在分割精度性能上有所提升，但是这也增加了内存使用和计算成本，对于医学图像大多高分辨率这一特点来说，过高的计算负担是不可接受的。以及在医学图像分割中有标签的数据是有限的，而无标签的数据则是无穷的。

技术实现思路

1、发明目的：为解决医学图像标注数据不足、内存使用高、计算成本高等问题，本发明提出了一种基于tc-unet的半监督脑肿瘤mri图像分割方法、系统、设备及存储介质。

2、技术方案：一种基于tc-unet的半监督脑肿瘤mri图像分割方法，包括以下步骤：

3、步骤1：对待分割的脑肿瘤mri图像进行预处理，得到预处理后的脑肿瘤mri图像；

4、步骤2：将预处理后的脑肿瘤mri图像输入至基于tc-unet的半监督脑肿瘤mri图像分割模型中，得到分割结果；

5、所述基于tc-unet的半监督脑肿瘤mri图像分割模型包括：编码器、解码器、跳过连接和金字塔预测结构；

6、所述编码器通过使用tc块进行特征提取，并进行四次下采样；

7、所述解码器通过使用tc块进行特征融合和还原，并进行四次上采样；

8、所述跳过连接将编码器每层的下采样的结果直接送到解码器相应的层；

9、所述金字塔预测结构包括上采样层和预测层，其中，上采样层用于对解码器各层的输出进行不同倍数的上采样，将各尺度特征图还原到输入图像分辨率大小，预测层用于得到预测结果。

10、进一步的，所述tc块由transformer块和卷积块并行组成，包括：

11、将卷积块的输出特征图和transformer块的输出特征图进行concat拼接，再经过一个1*1卷积将通道维度缩减为和输入通道维度相同，得到tc块的输出结果；

12、所述transformer块为将swin transformer块中的窗口多头自注意力模块用池化注意力transformer块替代得到；

13、所述卷积块为由一个卷积核为3的可分离卷积和模态空间注意模块组成。

14、进一步的，所述池化注意力transformer块由两个分支组成；

15、第一分支用于将输入的特征图分别进行最大池化和平均池化，并将两者的输出结果相乘，相乘的结果经过一个卷积核为1的卷积，得到第一分支的输出结果；

16、第二分支用于对特征图进行embedding，将embedding后的结果分别进行最大池化和平均池化，再将两者的输出结果相乘，相乘的结果依次经过reshape和一个卷积核为1的卷积，得到第二分支的输出结果；

17、将第一分支的输出结果和第二分支的输出结果相加，相加的结果经过一个卷积核为3的可分离卷积，得到池化注意力transformer块的输出结果。

18、进一步的，所述模态空间注意模块包括模态注意力模块和空间注意力模块；

19、在模态注意力模块中，输入的特征图t0先经过并行的最大池化和平均池化，而后两者的输出依次经过一个1*1卷积和sigmoid函数，得到输出特征图t1；将输出特征图t1和输入的特征图t0相乘，得到模态注意力模块的输出特征图t2；

20、输出特征图t2经过空间注意力模块后得到特征图t3，将相乘后的特征图t2和特征图t3相乘，得到模态空间注意模块的输出特征图t。

21、进一步的，所述基于tc-unet的半监督脑肿瘤mri图像分割模型是根据以下训练过程得到的，包括：

22、s100：从脑肿瘤mri图像公开数据集中取有标签的mri图像和无标签的mri图像，对其进行预处理；

23、s200：将预处理后的mri图像分批送入预先搭建的基于tc-unet的半监督算法网络中进行训练，在训练过程中，对有标签的mri图像计算dice损失和交叉熵损失联合的有监督损失，对于无标签的mri图像计算不确定性纠偏金字塔一致性损失，将有监督损失和无监督损失相加得到总损失值，根据总损失值调整基于tc-unet的半监督算法网络中的各个参数，得到基于tc-unet的半监督脑肿瘤mri图像分割模型。

24、进一步的，s100中预处理的步骤与步骤1中预处理的步骤相同，均包括：

25、对mri图像的t1,t1ce,t2,flair模态图像进行归一化处理，其中，t1,t1ce,t2,flair分别表示t1加权成像、t1对比增强成像、t2加权成像、液体衰减反转恢复成像；

26、对各个模态图像进行切片以及中心裁剪。

27、进一步的，在上采样层与预测层之间设有一个dropout层和一个特征级噪声添加层。

28、本发明公开了一种基于tc-unet的半监督脑肿瘤mri图像分割系统，包括：

29、预处理模块，用于对待分割的脑肿瘤mri图像进行预处理，得到预处理后的脑肿瘤mri图像

30、分割模块，用于将预处理后的脑肿瘤mri图像输入至基于tc-unet的半监督脑肿瘤mri图像分割模型中，得到分割结果；

31、所述基于tc-unet的半监督脑肿瘤mri图像分割模型包括：编码器、解码器、跳过连接和金字塔预测结构；

32、所述编码器通过使用tc块进行特征提取，并进行四次下采样；

33、所述解码器通过使用tc块进行特征融合和还原，并进行四次上采样；

34、所述跳过连接将编码器每层的下采样的结果直接送到解码器相应的层；

35、所述金字塔预测结构包括上采样层和预测层，其中，上采样层用于对解码器各层的输出进行不同倍数的上采样，将各尺度特征图还原到输入图像分辨率大小，预测层用于得到预测结果；

36、在上采样层与预测层之间设有一个dropout层和一个特征级噪声添加层；

37、所述tc块由transformer块和卷积块并行组成，包括：

38、将卷积块的输出特征图和transformer块的输出特征图进行concat拼接，再经过一个1*1卷积将通道维度缩减为和输入通道维度相同，得到tc块的输出结果；

39、所述transformer块为将swin transformer块中的窗口多头自注意力模块用池化注意力transformer块替代得到；

40、所述卷积块为由一个卷积核为3的可分离卷积和模态空间注意模块组成；

41、所述池化注意力transformer块由两个分支组成；

42、第一分支用于将输入的特征图分别进行最大池化和平均池化，并将两者的输出结果相乘，相乘的结果经过一个卷积核为1的卷积，得到第一分支的输出结果；

43、第二分支用于对特征图进行embedding，将embedding后的结果分别进行最大池化和平均池化，再将两者的输出结果相乘，相乘的结果依次经过reshape和一个卷积核为1的卷积，得到第二分支的输出结果；

44、将第一分支的输出结果和第二分支的输出结果相加，相加的结果经过一个卷积核为3的可分离卷积，得到池化注意力transformer块的输出结果；

45、所述模态空间注意模块包括模态注意力模块和空间注意力模块；

46、在模态注意力模块中，输入的特征图t0先经过并行的最大池化和平均池化，而后两者的输出依次经过一个1*1卷积和sigmoid函数，得到输出特征图t1；将输出特征图t1和输入的特征图t0相乘，得到模态注意力模块的输出特征图t2；

47、输出特征图t2经过空间注意力模块后得到特征图t3，将相乘后的特征图t2和特征图t3相乘，得到模态空间注意模块的输出特征图t；

48、所述基于tc-unet的半监督脑肿瘤mri图像分割模型是根据以下训练过程得到的，包括：

49、s100：从脑肿瘤mri图像公开数据集中取有标签的mri图像和无标签的mri图像，对其进行预处理；

50、s200：将预处理后的mri图像分批送入预先搭建的基于tc-unet的半监督算法网络中进行训练，在训练过程中，对有标签的mri图像计算dice损失和交叉熵损失联合的有监督损失，对于无标签的mri图像计算不确定性纠偏金字塔一致性损失，将有监督损失和无监督损失相加得到总损失值，根据总损失值调整基于tc-unet的半监督算法网络中的各个参数，得到基于tc-unet的半监督脑肿瘤mri图像分割模型。

51、本发明公开了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现一种基于tc-unet的半监督脑肿瘤mri图像分割方法的步骤。

52、本发明公开了一种存储介质，所述存储介质存储有脑肿瘤mri图像分割程序，所述脑肿瘤mri图像分割程序被至少一个处理器执行时实现一种基于tc-unet的半监督脑肿瘤mri图像分割方法的步骤。

53、有益效果：本发明与现有技术相比，具有以下优点：

54、(1)本发明采用轻量的tc-unet作为骨干网络，在不牺牲性能的情况下显著降低内存和计算成本；

55、(2)本发明采用并行的transformer块和卷积块结构，提取和融合全局和局部特征，大大提高了病理区域的分割精度；

56、(3)本发明使用半监督方法，有效缓解了医学图像标注数据不足的问题，提升了模型的分割性能。