一种能准确进行医学图像分割的方法

本发明涉及医学图像分割，特别涉及一种能准确进行医学图像分割的方法。

背景技术：

1、准确而稳健的医学图像分割在计算机辅助诊断系统中是不可或缺的组成部分，特别是在图像引导的临床手术、疾病诊断、治疗规划和临床量化等方面。医学图像分割通常被认为与自然图像分割基本相同，其相应的技术通常从后者派生。这两个领域的共同之处在于它们都以手动或自动的方式提取图像的准确感兴趣区域(rois)作为研究目标。借助深度学习技术，自然图像视觉中的分割任务取得了引人瞩目的性能。但与自然图像分割不同，医学图像分割要求更准确的roi分割结果，例如器官、病变和异常，以快速识别roi边界并准确评估roi的级别。这是因为在医学图像中细微的分割错误可能降低用户体验，并增加随后的计算机辅助诊断的风险。此外，在各种成像模态中手动勾画roi及其边界需要大量精力，非常耗时甚至是不切实际的，而最终的分割结果可能受到临床医生的偏好和专业知识的影响。因此，我们认为开发智能而稳健的技术来高效而准确地分割医学图像中的器官、病变和异常区域是至关重要的。

2、随着深度学习的发展以及广泛而有前途的应用，许多依赖于卷积操作的医学图像分割方法已被提出，用于分割医学图像中的特定目标对象。在这些方法中，u形编码器-解码器架构(如u-net和全卷积网络(fcn))等u形架构已经在医学图像分割中占据主导地位。随后的各种变体，例如u-net++、u-net3+、attentionu-net，以及3du-net、v-net，也已经被开发用于不同成像模态的2d和3d医学图像分割，并在多器官分割、皮肤病变分割、息肉分割等众多医学应用中取得了突出的成功。这表明卷积神经网络(cnn)具有强大的学习语义信息的能力。但由于卷积操作的固有局部性，它通常在显式捕捉长距离依赖性方面存在局限性。为了解决这个局限性，一些研究提出通过标准卷积操作的深度堆叠或扩张卷积操作，或者建立依赖于cnn特征的自注意机制来扩大感受野。然而，这些方法无法显著改善对长距离依赖性的建模能力。

3、受到将transformer成功应用于自然语言处理(nlp)的启发，许多研究尝试将transformer引入视觉领域。这些工作在各种视觉任务上取得了一致的改进，表明视觉transformer在视觉领域具有巨大的潜力。然而，普通的transformer通常受到高计算成本和大内存占用的困扰，在长序列场景中存在模型效率问题。最常用的改进方法是引入稀疏偏置到普通的注意力机制中，即采用稀疏注意力而不是全局注意力以降低计算复杂性。全局注意力需要在所有空间位置计算成对的令牌相似性，而稀疏注意力允许每个查询令牌仅关注少量的键值令牌，而不是整个序列。为此，根据特定预定义的模式，一些手工制作的静态稀疏注意力方法被提出，例如局部注意力，扩张注意力，轴向注意力或可变形注意力。在医学图像视觉领域中，许多研究也考虑将transformer引入医学图像分割任务，如nnformer、utnet、transunet、transception、hiformer、focal-unet和missformer。然而，据我们所知，只有少数几项研究考虑将稀疏性思想引入该领域，其中代表性的作品包括swin-unet、gatedaxialunet(medt)。但这些稀疏注意力机制以手工制定的方式合并或选择稀疏模式。因此，这些选择的模式是查询无关的，即适用于所有查询。将动态且与查询相关的稀疏注意力机制应用于医学图像分割仍然未被深入探讨。

技术实现思路

1、针对现有技术存在的上述问题，本发明要解决的技术问题是：如何进行准确的医学图像分割。

2、为解决上述技术问题，本发明采用如下技术方案：一种能准确进行医学图像分割的方法，包括如下步骤：

3、s1：获取公开数据集和公开数据集中每张图片对应的标签。

4、s2：构建和训练u形混合cnn-transformer网络，所述u形混合cnn-transformer网络包括七个阶段，依次包括编码器、bottlennek和解码器，以及跳跃连接通道-空间注意力sccsa模块。

5、所述编码器和解码器均采用三阶段金字塔结构进行分层构建；编码器包括第一阶段到第三阶段，bottlennek为第四阶段，解码器包括第五到第七阶段。

6、sccsa模块包括一个通道注意子模块和一个空间注意子模块。首先通过连接来自编码器和解码器的输出，得到然后，通道注意子模块使用mlp增强跨维度通道-空间依赖性；在空间注意子模块中，使用卷积层聚焦空间信息。

7、输入编码器的每张图片为h*w*3的三通道图片，经过第一阶段后得到的特征图分辨率为经过第二阶段后特征图分辨率为经过第三阶段后特征图分辨率为编码器第三阶段输出的特征图经过bottlennek处理后的特征图分辨率为分辨率为的特征图进入第五阶段的补丁扩展层，特征图分辨率变为后，将此特征图与第三阶段得到的特征图经过sccsa模块处理得到的特征图进入第六阶段，第六阶段的补丁扩展层处理后得到分辨率为的特征图，将此特征图与第二阶段得到的特征图经过sccsa模块处理得到的特征图进入第七阶段，第七阶段的补丁扩展层处理后得到分辨率为的特征图，将此特征图与第一阶段得到的特征图经过sccsa模块处理得到的特征图经过上采样为4倍的补丁扩展层，得到h*w*c的特征图，再经过线性映射层，最后输出h*w*class的最终特征图，class表示通道数，每个通道的值表示u形混合cnn-transformer网络对像素点属于相应类别的置信度或概率，对一个像素点，它在哪个通道的置信度或概率最大，那么它就属于哪个类别，将最终特征图中每个像素点的所属类别都判定后得到分割后的图片。

8、使用公开数据集对cnn-transformer网络进行训练，当cnn-transformer网络的损失不再变化时，则认为得到训练好的cnn-transformer网络。

9、s3：将新医学图片输入训练好的cnn-transformer网络，输出即为新医学图片分割后的图片。

10、作为优选，所述编码器和解码器均采用三阶段金字塔结构进行分层构建，其中编码器第一阶段包括补丁嵌入层和biformer块，第二到第三阶段由补丁合并层和biformer块组成，解码器第一阶段到第三阶段包括补丁扩展层和biformer块。

11、补丁嵌入层采用两个3×3卷积层，将每个区域的特征维度转换为任意维度即通道，表示为c。

12、作为优选，所述bottlennek由补丁合并层和biformer块组成，对编码器的输出降低分辨率和提高通道数。

13、作为优选，所述sccsa模块的具体步骤包括：输入特征图中间状态f1,f2,f3和输出x3表示为：

14、f1＝concat(x1,x2), (8)

15、

16、

17、x3＝fc(f3).  (11)

18、其中，f2和f3分别是通道注意子模块和空间注意子模块的输出，和σ分别表示逐元素乘法和sigmoid激活函数。

19、作为优选，训练u形混合cnn-transformer网络使用的损失函数为：

20、

21、

22、

23、其中，表示dice损失，表示交叉熵损失，n是像素数量，g(k,i)∈(0,1)和p(k,i)∈(0,1)分别表示类别k的真实标签和生成的概率。k是类别数量，是所有类别的权重之和。λ是平衡和影响的加权因子，ωk表示类别的权重，k是求和的索引，表示类别的索引，i是像素点的索引，n是一个缩放因子。

24、相对于现有技术，本发明至少具有如下优点：

25、本发明提供一种u形混合cnn-transformer架构，称为brau-net++，用于医学图像分割任务。该架构利用动态稀疏注意力代替全注意力或静态手工设计的稀疏注意力，能够在降低计算复杂性的同时有效学习局部和全局语义信息。此外，还提出了一种新颖的模块：跳跃连接通道-空间注意力(sccsa)，用于集成多尺度特征，以补偿空间信息的丢失并增强跨维度的交互。实验结果表明，本发明方法在synapse多器官分割、isic-2018挑战和cvc-clinicdb数据集上几乎所有评估指标下均能取得最先进的性能，特别擅长捕捉小目标的特征。