一种基于混合SwinTransformerU-Net的肺部CT图像分割方法

本发明属于图像分割，涉及一种基于混合swin transformer u-net的肺部ct图像分割方法。

背景技术：

1、医学图像在帮助医疗服务提供者接触患者进行诊断和治疗方面发挥着至关重要的作用。研究医学图像主要取决于放射科医生的视觉解释。然而这通常需要花费大量时间，并且取决于放射科医生的经验，是非常主观的。为了克服这些限制，使用计算机辅助系统就变得非常必要。医学图像分割的计算机化在医学成像应用中发挥着重要作用。它在诊断、病理定位、解剖结构研究、治疗计划和计算机集成手术等不同领域有着广泛的应用。然而，人体解剖结构的可变性和复杂性导致医学图像分割仍然是一个难题。

2、目前诊断covid-19的标准是实时逆转录聚合酶链反应(rt-pcr)拭子试验。然而rt-pcr的诊断结果需要几个小时才能处理，并且该检测的假阴性率很高，通常需要重复检测。与rt-pcr相比，胸部计算机断层扫描(ct)成像能够以高灵敏度对covid-19进行有效的疾病筛查，并且易于在临床环境中使用。

3、深度学习技术在医学诊断中的应用可以提高疾病的检测率和效率，在医学图像识别领域取得了巨大的成功。为了诊断肺癌、肺肿瘤和肺结节，许多学者研究了基于深度学习的肺部ct图像识别方法，已经证明ct图像识别对于肺部疾病的诊断非常有用。如果能够从ct图像中准确分割肺部感染区域，这对于肺部疾病(包括covid-19)的量化和诊断是至关重要的。

4、然而基于以下事实，在ct图像上准确分割肺部感染病灶仍然是一项具有挑战性的任务：1.在ct图像上，感染的边界不规则，大小和形状各不相同，具有模糊的外观和低对比度的特点。这很容易导致遗漏一些小的毛玻璃病变，或对ct图像上的感染产生过度分割；2.缺少标记数据集，临床医生提供的大规模感染注释不容易获得。

技术实现思路

1、本发明的目的就是提供一种基于混合swin transformer u-net的肺部ct图像分割方法，用于从ct图像中准确分割肺部感染区域。

2、本发明具体包括如下步骤：

3、步骤一、数据预处理和数据增强：

4、收集大量公开的肺部感染ct图像，并进行数据增强，扩大样本数量，并将这些图像归一化处理；作为模型的训练集，用于训练模型；数据增强具体为：将图像进行随机裁剪、反转、旋转、缩放和偏移处理。

5、步骤二、构建分割模型hyswinunet：

6、基于u-net的编码器-解码器结构构建分割模型hyswinunet，分割模型hyswinunet包括编码器、自适应注意力模块、解码器和跳跃连接，hyswinunet的基本单元是swin转换器模块(swin transformer block)，以swin转换器作为u-net的骨干网络；

7、在编码器中，将输入的图像通过块分割(patch partition)划分成4×4的小块(patch)，经过线性嵌入(linear embedding)之后，向量的维度将会变成预先设置的值；将维度为c，分辨率为的输入值馈送到两个连续的swin转换器中执行表征学习，过程中特征维度和分辨率保持不变；swin转换器模块负责特征表示学习，完成学习后进行块合并(patch merging)，降采样和增加维度，将空间大小减小1/2，并将特征维度增加到原来的两倍，从而形成层次化的设计；上述过程将在编码器中重复三次，在每一层传播的过程中，提前通过预激活剩余模块(prb)；

8、在编码的过程中，采用自适应注意力模块(adm)来定位到感兴趣区域(roi)的特征信息，抑制没有相关性的区域特征信息，有效地提取特征信息，更精准地分割出病灶区域；从而提高目标区域特征的权重比，提高网络分割精度；

9、基于swin转换器块来构建对称解码器；通过上采样将相邻维度的特征图重塑为更高分辨率的特征图，并相应地将特征维度减小到原始维度的一半；提取的上下文特征通过跳跃连接与编码器的多尺度特征融合，以弥补下采样造成的空间信息损失，恢复有价值的空间信息。

10、在编码阶段的入口和解码阶段的出口都会采用预激活剩余模块，预激活剩余模块将transformer初始化为卷积网络，利用卷积层来提取局部强度特征来避免transformer大规模的预处理，使swin转换器的训练更加容易；由于误分割区域通常位于感兴趣区域(roi)的边界上，因此高分辨率的上下文信息在分割中起着至关重要的作用；该模块依次通过两次连续的批标准化bn、激活函数relu和卷积操作conv之后与原输入执行一次元素加法；先经过relu层再执行conv卷积操作，上述操作并不会改变特征图的维度和分辨率；预激活剩余模块使信息在网络的前向和反向传播的过程中更加顺畅；

11、swin转换器模块是基于移动窗口构造的，包括两个连续的swin转换器，每个swin转换器包括多头自注意力模块(msa)和多层感知器(mlp)，此外在每个msa模块和mlp模块之前采用层归一化(ln)层；在多头自注意力模块的基础上，swin转换器提出了基于窗口的多头自注意力模块(w-msa)和基于移动窗口的多头自注意力模块(sw-msa)，其计算公式如下：

12、其中和zl分别表示第l层w-msa和mlp的输出；和zl+1分别表示第l+1层sw-msa和mlp的输出；w-msa和sm-msa的自注意力计算为：其中，q,k,表示查询(query)、键(key)和值(value)矩阵；m2和3分别代表窗口的patch数和查询或键的维度；b的值取自偏置矩阵

13、自适应注意力模块(adm)的输入通道将分别通过扩张率(dilation rate)为1和3的3×3卷积，被合并成双重注意力的输入，通过两种不同的注意力机制找出不同的全局信息；c×h×w大小的矩阵基于全局平均池化(global average pool)和逐像素相关(pixel-wise correlation)获取通道数据后获得c×1×1的矩阵，通过连接操作(concatenation)合并之后利用sigmoid函数归一化；此外，利用全连接层(fc)来生成更多非线性特征；最后对通道应用softmax运算，跨通道的注意力能自适应地选择不同大小的感受野。

14、步骤三、设置训练策略和损失函数，对模型进行训练；

15、将经过预处理的数据集划分为训练集、测试集和验证集；采用随机初始化和adam优化算法；设置batchsize、epoch和合适的学习率，同时采用正则化策略防止过拟合；分割模型hyswinunet使用反向传播算法对模型中的权重和偏置进行更新；训练迭代过程中利用损失函数进行参数的更新；

16、步骤四、验证已训练好的网络模型：将已经分割好的验证集输入训练好的分割模型hyswinunet，输出的结果会将肺部ct图中病灶的部分分割出来，得到已分割的图像，通过对比专家分割出的ct图像和本发明中训练好的网络模型所分割出的图像来对模型进行评估；

17、验证完成后，将任意肺部ct图输入分割模型hyswinunet中，输出已分割病灶的肺部ct图。

18、本发明采用以上技术方案与现有技术相比，具有以下技术效果：

19、本发明有效地结合了swin transformer和u-net，以增强传统编码器-解码器架构的功能性和灵活性，应用到医学图像分割领域，实现肺部ct肺部感染部分的自动分割，能从ct图像中准确分割肺部感染区。

20、由于transformer对图像没有归纳偏置，因此在小规模数据集上表现不佳，即使是经过预训练的imagenet，transformer的效果可能不如残差网络；hyswinunet模型结合了卷积和transformer，加入预激活剩余模块(prb)模块，利用卷积图像的感应偏差来避免大规模预处理，信息在网络的前向和反向传播中都能实现由一个模块直接传递至任意其它模块，减小训练负担，使得网络的获得更好的训练；

21、使用自适应注意力模块(adaptive dual-attention module)通过集成两种注意力机制来获取多尺度的全局特征，提高目标区域特征的权重比，旨在更精准地分割出新型冠状病毒感染ct图像不规则、低对比度的病灶区域；在ct图像上，感染的区域可能具有边界不连续和不规则形状，图像会出现模糊的外观和低对比度的特点；通道和像素的信息是获取感兴趣区域的代表性特征的重要信息；因此使用自适应注意力模块(adaptive dual-attention module)提取特征信息，提高目标区域特征的权重比。