一种基于多尺度正交Transformer的医学图像分割方法

本发明涉及医学图像分割，具体是一种基于transformer结构的医学图像分割方法。

背景技术：

1、图像分割作为计算机视觉领域一个经典的研究方向，并在很多领域都有着非常广泛的应用，并且涉及到不同种类的图像。图像分割是理解图像的重要组成部分，也是图像处理当中最困难的问题之一。图像分割指的是根据灰度、彩色、空间纹理等图像特征，将图像划分为若干个互不相交的区域，使得这些特征在同一区域内表现出相似性或一致性，而在不同区域间表现出明显的不同。从20世纪70年代起，分割就引起了广大科研人员的注意，改进的算法一轮一轮的迭代。虽然到目前为止并不存在一个完美的通用分割模型/方法，但是对于图像分割的一般性规律则基本上已经达成的共识，并孕育出了相当多优秀的成果与算法。

2、医学图像分割主要是以各种细胞、组织与器官的图像作为处理的对象。医学图像自动分割可以帮助医生快速的定位进行诊断的病变部位或者器官，提高了医生的工作效率。随着深度学习在医学图像分割领域的深远影响，许多的优秀的医学图像分割模型展现出了优秀的分割效果，虽然医学图像的数据集的处理，列如验证集标签的标注等需要具有专业医学知识的医生来进行标注，医学图像数据集的人力、时间成本和对数据集精准性的要求都比普通的数据集高很多，但是通过医学图像数据集训练后的分割模型在一些方面表现出了远超于医生的优秀水平。所以基于深度学习的医学图像分割无论是在提升医生工作效率上还是辅助医生得到更准确的病理信息上都有着重大的意义。

3、目前存在以下问题：

4、1.传统的卷积神经网络由于卷积滤波器的局限性，即在提取目标的特征信息时需要通过卷积一层一层进行特征提取，而由于每一层的感受野都十分受限，对于全局特征的充分提取比较不足，极难获得精确的全局上下文信息。

5、2.由于transformer本身结构只能输入固定大小尺寸patch的特性，同一种patch大小学习到的特征信息十分有限，不同尺度的patch输入会学习到不同的特征信息；由于多尺度结构可能会学习到重复的特征信息，使得模型很多情况下学习到的信息是完全重叠的，会浪费硬件资源。

技术实现思路

1、根据目前存在的多种问题，本发明提出了基于多路transformer的医学图像模型，由于transformer本身结构只能输入固定大小尺寸patch的特性，本发明引入了多路多尺度的并行transformer结构，不同尺度的patch输入会学习到不同的特征信息；由于多路多尺度结构可能会学习到重复的特征信息，故引入了正交化处理，以保证每一路transformer学习到的特征信息的差异性。鉴于此，本发明采用的具体技术方案如下：

2、1)对输入医学图像使用数据增强得到增强图像视图；

3、2)将增强图像视图经过rsetnet50网络进行特征提取得到特征图作为多尺度transformer结构的输入；

4、3)根据步骤2)所提取到的特征图将输入特征图划分为不同大小的patch作为取样多样性的保证；

5、4)根据步骤3)所得到的不同尺度的patch进行embedding操作、位置向量的嵌入等编码操作；

6、5)根据步骤4)所得到的特征信息进入transformer解码器进行解码操作；

7、6)将步骤5)的编码器输出进行上采样得到attention map；

8、7)将步骤6)获得的每种尺度的attention map计算正交loss；

9、8)将步骤6)获得的每一种尺度的attention map按照通道方向叠加得到特征图并进行通道还原；

10、9)将步骤8)得到的通道还原后的特征图经过softmax得到预测的分割结果；

11、10)循环步骤1)到步骤9)训练分割模型；

12、综上所述，本发明的优点及有益效果如下：

13、1.本发明的医学图像分割方法在对于医学图像分割任务执行上，对于目标整体物体、边缘上分割有比较好的效果。

14、2.本发明所提出的多路transformer结构相较于单路transformer而言，多分支网络通过构建不同分支用以确保获取特征的多样性，实现不同分支构建不同功能，从而获取不同类型的映射结果。最终分割的整体的语义结果非常完整且与label比较接近。

15、3.在本发明中，使用了多种不同尺寸的patch作为不同分支的区分依据，但由于结构的相似性，这些分支的结果在很大程度上仍然具有相似性，获取到的高维特征依然存在较多的重复采样结果。为了获取具有差异性的中间层，我们对于多种不同分支的末端输出进行正交化处理，通过正交化处理能够保证每一路学习到的信息存在差异性，获得了更好的分割效果

技术特征：

1.一种基于多尺度正交transformer医学分割方法，包括以下步骤：

2.根据权利要求1所述的一种基于多尺度正交transformer医学分割方法，其特征在于：步骤2)采用的是resnet50提取医学图像的视觉特征。

3.根据权利要求1所述的一种基于多尺度正交transformer医学分割方法，其特征在于：步骤3)是通过在整个模型中加入多种尺度不同的transformer模块保证每一种尺度获得不同的特征信息。

4.根据权利要求1所述的一种基于多尺度正交transformer医学分割方法，其特征在于：步骤4)会将不同尺度的patch进行embedding操作、位置向量的嵌入等编码操作。公式为

5.根据权利要求1所述的一种基于多尺度正交transformer医学分割方法，其特征在于：步骤5)每一种尺度的transformer编码器会对输入的特征信息进行编码重组。

6.根据权利要求1所述的一种基于多尺度正交transformer医学分割方法，其特征在于：步骤6)进行上采样得到attention map，上采样方法采用双线性插值上采样法，其公式为：

7.根据权利要求1所述的一种基于多尺度正交transformer医学分割方法，其特征在于：步骤7)获得的每种尺度的attention map计算正交loss，每一路的正交loss子项计算公式为：

8.根据权利要求1所述的一种基于多尺度正交transformer医学分割方法，其特征在于：步骤8)获得的每一种尺度的attention map按照通道方向叠加得到特征图并进行通道还原计算公式如下：

9.根据权利要求1所述的一种基于多尺度正交transformer医学分割方法，其特征在于：步骤9)将得到的通道还原后的特征图经过softmax得到预测的分割结果。作为当前训练轮次的结果。

技术总结
本发明公开了一种基于多尺度正交Transformer医学分割方法。包括包括：1)对输入医学图像使用数据增强得到增强图像视图；2)将增强图像视图经过Rsetnet50网络进行特征提取得到特征图作为多尺度Transformer结构的输入；3)将输入特征图划分为不同大小的patch作为取样多样性的保证，并进行embedding操作、位置向量的嵌入等编码操作；4)将每一个尺度对应的patch经过Transformer结构编码器；5)将Transformer结构编码器的输出作为解码器结构的输入，并进行解码操作；6)编码器输出进行上采样得到attention map；7)将每种尺度得到的attention map计算正交loss；8)将每一种尺度的attention map按照通道方向叠加得到特征图并进行通道还原；9)经过softmax得到预测的分割结果。本发明能够通过输入的医学图像得到需要分割的特定医学图像器官，更好的辅助医生进行医学诊断工作。

技术研发人员：曾宪华,周无逸
受保护的技术使用者：重庆邮电大学
技术研发日：
技术公布日：2024/1/14