一种基于UNet和Transformer相融合的视网膜血管分割方法

本发明属于计算机视觉的医学图像分割领域，具体涉及一种基于unet和transformer相融合的视网膜血管分割方法。

背景技术：

1、随着我国的快速发展，人民生活水平不断提高，人们使用电子设备的时间较长，长时间使用电子设备易导致眼睛衰弱，所以眼科医学的发展越来越受到大众们更多的关注。在人类的所有器官中，眼睛是接收信息最多的器官。眼睛的健康状况对人们的日常生活有很大影响，由于年龄增长和日常生活中使用眼睛的坏习惯容易导致眼部病变。通过对拍摄的眼底图像中存在患病区域进行详细的筛选，然后眼科医生根据自己的经验做出诊断，然后对患者的病情进行评估并给出相应的治疗措施。医生对眼底图像进行手动分割视网膜血管不仅费时费力，而且还不能保证分割的准确性，因此，使用计算机视网膜血管自动分割技术自动分析眼底图像，以及精确分割视网膜血管，对疾病的分析和诊断具有重要意义。

2、现有的视网膜血管分割和疾病分析方法共分为四个主要的类别：(1)基于数字图像处理的分割方法，这种方法通常需要设计者拥有丰富的血管分割知识，设计者根据自己的专业知识，设计一个模板，这个模板主要是利用血管的相关形态来提取视网膜血管特征，例如纹理、颜色、对比度等，能够直接将提取的特征作为分割结果；(2)基于监督学习的方法，这类方法利用需要标注的视网膜血管图像数据，需要利用研究人员针对视网膜血管特征设计特定模板来提取特征，然后选用机器学习模型对提取到的特征进行分类。机器学习模型比起传统方法有一些优势，比如研究者不需要拥有丰富的血管知识，而且设计模型的泛化性能更好，在不同的血管分割数据集上都有不错的效果；(3)基于深度神经网络的分割方法，深度学习的分割方法不像前两种方法需要人工设计模板算子提取特征，神经网络能够自动学习提取视网膜血管特征并且对其进行分类，因此这类方法相比前两种方法相对简单，模型的泛化能力好。深度学习方法是需要大量标注数据，利用深度神经网络模型，可以直接建立进行端到端的分类，输入眼球血管图像，输出分割后的结果图。(4)在视网膜眼底图像的分割基础上，研究学者们基于深度神经网络模型，对视网膜血管的形态特征进行定量定性分析眼底图像中特征、纹理、颜色、数值、形态等因素之间的关联，并对血栓病情进行预测，医生根据预测结果进行紧急和非紧急处理，使得医疗资源得到充分利用，从而辅助全身性系统疾病的临床诊断、评估和追踪管理

技术实现思路

1、本发明主要解决的技术问题在于，针对卷积神经网络特征提取结构通过层层叠加而不能直接提取全局特征导致细小血管不连续问题，以及transformer结构过分关注所有阶段的全局上下文建模，从而导致低分辨率特征缺乏详细的定位信息，而这种信息不能通过直接上采样到全分辨率来恢复等问题，提供一种基于unet和transformer相融合的视网膜血管分割方法。

2、本发明提供基于unet和transformer相融合的视网膜血管分割方法，具有这样的特征，包括以下步骤：步骤1，将待训练图像进行预处理获得预处理图像，该预处理方法包括数据处理以及数据增强，所述数据处理包括将彩色眼底图像进行直方图均衡化均匀分布像素级灰度级，提高对比度；图像平滑用来使图像亮度平缓渐变，减小突变梯度，改善图像质量；灰度转换按一定变换关系改变每一个像素灰度值，使图像显示更加清晰；匀光处理消除图像中光照不均带来的影响；所述数据增强包括对数据集中随机截取适量的切片，为了增加图像的数量，让样本充满多样性，减小过拟合，采用了旋转、平移以及弹性变换等技术，使数据集的数据扩充；步骤2，将预处理图像输入到基于unet和transformer相融合的视网膜血管分割模型中得到权重文件，该模型包括编码器、解码器以及融合注意力机制，所述编码器包括多流级联的卷积层、多个池化层和多个残差模块，每一个卷积层都使用残差模块，池化层设在两个卷积层单元之间；所述解码器包括级联的多个改进的基于扩展卷积的残差模块、多个上采样模块以及反卷积层，上采样模块设在两个相邻的改进的基于扩展卷积的残差单元之间；所述融合注意力机制将编码器中池化层的输出以及相邻流池化层的输出分别作为低层特征输入和高层特征输入，在第三层的融合注意力机制的高层特征输入是对应编码器池化层经过transformer模块形成的特征图；步骤3，加载权重文件，将测试的眼底图像输入到模型中得出视网膜血管分割结果。

3、本发明提供的基于unet和transformer相融合的视网膜血管分割方法中，还可以具有这样的特征：其中卷积神经网络用于提供特征金字塔，transformer网络用于提取细节信息，unet网络用于级联各项异性。

4、本发明提供的基于unet和transformer相融合的视网膜血管分割方法中，还可以具有这样的特征：其中卷积层，用于对输入基于unet和transformer相融合的视网膜血管分割模型的图像的每一个特征进行局部感知；

5、池化层，用于对卷积层处理后得到的特征进行降维处理，以及对数据和参数的数据量进行压缩；池化层可以减小过拟合，同时提高模型的容错性；

6、改进的基于扩展卷积的残差模块，用于丰富高层特征中包含的语音信息，同时低层次的细节特征补偿到较高层次的语义特征中，优化分割结果；

7、反卷积层，用于增大改进的基于扩展卷积的卷积模块的输出矩阵维度。

8、进一步的，多流级联的多层卷积类操作中的每流每层输出分别与同流后续层直接连接，卷积层单元的任意一层采用残差模块替换标准的unet编码块，残差模块可以有效地防止训练阶段的梯度消失，多流级联下的卷积类操作的输出表示为：

9、h(x)＝{hl(x,k,θ)|hl(x,k,θk)＝r(hl(x,k-1,θk-1)),l＝1,2,…,l}

10、其中，h(x)表示不同编码路径中一系列网络操作的集合；hl(x,k,θ)表示第l层编码流，k表示连续特征块，θ表示可学习权重；r表示每个特征块上的残差操作，包括池化层；表示在原始输入图像x上的标准归一化函数；l表示路径流总数，在实验中设置为4。

11、进一步的，改进的基于扩展卷积的残差模块的输出表示为：

12、yi＝fbn+relu(fc3(xi+drf(xi))；

13、其中，yi表示第i层改进的基于扩展卷积的残差模块的输出；fbn+relu(■)表示依次进行批归一化操作和relu激活函数操作；fc3(■)表示3×3的卷积操作；xi表示为第i层改进的基于扩展卷积的残差模块的输入；drf(■)表示改进的基于扩展卷积的残差模块结构。

14、进一步的，改进的基于扩展卷积的残差模块结构drf(■)表示为：

15、drf(xi)＝fbn+relu(fc(fbn+relu(fc(xi))×fbn+relu(fc3(xi))×ircb(xi)))；

16、其中，fc表示1×1的卷积操作；ircb(■)表示扩展卷积模块结构。

17、进一步的，扩展卷积模块结构ircb(■)表示为：

18、ircb(xi)＝fbn+relu(fc(xi))+fbn+relu(fc3+r3(fbn+relu(fc(xi))))；

19、其中，fc3+r3(■)表示扩展率为3的空洞卷积。

20、进一步的，融合注意力机制的输出表示为：

21、fi＝ui+ui⊙αi；

22、其中，fi表示在第i层融合注意力机制的输出，用残差的方式将注意力特征αi和原来特征ui统一在一起。

23、ui＝c([ei,s(fi-1)])；

24、其中，ui表示第i层融合注意力机制中的原来特征；c(■)表示一个卷积内核；s(■)表示一个上采样操作；[]表示对应的concat操作；ei和fi-1分别表示来自第i层编码器和前一个融合模块的结果；

25、si＝pavg(frelu(fbn(ui)))；

26、其中，si表示第i层融合注意力机制中的中间特征；pavg(■)表示全局平均池化操作；frelu(■)表示relu激活函数操作；fbn(■)表示批归一化操作；

27、αi＝σ(fc(frelu(fc(si))))；

28、其中，αi表示第i层融合注意力机制中的注意力特征；σ(■)表示sigmoid激活函数操作；fc(■)表示1×1的卷积操作；

29、进一步的，transformer模块得到的是来源于多流级联的多层卷积神经网络下采样之后的特征图结果，对特征图进行固定大小的切片处理，嵌入位置向量，如下所示：

30、

31、其中，p表示切片的尺寸；n表示切片的数量；

32、

33、其中，z0表示为嵌入位置向量的结果；表示第一个特征图切片结果；epos表示位置向量。

34、transformer模块由l层多头注意力机制和多层感知器模块组成，多头注意力机制有两种不同划分处理方式，包括wmsa模块和swmsa模块，其中wmsa模块是基于规则窗口的自注意模块，例如，前一个模块的结果是8×8特征图，从左上角的像素开始均匀划分成4个窗口大小为4×4的窗口，然后进行注意力处理；其中swmsa模块是基于跨窗口的自注意模块，例如前一个模块的结果是8×8特征图，从左上角的像素开始先进行小于窗口大小划分操作，然后在进行窗口大小划分操作，当分别取2，取4时，划分成4个窗口大小为2×2的窗口、2个窗口大小为2×4的窗口、2个窗口大小为4×2的窗口以及1个窗口大小为4×4的窗口，然后对特征图进行移位，然后进行注意力处理，然后在设置自注意力后再次移位恢复以便后面紧跟wmsa模块，这样引入了相邻窗口之间的连接关系，提高了建模能力。因此wmsa模块和swmsa模块交替使用，所述transformer模块连续两层的输出为如下形式：

35、

36、

37、

38、

39、其中，和zl分别表示第l层的wmsa模块和mlp模块的特征输出；和zl+1分别表示第l+1层的swmsa模块和mlp模块的特征输出；swmsa模块表示对特征图进行移位，在设置自注意力后再次移位恢复；ln(■)代表layernorm层归一化操作。

40、与现有其他模型对比，本发明针对卷积神经网络特征提取结构通过层层叠加而不能直接提取全局特征导致细小血管不连续问题，以及transformer结构过分关注所有阶段的全局上下文建模，从而导致低分辨率特征缺乏详细的定位信息，而这种信息不能通过直接上采样到全分辨率来恢复等问题，提供一种基于unet和transformer相融合的视网膜血管分割模型具有对细小血管敏感，分割精度良好的优点，其中：多流级联的卷积层构建的模块可以在每个路径上学习低级结构特征和高级语义特征，将这些不同的特征作为一个丰富的信息源，传递给融合模块，控制了低层次结构特征和高级语义特征之间的层间依赖性；级联的多个改进的基于扩展卷积的残差模块保存更多有用的空间信息，每个卷积层之后都是批处理归一化和relu激活，以缓解过拟合；融合注意力机制中的transformer模块提高全局上下文建模信息，弥补了unet网络对边缘信息和全局信息提取不足的缺点。