一种基于深度学习的视网膜OCT图像积液分割方法

本发明涉及图像处理，特别是涉及一种基于深度学习的视网膜oct图像积液分割方法。

背景技术：

1、黄斑水肿(me)作为各类眼部疾病的并发症，例如年龄相关性黄斑变性(amd)、糖尿病性黄斑水肿(dme)或视网膜静脉阻塞(rvo)，会导致患者视力受损，严重的会导致不可逆的失明。它通常以黄斑中不同类型的充满液体的病理为特征，表现为视网膜内积液(irf)、视网膜下积液(srf)和视网膜色素上皮脱离(ped)。传统的诊断方式是眼科医生利用光学相干断层扫描(oct)图像对这些视网膜病理性液体进行分割和分析，以对me进行诊断及对治疗效果进行评估。然而，手动分割是一项耗时、费力且主观的任务，既使是熟练的眼科医生也容易出错。因此，迫切需要开发自动的方法实现对oct图像中的多种类型的视网膜液体的准确分割和定量分析。

2、各种基于oct图像的视网膜积液自动分割算法，大致可分为图像处理方法、传统机器学习方法和深度学习方法。然而，基于图像处理的方法需要高质量的图像且不能自适应的应用于图像质量差异较大的数据集。传统的基于机器学习的分割方法过分依赖于人工制作的特征，对专业知识要求较高并且其泛化能力较弱。基于深度学习的方法可以自动从带有标注的视网膜oct图像中学习病变特征表示，而无需人工制作病变特征。然而，使用传统的卷积神经网络(cnn)很难识别与视网膜病变液体相对应的更细微的具有判别性的特征，并且这些基于深度学习的分割模型会在数据分布不平衡时更多地关注于具有更多样本的视网膜液体类型。此外，由于cnn固有的局部感受野，使得这些方法在建模视网膜液体病变的多尺度长范围依赖关系时存在局限性，导致对纹理、形状和大小变化较大的视网膜液体区域的分割性能相对较弱。

技术实现思路

1、本发明所要解决的技术问题是提供一种基于深度学习的视网膜oct图像积液分割方法，能够提升视网膜oct图像中积液的分割精度。

2、本发明解决其技术问题所采用的技术方案是：提供一种基于深度学习的视网膜oct图像积液分割方法，包括以下步骤：

3、获取视网膜oct图像；

4、将所述视网膜oct图像送入训练好的积液分割模型得到积液分割结果，其中，

5、所述积液分割模型包括：

6、特征提取网络，用于对所述视网膜oct图像进行下采样操作得到高等级的全局语义特征图；

7、注意力模块，用于基于所述高等级的全局语义特征图生成通道以及空间等级的全局注意力特征图，并从全局注意力特征图中捕捉每种视网膜液体病变的不同特征，得到特征图；

8、多尺度transformer模块，用于基于所述高等级的全局语义特征图和特征图探索具有长范围依赖关系的多尺度非局部特征；

9、特征融合网络，用于将多尺度非局部特征进行上采样操作并逐级恢复到与所述视网膜oct图像相同分辨率的特征图，得到自动分割的结果。

10、所述特征提取网络包括四个vgg块，每个vgg块均包含若干个3x3卷积层和一个最大池化层；其中，第一个vgg块有两个3x3卷积层，第二个vgg块有两个3x3卷积层；第三个vgg块有四个3x3卷积层；第四个vgg块有四个3x3卷积层。

11、所述注意力模块包括级联的全局注意力子模块和类注意力子模块；所述全局注意力子模块用于学习与积液类型无关的全局注意力特征，并在所述视网膜oct图像中保留与视网膜病变液体相关的细节，同时抑制噪声信息；所述类注意力子模块用于学习特定视网膜积液类型的病变特征，并扩大不同类型积液之间的病变差异。

12、所述全局注意力子模块通过计算出通道和空间等级的注意力特征图，其中，fc_attention表示通道等级的全局注意力特征图，fs_attention表示空间等级的全局注意力特征图，fgam_in表示高等级的全局语义特征图，σ(·)表示sigmoid函数，gap(·)表示全局平均池化操作，conv2(·)表示两次卷积操作，c_gap(·)表示跨通道平均池化操作，表示元素等级乘法运算。

13、所述类注意力子模块将输入的特征图ftam_in通过核大小1x1的卷积层产生特征图f′∈rh×w×nl，其中，h，w和c分别表示特征图的高度、宽度和通道的数量，r表示实数集，n表示识别每一种视网膜液体病变类型所需要的通道数量；在训练的过程中随机移除一半的特征，得到特征图f″∈rh×w×nl；在进行推理的过程中，所有的n个特征图都被采用，并通过计算每种视网膜液体病变类型的得分，其中，si表示每种视网膜液体病变类型的得分，gmp(·)表示全局最大池化操作，f″i,j表示特征图f″∈rh×w×nl中第i种视网膜液体病变类型的第j个特征图；通过对特征图f′∈rh×w×nl进行类等级的跨通道平均池化操作得到每种病变等级的特征图f′i_avg，通过计算类注意力权重矩阵atttam，通过计算类注意力子模块输出的特征图ftam_out。

14、所述多尺度transformer模块将所述特征提取网络的各层的特征图依次输入下采样模块和3×3卷积层得到多个下采样图，并使用元素等级的求和操作将多个下采样图合并得到多尺度特征图fagg，将多尺度特征图fagg和所述注意力模块的输出的特征图fgl_out送入多头自注意力块；在多头自注意力块中采用多尺度特征图fagg作为查询分支的输入，利用特征图fgl_out作为键和值分支的输入，在特征图fgl_out的引导下，从多尺度特征图fagg中得到多尺度的非局部特征图fms_nl_em；将多尺度的非局部特征图fms_nl_em输入至transformer块中提取全局上下文信息，生成具有长距离交互的多尺度非局部特征。

15、所述多头自注意力块采用1×1卷积运算来计算查询q、键k和值v分支的权重，以将多尺度特征图fagg编码为q、将特征图fgl_out编码为k和v；利用可学习参数分别从水平方向和垂直方向对特征位置进行编码；计算查询q和键k之间的相似矩阵en，通过编码后的特征位置和查询q之间的矩阵乘法对查询q中的特征的水平和垂直方向的位置关系posr进行编码；通过对相似矩阵en和位置关系posr进行元素等级的求和与softmax运算，得到注意力图ms_att；对注意力图ms_att和相应的值v进行加权求和运算得到强全局语义多尺度非局部空间特征图fms_nl；通过特征图fgl_out和强全局语义多尺度非局部空间特征图fms_nl的元素等级的加权求和，计算出多尺度的非局部特征图fms_nl_em。

16、所述transformer块为包含8层的多头自注意力和多层感知机的tranformer编码器，所述tranformer编码器表达式为：其中，ln(·)表示层归一化操作，msa(·)表示多头自注意力操作，mlp(·)表示多层感知操作，zl为第l层的具有长距离交互的多尺度非局部特征。

17、所述特征融合网络对多尺度非局部特征进行上采样操作并与相同等级的编码器特征通过跳跃连接进行拼接，其中，所述编码器包括级联的上采样层、特征融合操作层和由两个卷积层构成的卷积模块。

18、有益效果

19、由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效果：本发明中的全局-局部注意力模块能够从位置、大小和形状变化较大的视网膜液体中挖掘更丰富的有判别性的特征细节，有效减少无用的噪声信息和数据分布不平衡带来的影响。本发明中的多尺度transformer模块可以探索来自特征提取网络不同层输出的具有长范围依赖关系的多尺度非局部特征表示。本发明借鉴cnn和transformer模块互补的优点，将全局-局部注意力模块和多尺度transformer模块相结合，充分利用全局-局部注意力模块提取的细粒度特征和多尺度transformer模块编码的具有长范围依赖关系的多尺度非局部特征表示，实现了更加精准的视网膜oct积液分割。