一种空间重建特征交互Transformer视网膜血管分割方法

本发明涉及视网膜血管分割方法，具体地说，涉及一种空间重建特征交互transformer视网膜血管分割方法。

背景技术：

1、视网膜中微小血管的形态结构对于眼科疾病的诊断与治疗至关重要，视网膜静脉阻塞、视网膜动脉硬化等疾病可能导致血管狭窄、扭曲或出血，这些变化均可以通过检查微小血管来评估，因此视网膜血管分割是眼底图像分析的重要步骤，但视网膜血管分割任务面临光照不均匀和血管交织状分布等问题，人工分割视网膜血管耗时费力，医生之间的分割结果往往不尽相同；因此迫切需要一种快速精确的视网膜血管分割算法，为临床眼科医生对疾病的诊断和治疗提供帮助。

2、最新文献“resdo-unet:a，deep，residual，network，for，accurate，retinal，vessel，segmentation，from，fundus，images(liu，y，shen，j，yang，l，et，al.，resdo-unet，a，deep，residual，network，for，accurate，retinal，vessel，segmentation，from，fundus，images[j]，biomedical，signal，processing，and，control，2023，79，104087)”记载的分割准确率和灵敏度分别在95.61％和79.85％，而在医学图像处理技术中，视网膜血管分割结果准确率即使提升0.1％都需要在算法复杂度与分割性能之间做出优异的权衡，往往高精度代表着算法的高复杂度，达不到实时辅助专家医疗的水平。

技术实现思路

1、针对现有技术的不足，本发明的目的在于提供一种空间重建特征交互transformer视网膜血管分割方法，解决了现有视网膜血管图像提取算法存在微细血管提取率低、血管交叉处分割断裂、病变处血管断裂、病灶信息误分割为血管的问题。

2、本为实现上述目的，本发明提供如下技术方案，一种空间重建特征交互transformer视网膜血管分割方法，包括以下步骤：

3、步骤1，视网膜血管图像预处理；

4、步骤2，构建视网膜血管分割模型；

5、所述步骤1视网膜血管图像预处理包括以下三个子步骤：

6、步骤1.1，考虑到视网膜图像单一颜色通道会丢失部分颜色特征的现象，故采用rgb三通道的线性组合转换成单个强度通道，其定义如下：

7、ipre＝a1ig+a2ir+a3ib   (1)

8、式(1)中，ipre表示三通道转换为单个通道图像；ig,ir,ib分别为绿色、红色以及蓝色通道图像；a1,a2,a3分别为绿色、红色以及蓝色通道图像的比例权重；给予蓝绿红通道相同权重以实现图像灰度化，降低计算冗余，突出视网膜血管区域，最终得到视网膜图像ipre；

9、步骤1.2，首先将视网膜图像ipre归一化处理，即

10、

11、式(2)中，μ和σ分别为数据的平均值与标准差，xp为归一化后图像，目的是将图像强制缩放到0到1之间；归一化操作可以减少噪声对模型的影响，增加模型稳定性，其次利用限制对比度直方图均衡化将图像分块进行对比度限幅，提升整体血管的对比度；

12、步骤1.3，用局部自适应gamma矫正图像伪影提升图像整体亮度，突出血管像素部分，并且降低clahe之后图像黄斑像素过分突出的现象。

13、进一步方案，所述步骤2构建视网膜血管分割模型包括编码、解码、编解码底部和视网膜血管分割四部分：

14、步骤2.1编码部分：

15、编码部分将u-net模型及空间重建单元的优点充分结合，为了减少细粒度对象中的特征空间冗余信息及网络整体计算量，同时保证网络精度；将空间重建单元(sru)引入并置于编码部分，sru基于权重分离冗余特征并对其进行重构，以抑制空间维度冗余并增强特征表示；而u-net的编码部分首先使用卷积层和池化操作，有助于从输入图像中提取具有不同抽象级别的特征，使模型能够捕捉到局部和全局的上下文信息，有利于理解图像的整体结构，且卷积层均利用线性修正单元relu激活函数进行特征提取；线性修正单元relu能有效地减少反向传播过程的梯度消失，降低网络计算复杂度，使得训练数据获得一定的稀疏性；线性修正单元relu激活函数定义如下：

16、relu(xl)＝max(xl,0)   (3)

17、式(3)中，当xl＜0时数据出现硬饱和状态，当xl＞0时导数值恒为1；批量归一化bn放在网络中间可以不断地对中间输出进行优化调整，用来降低模型训练中的协变转移，防止因视网膜图像存在病理性噪音造成梯度消失，并且具有较好地保持原有模型的表达能力；其次编码器采用逐层降采样(downsampling)的结构，通过堆叠卷积和池化操作，逐渐减小特征图的空间分辨率，此结构形成了特征金字塔，包含了不同层次的抽象特征，使模型能够同时处理图像的细节和整体特征；最后卷积操作中的参数共享特性使得模型能够学习到图像的局部模式，而池化操作则有助于减少总体参数量；使模型降低了过拟合的风险，同时提高了训练和推理效率。

18、进一步方案，所述步骤2.2解码部分血管特征利用率对分割结果至关重要，仅采用直连方式整合上采样层和编码器输入特征以恢复特征图尺寸与细节信息容易丢失底层特征，为更好地提升同分辨率特征以及图中语义及空间信息利用率，在解码部分设计主干特征聚合模块(tfa)；首先编码部分通过堆叠卷积和池化层来提取图像的高级抽象特征，但在解码器中，需要整合这些特征以捕获更广泛的上下文信息；tfa能够有效地整合来自编码器的上层特征，以帮助模型理解图像的整体结构；其次解码器中的特征图包含有关图像细节的信息，但由于空间分辨率的减小，会损失一些微细血管细节信息，tfa有助于在保留上层上下文信息的同时，将细节信息有效地传递到解码器，以增强分割模型对视网膜图像细节的感知；最后神经网络随着层数的增加，信息会逐渐丢失，tfa有助于减少视网膜语义信息在网络中传播过程中的丢失问题，提高模型对输入信息的保持和利用效率。

19、进一步方案，所述步骤2.3编解码底部部分transformer模型在视网膜血管分割任务中具有一些潜在的优点，最初使用于自然语言处理任务，传统的卷积神经网络(cnn)在处理长距离依赖关系时可能受到限制，而transformer模型通过自注意力机制可以更好地建模图像中像素之间的长距离关系，有助于更好地理解血管的拓扑结构；在视网膜分割任务中，如果没有transformer对长信息建模的帮助，增强的局部特征不足以学习输入的全局表示，且单纯使用编解码结构不能有效地传递血管特征信息；故引入lgfi模块并设计mhsa模块融合构建为特征交互transformer模块，将fit嵌入编解码底部，传递视网膜图像详细语义信息到解码端来显著减小血管误分割率。

20、进一步方案，所述步骤2.4视网膜血管分割部分，视网膜血管分割的整个训练过程通过交叉验证来最小化像素分割错误率，采用adam算法优化损失函数交叉验证定义如下：

21、

22、式(4)中，i表示分类个数，y为金标准，yi预测数据；最后由softmax激活函数得到血管分割二值图像。

23、进一步方案，具体实施为：

24、步骤1，视网膜血管图像预处理：

25、步骤1.1，采用rgb三通道的线性组合转换成单个强度通道ipre，其定义如下：

26、ipre＝a1ig+a2ir+a3ib   (5)

27、式(5)中，ig,ir,ib分别为绿色、红色以及蓝色通道图像；a1,a2,a3分别为绿色、红色以及蓝色通道图像的比例权重，其系数均相同以得到视网膜灰度图像；

28、步骤1.2，首先将步骤1.1中视网膜图像先进行标准化，以确保图像像素值分布接近标准正态分布；其次对视网膜图像进行对比度受限的自适应直方图均衡化，将控制对比度限制cliplimit设置为2.0，被分割为小块的图像尺寸设置为8×8，增强视网膜图像血管前景与非血管背景对比度；

29、步骤1.3，根据血管与背景的不同像素特征采用自适应局部gamma值匹配，gamma矫正指数设置为1，将视网膜图像分区域矫正光照不均匀等伪影信息，使得光照不均匀因素与中心线反射现象加以抑制，得到图像ir。

30、进一步方案，所述步骤2构建视网膜血管分割模型：

31、步骤2.1编码部分：定义视网膜图像i(x,y)的邻域像素位置为n(x,y)，目标是通过卷积神经网络根据血管像素信息提取特征，将邻域中n(x,y)的每一个像素准确地识别为血管和背景；采用64×64的滑动窗口，迭代t＝20次；

32、首先将归一化的图像xp经过空间重建编码，sru模块通过分离-重构方法抑制空间冗余，分离操作是将信息丰富的特征图与对应于空间内容的信息较少的特征图分离；首先通过组归一化(groupnormalization，gn)层中的比例因子来评估不同尺寸特征图的信息，具体为特征图减去平均值μ并除标准偏差σ来标准化输入特征x，其数学表达式为：

33、

34、式(6)中，γ和β为待学习参数；

35、其次将γ归一化后得到通道权重wγ，过程可表示为：

36、

37、再次将wγ与xout相乘，类似于se注意力模块中的通道注意力机制，输出经过sigmoid激活函数后将重新加权特征图的权重映射到范围(0，1)，并通过阈值进行门控，将阈值以上的权重设置为1以获得信息权重w1，阈值以下将其设置为0以获得非信息权重w2(经过多次实验对比后，最终将阈值设置为0.5)；最后将输入特征x分别与w1，w2相乘，得到信息丰富的特征与冗余信息特征获取w的过程可表示为：

38、w＝gate(sigmoid(wγ(gn(x))))   (8)

39、重构操作是将与进行交叉重构运算，将加权后的两个不同信息特征充分结合，加强两者之间信息流的同时减少空间冗余；重构操作可以用数学表示为：

40、

41、

42、

43、

44、

45、式(9)-(13)其中表示元素乘法，表示元素求和，∪表示级联。

46、进一步方案，所述步骤2.2解码部分：tfa首先将主干特征ti通过1×1卷积和sigmoid函数处理生成主干特征图，增强血管图像非线性能力；其次该主干特征图与原特征图进行逐元素相乘，以突出边界特征并抑制背景噪声，最后对xi和ti进行残差运算，以增强滤波后特征相干性，tfa整体流程可以表述为：

47、

48、式(14)中τ表示1×1卷积和batchnorm操作，σ表示sigmoid激活函数，θ表示1×1卷积、batchnorm和relu激活操作；

49、步骤2.3编解码底部部分：lgfi采用协方差注意力来计算沿特征通道的注意力，而非计算跨空间维度的注意力，与原始transformer中自注意力相比，显著降低了内存复杂度与时间复杂度；首先维度为c×h×w的输入特征图x被先行投影到相同维度的查询向量q＝xwq，被查询信息与其他信息相关性向量k＝xwk，被查询信息的向量v＝xwv，其中wq wk wv是权重矩阵；其次交叉协方差注意力用于增强输入x，增强过程用数学表示为：

50、

51、attention(q,k,v)＝v·softmax(qt·k)   (16)

52、最后通过1×1点卷积和gelu激活函数以及归一化操作来增加图像特征非线性能力，用数学表示为：

53、

54、式(17)中linear表示线性变换，ln表示归一化操作，μ表示1×1逐点卷积操作，gelu为激活函数；

55、多头自注意力层可以通过图像形状重塑，缩短远距离依赖特征间距，使网络更加全面的捕获视网膜图像特征信息，mhsa首先将输入尺寸为c×h×w的特征图重塑为c×n并得到查询矩阵q、键矩阵k、值矩阵v；其次进行归一化操作，使用softmax激活函数对q和k的乘积与注意力偏置项之和进行归一化操作得到注意力矩阵；再次计算注意力，注意力矩阵对值矩阵v的元素进行加权平均得出y，y中列值对应于注意力矩阵中加权特征图；最后形状恢复，将尺寸为c×n的输出恢复为c×h×w，其中自注意力计算公式为：

56、mhsa(q,k,v)＝v·softmax(qt·k+ε)   (18)

57、式(18)中ε表示位置编码的可学习注意偏差。

58、进一步方案，所述步骤2.4视网膜血管分割部分：视网膜血管分割的整个训练过程通过交叉验证来最小化像素分割错误率，采用adam算法优化损失函数其学习率为0.0005，其中交叉验证定义如下：

59、

60、式(19)中，i表示分类个数，y为金标准，预测数据；最后由softmax激活函数对血管图像精分割，得到的血管分割结果不需要进一步的后处理即可得到较精细血管图像，较少存在微小血管和相关病理信息误分割的现象。

61、本发明的有益效果是：能够有效地解决现有微细血管提取率低、血管误分割率高、空间冗余信息过多以及对图像噪声过于敏感、目标与背景灰度值交叉等问题；本发明在较低复杂度的情况下融合多种网络模型，在drive数据集上取得优异的分割结果，其准确率和灵敏度分别为97.07％和81.59％，比最新文献公布的视网膜分割结果准确率提升约1.46％，灵敏度提升约1.74％。