基于多尺度信息融合和注意力的威利斯环血管提取方法

本发明涉及计算机视觉与医学图像处理，尤其涉及一种基于多尺度信息融合和注意力的血管提取方法，用于提取威利斯环。

背景技术：

1、在医学图像处理领域，对血管段的分析是于医学诊断、治疗计划和执行以及临床结果的评估都起着至关重要的作用。自动或者半自动的血管提取可以对临床医师起到巨大帮助。近年来，对脑部的血管提取引起了越来越多的关注，威利斯环（willis环）是一组位于颅底的动脉血管环状结构。它位于大脑供血动脉的分叉和交叉处，是颅内最重要的侧支循环途径，因此也被称为大脑动脉环。willis环将两侧半球和前、后循环联系起来，当构成此环的某一动脉血液减少或被阻断时，通过环调节，血液重新分配，以减少缺血部分，维持脑的营养和机能活动。研究发现常见的脑血管疾病中风就是动脉血管闭塞或变窄甚至缺失引起的，导致动脉血管供血不足，进而引发脑卒中等广泛但毁灭性的疾病。

2、威利斯环血管相当复杂，通过现代的3d成像设备（如ct血管造影（cta）和磁共振血管造影（mra））生成的数据，如果想手动的在复杂的颅内血管完整的提取出willis环是一项非常艰难的任务，在这种情况下，如何通过自动或者半自动的图像处理技术从质量差、复杂度高的颅内血管影像中提取出连续且完整的willis环血管结构，是一个重大的挑战。

3、因此，本发明提出了一种结合多尺度信息融合和注意力机制的提取方法来提取willis环。

技术实现思路

1、为了实现上述目的，本发明目提供了一种结合多尺度信息融合和注意力机制的提取方法，通过本方法可以提取willis环血管。

2、本发明解决技术问题的技术方案为：

3、一种基于多尺度信息融合和注意力机制的willis环血管提取方法，包括如下步骤：

4、s1.选用公开的数据集oasis-3中的图像数据作为数据集，将数据集记作；

5、s2.通过ahe算法对数据集中的图像数据进行裁剪、翻转、旋转和缩放操作来增强图像数据，得到增强后的数据集d，将增强后的数据集d按照比例划分为训练集和测试集；

6、s3.构建网络结构，将训练集中的图像数据输入到网络结构中进行训练，输出得到血管提取结果图；

7、s4.对输入网络结构中的图像数据首先进行归一化处理，然后通过组合损失函数和优化器对网络结构进行优化；

8、s5.通过损失函数计算出损失值，然后使用反向传播计算损失函数对网络的梯度，优化器通过利用梯度的均值和方差的移动平均值计算自适应学习率，来对网络结构进行更新和优化，并保存训练过程得到参数；

9、s6.将步骤s5中保存的参数加载入网络结构中对网络结构进行优化，将测试集数据载入优化后的网络结构中完成血管提取，并将结果保存。

10、步骤s3中的网络结构由编码器、中间结构层、多注意力特征增强和解码器模块、多尺度融合四个部分构成，具体如下：

11、s3.1 编码器作为特征提取部分，编码器由第一特征提取单元、第一下采样层、第二特征提取单元、第二下采样层、第三特征提取单元、第三下采样层、第四特征提取单元、第四下采样层构成，其中特征提取单元由两个卷积块和一个残差连接块组成，每个卷积块由一个[3×3×3]的卷积层、bn归一化层、relu激活函数组成，编码器中特征提取单元的计算公式为：

12、，

13、其中表示卷积核大小为[3×3×3]，步幅为1，填充为1的卷积操作，表示bn归一化、relu激活函数连续操作，下采样层的池化窗口设置为2，表示第i层的输入特征图，表示第i层的输出特征图；

14、编码器部分的具体过程为：

15、将训练集中的第个图像数据输入到第一特征提取单元，输出得到特征图；

16、将特征图输入到第一下采样层，输出得到特征图；

17、将特征图输入到第二特征提取单元，输出得到特征图；

18、将特征图输入到第二下采样层，输出得到特征图；

19、将特征图输入到第三特征提取单元，输出得到特征图；

20、将特征图输入到第三下采样层，输出得到特征图；

21、将特征图输入到第四特征提取单元，输出得到特征图；

22、将特征图输入到第四下采样层，输出得到特征图。

23、s3.2中间结构层由特征提取单元和多尺度特征增强模块agfe构成，其中特征提取单元由一个[3×3×3]的卷积层、bn归一化层、relu激活函数组成；

24、中间结构层中特征提取单元的计算公式为：，其中表示卷积核大小为[3×3×3]，步幅为1，填充为1的卷积操作，表示bn归一化、relu激活函数连续操作；

25、agfe模块由多尺度特征提取模块、特征融合模块、特征增强模块和残差链接模块构成，其中多尺度特征提取模块由第一膨胀卷积块、第二膨胀卷积块、第三膨胀卷积块、第四膨胀卷积块构成，特征增强模块由第一特征增强层、第二特征增强层、第三特征增强层构成；

26、中间结构层的具体过程为：

27、将特征图输入到第一卷积单元，输出得到特征图；

28、将特征图平均划分为四个特征组，，使得每个特征组的特征尺寸与特征图的尺寸相同，通道数为特征图通道数的四分之一，将四个特征组，输入到多尺度特征提取模块，通过多尺度特征提取模块提取不同图像之间的尺度变化的特征信息，具体过程为：

29、将特征组输入到第一膨胀卷积块，输出得到特征组；将特征组输入到第二膨胀卷积块，输出得到特征组；将特征组输入到第三膨胀卷积块，输出得到特征组；将特征组输入到第四膨胀卷积块，输出得到特征组，计算公式为：

30、，

31、，

32、，

33、，

34、其中，表示卷积核大小为[3×3×3]，膨胀率为1的卷积操作，表示卷积核大小为[3×3×3]，膨胀率为2的卷积操作，表示卷积核大小为[3×3×3]，膨胀率为3的卷积操作，其中表示卷积核大小为[3×3×3]，膨胀率为5的卷积操作，表示sigmoid激活函数操作，表示乘积操作;

35、然后将特征组，输入至特征融合层，输出得到特征图，特征图的图像尺寸大小和通道数与特征图相同，计算公式为：

36、，

37、其中，表示特征融合操作；

38、再将特征图输入到特征增强模块的三个特征增强块中来提取三个维度的有用特征，具体过程为：将特征图输入到第一特征增强块中，输出得到特征图；将特征图输入到第二特征增强块中，输出得到特征图；将特征图和特征图进行乘积操作，并经过sigmoid激活函数得到；将特征图输入到第三特征增强块中，输出得到特征图；将特征图和特征图进行乘积操作得到特征图；将特征图和步特征图输入到残差链接模块，输出得到特征图f，计算公式为：

39、，

40、，

41、，

42、，

43、，

44、其中，表示第一特征增强块中卷积核大小为[1×3×1]的卷积操作，表示第二特征增强块中卷积核大小为[3×1×1]的卷积操作，表示第三特征增强块中卷积核大小为[1×1×3]的卷积操作，表示sigmoid函数，表示乘积操作。

45、s3.3多注意力特征增强和解码器模块由第一mafe模块、第一解码器模块、第二mafe模块、第二解码器模块、第三mafe模块、第三解码器模块、第四mafe模块、第四解码器模块依次构成，多注意力特征增强层模块mafe由上采样层、特征融合层、全局最大池化层、全局平均池化层、sigmoid激活函数、se bloack、卷积层、残差连接层构成，计算公式为：

46、，

47、，

48、，

49、其中，表示第i层输入的特征图，表示第i+1层输入的特征图，表示特征融合操作，表示卷积核大小为[1×1×1]的卷积操作，se表示se block，表示sigmoid激活函数，表示全局最大池化操作，表示全局平均池化操作；

50、解码器模块均由两个卷积块和一个残差连接块构成，计算公式为：

51、，

52、其中，表示卷积核大小为[3×3×3]，步幅为1，填充为1的卷积操作，表示bn归一化、relu激活函数连续操作；

53、多注意力特征增强和解码器模块具体过程如下：

54、将特征图f和特征图输入到第一mafe模块中，输出得到特征图；

55、将特征图输入到第一解码器模块，输出得到特征图；

56、将特征图和特征图输入到第二mafe模块中，输出得到特征图；

57、将特征图输入到第二解码器模块，输出得到特征图；

58、将特征图和特征图输入到第三mafe模块中，输出得到特征图；

59、将特征图输入到第三解码器模块，输出得到特征图；

60、将特征图和特征图输入到第四mafe模块中，输出得到特征图；

61、将特征图输入到第四解码器模块，输出得到特征图。

62、s3.4多尺度融合部分由第一多尺度融合层、第二多尺度融合层、第三多尺度融合层、第四多尺度融合层依次构成，通过多尺度融合部分将小尺度特征图的高级语义信息转移到大尺度特征图，进而自适应的融合大小尺度的特征，细化提取结果，具体过程为：

63、（1）第一多尺度融合层包含一个卷积块和上采样层，将特征图输入到第一多尺度融合层，输出得到特征图，计算公式为：

64、，

65、其中表示卷积核大小为[3×3×3]的卷积操作；

66、然后将特征图输入到上采样层得到特征图；

67、（2）第二多尺度融合层包含两个卷积块、一个特征融合层、sigmoid激活函数、上采样层，将特征图和特征图输入到第二多尺度融合层，输出得到特征图，计算公式为：

68、，

69、其中，表示卷积核大小为[1×1×1]的卷积操作，表示卷积核大小为[3×3×3]的卷积操作，表示sigmoid激活函数，ct表示特征融合操作，表示乘积操作；

70、然后将特征图输入到上采样层得到特征图；

71、第三多尺度融合层包含两个卷积块、一个特征融合层、sigmoid激活函数、上采样层，将特征图和特征图输入到第三多尺度融合层，输出得到特征图，计算公式为：

72、，

73、其中，表示卷积核大小为[1×1×1]的卷积操作，表示卷积核大小为[3×3×3]的卷积操作，表示sigmoid激活函数，ct表示特征融合操作，表示乘积操作；

74、然后将特征图输入到上采样层得到特征图；

75、（4）第四多尺度融合层包含两个卷积块、一个特征融合层、sigmoid激活函数，将特征图和特征图输入到第四多尺度融合层，输出得到特征图，计算公式为：

76、，

77、其中，表示卷积核大小为[1×1×1]的卷积操作，表示卷积核大小为[3×3×3]的卷积操作，表示sigmoid激活函数，ct表示特征融合操作，表示乘积操作。

78、步骤s4具体如下：

79、将增强后的数据集d中的数据图像进行归一化处理使得图像特征的数值范围相近，加快网络结构训练的收敛速度，并将均值设置为0，方差设置为1，然后将归一化处理后的数据输入至网络结构，并通过组合损失函数和优化器对网络结构进行优化；

80、网络结构的试验过程所用的损失函数为：

81、，

82、其中，l表示总损失函数，表示二值化dice损失，表示交叉熵损失，和分别表示用于调整两种损失贡献的权重系数；

83、公式为：

84、，

85、公式为：

86、，

87、其中，表示偏差，n表示样本总数，表示第n个样本的预测概率，表示第n个样本的真实标签；

88、通过使用组合损失函数l来优化对需要提取的willis环血管的预测。

89、步骤s5具体如下：

90、使用adamw作为优化器，在网络训练的过程中，通过损失函数l衡量网络结构预测结果与真实标签之间的差异，实现通过调整网络结构的参数来最小化损失值；

91、网络结构通过损失函数l计算出损失值，然后使用反向传播计算损失函数对每个网络结构参数的梯度，从网络的输出层开始，通过链式法则向输入层逐层传播，最终得到损失函数关于每个参数的梯度；

92、adamw优化器通过利用梯度的均值和方差的移动平均值计算每个参数的自适应学习率，然后adamw使用这些学习率和计算得到的梯度来对网络结构的参数进行更新；

93、不断重复计算梯度和更新参数的过程，使得损失函数值逐渐减小，达到设置的阈值后停止，完成对网络结构进行更新和优化，并保存训练过程中的最优的参数，adamw参数更新公式为：

94、 ，

95、 ，

96、 ，

97、 ，

98、 ，

99、 ，

100、其中，t表示时间步，表示时刻的梯度,表示时刻所有参数的权重值，表示学习率衰减策略得到的学习率，均为常数，分别为的t次方，表示时间步t的梯度，表示梯度的一阶矩估计，表示二阶矩估计，表示一阶矩估计偏差修正，表示二阶矩估计偏差修正，并将上述参数进行保存。

101、
技术实现要素：
中提供的效果仅仅是实施例的效果，而不是发明所有的全部效果，上述技术方案具有如下优点或有益效果：

102、本发明旨在从质量差、复杂度高的颅内血管影像中提取出连续且完整的willis环血管结构，本发明采用了深度学习的方法设计了网络结构，该网络包含编码器部分，中间结构层，多注意力特征增强和解码器部分，多尺度融合部分，其中agfe模块和多尺度融合模块可以聚合更多尺度的特征信息来有效提高性能，mafe模块融合了多个注意力将来自解码器的高级特征和来自编码器的低级特征进行特征融合，通过结合多注意力和多尺度融合这些方法，使该网络可以更好的关注不同尺度和维度上的特征信息，可以更好地融合特征信息，更好地融合上下文特征。相比于传统网络，本发明的网络可以自动化地更好地处理复杂的图像，更好的利用各个维度信息，从质量差、复杂度高的颅内血管影像中提取出连续且完整的willis环血管结构。