基于注意力机制和多层级特征融合的心脏图像分割方法与流程

本发明涉及图像分割，具体涉及一种基于注意力机制和多层级特征融合的心脏图像分割方法。

背景技术：

1、近年来，深度学习方法的兴起对心脏图像分割领域产生了深远的影响，使得心脏图像分割更准确、高效、自适应，降低了人工工作量，提供了任意方向的高分辨率、高对比度和高信噪比的图像。根据分割结果，我们可以有效地获取心肌质量和厚度、射血分数、心室容积等指标，因此，精确的分割显得尤为重要。然而，由于磁场强度不均匀，在成像过程中很容易产生伪影，导致界限模糊，并且心脏的解剖结构较复杂，因此精确分割是一个挑战。

2、随着深度学习的兴起和卷积神经网络的出现，快速、高精度和高可靠性成为图像分割的标准。其中，以u-net的出现最为重要，已成为图像分割的基础，u-net及其变体已被许多研究人员用于心脏mri分割。但目前仍存在需要进一步改进的地方，例如无法整合全局信息，同时下采样会丢失空间数据。这对于医学图像的分割尤为不利，因为医学图像分割通常需要广泛的上下文细节。

技术实现思路

1、本发明为了克服以上技术的不足，提供了一种将输入的全局信息融合起来，能有效地增强特征的鲁棒性和特征之间的局部连接的基于注意力机制和多层级特征融合的心脏图像分割方法。

2、本发明克服其技术问题所采用的技术方案是：

3、一种基于注意力机制和多层级特征融合的心脏图像分割方法，包括如下步骤：

4、a)获取心脏mri图像数据集x，x＝{x1,x2,...,xi,...,xn}，其中xi为第i张心脏mri图像，i∈{1,...,n}，n为心脏mri图像数量；

5、b)对心脏mri图像数据集x进行预处理操作，得到预处理后的数据集x′；

6、c)将预处理后的数据集x′划分为训练集、验证集、测试集；

7、d)将训练集中各个预处理后的心脏mri图像沿z轴进行切片，得到m个切片图像，第i个切片图像为fi，i∈{1,...,m}；

8、e)建立由编码器和解码器构成的分割网络模型；

9、f)将第i个切片图像fi输入到分割网络模型的编码器中，输出得到特征图a5-i；

10、g)将特征图a5-i输入到分割网络模型的解码器中，输出得到分割结果图像pi；

11、h)训练分割网络模型，得到优化后的分割网络模型；

12、i)将测试集中各个预处理后的心脏mri图像沿z轴进行切片，得到q个切片图像，第i个切片图像为fi′，i∈{1,...,q}；

13、j)将第i个切片图像fi′输入到优化后的分割网络模型中，输出得到分割结果图像pi′。

14、优选的，步骤a)中从自动心脏诊断挑战公开数据automated cardiac diagnosischallenge中获取n个心脏mri图像。

15、进一步的，步骤b)包括如下步骤：

16、b-1)利用numpy库中的getarrayfromimage()函数将第i张心脏mri图像xi转化为numpy数组，将转化为numpy数组的i张心脏mri图像xi沿z轴方向切为o个2d切片；

17、b-2)将每个2d切片进行重采样，得到o个像素间距为(1.5,1.5)的新2d图像，将每个新2d图像进行中心剪裁，得到o个大小为384×384的剪裁后的2d图像，将各个剪裁后的2d图像堆叠起来，恢复形成3d图像numpy数组，利用numpy库中的getarrayfromarray()函数将3d图像numpy数组转化为心脏mri图像

18、b-3)将心脏mri图像以0.5的概率沿水平轴或垂直轴进行顺时针翻转90度或逆时针翻转90度，得到旋转后的图像，将旋转后的图像进行归一化操作，得到预处理后的第i张心脏mri图像x′i；

19、b-4)n个预处理后的心脏mri图像构成预处理后的数据集x′，x＝{x′1,x′2,...,x′i,...,x′n}。

20、优选的，步骤c)中将预处理后的数据集x′按7:1:2的比例划分为训练集、验证集、测试集。

21、优选的，步骤d)中m取值为1312。

22、进一步的，步骤f)包括如下步骤：

23、f-1)分割网络模型的编码器由第一密集级联模块、第一最大池化层、第二密集级联模块、第二最大池化层、第三密集级联模块、第三最大池化层、第四密集级联模块、第四最大池化层、位置自注意力模块构成；

24、f-2)编码器的第一密集级联模块依次由第一卷积层、第二卷积层、第三卷积层、第四卷积层构成，将第i个切片图像fi输入到第一密集级联模块中，输出得到特征图a1-i；

25、f-3)将特征图a1-i输入到编码器的第一最大池化层中，输出得到特征图a′1-i；

26、f-4)编码器的第二密集级联模块依次由第一卷积层、第二卷积层、第三卷积层、第四卷积层构成，将特征图a′1-i输入到第二密集级联模块中，输出得到特征图a2-i；

27、f-5)将特征图a2-i输入到编码器的第二最大池化层中，输出得到特征图a′2-i；

28、f-6)编码器的第三密集级联模块依次由第一卷积层、第二卷积层、第三卷积层、第四卷积层构成，将特征图a′2-i输入到第三密集级联模块中，输出得到特征图a3-i；

29、f-7)将特征图a3-i输入到编码器的第三最大池化层中，输出得到特征图a′3-i；

30、f-8)编码器的第四密集级联模块依次由第一卷积层、第二卷积层、第三卷积层、第四卷积层构成，将特征图a′3-i输入到第四密集级联模块中，输出得到特征图a4-i；

31、f-9)将特征图a4-i输入到编码器的第四最大池化层中，输出得到特征图a4′-i；f-10)编码器的位置自注意力模块由第一卷积层、第二卷积层、第三卷积层、第一双线性插值层、第二双线性插值层、第三双线性插值层、softmax层、第四双线性插值层、第四卷积层构成，将特征图a4′-i依次输入到第一卷积层中，输出得到特征图将特征图输入到一双线性插值层中进行双线性插值，得到特征图q，将特征图a4′-i依次输入到第二卷积层中，输出得到特征图将特征图输入到第二双线性插值层中进行双线性插值，得到特征图k，将特征图a4′-i依次输入到第三卷积层中，输出得到特征图将特征图输入到第三双线性插值层中进行双线性插值，得到特征图v，将特征图q与特征图k相乘后输入到softmax层中，输出得到特征图qk，将特征图qk与特征图v相乘后得到特征图att，将特征图att输入到第四双线性插值层中进行双线性插值后输入到第四卷积层中，得到特征图a5-i。

32、优选的，步骤f-2)中第一密集级联模块的第一卷积层的卷积核大小为3×3、扩张率为1，第二卷积层的卷积核大小为3×3、扩张率为3，第三卷积层的卷积核大小为3×3、扩张率为5，第四卷积层的卷积核大小为3×3、扩张率为1；步骤f-3)中第一最大池化层的步幅为2、池化核大小为2×2；步骤f-4)中第二密集级联模块的第一卷积层的卷积核大小为3×3、扩张率为1，第二卷积层的卷积核大小为3×3、扩张率为3，第三卷积层的卷积核大小为3×3、扩张率为5，第四卷积层的卷积核大小为3×3、扩张率为1；步骤f-5)中第一最大池化层的步幅为2、池化核大小为2×2；步骤f-6)中第三密集级联模块的第一卷积层的卷积核大小为3×3、扩张率为1，第二卷积层的卷积核大小为3×3、扩张率为3，第三卷积层的卷积核大小为3×3、扩张率为5，第四卷积层的卷积核大小为3×3、扩张率为1；步骤f-7)中第一最大池化层的步幅为2、池化核大小为2×2；骤f-8)中第四密集级联模块的第一卷积层的卷积核大小为3×3、扩张率为1，第二卷积层的卷积核大小为3×3、扩张率为3，第三卷积层的卷积核大小为3×3、扩张率为5，第四卷积层的卷积核大小为3×3、扩张率为1；步骤f-9)中第四最大池化层的步幅为2、池化核大小为2×2；步骤f-10)中位置自注意力模块的第一卷积层、第二卷积层、第三卷积层、第四卷积层的卷积核大小均为1×1。

33、进一步的，步骤g)包括如下步骤：

34、g-1)分割网络模型的解码器由第一双卷积模块、第二双卷积模块、第三双卷积模块、第四双卷积模块、第一双通道注意力模块、第二双通道注意力模块、第三双通道注意力模块、第四双通道注意力模块、第一上采样层、第二上采样层、第三上采样层、第四上采样层、第五上采样层、多层级门控融合模块构成；g-2)将特征图a5-i输入到解码器的第五上采样层中，输出得到特征图c5-i；g-3)解码器的第四双通道注意力模块由全局平均池化层、第一卷积层、第一relu层、第二卷积层、第一sigmoid层、全局最大池化层、第三卷积层、第二relu层、第四卷积层、第二sigmoid层构成，将特征图a4′-i依次输入到第四双通道注意力模块的全局平均池化层、第一卷积层、第一relu层、第二卷积层、第一sigmoid层中，输出得到特征图ga，将特征图a4′-i依次输入到第四双通道注意力模块的全局最大池化层、第三卷积层、第二relu层、第四卷积层、第二sigmoid层中，输出得到特征图gm，将特征图ga和特征图gm相加后与特征图a4′-i逐元素相乘得到特征图a4″-i，将特征图c5-i输入到解码器的第五上采样层中，输出得到特征图c5′-i，将特征图a4″-i与特征图c5′-i拼接操作，得到特征图d4-i；g-4)解码器的第四双卷积模块依次由第一卷积层、第一bn层、第一relu层、第二卷积层、第二bn层、第二relu层构成，将特征图d4-i输入到第四双卷积模块中，输出得到特征图c4-i；

35、g-5)解码器的第三双通道注意力模块由全局平均池化层、第一卷积层、第一relu层、第二卷积层、第一sigmoid层、全局最大池化层、第三卷积层、第二relu层、第四卷积层、第二sigmoid层构成，将特征图a3′-i依次输入到第三双通道注意力模块的全局平均池化层、第一卷积层、第一relu层、第二卷积层、第一sigmoid层中，输出得到特征图ga′，将特征图a3′-i依次输入到第三双通道注意力模块的全局最大池化层、第三卷积层、第二relu层、第四卷积层、第二sigmoid层中，输出得到特征图gm′，将特征图ga′和特征图gm′相加后与特征图a3′-i逐元素相乘得到特征图a3″-i，将特征图c4-i输入到解码器的第四上采样层中，输出得到特征图c4′-i，将特征图a3″-i与特征图c4′-i拼接操作，得到特征图d3-i；

36、g-6)解码器的第三双卷积模块依次由第一卷积层、第一bn层、第一relu层、第二卷积层、第二bn层、第二relu层构成，将特征图d3-i输入到第三双卷积模块中，输出得到特征图c3-i；

37、g-7)解码器的第二双通道注意力模块由全局平均池化层、第一卷积层、第一relu层、第二卷积层、第一sigmoid层、全局最大池化层、第三卷积层、第二relu层、第四卷积层、第二sigmoid层构成，将特征图a2′-i依次输入到第二双通道注意力模块的全局平均池化层、第一卷积层、第一relu层、第二卷积层、第一sigmoid层中，输出得到特征图ga″，将特征图a2′-i依次输入到第二双通道注意力模块的全局最大池化层、第三卷积层、第二relu层、第四卷积层、第二sigmoid层中，输出得到特征图gm″，将特征图ga″和特征图gm″相加后与特征图a2′-i逐元素相乘得到特征图a2″-i，将特征图c3-i输入到解码器的第三上采样层中，输出得到特征图c3′-i，将特征图a2″-i与特征图c3′-i拼接操作，得到特征图d2-i；

38、g-8)解码器的第二双卷积模块依次由第一卷积层、第一bn层、第一relu层、第二卷积层、第二bn层、第二relu层构成，将特征图d2-i输入到第二双卷积模块中，输出得到特征图c2-i；

39、g-9)解码器的第一双通道注意力模块由全局平均池化层、第一卷积层、第一relu层、第二卷积层、第一sigmoid层、全局最大池化层、第三卷积层、第二relu层、第四卷积层、第二sigmoid层构成，将特征图a1′-i依次输入到第一双通道注意力模块的全局平均池化层、第一卷积层、第一relu层、第二卷积层、第一sigmoid层中，输出得到特征图ga″′，将特征图a′1-i依次输入到第二双通道注意力模块的全局最大池化层、第三卷积层、第二relu层、第四卷积层、第二sigmoid层中，输出得到特征图gm″′，将特征图ga″′和特征图gm″′相加后与特征图a′1-i逐元素相乘得到特征图a″1-i，将特征图c2-i输入到解码器的第二上采样层中，输出得到特征图c′2-i，将特征图a″1-i与特征图c′2-i拼接操作，得到特征图d1-i；

40、g-10)解码器的第一双卷积模块依次由第一卷积层、第一bn层、第一relu层、第二卷积层、第二bn层、第二relu层构成，将特征图d1-i输入到第一双卷积模块中，输出得到特征图c1-i；

41、g-11)解码器的多层级门控融合模块由第一上采样层、第二上采样层、第三上采样层、第一卷积层、sigmoid层、第二卷积层构成，将特征图c2-i输入到第一上采样层中，输出得到特征图c2-i″，将特征图c3-i输入到第二上采样层中，输出得到特征图c3-i″，特征图c4-i输入到第三上采样层中，输出得到特征图c4-i″，将特征图c2-i″、特征图c3-i″、特征图c4-i″拼接操作后依次输入到第一卷积层、sigmoid层中，输出得到权重矩阵g，将权重矩阵g进行奇异值分解，得到左奇异向量矩阵w1、对角线矩阵w2、右奇异向量矩阵w3，将特征图c2-i与左奇异向量矩阵w1相乘后得到特征图w1′，将特征图c3-i与对角线矩阵w2相乘后得到特征图w2′，将特征图c4-i与右奇异向量矩阵w3相乘后得到特征图w3′，将特征图w1′、特征图w2′、特征图w3′拼接后输入到第二卷积层中，输出得到特征图z；

42、g-12)将特征图c1-i输入到第一上采样层中，输出得到特征图c1-i′，将特征图c1-i′与特征图z相加后输入到卷积核大小为1×1的卷积层中，输出得到分割结果图像pi。

43、优选的，步骤g-3)中第四双通道注意力模块的第一卷积层、第二卷积层、第三卷积层、第四卷积层的卷积核大小均为1×1、步长均为1、填充均为1；步骤g-4)中第四双卷积模块的第一卷积层、第二卷积层的卷积核大小均为3×3、步长均为1、填充均为1；步骤g-5)中第三双通道注意力模块的第一卷积层、第二卷积层、第三卷积层、第四卷积层的卷积核大小均为1×1、步长均为1、填充均为1；步骤g-6)中第三双卷积模块的第一卷积层、第二卷积层的卷积核大小均为3×3、步长均为1、填充均为1；步骤g-7)中第二双通道注意力模块的第一卷积层、第二卷积层、第三卷积层、第四卷积层的卷积核大小均为1×1、步长均为1、填充均为1；步骤g-8)中第二双卷积模块的第一卷积层、第二卷积层的卷积核大小均为3×3、步长均为1、填充均为1；步骤g-9)中第一双通道注意力模块的第一卷积层、第二卷积层、第三卷积层、第四卷积层的卷积核大小均为1×1、步长均为1、填充均为1；步骤g-10)中第一双卷积模块的第一卷积层、第二卷积层的卷积核大小均为3×3、步长均为1、填充均为1。

44、进一步的，步骤h)包括如下步骤：

45、h-1)通过公式ltotal＝αlcrossentorpy+(1-α)ldice计算得到总损失ltotal，式中lcrossentorpy为交叉熵损失函数，ldice为dice损失函数，α为权重；

46、h-2)使用adam优化器，采用总损失ltotal训练训练分割网络模型，得到优化后的分割网络模型，训练时batch size设置为10，最大epoch设置为200，学习率lr为0.01，α设置为0.05。

47、本发明的有益效果是：

48、(1)采用解码器-编码器模式的对称结构。改进了网络模型中的卷积模块，提出了密集级联模块。引入位置自注意力机制，替代模型结构中的底部结构，并在跳跃连接过程中加入双路径通道注意力模块。在解码器部分加入了多层级门控融合模块，来融合不同阶段的特征。

49、(2)编码器由四个密集级联模块组成，其中扩张率为1、3和5的空洞卷积层以密集方式级联，将模块的原始输入与特征提取后的输出结合起来，扩大感受野，增强图像特征信息的传递。

50、(3)通道注意力模块对通道之间的特征图进行加权并选择有用的特征图。在模型底部结构中的位置自注意力模块，将输入的全局信息融合起来，能有效地增强特征的鲁棒性和特征之间的局部连接，以实现更好的预测。

51、(4)多层级门控融合模块可以自动学习调整每个层级的特征映射的贡献，通过动态学习得到的加权映射会控制每个层级特征信息的比例，然后融合每个层级的特征。