一种基于反向注意力网络的图像分割方法与流程

1.本发明属于医学图像处理领域，具体涉及一种基于反向注意网络的图像分割方法。


背景技术：

2.结直肠癌(crc)是世界上第三种最常见的癌症。因此，通过结直肠肿瘤前检查预防结直肠肿瘤已成为世界范围内的一项非常重要的健康检查。结肠镜检查可以提供结直肠息肉的位置和外观信息，使医生能够在结肠息肉发展为结直肠癌之前将其切除，是一种有效的结直肠癌筛查和预防技术。许多研究表明，早期结肠镜检查有助于降低30％的crc发病率。因此，在临床上，精确的息肉分割是非常重要的。然而，由于息肉通常在外观上有所不同，例如大小、颜色和质地，即使它们是同一类型的。
3.在现有结肠镜图像分割方法中，息肉与其周围黏膜之间的边界通常是模糊的，并且缺乏分割方法所需的强烈对比度。这些问题导致了息肉的不精确分割，有时甚至会导致息肉的漏检。因此，一种能够在早期发现所有可能的息肉的自动、准确的息肉分割方法对预防大肠癌具有重要意义。


技术实现要素：

4.为了解决现有技术的上述问题，本发明提供一种基于反向注意网络的图像分割方法，利用图像编码得到的高级特征输入到反向注意网络中使得图像分割的精度大幅提高。本发明的技术方案如下：
5.一种基于反向注意力网络的图像分割方法，包括以下步骤：
6.s1，获取图像数据集，构建训练集和测试集；
7.s2，构建反向注意力网络模型，其中反向注意力网络模型的处理过程具体为：
8.训练集图像经过多个卷积层逐层编码依次得到不同层次的输出特征层 f1、f2、f3、f4和f5，根据不同层次的输出特征f3、f4和f5并行拼接聚合后输入到解码器进行解码得到全局特征图像sg；
9.将全局特征图像sg进行一次下采样操作后，与输出特征f5输入到第一反向注意网络中进行处理，得到输出特征r5；第一反向注意网络处理的过程包括对全局特征图像sg进行感兴趣区域反转操作，并将反转后的图像与输出特征f5进行相乘，得到输出特征r5；将输出特征r5和全局特征图像sg进行融合得到反向注意特征s5；
10.将反向注意特征s5进行一次上采样操作后，与输出特征f4输入到第二反向注意网络中进行处理，得到输出特征r4；第二反向注意网络处理的过程包括对反向注意特征s5进行感兴趣区域反转操作，并将反转后的图像与输出特征f4进行相乘，得到输出特征r4；将输出特征r4和反向注意特征s5进行融合得到反向注意特征s4；
11.将反向注意特征s4进行一次上采样操作后，与输出特征f3输入到第三反向注意网络中进行处理，得到输出特征r3；第三反向注意网络处理的过程包括对反向注意特征s4进
行感兴趣区域反转操作，并将反转后的图像与输出特征f3进行相乘，得到输出特征r3；将输出特征r3和反向注意特征s4进行融合得到反向注意特征s3；
12.反向注意特征s3通过sigmoid函数激活后得到反向注意力网络模型的处理结果；
13.s3，将训练集输入反向注意力网络模型进行训练，获得训练好的反向注意力网络模型；
14.s4，将测试集输入训练好的反向注意力网络模型，获取图像分割结果。
15.进一步地，感兴趣区域为息肉区域。
16.本发明的有益效果在于：能够利用图像编码得到的高级特征输入到反向注意网络中使得图像分割的精度大幅提高。
附图说明
17.图1是本发明基于反向注意力网络的图像分割方法结构示意图；
18.图2是本发明基于反向注意力网络的图像分割方法的流程图；
19.图3是本发明反向注意力网络的结构示意图；
20.图4是本发明中感兴趣区域反转操作前的示意图；
21.图5是本发明中感兴趣区域反转操作后的示意图；
22.附图标记：ra1为第一反向注意网络、ra2为第二反向注意网络、ra3为第一反向注意网络。
具体实施方式
23.下面结合附图和实施例，对本发明技术方案作进一步描述：
24.本实施例中提供了一种基于反向注意网络的图像分割方法，如图2所示，包括：
25.步骤一，获取图像数据集，构建训练集和测试集。
26.在本申请实施例中，从标准数据集kvasir中获取图像数据集，并将获取的图像数据集中的80％的图像数据作为训练集，20％的图像数据作为测试集，并将输入调整为352
×
352。
27.步骤二，构建反向注意力网络模型，其中反向注意力网络模型的处理过程具体为：
28.反向注意力网络模型具体是首先粗略地定位息肉区域，然后根据局部特征准确地提取其轮廓模板。
29.在本实施例中如图1，在步骤1中得到的息肉训练集图像经过5个卷积层逐层编码依次得到不同层次的输出特征层f1、f2、f3、f4和f5，其中，f1 和f2为低级层次特征，f3、f4和f5为高级层次特征，根据不同层次的输出特征f3、f4和f5并行拼接聚合后输入到解码器进行解码得到全局特征图像sg；
30.在本申请实施例中具体通过公式(1)得到反向注意网络生成的输出特征：
31.r
i
＝f
i
×
a
i
ꢀꢀ
(1)
32.其中，i＝3,4,5，f
i
为高级层次特征f3、f4和f5，a
i
为反向注意权重。
33.具体的反向注意权重通过：
34.a
i
＝θ(σ(p(s
i+1
)))
ꢀꢀ
(2)
35.其中，θ表示矩阵e减去输入的逆运算，矩阵e的所有元素都是1，σ表示sigmoid函
数，p表示上采样操作，s表示反向注意特征。
36.具体的，在本实施例中，将全局特征图像sg进行一次下采样操作后，与输出特征f5输入到第一反向注意网络中进行处理，得到输出特征r5；第一反向注意网络处理的过程包括对全局特征图像sg进行感兴趣区域反转操作，如图4，原来息肉区域(白色区域)的注意为0.9，非息肉区域(黑色区域)的注意为0.1，在进行感兴趣区域反转操作之后，如图5，得到息肉区域(白色区域)的注意为0.1，非息肉区域(黑色区域)为0.9.并将反转后的图像与输出特征f5进行相乘，得到输出特征r5；将输出特征r5和全局特征图像sg 进行融合得到反向注意特征s5；
37.将反向注意特征s5进行一次上采样操作后，与输出特征f4输入到第二反向注意网络中进行处理，得到输出特征r4；第二反向注意网络处理的过程包括对反向注意特征s5进行感兴趣区域反转操作，并将反转后的图像与输出特征f4进行相乘，得到输出特征r4；将输出特征r4和反向注意特征s5进行融合得到反向注意特征s4；
38.将反向注意特征s4进行一次上采样操作后，与输出特征f3输入到第三反向注意网络中进行处理，得到输出特征r3；第三反向注意网络处理的过程包括对反向注意特征s4进行感兴趣区域反转操作，并将反转后的图像与输出特征f3进行相乘，得到输出特征r3；将输出特征r3和反向注意特征s4进行融合得到反向注意特征s3；
39.反向注意特征s3通过sigmoid函数激活后得到反向注意力网络模型的处理结果。
40.步骤三，将训练集输入反向注意力网络模型进行训练，获得训练好的反向注意力网络模型。
41.在本申请实施例中，损失函数具体为：
42.l
total
＝l
iou
+l
bce
ꢀꢀ
(3)
43.其中，l
iou
表示全局约束的加权损失，l
bce
表示局部加权二进制交叉熵损失。
[0044][0045]
其中，g表示真实的掩模，s
g
表示全局特征图像，s
i
表示反向注意特征。
[0046]
在本实施例中，在pytorch中实现模型，采用多尺度训练策略{0.75,1,1.25}，使用adam优化算法来优化总体参数，学习率为1e
‑
4，整个网络以端到端的方式进行训练，批量大小为16个。
[0047]
步骤四，将测试集输入训练好的反向注意力网络模型，获取图像分割结果。
[0048]
本申请基于反向注意网络的图像分割方法实现了非常高的精确度 (kvasir数据集上的平均骰子＝0.898)，无需任何预处理和后处理，使得图像分割的精度大幅提高。
[0049]
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。