一种基于注意力机制的食管鳞癌图像分割方法及系统

1.本发明属于图像处理技术领域，尤其涉及一种基于注意力机制的食管鳞癌图像分割方法及系统。


背景技术：

2.本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
3.食管鳞状细胞癌简称食管鳞癌，是一种发病率较高的癌症。自世界卫生组织明确提出了癌症的早发现、早诊断、早治疗的“三早”策略以来，癌症的筛查和早诊早治，已被公认为癌症防控最有效的途径。
4.临床研究表明电子计算机断层扫描(ct)是一种常用的筛查肿瘤的技术手段。医生通过ct发现患者的肿瘤区域并制定相应的治疗计划，由于食管鳞癌对射线敏感性较强，放射治疗通常作为首选治疗方案。不过食管鳞癌发病位置特殊，对于放射治疗的精准度要求高，因此对ct图像中肿瘤靶区的快速精准勾画非常重要。
5.以u-net为代表的全卷积神经网络最早用于医学图像的分割任务，但是在模型特征提取的过程中，神经网络通常会提取很多与分类目标不相关的特征，从而造成计算资源的浪费的同时降低计算效率。同时由于肿瘤区域只占ct图像的很小一块区域，这将进一步导致图像深度学习算法分割精度的降低。
6.同时，深度神经网络对于人们来说是一个黑箱，其内部的运行机制是未知的，我们只知道它识别图像的准确率很高，但是具体是怎么做到的，它究竟使用了什么特征来分辨图像，我们一无所知。


技术实现要素：

7.为了解决上述问题，本发明提供一种基于注意力机制的食管鳞癌分割方法及系统，引入通道注意力模块和空间注意力模块，提升重要特征抑制不重要特征，在提升分割精度的前提下，极大的提升了深度神经网络模型的泛化能力，同时通过可视化的方法解释深度神经网络在提取特征过程中所关注的图像区域，以此解释神经网络的内部运行机制。
8.为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：
9.本发明第一方面提供了一种基于注意力机制的食管鳞癌图像的分割方法，包括：
10.获取原始食管鳞癌ct影像序列；
11.对获取到的图像进行预处理；
12.搭建注意力网络模型，将预处理后的图像输入到模型中训练；
13.利用训练好的模型输出评价指标，获得食管鳞癌分割结果。
14.本发明第二方面提供了一种基于注意力机制的食管鳞癌图像的分割系统，包括：
15.数据获取模块，被配置为：获取原始食管鳞癌ct影像序列；
16.数据处理模块，被配置为：对获取到的图像进行预处理；
17.模型搭建模块，被配置为：搭建注意力网络模型；
18.模型训练模块，被配置为：将预处理后的图像输入到模型中训练；
19.结果输出模块，被配置为：利用训练好的模型输出评价指标，获得食管鳞癌分割结果。
20.本发明第三方面提供了计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本发明第一方面所述的基于注意力机制的食管鳞癌图像的分割方法中的步骤。
21.本发明第四方面提供了电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本发明第一方面所述的基于注意力机制的食管鳞癌图像的分割方法中的步骤。
22.以上一个或多个技术方案存在以下有益效果：
23.1、本发明通过获取ct影像序列，对所述图像通过解剖学知识进行粗分割预处理操作，一定程度上缓解了类别不平衡的问题，同时节约了计算资源提升计算效率，还提升了分割的精度。
24.2、本发明将预处理的图像输入到u-net模型中，通过将编码部分的特征与解码部分的特征进行跳跃连接，融合低层和高层的特征，补充解码过程中的细节，使得解码之后的信息更加的丰富。
25.3、本发明同时在跳跃连接中加入注意力模块，分别在通道域和空间域选择有利于语义表达的重要特征并聚焦于目标区域，提高模型的分割精度。
26.4、本发明采用分数-类激活映射方法(score-calss activation map)生成可视化热力图像来来区分深度神经网络在特征提取过程中所关注的区域以及经过注意力模块特征较准之后的区域，以此来解释深度神经网络的工作过程以及注意力模块的有效性。
27.本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
28.构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
29.图1是基于注意力机制的食管鳞癌图像分割方法的流程图；
30.图2是基于注意力机制的食管鳞癌图像分割方法通道注意力模块的流程图；
31.图3是基于注意力机制的食管鳞癌图像分割方法空间注意力模块的流程图。
具体实施方式
32.应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
33.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。
34.在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
35.实施例一
36.本实施例公开了一种基于注意力机制的食管鳞癌图像的分割方法。
37.如图1所示，本实施例提供的一种基于注意力机制的食管鳞癌图像的分割方法，包括以下步骤：
38.获取原始食管鳞癌ct影像序列；
39.对获取到的图像进行预处理；
40.搭建注意力网络模型，将预处理后的图像输入到模型中训练；
41.利用训练好的模型输出评价指标，获得食管鳞癌分割结果。
42.步骤1中，获取食管鳞癌的ct影像序列，将每个图像的大小调整为 512
×
512
×
3像素。
43.步骤2中，对步骤1获取的图像进行预处理操作，具体包括基于解剖学知识初步定位食管的大致区域和数据增强。
44.步骤2-1、在食管鳞癌位面图中，脊柱和食管大致处于同一竖直线上的，并且在一定的偏移范围内，同时食管是处于双肺之间的。因此，以脊柱水平上切线为x轴，双肺中间的竖直分界线为y轴，交点为原点o构成的十字形可以初步定位食管所在的大致区域，据此可以粗分割出食管区域。去除多余背景后的图像尺寸为101
×
101
×
3像素。
45.步骤2-2、对粗分割后的食管鳞癌图像进行数据增强，主要是采用几何变换的方式，包括旋转和翻转。
46.步骤3、利用预处理得到的训练集训练卷积神经网络模型，所述的注意力网络模型基于u-net网络，包括归一化层、下采样层、上采样层、池化层、激活层和注意力层。
47.下面将详细描述注意力网络模型的具体结构。
48.归一化层：归一化层是指对获取到的食管鳞癌图片集根据图像像素值的最大值和最小值对图像像素值进行归一化处理，加快模型在训练过程中的收敛。归一化公式为：
[0049][0050]
下采样阶段：将归一化后的图像切片输入到下采样阶段中，其中下采样阶段遵循卷积神经网络的经典架构，每一个下采样层都由两个3*3卷积的重复应用组成，每个卷积后都包含一个激活层，下采样层之间进行一个步长为2的2*2的最大池化操作，在每个下采样步骤中，特征通道的数量加倍，降低特征维度的同时提取图像的空间信息。
[0051]
上采样阶段：上采样阶段中的每一步都包含对特征图的上采样，然后是通过反卷积将特征通道数量减半，与来自对应下采样阶段经过注意力层筛选和相应裁剪得到尺寸一致的特征图连接，以及每一层经过两个3*3的卷积操作，每个卷积后面跟着一个激活层。在上采样阶段的最后一层，使用1*1的卷积将特征向量映射到所需要数量的类。
[0052]
激活层：激活层是通过非线性映射的方式来增强网络的表达能力，通过非线性的激活函数把输入信息映射到非线性空间，以此提取不同的特征，所述的激活层使用的relu函数。函数公式为：
[0053]
f(x)＝max(0，x)
[0054]
注意力层：包括通道注意力模块和空间注意力模块。所述通道注意力模块包括使用se块的全局平均池化层、第一个全连接层、relu激活函数层、第二个全连接层和sigmoid
激活函数层，所述空间注意力模块包括全局平均池化层、分割patch层、计算自注意力层、计算二次权重层和sigmoid 激活函数层。
[0055]
通道注意力层：通道注意力层具体的是使用se块通过特征选择提升重要的特征，抑制不重要的特征。
[0056]
如图2所示，se块首先独立地为每个通道采用全局平均池化，该阶段称作squeeze即特征聚合阶段，其公式为：
[0057][0058]
其中，w为特征通道的宽，h为特征通道的高，生成的向量维度为 1
×1×
c，c为对应的特征通道数。
[0059]
然后，使用两个非线性全连接层和一个sigmoid函数来生成通道权重，该过程称作excitation即特征重新校准阶段，其公式为：
[0060]
s＝f
ex
＝σ(w2δ(w1g(x))),
[0061]
其中，w1是第一个全连接层，输出的维度为r是缩放参数，这个参数的目的是通过降维来控制模型的复杂性；w2是第二个全连接层，输出维度为1
×1×
c。δ是relu激活函数，σ是sigmoid激活函数。
[0062]
最后把特征通道所有通道都乘以相对应的权重si,i∈(1,c)。
[0063]
空间注意力层：空间注意力层具体是通过计算来选择特征中重要的空间区域并且抑制特征不重要的空间区域。
[0064]
如图3所示，该过程分两个计算阶段，第一个计算阶段在通道方向采用全局平均池化为每个像素生成描述该像素点重要性的权值激活图，其公式为：
[0065][0066]
其中，c该为特征图的通道数，生成激活图的大小为w
×h×
1。
[0067]
之后，将生成的激活图分割成大小相等的patch，每个patch的大小为其中在每个下采样阶段r的取值都是不一样的。
[0068]
然后，计算任意两个patch之间的自注意力，该过程利用patch之间的上下文关系来计算上下文之间的关联性，在计算自注意力的过程中考虑距离对任意两个patch关联性的影响，其计算公式为：
[0069][0070]
dist函数用于计算任意patch到当前patch的曼哈顿距离，其计算公式为：
[0071]
dist(pi,pj)＝|x
i-xj|+y
i-yj|，(x,y)为对应patch的坐标。
[0072]
第二计算阶段用于进一步突出第一个计算阶段中权值较高的patch。
[0073]
首先计算每一个patch权重占总权重的比例：
[0074][0075]
再将该比例系数乘到对应的patch中：
[0076][0077]
完成第二个计算阶段后将调整后的激活图进行归一化操作。
[0078]
最后把特征通道所有特征图对应的位置都乘以激活图相应位置的权重
[0079]
可视化过程，所述可视化过程具体为：
[0080]
将来自下采样后的特征和经过注意力模块较准过的特征进行可视化的对比。将经过下采样得到的特征图与经过注意力模块较准过的特征图，输入到分数-类激活映射函数中生成相应的热力图，通过可视化的方式解释下采样中卷积操作所关注图像的区域，以及解释经过注意力模块较准之后关注的区域。
[0081]
具体的，给定u-net模型y＝f(x)，score-cam首先获取模型中第l层卷积层输入样本x的k个通道的激活对于一个已知的基线输入xb，激活对y的贡献定义为up(
·
)函数将上采样到输入x相同大小的操作，s(
·
)是正则化函数，将输入矩阵映射到[0,1] 范围中，为哈达玛积，其公式为：
[0082][0083]
min(
·
)是求输入矩阵的最小值，max(
·
)是求输入矩阵的最大值。
[0084]
考虑u-net模型中的一个卷积层l，给定一个感兴趣的类c，score-cam 计算公式为：
[0085]
其中
[0086]
据此来获取输入样本x的热力图。
[0087]
采用预处理好的训练集和验证集数据对u-net模型进行训练：对u-net 模型进行随机初始化，学习率设置为0.0001，选择adam优化器，损失函数采用dice损失函数。所述的dice损失函数的公式为：
[0088][0089]
在训练过程中，首先使用前向传播计算模型的输出，再反向传播更新模型的参数，通过降低损失函数不断逼近期望输出，降低误差，最终得到训练好的u-net模型。
[0090]
步骤4、u-net模型的测试。
[0091]
步骤4-1、使用测试集对训练过程中最优的模型进行测试，采用准确率、精准率和召回率三个评价指标评估模型，评价指标公式定义如下：
[0092][0093][0094][0095]
其中，tp是真正例，模型预测为正例，实际也是正例；fp是假正例，模型预测为正
例，实际为假例；fn是假反例，模型预测为反例，实际是正例；tn是真反例，模型预测为反例，实际也是反例。
[0096]
步骤4-2、利用训练好的模型勾画出食管鳞癌的准确区域。
[0097]
实施例二
[0098]
本实施例公开了一种基于注意力机制的食管鳞癌图像的分割系统，包括：
[0099]
数据获取模块，被配置为：获取原始食管鳞癌ct影像序列；
[0100]
数据处理模块，被配置为：对获取到的图像进行预处理；
[0101]
模型搭建模块，被配置为：搭建注意力网络模型；
[0102]
模型训练模块，被配置为：将预处理后的图像输入到模型中训练；
[0103]
结果输出模块，被配置为：利用训练好的模型输出评价指标，获得食管鳞癌分割结果。
[0104]
实施例三
[0105]
本实施例的目的是提供计算机可读存储介质。
[0106]
计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本公开实施例1所述的基于注意力机制的食管鳞癌图像的分割方法中的步骤。
[0107]
实施例四
[0108]
本实施例的目的是提供电子设备。
[0109]
电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本公开实施例1所述的基于注意力机制的食管鳞癌图像的分割方法中的步骤。
[0110]
以上实施例二、三和四的装置中涉及的各步骤与方法实施例一相对应，具体实施方式可参见实施例一的相关说明部分。术语“计算机可读存储介质”应该理解为包括一个或多个指令集的单个介质或多个介质；还应当被理解为包括任何介质，所述任何介质能够存储、编码或承载用于由处理器执行的指令集并使处理器执行本发明中的任一方法。
[0111]
本领域技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。
[0112]
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。