基于内窥镜图像的大肠息肉分割方法、系统及相关组件

1.本发明涉及图像处理技术领域，尤其涉及基于内窥镜图像的大肠息肉分割方法、系统及相关组件。


背景技术：

2.据统计，大肠癌是全球发病率第三和死亡率第二高的癌症，成为威胁人类生命安全的主要杀手之一，而结直肠息肉作为一种高危的癌前疾病，是结直肠癌的前身。因此，上述疾病的早期筛查对大肠癌的预防至关重要。在临床工作中，内窥镜检查利于医生直观地观察病灶的形态特征，被认为是诊断大肠疾病的标准技术。
3.但内窥镜检查高度依赖经验丰富的临床医师，一个医师诊断一个病人50000张左右的内窥镜图像至少在两小时以上，极大的影响了疾病筛查的效率。结直肠息肉通常呈现出各种形状、大小和纹理特征，甚至边界不清晰且难定位，即使有丰富经验的临床医生也很难通过肉眼识别。值得我们注意的是，随着患病人群的迅速增加，如何高效、准确地筛查大肠疾病逐渐成为了临床工作的难点。计算机辅助系统(cad)可以通过大肠疾病筛查的算法辅助医生对大肠息肉进行诊断，可以大大提高结直肠检查的效率和准确率，具有非常重要的临床意义。对内窥镜图像的病灶区域实现更精准的分割可以帮助医生更好的做出决策，从而帮助患者争取宝贵的治疗时间。但是，在采用现有的息肉分割方法进行判断时，由于息肉具有颜色纹理变化差异大、大小不一、形状边缘不规则的特性；且息肉边界及其周围的粘膜之间的颜色特征接近，使得息肉边界不清晰且难定位，导致现有息肉分割方法的精确度不高，经常出现漏检的情况，反而需要重新进行人工筛查，加大了任务量。


技术实现要素：

4.本发明实施例提供了基于内窥镜图像的大肠息肉分割方法、系统及相关组件，旨在解决现有技术中息肉分割算法精度不高的问题。
5.第一方面，本发明实施例提供了一种基于内窥镜图像的大肠息肉分割方法，包括：
6.将内窥镜图像输入至预训练的res2net模型中进行特征编码，得到多个低层特征和多个高层特征；
7.利用特征整合模块分别对所述多个高层特征进行特征增强处理，并将特征增强后的多个高层特征进行特征融合，得到全局映射图；
8.将所述全局映射图作为指导映射图，并将最高层的所述高层特征以及所述指导映射图输入至对应的ace模块进行特征解码，得到最高层的语义特征图，利用所述指导映射图对所述语义特征图进行降维指导处理，得到一级检测图，将所述一级检测图作为新的指导映射图继续对第二层的语义特征图进行降维指导处理，得到二级检测图，依此类推，得到每一高层特征对应的检测图；
9.对最低层的所述高层特征对应的检测图进行概率计算，得到最终预测结果。
10.第二方面，本发明实施例提供了一种基于内窥镜图像的大肠息肉分割系统，其包
括：
11.特征编码单元，用于将内窥镜图像输入至预训练的res2net模型中进行特征编码，得到多个低层特征和多个高层特征；
12.全局映射图获取单元，用于利用特征整合模块分别对所述多个高层特征进行特征增强处理，并将特征增强后的多个高层特征进行特征融合，得到全局映射图；
13.检测图获取单元，用于将所述全局映射图作为指导映射图，并将最高层的所述高层特征以及所述指导映射图输入至对应的ace模块进行特征解码，得到最高层的语义特征图，利用所述指导映射图对所述语义特征图进行降维指导处理，得到一级检测图，将所述一级检测图作为新的指导映射图继续对第二层的语义特征图进行降维指导处理，得到二级检测图，依此类推，得到每一高层特征对应的检测图；
14.预测结果获取单元，用于对最低层的所述高层特征对应的检测图进行概率计算，得到最终预测结果。
15.第三方面，本发明实施例又提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的基于内窥镜图像的大肠息肉分割方法。
16.第四方面，本发明实施例还提供了一种计算机可读存储介质，其中所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的基于内窥镜图像的大肠息肉分割方法。
17.本发明实施例提供了基于内窥镜图像的大肠息肉分割方法、系统及相关组件，该方法包括：将内窥镜图像输入至预训练的res2net模型中进行特征编码，得到多个低层特征和多个高层特征；利用特征整合模块分别对所述多个高层特征进行特征增强处理，并将特征增强后的多个高层特征进行特征融合，得到全局映射图；将所述全局映射图作为指导映射图，并将最高层的所述高层特征以及所述指导映射图输入至对应的ace模块进行特征解码，得到最高层的语义特征图，利用所述指导映射图对所述语义特征图进行降维指导处理，得到一级检测图，将所述一级检测图作为新的指导映射图继续对第二层的语义特征图进行降维指导处理，得到二级检测图，依此类推，得到每一高层特征对应的检测图；对最低层的所述高层特征对应的检测图进行概率计算，得到最终预测结果。本发明实施例通过利用res2net作为主干网络与特征整合模块aaspp作为编码器提取图像特征，用特征提取模块ace作为解码器组成的模型进行训练，将训练好的权重进行测试，得到最终的分割结果图，整个过程更加高效快速，并且得到的分割结果更加准确。
附图说明
18.为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
19.图1为本发明实施例提供的基于内窥镜图像的大肠息肉分割方法的流程示意图；
20.图2为本发明实施例提供的基于内窥镜图像的大肠息肉分割方法的模型整体结构示意图；
21.图3为本发明实施例提供的基于内窥镜图像的大肠息肉分割方法的注意力模块结
构示意图；
22.图4为本发明实施例提供的基于内窥镜图像的大肠息肉分割方法的语义特征整合模块结构示意图；
23.图5为本发明实施例提供的基于内窥镜图像的大肠息肉分割方法的特征提取模块结构示意图；
24.图6为本发明实施例提供的基于内窥镜图像的大肠息肉分割系统的示意性框图。
具体实施方式
25.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
26.应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
27.还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
28.还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
29.请参阅图1，图1为本发明实施例提供的一种基于内窥镜图像的大肠息肉分割方法的流程示意图，该方法包括步骤s101～s104。
30.s101、将内窥镜图像输入至预训练的res2net模型中进行特征编码，得到多个低层特征和多个高层特征；
31.s102、利用特征整合模块分别对所述多个高层特征进行特征增强处理，并将特征增强后的多个高层特征进行特征融合，得到全局映射图；
32.s103、将所述全局映射图作为指导映射图，并将最高层的所述高层特征以及所述指导映射图输入至对应的ace模块进行特征解码，得到最高层的语义特征图，利用所述指导映射图对所述语义特征图进行降维指导处理，得到一级检测图，将所述一级检测图作为新的指导映射图继续对第二层的语义特征图进行降维指导处理，得到二级检测图，依此类推，得到每一高层特征对应的检测图；
33.s104、对最低层的所述高层特征对应的检测图进行概率计算，得到最终预测结果。
34.在本实施例中，如图2所示，通过预训练的res2net模型对内窥镜图像进行特征编码，得到多个具有丰富边界信息的底层特征和多个具有丰富语义信息的高层特征；利用特征整合模块对每个高层特征进行特征增强处理，并将每个特征增强处理后的高层特征进行特征融合得到全局映射图；将每个所述高层特征分别输入至对应的ace模块，先将最高层的所述高层特征输入至对应的ace模块进行特征解码，得到对应的语义特征图后，将所述全局映射图作为指导映射图对所述语义特征图进行降维指导处理，得到一级检测图，然后将所述一级检测图作为新的指导映射图对下一层的高级特征对应的语义特征图进行降维指导
处理，得到二级检测图，依次类推得到所有高层特征对应的检测图；然后利用sigmoid函数对最低层的高层特征所对应的检测图进行概率计算，得到最终的预测结果。如图2所示，addition表示进行特征相加操作，sigmoid表示sigmoid函数，multiplication表示特征相乘操作，flowoffeature表示特征的流向，deep supervision表示深监督，flowofdecoder表示解码器的解码流向，flowofmap表示特征图流向，convolution表示卷积层，batchnormalization表示进行批归一化处理，relu表示relu函数。
35.在对所述最低层的高层特征所对应的检测图进行概率计算后，将得到的概率值与预设阈值进行比较，例如：预先设置阈值为0.5，将概率值大于0.5的像素视为息肉区域，小于0.5的像素视为背景，得到最终的预测结果。
36.本实施例所使用的内窥镜图像来源于公开的息肉数据集kvasir
‑
seg，该数据集是用于胃肠道疾病检测和分割的多类数据集，包含各种类型、形状和颜色的息肉图片。kvasir
‑
seg总共有1000组图像，每组样本由内窥镜图像及其对应的二元掩模图片表示的标签(groundtruth)组成。其中800组样本用于训练，200组图像用于测试，所有样本的二元掩模(binarymask)图像均由专业的内镜医生进行手动标注得到，用黑白两种颜色区分息肉区域和背景区域(其中白色代表息肉区域，黑色代表背景区域)。本实施例在保持内窥镜图像长宽比例不变的前提下，统一将所有内窥镜图像以及对应的二元掩模图的长度调整为352
×
352的大小，然后进行随机翻转、随机裁剪、随机旋转等数据增强操作，以增加数据的多样性。
37.在进行特征编码时，通过预训练的res2net模型生成低层次的边界信息和高层次的语义信息，即提取五个层次的特征x
i
(i＝1，...，5)，其中x1、x2表示低层特征和x3、x4、x5表示高层特征。具体的，如图2所示，将所述内窥镜图像输入至conv1中进行卷积得到底层特征x1，再将底层特征x1输入至conv2中进行卷积得到底层特征x2，然后将低层特征x2输入至conv3中进行卷积得到高层特征x3，接着将高层特征x3输入至conv4中进行卷积得到底层特征x4，最后将高层特征x4输入至conv5中进行卷积得到底层特征x5。其中，低层特征保留着丰富的边界信息，高层特征由于编码过程多次卷积，损失了较多的细节信息，但是保留一致的语义特征和清晰的背景。
38.在一实施例中，所述多个高层特征包括从低到高的第一高层特征、第二高层特征和第三高层特征，所述步骤s102包括：
39.利用sa模块对所述第一高层特征进行特征增强处理，得到空间矩阵；
40.利用ca模块对所述第二高层特征进行特征增强处理，得到通道矩阵，并对所述通道矩阵进行上采样卷积处理，再将卷积结果进行降维处理，得到指定维度的通道矩阵；
41.对所述空间矩阵的维度进行升维处理，得到具有指定维度的空间矩阵，并与所述指定维度的通道矩阵进行矩阵相加处理，得到语义特征；
42.利用语义特征整合模块对所述第三高层特征进行特征增强处理，得到多个具有指定维度的多尺度语义特征图；
43.将所述语义特征与多个所述多尺度语义特征图进行特征融合处理，并将特征融合处理结果进行降维操作，得到全局映射图。
44.在本实施例中，如图3和图4所示，通过预训练的res2net模型对内窥镜图像进行特征编码得到第一高层特征、第二高层特征和第三高层特征，将所述第一高层特征输入至sa
模块进行特征增强，得到空间矩阵，再将所述第二高层特征输入至ca模块进行特征增其，得到通道矩阵；对所述通道矩阵使用双线性插值的上采样方法，将尺寸上采样至与第一高层特征相同维度，再利用三组[conv
‑
bn](卷积层和批量归一化的组合)对其降维到256维，再将所述空间矩阵的通道数复制到256维与所述通道矩阵进行相加(addition)，再经过激活函数激活，得到丰富的语义特征；然后再将所述第三高层特征输入至语义整合特征模块进行特征增强，得到多个具有指定维度的多尺度语义特征图，最后将所述语义特征和多个所述多尺度语义特征图进行通道维度上的堆叠，再经过四组[conv
‑
bn](卷积层和批量归一化的组合)对其维度降维至一维，得到全局映射图m
g
。其中，如图3所示，addition表示进行特征相加操作，sigmoid表示sigmoid函数，multiplication表示特征相乘操作，concat表示特征融合操作，flowof feature表示特征的流向。
[0045]
在一实施例中，所述利用sa模块对所述第一高层特征进行特征增强处理，得到空间矩阵，包括：
[0046]
将所述第一高层特征分别输入至平均池化层和最大池化层进行池化处理，得到两个维度相同的第一特征图和第二特征图，并将所述第一特征图和第二特征图进行拼接融合，得到第三特征图；
[0047]
将所述第三特征图输入至卷积核为7
×
7的卷积层中进行卷积，并利用sigmoid函数对卷积结果进行激活处理，得到所述空间矩阵。
[0048]
在本实施例中，如图3所示，先利用平均池化层(avgpool)和最大池化层(maxpool)对所述第一高层特征进行空间维度压缩，得到两个维数相同的第一特征图a1(1x44x44)和第二特征图a2(1x44x44)，然后将第一特征图和第二特征图串行的拼接融合在一起得到一个特殊的第三特征图a3(2x44x44)，再利用一个7
×
7的卷积对所述第三特征图进行卷积得到一个新的特征图a4(1x44x44)，最后利用sigmoid函数进行激活，得到一个空间注意力权重的空间矩阵a5(1x44x44)。
[0049]
在一实施例中，所述利用ca模块对所述第二高层特征进行特征增强处理，得到通道矩阵，包括：
[0050]
将所述第二高层特征分别输入至平均池化层和最大池化层进行池化处理，得到第一通道注意力向量和第二通道注意力向量；
[0051]
将所述第一通道注意力向量和第二通道注意力向量分别输入至第一全连接层进行卷积，利用relu函数对卷积结果进行激活后，输入至第二全连接层进行卷积，得到第一空间注意力权重和第二空间注意力权重；
[0052]
将所述第一空间注意力权重和第二空间注意力权重分别与所述第二高层特征进行特征相乘，得到第一通道注意力图和第二通道注意力图，并将所述第一通道注意力图和第二通道注意力图进行特征相加，并利用sigmoid函数对特征相加结果进行激活，得到通道矩阵。
[0053]
在本实施例中，如图3所示，先利用平均池化层(avgpool)和最大池化层(maxpool)对所述第二高层特征进行空间维度压缩，生成第一通道注意力向量c1(1024x1x1)和第二通道注意力向量c2(1024x1x1)，然后将所述第一通道注意力向量和第二通道注意力向量分别输入至第一全连接层(全连接层即fullyconnection)进行卷积(为了减少参数量，将中间层神经元节点设置为1024/r个，r＝4)，再利用relu激活函数进行激活，然后再经过第二全连
接层把神经元增加到1024个，以获得和所述第二高层特征通道数相同的第一空间注意力权重c3(1024x1x1)和第二空间注意力权重c4(1024x1x1)；将所述第一空间注意力权重和第二空间注意力权重分别与所述第二高层特征x4进行特征相乘(multiplication)，得到第一通道注意力图ac1(1024x22x22)和第二通道注意力图ac2(1024x22x22)，再将所述第一通道注意力图和第二通道注意力图进行特征相加，最后通过sigmoid函数激活，得到一个通道注意力权重的通道矩阵ac3(1024x22x22)。
[0054]
在一实施例中，所述利用语义特征整合模块对所述第三高层特征进行特征增强处理，得到多个具有指定维度的多尺度语义特征图，包括：
[0055]
将所述第三高层特征输入至卷积核为1
×
1的卷积层中进行卷积，得到第一卷积结果；
[0056]
将所述第一卷积结果分别输入至4个不同空洞率且卷积核大小为3
×
3的卷积层中进行卷积，得到第一多尺度语义特征图、第二多尺度语义特征图、第三多尺度语义特征图和第四多尺度语义特征图。
[0057]
在本实施例中，如图4所示，先将所述第三高层特征输入至卷积核为1
×
1的卷积层进行卷积操作，从而将所述第三高层特征的维度由2048降至256维度，得到第一卷积结果，再将所述第一卷积结果分别输入至4个不同空洞率且卷积核均为3
×
3的卷积层中进行卷积，得到第一多尺度语义特征图、第二多尺度语义特征图、第三多尺度语义特征图和第四多尺度语义特征图。具体的，将所述第三高层特征输入至卷积核为1
×
1的卷积层进行降维后，得到第一卷积结果，再将所述第一卷积结果输入至空洞率为1且卷积核为3
×
3的卷积层中进行卷积，然后再经过一个1
×
1的卷积核进行卷积得到第一多尺度语义特征图；将所述第一多尺度语义特征图与所述第一卷积结果进行特征融合，并输入至空洞率为6且卷积核为3
×
3的卷积层中进行卷积，然后再经过一个1
×
1的卷积核进行卷积得到第二多尺度语义特征图；将所述第二多尺度语义特征图与所述第一卷积结果进行特征融合，并输入至空洞率为12且卷积核为3
×
3的卷积层中进行卷积，然后再经过一个1
×
1的卷积核进行卷积得到第三多尺度语义特征图；将所述第三多尺度语义特征图与所述第一卷积结果进行特征融合，并输入至空洞率为18且卷积核为3
×
3的卷积层中进行卷积，然后再经过一个1
×
1的卷积核进行卷积得到第四多尺度语义特征图。
[0058]
在一实施例中，所述将所述全局映射图作为指导映射图，并将最高层的所述高层特征以及所述指导映射图输入至对应的ace模块进行特征解码，得到最高层的语义特征图，包括：
[0059]
将最高层的所述高层特征输入至卷积核为1
×
1的卷积层进行卷积操作，得到初始卷积结果，并将所述初始卷积结果分别输入至不对称卷积层、空洞卷积层、普通卷积层以及通道注意力层进行卷积处理，得到不对称卷积结果、空洞卷积结果、普通卷积结果以及cam；
[0060]
将所述不对称卷积结果、空洞卷积结果、普通卷积结果以及指导映射图进行通道重排，并将通道重排后的不对称卷积结果、空洞卷积结果、普通卷积结果分别与所述cam进行特征相乘，并与所述指导映射图进行维度拼接，得到初始语义特征图；
[0061]
将所述初始语义特征图输入至卷积核为1
×
1的卷积层中进行卷积降维处理，并将卷积降维结果与所述初始卷积结果进行特征相加，并利用relu激活函数进行激活得到最终的语义特征图。
[0062]
在本实施例中，如图5所示，先对最高层的高层特征进行1
×
1的卷积操作，得到初始卷积结果，然后再将所述初始卷积结果分别输入至不对称卷积层、空洞卷积层、普通卷积层以及通道注意力层(channelattention)进行卷积处理，得到不对称卷积结果、空洞卷积结果、普通卷积结果以及cam，然后再将不对称卷积结果、空洞卷积结果、普通卷积结果分别与指导映射图进行通道重排，并将通道重排结果分别与所述cam进行特征相乘后再进行拼接，然后再与所述指导映射图进行拼接得到初始语义特征图，将所述初始语义特征图输入至卷积核为1
×
1的卷积层内进行卷积降维处理，再将卷积降维结果与所述初始卷积结果进行特征相加，再利用relu激活函数进行激活得到最终的语义特征图。
[0063]
具体的，对所述最高层的所述高层特征进行1
×
1的卷积操作，得到初始卷积结果，然后再将所述初始卷积结果分别输入至不对称卷积层、空洞卷积层、普通卷积层以及通道注意力层进行卷积处理，得到不对称卷积结果p1、空洞卷积结果p2、普通卷积结果p3以及cam，将p1、p2、p3分别与指导映射图m
g
进行通道重排，得到m1、m2、m3，其中，m1拼接方式按照p1、y、p2、y、p3、y依次进行通道上的拼接，m2拼接方式按照p3、y、p1、y、p2、y依次进行通道上的拼接，m3拼接方式按照p2、y、p3、y、p1、y依次进行通道上的拼接。
[0064]
在一实施例中，所述将所述全局映射图作为指导映射图，利用所述指导映射图对所述语义特征图进行降维指导处理，得到一级检测图，将所述一级检测图作为新的指导映射图继续对第二层的语义特征图进行降维指导处理，得到二级检测图，依此类推，得到每一高层特征对应的检测图，包括：
[0065]
将所述全局映射图与所述第三高层特征对应的语义特征图进行特征相乘，并将特征相乘结果输入至多组卷积模块进行卷积处理，并将卷积处理结果与所述指导映射图进行特征相加，得到一级检测图；
[0066]
将一级检测图与所述第二高层特征对应的语义特征图进行特征相乘，并将特征相乘结果输入至多组卷积模块进行卷积处理，并将卷积处理结果与所述一级检测图进行特征相加，得到二级检测图；
[0067]
将二级检测图与所述第一高层特征对应的语义特征图进行特征相乘，并将特征相乘结果输入至多组卷积模块进行卷积处理，并将卷积处理结果与所述二级检测图进行特征相加，得到三级检测图。
[0068]
在本实施例中，如图2所示，先将全局映射图与所述第三高层特征对应的语义特征图进行特征相乘，再进行4组[conv
‑
bn
‑
relu](卷积层、批量归一化以及relu的组合)的卷积模块进行卷积处理，得到维度为一维的特征图并与所述全局映射图进行特征相加，得到一级检测图c1；然后将所述一级检测图与所述第二高层特征对应的语义特征图进行特征相乘，再进行4组[conv
‑
bn
‑
relu](卷积层、批量归一化以及relu的组合)的卷积模块进行卷积处理，得到维度为一维的特征图并与所述一级检测图进行特征相加，得到二级检测图c2；最后将所述二级检测图与所述第一高层特征对应的语义特征图进行特征相乘，再进行4组[conv
‑
bn
‑
relu](卷积层、批量归一化以及relu的组合)的卷积模块进行卷积处理，得到维度为一维的特征图并与所述二级检测图进行特征相加，得到三级检测图c3。
[0069]
本实施例通过对输出层以及隐藏层同时使用损失函数进行监督，不仅仅依靠最终输出层的反向传播，还通过中间隐藏层输出进行反向传播，可以提高网络的性能。本实施例采用用三个分支实现分级监督，从而提高了分割结果图的精度。具体的，本实施例采用了带
权重的bce和iou损失，将不同的权值分配给不同的像素，扩展了二进制交叉熵，每个像素的权重由其周围的像素决定，难区分的像素会得到更大的权重，而容易区分的像素会得到更小的权重。特别注意的是，加权iou损失通过增加难样本像素权重来突出其重要性，而加权bce更关注难样本像素。损失函数计算公式如下：其中，表示基于全局和局部(像素级)约束的加权iou损失，表示基于全局和局部(像素级)约束的二进制交叉熵(bce)损失。通过对三个分支的输出(c1、c2、c3)和全局映射图m
g
进行深监督，映射图都被逐一的上采样到真值图尺寸大小(352
×
352)，总的损失函数的计算公式如下：
[0070][0071]
其中，g表示真值图，l
totalloss
表示真值图和全局映射图m
g
以及三个分支输出(c1、c2、c3)总的损失。
[0072]
请参阅图6，图6为本发明实施例提供的一种基于内窥镜图像的大肠息肉分割系统的示意性框图，该基于内窥镜图像的大肠息肉分割系统200包括：
[0073]
特征编码单元201，用于将内窥镜图像输入至预训练的res2net模型中进行特征编码，得到多个低层特征和多个高层特征；
[0074]
全局映射图获取单元202，用于利用特征整合模块分别对所述多个高层特征进行特征增强处理，并将特征增强后的多个高层特征进行特征融合，得到全局映射图；
[0075]
检测图获取单元203，用于将所述全局映射图作为指导映射图，并将最高层的所述高层特征以及所述指导映射图输入至对应的ace模块进行特征解码，得到最高层的语义特征图，利用所述指导映射图对所述语义特征图进行降维指导处理，得到一级检测图，将所述一级检测图作为新的指导映射图继续对第二层的语义特征图进行降维指导处理，得到二级检测图，依此类推，得到每一高层特征对应的检测图；
[0076]
预测结果获取单元204，用于对最低层的所述高层特征对应的检测图进行概率计算，得到最终预测结果。
[0077]
在一实施例中，所述多个高层特征包括从低到高的第一高层特征、第二高层特征和第三高层特征，所述全局映射图获取单元202包括：
[0078]
sa模块处理单元，用于利用sa模块对所述第一高层特征进行特征增强处理，得到空间矩阵；
[0079]
ca模块处理单元，用于利用ca模块对所述第二高层特征进行特征增强处理，得到通道矩阵，并对所述通道矩阵进行上采样卷积处理，再将卷积结果进行降维处理，得到指定维度的通道矩阵；
[0080]
语义特征获取单元，用于对所述空间矩阵的维度进行升维处理，得到具有指定维度的空间矩阵，并与所述指定维度的通道矩阵进行矩阵相加处理，得到语义特征；
[0081]
语义特征整合模块处理单元，用于利用语义特征整合模块对所述第三高层特征进行特征增强处理，得到多个具有指定维度的多尺度语义特征图；
[0082]
特征融合处理单元，用于将所述语义特征与多个所述多尺度语义特征图进行特征融合处理，并将特征融合处理结果进行降维操作，得到全局映射图。
[0083]
在一实施例中，所述sa模块处理单元包括：
[0084]
第三特征图获取单元，用于将所述第一高层特征分别输入至平均池化层和最大池化层进行池化处理，得到两个维度相同的第一特征图和第二特征图，并将所述第一特征图和第二特征图进行拼接融合，得到第三特征图；
[0085]
空间矩阵获取单元，用于将所述第三特征图输入至卷积核为7
×
7的卷积层中进行卷积，并利用sigmoid函数对卷积结果进行激活处理，得到所述空间矩阵。
[0086]
在一实施例中，所述ca模块处理单元包括：
[0087]
通道注意力向量获取单元，用于将所述第二高层特征分别输入至平均池化层和最大池化层进行池化处理，得到第一通道注意力向量和第二通道注意力向量；
[0088]
空间注意力权重获取单元，用于将所述第一通道注意力向量和第二通道注意力向量分别输入至第一全连接层进行卷积，利用relu函数对卷积结果进行激活后，输入至第二全连接层进行卷积，得到第一空间注意力权重和第二空间注意力权重；
[0089]
通道矩阵获取单元，用于将所述第一空间注意力权重和第二空间注意力权重分别与所述第二高层特征进行特征相乘，得到第一通道注意力图和第二通道注意力图，并将所述第一通道注意力图和第二通道注意力图进行特征相加，并利用sigmoid函数对特征相加结果进行激活，得到通道矩阵。
[0090]
在一实施例中，所述语义特征整合模块处理单元包括：
[0091]
第一卷积结果获取单元，用于将所述第三高层特征输入至卷积核为1
×
1的卷积层中进行卷积，得到第一卷积结果；
[0092]
多尺度语义特征图获取单元，用于将所述第一卷积结果分别输入至4个不同空洞率且卷积核大小为3
×
3的卷积层中进行卷积，得到第一多尺度语义特征图、第二多尺度语义特征图、第三多尺度语义特征图和第四多尺度语义特征图。
[0093]
在一实施例中，所述检测图获取单元203包括：
[0094]
初始卷积结果卷积单元，用于将最高层的所述高层特征输入至卷积核为1
×
1的卷积层进行卷积操作，得到初始卷积结果，并将所述初始卷积结果分别输入至不对称卷积层、空洞卷积层、普通卷积层以及通道注意力层进行卷积处理，得到不对称卷积结果、空洞卷积结果、普通卷积结果以及cam；
[0095]
初始语义特征图获取单元，用于将所述全局映射图作为指导映射图，将所述不对称卷积结果、空洞卷积结果、普通卷积结果以及指导映射图进行通道重排，并将通道重排后的不对称卷积结果、空洞卷积结果、普通卷积结果分别与所述cam进行特征相乘，并与所述指导映射图进行维度拼接，得到初始语义特征图；
[0096]
最终语义特征图获取单元，用于将所述初始语义特征图输入至卷积核为1
×
1的卷积层中进行卷积降维处理，并将卷积降维结果与所述初始卷积结果进行特征相加，并利用relu激活函数进行激活得到最终的语义特征图。
[0097]
在一实施例中，所述检测图获取单元203包括：
[0098]
一级检测图获取单元，用于将所述全局映射图作为指导映射图与所述第三高层特征对应的语义特征图进行特征相乘，并将特征相乘结果输入至多组卷积模块进行卷积处理，并将卷积处理结果与所述指导映射图进行特征相加，得到一级检测图；
[0099]
二级检测图获取单元，用于将一级检测图与所述第二高层特征对应的语义特征图
进行特征相乘，并将特征相乘结果输入至多组卷积模块进行卷积处理，并将卷积处理结果与所述一级检测图进行特征相加，得到二级检测图；
[0100]
三级检测图获取单元，用于将二级检测图与所述第一高层特征对应的语义特征图进行特征相乘，并将特征相乘结果输入至多组卷积模块进行卷积处理，并将卷积处理结果与所述二级检测图进行特征相加，得到三级检测图。
[0101]
本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的基于内窥镜图像的大肠息肉分割方法。
[0102]
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的基于内窥镜图像的大肠息肉分割方法。
[0103]
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
[0104]
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的状况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。