一种基于多通道交流注意力网络的血液分层图像分割方法

1.本发明涉及计算机视觉技术和图像处理领域，具体涉及一种基于多通道交流注意力(multi-communication channel attention)网络的血液分层图像分割方法。


背景技术：

2.在当今医疗诊断中，血液检测是辅助诊断的重要手段，部分疾病可以通过血液检测及早发现并防治。不同的血液成分适用于不同疾病的预防和诊断，例如，红细胞层可用于肿瘤分子诊断，白细胞和血小板层可用于全基因测序和遗传病检测，血浆层可用于乙型肝炎等传染病检测。由于血液检测任务的需求量大，且部分血液成分占比较小，精度要求高，因此，设计一种分层血液图像自动分割方法对于自动化医疗检测、辅助医生诊断有着重要意义。
3.采血管血液分层图像的分割是自动化血液移液系统中的一个十分具有挑战性的问题，目前，离心分层血液的分离主要还是依赖于专业的医生进行取样和分离。但是人工检测的效率低下且需要长期的锻炼不断积累经验才能更加准确的进行分离，同时离心后的白细胞和血小板层相较于其他层的成分占比较小，这对于分层血液的成分的分离移液带来了更大的挑战。
4.现阶段，血液分层图像分割的方法主要分为传统的图像分割算法和深度学习的分割方法。传统的图像分割方法在分割过程中不需要数据集的标注，但是分割精度低，分割边缘粗糙，无法达到血液自动化分离的基本要求，现有研究(cn201610390622.9 2016.06.03血液分层识别方法)的分割效率低下，且非常依赖多台摄像机进行人工操作，不具备完善的自动化性能；而基于机器学习和深度卷积神经网络的分割方法，在医疗和自动化工业等领域已经成为了主流方法。相较于传统的分割方法，深度卷积神经网络的方法获取的分割结果更加精准客观。现有研究(cn202210279022.0 2022.7.12一种采血管视觉识别系统)仍然依赖于相机的多次采集和对采集图像光源和对比度的反复调整，其效率和自动化程度仍然难以满足自动分割需求。


技术实现要素：

5.本发明的目的是为了解决当前血液移液系统中血液分层识别系统精度较低且可能出现血液成分分离产物纯度不足的问题，提供一种基于多通道交流注意力网络的血液分层图像分割方法，实现了血液分层图像输入到输出的端到端的高精度分割，取得了很好的效果。实验证明，多通道交流注意力语义分割网络在血液移液系统中分层血液的分割领域处于领先地位。
6.本发明的目的至少通过以下技术方案之一实现。
7.一种基于多通道交流注意力(multi-communication channel attention)网络的血液分层图像分割方法，包括以下步骤：
8.s1、收集原始采血管血液分层图像数据；
9.s2、对收集到的原始采血管血液分层图像进行数据预处理；
10.s3、搭建基于改进的多通道交流注意力模块的采血管血液分层图像分割网络mcc-unet；
11.s4、将预处理后的采血管血液分层图像数据导入mcc-unet，使用损失函数focal loss和dice loss训练网络参数，获取最优分割网络模型；
12.s5、对于获取到的最优分割网络模型，采集新的图像进行标准化处理后，输入最优分割网络模型中进行血液分层图像分割，得到采血管血液分层图像的分割结果。
13.进一步地，步骤s1中，收集来自不同光照环境下的彩色血液分层图像作为原始采血管血液分层图像，并对原始采血管血液分层图像进行手动分割的掩膜标注；
14.在测试过程中，采用手动标注的分割结果作为真值来评估最优分割网络模型的分割性能。
15.3.根据权利要求1所述的一种基于多通道交流注意力网络的血液分层图像分割方法，其特征在于，步骤s2中，数据预处理具体如下：
16.对原始采血管血液分层图像进行尺寸标准化和部分裁剪、水平翻转、部分旋转、图像亮度及图像对比度的数据增强操作的预处理，并将预处理后的原始采血管血液分层图像分为训练集，验证集，测试集；
17.其中，训练集用来训练血管血液分层图像分割网络中的参数；验证集用于训练中验证最优分割网络模型的性能，调整最优分割网络模型的超参数和对最优分割网络模型的能力进行初步评估；测试集用于对于训练完成的血管血液分层图像分割网络进行性能的客观评价。
18.进一步地，步骤s3中，所述基于改进的多通道交流注意力模块的采血管血液分层图像分割网络mcc-unet包括顺次串联连接的特征提取子网络、加强特征提取子网络和像素分类子网络；
19.特征提取子网络包括顺次串联连接的第一下采样层、第二下采样层、第一多通道交流注意力下采样层和第二多通道交流注意力下采样层，其中，第一多通道交流注意力下采样层和第二多通道交流注意力下采样层通过在下采样层的最大池化层前串联一个改进的多通道交流注意力模块得到；
20.加强特征提取子网络包括顺次串联连接的第一多通道交流注意力上采样层、第二多通道交流注意力上采样层、第一上采样层和第二上采样层，其中，第一多通道交流注意力上采样层和第二多通道交流注意力上采样层通过在上采样层的激活函数层前串联一个改进的多通道交流注意力模块得到；
21.另外，特征提取子网络和加强特征提取子网络之间还存在shortcut短连接方式，具体如下：
22.第一下采样层连接第二上采样层；
23.第二下采样层连接第一上采样层；
24.第一多通道交流注意力下采样层连接第二多通道交流注意力上采样层；
25.第二多通道交流注意力下采样层连接第一多通道交流注意力上采样层。
26.进一步地，特征提取子网络用于提取图像的语义特征，输入为采血管血液分层原始图像f
ori
，输出为特征图f
down
，f
down
为第二多通道交流注意力下采样层的输出，特征提取子
网络的输出输入到加强特征提取子网络中，其中，f
ori
∈rh×w×3，f
down
∈r
h/16
×
w/16
×
c1
，r表示图像的整体尺寸，h
×
w为原始输入图像尺寸，c1为四次下采样后特征图的通道数。
27.加强特征提取子网络的输入为特征提取子网络的输出特征图f
down
，输出为特征图f
up
，特征图f
up
为第二上采样层的输出特征图，加强特征提取子网络用于重构图像语义特征，得到的特征图f
up
输出到像素分类子网络中，其中，f
up
∈rh×w×
c2
，h
×
w为原始输入图像尺寸，c2为四次上采样后特征图的通道数；
28.特征提取子网络和加强特征提取子网络之间的shortcut短连接中，第一下采样层、第二下采样层、第一多通道交流注意力下采样层和第二多通道交流注意力下采样层分别将该层提取得到的下采样特征图，分别对应输入到第二上采样层、第一上采样层、第二多通道交流注意力上采样层和第一多通道交流注意力上采样层，进行特征的补充，从而减少了上采样过程中的特征丢失，使网络获得更好的性能。
29.进一步地，第一多通道交流注意力上采样层、第二多通道交流注意力上采样层、第一多通道交流注意力下采样层和第二多通道交流注意力下采样层中均使用了改进的多通道交流注意力模块；
30.改进的多通道交流注意力模块包括改进的多通道交流通道注意力模块和改进的多通道交流分组空间注意力模块；
31.改进的多通道交流通道注意力模块和改进的多通道交流分组空间注意力模块用于第一多通道交流注意力上采样层、第二多通道交流注意力上采样层、第一多通道交流注意力下采样层和第二多通道交流注意力下采样层，使图像分割模型更关注图像中需分割的小区域特征和消除了图像的局部噪声和干扰。
32.进一步地，改进的多通道交流通道注意力模块采用临近通道交流的思想，具体过程如下：
33.s7.1对于多通道交流通道注意力模块的输入特征图f，将输入特征图f分别进行空间上的全局最大池化maxpool和全局平均池化avgpool得到最大池化权重g
max
和平均池化权重g
avg
，其中，f∈rh×w×c，g
max
∈r1×1×c，g
avg
∈r1×1×c，h
×
w和1
×
1表示对应特征图的空间维度，c表示对应特征图的通道维度；
34.s7.2对当前通道及其临近的k-1个通道进行1d卷积实现最大池化权重g
max
的k个通道间的交流和平均池化权重g
avg
的k个通道间的交流，得到通道交流后的全局最大通道特征权重w
max
和全局平均通道特征权重w
avg
，通过1d卷积实现临近通道间的通道交流，强化当前通道及其临近通道对当前通道特征权重的影响，其更关注局部小区域特征，改善现有分割网络对于小区域目标特征丢失的问题，其中，w
max
∈r1×1×c，w
avg
∈r1×1×c，c表示对应特征权重的空间维度，1d卷积的卷积核为1*k，k《c且k为正整数，为了保持卷积前后权重维数c不变，卷积前对权重g进行的大小的pad填充周边方式，k/2向下取整；
35.s7.3对于生成的特征权重w
max
和w
avg
在通道维度上相加后，通过sigmoid激活函数，得到输入特征图f的通道注意力权重mc，并与输入特征图f中的每个通道特征进行点乘，得到通道注意力特征图f
′
，作为多通道交流分组空间注意力模块的输入特征图，其中，mc∈r1×1×c，f
′
∈rh×w×c。
36.进一步地，改进的多通道交流分组空间注意力模块采用了分组空间注意力的思想，并对得到的分组特征在通道上随机的进行全局最大池化或者全局平均池化，具体过程
如下：
37.s8.1对于多通道交流空间注意力的输入特征图f
′
，将输入特征图f
′
进行基于通道的分组操作，得到多个维度相同的子特征图fi′
＝{f1′
,f2′…fi
′
,
…fn
′
}，fi′
∈rh×w×
c/n
，其中n表示分组后子特征图的个数，i＝[1,2
…
n]，fi′
表示第i个子特征图，h
×
w表示对应特征图的空间维度，c表示对应特征图的通道维度；
[0038]
s8.2对每个子特征图fi′
，在通道上随机的进行全局最大池化或全局平均池化，得到全局最大空间特征权重g
′
imax
或全局平均空间特征权重g
′
iavg
，其中，h
×
w表示对应特征权重的空间维度，g
′
imax
∈rh×w×1，g
′
iavg
∈rh×w×1；
[0039]
s8.3对于生成的n个空间特征权重，在通道维度上进行concat拼接，得到空间特征综合权重g
′
，其中，h
×
w表示对应特征权重的空间维度，g
′
∈rh×w×n，n为分组后子特征图的个数，在此表示对应特征权重的通道维度；
[0040]
s8.4对于得到的空间特征综合权重g
′
，将g
′
送入卷积核为3
×
3的卷积层进行降维操作，其中，为了保证权重g
′
在空间维度上不变，采用pad＝1对特征权重g
′
进行四周填充，再通过sigmoid激活函数后，得到了特征融合后的空间注意力权重ms，并与输入特征图f
′
中的每个空间特征进行点乘，得到改进的多通道交流注意力模块的输出ff，其中，h
×
w表示对应特征权重的空间维度，c表示对应特征图的空间维度，ms∈rh×w×1，ff∈rh×w×c。
[0041]
进一步地，像素分类子网络的输入为加强特征提取子网络的输出特征图f
up
，包括顺次串联连接的三个全连接层和一个sigmoid激活函数层，用于将加强特征提取网络输出的特征图f
up
进行图像像素的分类和掩膜的生成，最终得到图像分割的结果。
[0042]
进一步地，步骤s4中，模型训练方法具体如下：
[0043]
使用损失函数focal loss和dice loss训练网络参数，获取最优分割网络模型，所述损失函数focal loss和dice loss如下所示：
[0044][0045][0046]
其中，f
loss
为focal loss，d
loss
为dice loss；x为模型预测分割像素点，y为图像实际分割像素点；α和γ为设置好的常数，其中α按照正负样本的比例进行设置，γ为可调节因子，在γ》0的前提下根据分割的难易程度进行设置；p
prediction
为预测样本属于该种类样本的概率。
[0047]
本发明相对于现有技术具有以下优势：
[0048]
1.本发明设计的图像处理网络，通过改进的多通道交流注意力模块，增强网络的特征提取能力，强化网络对于部分较小的特征区域的分割性能，更加准确地对采血管血液分层图像进行分类分割，提高最终网络分割结果的准确性。
[0049]
2.本发明设计的多通道交流通道注意力模块，采用临近通道的1d卷积层替换了重构通道特征权重过程中的全连接层，强化了当前通道与临近通道之间的沟通性能，消除了较远通道的影响，减少了冗余信息的影响。能够更精确地捕获采血管血液分层图像中不同血液成分之间的边界细节，提升了血液分层图像分割的准确率。
[0050]
3.本发明设计的多通道交流空间注意力模块，采用分组空间注意力的思路，将特
征图在通道域上分为n个不同的组，获取到不同的子特征。对于特定的语义分组，在原始图像的正确空间位置生成相应的语义特征。本发明设计的空间注意力模块，分别对分组子特征图进行随机的全局最大池化或全局平均池化，再在通道维度进行拼接，通过卷积和特征融合，获得不同的空间语义特征权重。分组空间注意力的思想，加强了空间语义特征的学习，减小了噪声和干扰，进一步提升了采血管血液分层图像分割的准确率。
[0051]
4.本发明设计的基于多通道交流注意力语义分割网络的采血管血液分层图像分割方法，相较于传统的图像分割方法和传统的深度学习的方法，在部分语义细节特征上进行了强化，在血液分层图像分割领域，能更精准的把握图像的细节特征，获取更高清晰且更精度的采血管分层血液分割图像。
附图说明
[0052]
图1为本发明实施例中采血管血液分层图像分割流程图。
[0053]
图2为本发明实施例中采血管血液分层图像分割网络mcc-unet的具体结构。
[0054]
图3为本发明实施例中注意力下采样层和注意力上采样层的具体结构，其中a为注意力下采样层，b为注意力上采样层。
[0055]
图4为本发明实施例中改进的多通道交流注意力模块的结构图，其中a为改进多通道交流注意力模块整体结构图，b为多通道交流通道注意力结构图，c为多通道交流空间注意力结构图。
[0056]
图5为本发明实施例中1d卷积的示意图。
具体实施方式
[0057]
为使本发明实施例的目的、技术方案和优势更加清晰明了，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清晰、具体地分步解析，所描述的实施例是本发明一部分实施例，并不是全部的实施例。
[0058]
本发明实施例中，miou(mean intersection over union)，为均交并比，pre(precision)，为精确度，rec(recall)，为召回率，mcc(multi-channel communication)，为混合多尺度注意力模块。
[0059]
实施例1：
[0060]
本发明实施例的采血管血液分层图像分割流程图如图1所示。本实施例中数据集采用统一机器在不同模式和光照下收集的彩色血液分层图像数据集，该数据集共包含1183张彩色图像，已被分为训练集、验证集和测试集，分辨率为2448*2048，并提供了专家手动分割的掩膜标注；在测试过程中，采用专家手动标注的分割结果作为真值来评估本网络所提出框架的分割性能。具体包括以下步骤：
[0061]
1.图像预处理和数据增强
[0062]
对彩色训练图像进行图像预处理，使其贴合混合注意力分割网络模型的输入。由于混合注意力分割网络模型的输入图像尺寸是512*512的方形图片，需要将数据集中的图像进行尺度放缩标准化。同时，为了保证分割结果的可信性，本发明实施例中对测试集进行了一定的数据增强，采用部分裁剪、水平翻转、部分旋转、图像亮度调节，分辨率调节等措施，确保网络分割结果具有可信度。
[0063]
2.采血管血液分层图像分割网络mcc-unet
[0064]
采血管血液分层图像分割网络mcc-unet由特征提取网络、加强特征提取网络和像素分类网络串联组成。特征提取网络采用四次下采样，每一次下采样过程进行三次标准卷积进行特征提取，采用relu激活函数。其中，后两次下采样过程中含有改进的多通道交流注意力模块，获得更加精炼的注意力特征图。如图2所示，在特征提取网络、加强特征提取网络之间，在常规连接外同时采用shortcut短连接，将不同尺度的底层细节特征与高层语义特征相结合。
[0065]
其中，特征提取网络和加强特征提取网络构成多通道交流注意力语义分割网络的主体，其网络结构可以参照unet网络；所述特征提取网络可以用于对采血管分层血液图像进行特征提取，输出主网图像提取特征，其中，特征提取的操作包括但不限于卷积和池化；所述加强特征提取网络可以用于对主网图像提取特征进行上采样得到主网图像的上采样特征，其中，上采样的操作包括但不限于双线性插值和反卷积。
[0066]
为了便于理解，请参见图2，基于unet网络结构的主干分割网络包括多层下采样层和多层上采样层，采血管血液分层图像分割网络mcc-unet的图像特征处理过程如下：
[0067]
将待分割采血管血液分层图像输入至第一层下采样层，经过卷积和池化操作后，第一层下采样层p1将得到的第一层主网图像提取特征输入至第二层下采样层p2，第二层下采样层p2对第一层主网图像提取特征进行卷积和池化操作后，将得到的第二层主网图像提取特征输入至第三层注意力下采样层p3，以此类推，最后一层注意力下采样层将得到的主网图像提取特征输入至最后一层的注意力上采样层，最后一层上采样层p5基于最后一层主网图像提取特征进行双线性插值，得到最后一层的主网图像上采样特征并将其输入至上一层上采样层p6，以此类推，直至第一层上采样层p8恢复得到第一层的图像上采样特征。
[0068]
在上述特征提取网络中，下采样层的内部特征还与同一层的上采样层的输入端相连接，形成shortcut短连接结构，上采样层通过concatenate在通道维度上进行拼接，利用下采样层的图像特征对当前恢复得到的上采样特征进行语义补充，该层上采样层对通道拼接后得到的图像特征进行卷积操作，并将得到的图像特征输入至上一层上采样层。
[0069]
在本发明实施例中，以图3的a图中特征提取网络中的第三层注意力下采样层p3和图3的b图中第三层注意力上采样层p6为例，对下采样层和上采样层的结构进行说明：
[0070]
如图3的a图所示，其注意力下采样层由特征提取层m1，一个改进的多通道交流注意力模块m2，一个池化层m3和一个激活函数m4组成；
[0071]
其中，特征提取层是由三个卷积核大小为3*3，步距为1，padding填充为1的卷积层加relu激活函数层组成，其输出特征图输入接下来的mcc注意力模块；
[0072]
所述mcc注意力模块是由多通道交流通道注意力模块和多通道交流空间注意力模块组成，输入最大池化层；
[0073]
所述池化层为2*2池化核的最大池化下采样层，将上述注意力精炼特征进行池化下采样后输入relu激活函数层；
[0074]
所述relu激活函数层以relu函数作为激活函数，对所述特征融合层输出的图像特征进行激活函数操作，获取下采样的输出特征图。
[0075]
如图3的b图所示，其注意力上采样层由一个双线性插值层m5，一个concatenate拼接层m6，一个特征重构层m7，一个注意力模块层m8和relu激活函数层组成；
[0076]
其中，特征重构层，由两个卷积核大小为1
×
1，步距为1的卷积层和一个relu激活函数层组成。
[0077]
上述基于unet网络结构的主干分割网络存在以下问题：图像的细节特征可能会随着不断的卷积和池化出现特征丢失的情况，尽管有shortcut短连接进行特征补充和特征融合，仍然难以达到足够的语义补充的目的，导致分割精度下降。
[0078]
为了解决上述问题，本发明实例构建了一个基于多通道交流的改进注意力模块，如图4所示，即本实例所示的基于多通道交流注意力(multi-communication channel attention)语义分割网络中的改进注意力mcc模块。
[0079]
其中，所述改进注意力mcc模块，由改进的多通道交流通道注意力和改进的多通道交流分组空间注意力构成。所述的改进注意力mcc模块用于根据网络的下采样特征或者上采样特征得到网络的注意力精炼特征。
[0080]
3.改进注意力mcc模块的结构
[0081]
本发明实施例中，所述的改进注意力mcc模块根据网络的下采样特征或者上采样特征得到网络的注意力精炼特征，并将获得的精炼注意力图像特征输入下一层下采样或上采样网络中。主网络根据精炼注意力图像特征获得采血管分层血液图像分割结果。
[0082]
在本发明实施例中，以特征提取网络中的第三层注意力下采样层p3为例，对注意力模块的工作过程进行说明：
[0083]
改进多通道交流注意力mcc模块，如图示4a所示，由改进的多通道交流通道注意力模块n2和改进的多通道交流分组空间注意力模块n3串联组成。
[0084]
如图示4b所示，模块的多通道交流通道注意力n2采用临近通道交流的思想，具体过程如下：
[0085]
对于多通道交流通道注意力模块的输入特征图f∈r
128
×
128
×
256
，将输入特征图f分别进行空间上的n6全局最大池化maxpool和n7全局平均池化avgpool得到特征权重g
max
∈r1×1×
256
和g
avg
∈r1×1×
256
；
[0086]
对于当前通道及其临近的7个通道进行两次1d卷积n8、n10实现特征权重g
max
的7个通道间的交流和g
avg
的7个通道间的交流，得到了通道交流后新特征权重w
max
∈r1×1×
256
和w
avg
∈r1×1×
256
，通过1d卷积实现了临近通道间的通道交流，强化了当前通道及其临近通道对当前通道特征权重的影响，其更关注局部小区域特征，改善了现有分割网络对于小区域目标特征丢失的问题；其中1d卷积的卷积核为大小1
×
7，为了保持卷积前后权重维数不变，卷积前对权重g进行大小为3的padding周边；
[0087]
对于生成的特征权重w
max
和w
avg
在通道维度上相加后，通过sigmoid激活函数，得到输入特征图f∈r
128
×
128
×
256
的通道注意力权重mc∈r1×1×
256
，并与输入特征图f∈r
128
×
128
×
256
中的每个通道特征进行点乘，得到通道注意力特征图f
′
∈r
128
×
128
×
256
。
[0088]
如图示4c所示，模块的多通道交流分组空间注意力模块采用了多通道交流空间注意力采用了分组空间注意力的思想，并对得到的分组特征在通道上随机的进行全局最大池化或者全局平均池化，具体过程如下：
[0089]
对于多通道交流空间注意力的输入特征图f
′
∈r
128
×
128
×
256
，将输入特征图f
′
进行基于通道的分组操作n18，如图中n20所示，得到多个维度相同的子特征图fi′
＝{f1′
,f2′…fi
′
,
…fn
′
}，fi′
∈rh×w×
c/n
，其中n表示分组后子特征图的个数，本实施例中n＝8，i＝[1,2
…
8]，fi′
表示第i个子特征图。
[0090]
对于每个子特征图fi′
，在通道上随机的进行全局最大池化或全局平均池化，得到空间特征权重g
′
imax
∈r
128
×
128
×1或g
′
iavg
∈r
128
×
128
×1。
[0091]
对于生成的8个空间特征权重，在通道维度上进行concat拼接，得到空间特征综合权重g
′
∈r
128
×
128
×8。
[0092]
对于得到的空间特征综合权重g
′
，将g
′
送入卷积核为3
×
3的卷积层n22进行降维操作，再通过sigmoid激活函数后，得到了特征融合后的空间注意力权重ms∈r
128
×
128
×1，并与输入特征图f
′
∈r
128
×
128
×
256
中的每个空间特征进行点乘，得到改进的多通道交流注意力模块的输出ff∈r
128
×
128
×
256
。
[0093]
4.所述采血管血液分层图像分割网络mcc-unet的实验训练过程以及训练参数
[0094]
在本实施例中，在实验阶段，将如图所示的采血管血液分层图像分割网络分别进行了消融实验和与unet网络、pspnet网络、deeplabv3+网络进行的对比实验。
[0095]
实验在pytorch环境下进行，上述网络均采用adam优化器，设置网络初始学习率分别为0.0001，衰减率为0.93，采用dice loss辅助focal loss函数作为网络训练的损失函数。
[0096][0097][0098]
其中，f
loss
为focal loss，d
loss
为dice loss。x为模型预测分割结果，y为图像实际分割结果。α和γ为设置好的常数。p
prediction
为预测样本属于该种类样本的概率。
[0099]
为了评估网络性能，实验以均交并比miou，精确度pre，召回率rec作为评估指标，得到了下表1所示的实验结果。
[0100]
表1.实施例1与旧网络的对比实验结论
[0101][0102]
其中，unet表示unet网络，mcc-unet表示采用了本发明提出的多尺度混合注意力模块的unet网络，deeplabv3+表示deeplabv3+网络，pspnet表示pspnet网络。
[0103]
其中，性能指标的具体公式如下所示：
[0104][0105]
[0106][0107][0108]
其中，tp：样本为正，预测结果为正；tn：样本为负，预测结果为负；fp：样本为负，预测结果为正；fn：样本为正，预测结果为负。
[0109]
根据上述表1和表2的数据得知，在采血管血液分层图像数据集上，如图2所示的采血管血液分层图像分割网络mcc-unet在消融实验和与旧网络的对比实验中均表现出更优的网络性能，能够达到更高的图像分割精度。实验最终获得了稳定且高性能的基于多通道交流注意力的语义分割网络模型并对采血管血液分层图像进行分割。
[0110]
实施例2：
[0111]
本发明实施例相较于实施例1，在注意力模块上仅采用改进的多通道交流通道注意力模块和普通的空间注意力模块，在彩色血液分层图像数据集上进行训
[0112]
练、验证和测试。具体步骤与实施例1类似，不同之处如下所述：
[0113]
相较于实施例1中所述的mcc注意力模块，本实施例中采用mcc-channel注意力模块，仅采用mcc注意力模块中的多通道交流通道注意力模块和传统的空间注意力模块相结合。以特征提取网络中的第三层注意力下采样层为例，对注意力模块的工作过程进行说明：
[0114]
模块的多通道交流通道注意力采用临近通道交流的思想，具体过程如下：
[0115]
对于多通道交流通道注意力模块的输入特征图f2∈r
128
×
128
×
256
，将输入特征图f分别进行空间上的全局最大池化maxpool和全局平均池化avgpool得到特征权重g
max2
∈r1×1×
256
和g
avg2
∈r1×1×
256
；
[0116]
对于当前通道及其临近的7个通道进行两次1d卷积(其中1d卷积的卷积核为大小1
×
7，为了保持卷积前后权重维数不变，卷积前对权重g进行大小为3的padding周边)实现特征权重g
max2
的7个通道间的交流和g
avg2
的7个通道间的交流，得到了通道交流后新特征权重w
max2
∈r1×1×
256
和w
avg2
∈r1×1×
256
，通过1d卷积实现了临近通道间的通道交流，强化了当前通道及其临近通道对当前通道特征权重的影响，其更关注局部小区域特征，改善了现有分割网络对于小区域目标特征丢失的问题；
[0117]
对于生成的特征权重w
max2
和w
avg2
在通道维度上相加后，通过sigmoid激活函数，得到输入特征图f2∈r
128
×
128
×
256
的通道注意力权重m
c2
∈r1×1×
256
，并与输入特征图f2∈r
128
×
128
×
256
中的每个通道特征进行点乘，得到通道注意力特征图f2′
∈r
128
×
128
×
256
。
[0118]
模块的空间注意力模块采用了传统的空间注意力思想，具体过程如下：
[0119]
对于多通道交流空间注意力的输入特征图f2′
∈r
128
×
128
×
256
，将输入特征图f2′
在通道上分别进行全局最大池化或全局平均池化，得到空间特征权重g
′
max2
∈r
128
×
128
×1或g
′
avg2
∈r
128
×
128
×1。
[0120]
对于生成的两个空间特征权重，在通道维度上进行concat拼接，得到空间特征综合权重g
′
∈r
128
×
128
×2。
[0121]
对于得到的空间特征综合权重g
′
，将g
′
送入卷积核为3
×
3的卷积层进行降维操
作，再通过sigmoid激活函数后，得到了特征融合后的空间注意力权重ms∈r
128
×
128
×1，并与输入特征图f2′
∈r
128
×
128
×
256
中的每个空间特征进行点乘，得到mcc-channel注意力模块的输出f
f2
∈r
128
×
128
×
256
。
[0122]
其他结构、参数、数据集和训练过程均与实施例1相同，实验在pytorch环境下进行，上述网络均采用adam优化器，设置网络初始学习率分别为0.0001，衰减率为0.93，采用dice loss辅助focal loss函数作为网络训练的损失函数。实验以均交并比miou，精确度pre，召回率rec作为评估指标，得到了下表2所示的实验结果。
[0123]
表1.实施例2与旧网络的对比实验结论
[0124][0125]
其中，unet表示unet网络，mcc-channel-unet表示采用了本实施例中的所述mcc-channel注意力模块的unet网络，deeplabv3+表示deeplabv3+网络，pspnet表示pspnet网络。
[0126]
实施例3：
[0127]
本发明实施例相较于实施例1，在注意力模块上仅采用改进的多通道交流空间注意力模块和传统的通道注意力模块，在彩色血液分层图像数据集上进行训练、验证和测试。具体步骤与实施例1类似，不同之处如下所述：
[0128]
相较于实施例1中所述的mcc注意力模块，本实施例中采用mcc-spatial注意力模块，仅采用mcc注意力模块中的多通道交流通道注意力模块和传统的空间注意力模块相结合。以特征提取网络中的第三层注意力下采样层为例，对注意力模块的工作过程进行说明：
[0129]
模块的通道注意力采用传统的通道注意力模块，具体过程如下：
[0130]
对于多通道交流通道注意力模块的输入特征图f3∈r
128
×
128
×
256
，将输入特征图f分别进行空间上的全局最大池化maxpool和全局平均池化avgpool得到特征权重g
max3
∈r1×1×
256
和g
avg3
∈r1×1×
256
；
[0131]
将得到的两个特征权重g
max3
和g
avg3
输入公共的三层全连接层进行特征权重的重构，得到了通道交流后新特征权重w
max3
∈r1×1×
256
和w
avg3
∈r1×1×
256
；
[0132]
对于生成的特征权重w
max3
和w
avg3
在通道维度上相加后，通过sigmoid激活函数，得到输入特征图f3∈r
128
×
128
×
256
的通道注意力权重m
c3
∈r1×1×
256
，并与输入特征图f3∈r
128
×
128
×
256
中的每个通道特征进行点乘，得到通道注意力特征图f3′
∈r
128
×
128
×
256
。
[0133]
模块的多通道交流空间注意力模块采用了分组空间注意力的思想，并对得到的分组特征在通道上随机的进行全局最大池化或者全局平均池化，具体过程如下：
[0134]
对于多通道交流空间注意力的输入特征图f3′
∈r
128
×
128
×
256
，将输入特征图f
′
进行基于通道的分组操作，得到多个维度相同的子特征图f
′
3i
＝{f
′
31
,f
′
32
…f′
3i
,
…f′
3n
}，f
′
3i
∈rh×w×
c/n
，其中n表示分组后子特征图的个数，本实施例中n＝8，i＝[1,2
…
8]，f
′
3i
表示第i个子特征图。
[0135]
对于每个子特征图f
′
3i
，在通道上随机的进行全局最大池化或全局平均池化，得到空间特征权重g
′
3imax
∈r
128
×
128
×1或g
′
3iavg
∈r
128
×
128
×1。
[0136]
对于生成的8个空间特征权重，在通道维度上进行concat拼接，得到空间特征综合权重g
′
3i
∈r
128
×
128
×8。
[0137]
对于得到的空间特征综合权重g
′
3i
，将g
′
3i
送入卷积核为3
×
3的卷积层进行降维操作，再通过sigmoid激活函数后，得到了特征融合后的空间注意力权重m
s3
∈r
128
×
128
×1，并与输入特征图f
′3∈r
128
×
128
×
256
中的每个空间特征进行点乘，得到改进的多通道交流注意力模块的输出f
f3
∈r
128
×
128
×
256
。
[0138]
其他结构、参数、数据集和训练过程均与实施例1相同，实验在pytorch环境下进行，上述网络均采用adam优化器，设置网络初始学习率分别为0.0001，衰减率为0.93，采用dice loss辅助focal loss函数作为网络训练的损失函数。实验以均交并比miou，精确度pre，召回率rec作为评估指标，得到了下表3所示的实验结果。
[0139]
表3.实施例3与旧网络的对比实验结论
[0140][0141]
其中，unet表示unet网络，mcc-spatial-unet表示采用了本实施例中的所述mcc-spatial注意力模块的unet网络，deeplabv3+表示deeplabv3+网络，pspnet表示pspnet网络。
[0142]
综合以上三个实施例，得到了下表4所示的三个实施例间的对比实验结果。
[0143]
表4.三个实施例之间的对比实验结论
[0144][0145]
实验证明，本发明实施例提出的基于多通道交流注意力语义分割网络的采血管血液分层图像分割方法，在采血管分层血液图像处理领域的风格性能具有先进性，相较于传统图像处理方法难以高精度的分割分层血液图像，本发明提出的基于多通道交流注意力语义分割网络的采血管血液分层图像分割方法拥有更高的分割精度。
[0146]
实验证明。相较于专利cn202210279022.0提出的一种采血管视觉识别系统和专利cn201610390622.9提出的血液分层识别方法，本发明实施例提出的基于多通道交流注意力语义分割网络的采血管血液分层图像分割方法具有更高的精度和更完善的自动化特性，不需要繁琐的步骤，操作更加简单便捷，在该领域具有先进性。
[0147]
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技
术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。