一种基于多分支特征融合精炼的医学图像分割方法与流程

1.本发明属于医学影像处理领域，具体涉及一种基于多分支特征融合精炼的医学图像分割方法、系统、装置。


背景技术：

2.随着科学技术的不断技术，医疗影像设备被越来越多地应用到各类疾病的诊断中。医疗影像可以帮助医生观察到病患身体内部的各类生理病变状态；因而在很多疾病的早期诊断中发挥了不可替代的突出作用。单靠医生对医学图像进行分析可能会存在困难，随着图像识别技术在医学图像领域的应用，医学图分割技术也被不断应用到医学应用的辅助诊断中。医学图像分割的目的是提取相关特征，并把医学图像中的具有某些特殊含义的部分分割出来，辅助医护人员做出更为精准的判断。
3.医学图像分割技术虽然作为医学图像处理与分析领域中的重要步骤，但医学图像分割本身就是个困难的任务。针对不同类型的医学图像中疾病的病例特征的差异，医学图像中包含的特征信息具有较高的复杂性。具体体现在：多个待分割目标大小不同、形状不一、空间分布没有规律等。同时，由于医学图像数据集需要专业人员的手工标注，难以大量获取，这大大限制着深度学习方法的发挥。如何从有限的样本中提取到有效的特征，并得到准确的分割结果仍是个具有挑战性的问题。
4.医学图像分割目前主要分为基于cnn网络的分割方法和基于transformer网络的分割方法。cnn具有非常良好的性能，这主要归功于卷积操作，为了获得更好的图像表示，它以分层的方式收集局部特征，但这种设计限制了cnn捕获全局信息的能力，而全局信息对医学图像分割任务来说至关重要。transformer可以捕捉到长距离特征依赖性，从而获得全局特征表示，但又忽略了局部细节，在边界处容易混淆背景和前景。
5.因此上述两类医学图像分割方案大都无法对医学图像中丰富的局部特征和大范围的全局特征实现兼顾，也就无法在大部分复杂的医学图像分割任务中保持较高的分割精度。传统医学图像分割方案的精度、可靠性和鲁棒性等方面都存在不足。


技术实现要素：

6.为解决现有医学图像分割方法无法兼顾样本的局部特征和全局特征，因而在精度、可靠性和鲁棒性等方面存在不足的问题，本发明提供一种基于多分支特征融合精炼的医学图像分割方法、系统、装置。
7.本发明采用如下技术方案实现：
8.一种基于多分支特征融合精炼的医学图像分割方法，其用于结合多层次的特征信息对医学图像中的目标进行识别，进而分割出更加精准的目标区域的图像。
9.本发明提供的图像分割方法的整体思路如下：首先使用pvt预训练模型和resnext101预训练模型提取出输入的医学图像特征，将两个主干每层的输出作为输入，经过新设计的双分支的特征融合模块获取到融合特征。并将全部融合特征作为输入，经过设
计的跨层特征精炼模块进行对不同层级的特征跨层分析，提取其中的全局信息；得到跨层精炼特征。最后将跨层精炼特征和最深层的精炼特征同时加入到解码器进行上采样，特征图逐步恢复到原始分辨率，最终输出分割结果图。
10.具体地，本发明提供的基于多分支特征融合精炼的医学图像分割方法的详细处理过程包括如下步骤：
11.s1：通过预训练后的pvt模型和resnext101模型同步对输入的医学图像进行特征提取，分别得到两路原始特征，每路包括四个不同层次的特征图；对两种不同来源的原始特征进行尺寸统一操作。
12.步骤s1的尺度统一操作中，以pvt模型输出的特征图形状为准，对resnext101模型输出的对应层的原始特征图进行尺寸调整，以使二者输出的特征图尺寸相匹配。
13.s2：将尺寸统一后的两路特征图中每一个对应层的特征分别进行融合得到对应的融合特征f。融合处理过程如下：
14.s21：将通过pvt模型和resnext101模型提取的各对应层的两个特征图f
p
、fr相加。
15.s22：通过多尺度通道注意力模块提取相加后的各层特征图的多尺度通道注意矩阵m。
16.s23：将多尺度通道注意矩阵m与各自的输入特征相乘后，并再次将得到的两个特征图相加。
17.s24：将上步骤相加后的特征图经过一个3x3卷积和批归一化操作，最终由relu激活得到融合特征f
pr
。
18.本发明的步骤s2中，利用多尺度通道注意力模块计算特征图x的多尺度通道注意矩阵m(x)的操作过程，详细表示如下：
[0019][0020]
上式中，g(x)表示对特征图x进行全局平均池化，δ表示relu激活函数，表示批标准化操作，pwconv表示点卷积操作，
⊕
表示特征图间的加法操作，x表示两个分支特征图相加的结果；g(x)和l(x)分别表示对x特征的两种不同的操作；g(x)分支使用全局平均池，更关注全局分布的大对象；l(x)分支保持原始特征大小，更关注局部细节信息，让分割边界更清晰准确的同时还保证了小对象不被忽略。
[0021]
进一步地，根据pvt模型和resnext101模型提取的两个原始特征图f
p
、fr，以及计算出的多尺度通道注意矩阵m(x)，融合特征f
pr
的计算公式如下：
[0022][0023]
上式中，表示逐元素乘法；表示对相应层的原始特征图f
p
、fr进行尺寸统一后相加。
[0024]
s3：充分挖掘各层融合特征f
pr
中的全局上下文信息，进而输出各层融合特征f
pr
对应的精炼特征fe。精炼特征fe的生成过程如下：
[0025]
s31：将融合特征fe分别经过3
×
3卷积和平均池化层处理后，得到特征图fc和特征图fa。
[0026]
s32：通过多尺度通道注意力模块提取特征图fc和特征图fa的重要性矩阵mc和ma。
[0027]
s33：将多尺度注意矩阵mc和ma通过逐元素乘法与fc和fa融合，得到特征图f
cm
和f
am
。
[0028]
s34：将f
am
的特征图通过上采样恢复到与f
cm
同样大小，通过加法直接融合两个分支的特征图得到f
cam
。
[0029]
s35：通过残差结构将融合特征f
pr
与f
cam
融合，得到精炼特征fe。
[0030]
在本发明中，基于各层融合特征f
pr
生成对应的精炼特征fe的操作过程详细表示如下：
[0031][0032]
上式中，a(
·
)表示平均池化操作；u(
·
)表示上采样操作；conv表示卷积操作。
[0033]
s4：构建上步骤获取的各个精炼特征间的长距离相关性，对四个不同层次的精炼特征进行跨层精炼操作；并输出三个跨层精炼特征。过程如下：
[0034]
s41：假设获取的四个不同层次的精炼特征分别为：f
′1、f
′2、f
′3、f
′4，将他们在空间维度展平，然后变形到相同的通道数。
[0035]
s42：在展平的空间维度上拼接四个精炼特征。
[0036]
s43：将拼接后的特征经过ln层归一化后，再经过自注意力层和前馈神经网络mixffn处理构建出特征间的长距离相关性。
[0037]
s44：将上步骤网络模型的输出分成三个跨层精炼特征，并将跨层精炼特征分别变形成解码端相应解码层的形状，输出到解码端。
[0038]
在本发明中国，跨层特征精炼操作的处理过程如下：
[0039][0040]
上式中，fi表示根据不同层次的融合特征得到的精炼特征；表示各个融合特征的层次标记，i＝1，2，3，4；tokenfi表示将特征图变形重塑至同样形状的操作结果；b表示每批次的数据量；c表示通道数；reshape表示变形操作；concatenate表示特征拼接操作；merge_token表示特征拼接的操作结果；efficient_atten表示有效自注意力模块；atten_token表示有效自注意力模块的操作结果；表示层标准化操作；res_token表示层标准化的操作结果；
[0041]
mixffn表示前馈神经网络；ffni表示经前馈神经网络处理的结果；split表示划分并恢复原始形状操作；split_token表示将res_token划分并恢复原始形状的操作结果；output表示跨层特征精炼操作的整体输出。
[0042]
s5：将步骤s1-s4作为编码端的操作；在解码端的上采样过程中，将跨层精炼特征及最深层的精炼特征通过类似跳跃连接的方式与解码层相结合，纠正在池化操作期间丢失的信息，最终得到医学图像的分割结果。
[0043]
具体的，步骤s5的解码过程采取如下的解码策略：
[0044]
(1)将最深层的精炼特征作为解码器第一层的特征，参与到解码器分析过程；
[0045]
(2)将精炼特征最深层的特征通过卷积和池化操作一次变形到为与解码器第二、第三、第四个解码层相同的形状；
[0046]
(3)将跨层特征精炼操作输出的三个跨层精炼特征分别传递到解码器的第一、第二、第三解码层；
[0047]
(4)在各个解码层中将对应的精炼特征与相应的解码层及跨层精炼特征三者相结合，消除编码端和解码端歧义，有效的缓解细节信息丢失；
[0048]
(5)通过最后一个解码层输出预测到的图像分割结果。
[0049]
特别地，本发明设计出的基于多分支特征融合精炼的医学图像分割方法是一种利用“编码器-解码器”架构的网络模型进行图像分割处理方案。在搭建出的图像分割网络模型的训练阶段，整体网络参数使用侧边损失和端到端的损失联合进行参数优化。
[0050]
训练过程中，将标签变形到与解码层每一层对应的尺寸，计算交叉熵损失；交叉熵损失作为侧边监督与分割结果和标签之前的损失函数相加，以通过反向传播对于整体的网络参数进行优化。
[0051]
在训练阶段，采用预先准备训练集的样本图像对网络模型进行训练，直到损失函数收敛，每轮训练时在测试集上预测分割结果，并根据指标保存最佳模型。
[0052]
本发明还包括一种基于多分支特征融合精炼的医学图像分割系统，该医学图像分割系统其采用如前述的基于多分支特征融合精炼的医学图像分割方法，对输入的医学图像进行分析和处理，进而输出识别和预测出的目标区域的图像分割结果。该型基于多分支特征融合精炼的医学图像分割系统包括：第一特征提取模块、第二特征提取模块、尺寸调整模块、特征融合模块、特征精炼模、跨层特征精炼模块，以及解码器。
[0053]
其中，第一特征提取模块作为其中一个分支中的主干网络。第一特征提取网络采用pvt模型作为特征提网络，并用于获取输入的医学图像四个不层的原始特征图。
[0054]
第二特征提取模块作为另外一个分支中的主干网络。第二特征提取网络采用resnext101模型作为特征提网络，并用于获取输入的医学图像四个不层的原始特征图。
[0055]
尺寸调整模块用于以pvt模型输出的特征图形状为准，对resnext101模型输出的对应层的原始特征图进行尺寸调整，以使二者输出的特征图尺寸相匹配。
[0056]
特征融合模块用于将两个主干网络提取到的对应层的特征图相加；再通过多尺度通道注意力模块计算其中特征的重要性得到重要性矩阵，将重要性矩阵与各自的输入特征相乘，以突出重要特征，抑制与任务不相关的特征；然后对每层得到的两个特征图再次相加，经过一个3x3卷积和批归一化操作，最终由relu激活得到融合特征。
[0057]
特征精炼模块用于先获取特征融合模块输出各层的融合特征，然后，将融合特征
分别经过3
×
3卷积和平均池化层处理后，得到特征图fc和特征图fa。接着，分别经过多尺度注意力组件学习基于多尺度注意力的特征表达，将获取到的多尺度注意矩阵mc和ma通过逐元素乘法与fc和fa融合，得到特征图f
cm
和f
am
；再将f
am
的特征图通过上采样恢复到与f
cm
同样大小，通过加法直接融合两个分支的特征图得到f
cam
。最后，通过残差结构将f与f
cam
融合，得到精炼特征。
[0058]
跨层特征精炼模块用于获取特征精炼模块输出的四层精炼特征f
′1,f
′2,f
′3,,f
′4，并将f
′1～f
′4作为跨层特征精炼模块的输入。跨层特征精炼模块首先将各个特征图在空间维度展平，然后变形到相同的通道数，并在展平的空间维度上拼接四个精炼特征。接着，经过ln层归一化后，再经过自注意力层和前馈神经网络mixffn构建长距离相关性，得到跨层精炼特征。最后，将跨层精炼特征分别变形成解码器中相应解码层的形状，输出到解码器中；
[0059]
解码器用于获取跨层精炼特征及最深层的精炼特征，然后通过类似跳跃连接的方式将各个特征图与解码层相结合，纠正在池化操作期间丢失的信息，最终得到医学图像的分割结果。加码器的处理过程包括：(1)将最深层的精炼特征作为解码器第一层的特征，参与到解码器分析过程。(2)将精炼特征最深层的特征通过卷积和池化操作一次变形到为与解码器第二、第三、第四个解码层相同的形状。(3)将跨层特征精炼操作输出的三个跨层精炼特征分别传递到解码器的第一、第二、第三解码层。(4)在各个解码层中将对应的精炼特征与相应的解码层及跨层精炼特征三者相结合。(5)通过最后一个解码层输出预测到的图像分割结果。
[0060]
本发明还包括一种基于多分支特征融合精炼的医学图像分割装置，其包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序。该医学图像分割装置中构建有如前述基于多分支特征融合精炼的医学图像分割系统对应架构的图像分割网络模型，图细分割网络模型经过预先训练。处理器执行程序时实现如前述的基于多分支特征融合精炼的医学图像分割方法的步骤；进而结合多层次的特征信息对医学图像中的目标进行识别，并分割出更加精准的目标区域的图像。
[0061]
本发明提供的技术方案，具有如下有益效果：
[0062]
本发明提出一种基于多分支特征融合精炼的医学图像分割方法，以及对应的数据处理系统和设备。在本实施例的方案中，先利用pvt模型和resnext101模型，提取出不同尺度大小的特征，作为发明提出的双分支特征融合模块的输入。然后通过多尺度注意机制结合两个分支的特征，得到的融合特征保留了和分割任务密切相关的特征。这些特征不仅具有良好的局部细节和全局信息，还能让模型更好适应医学图像中大小不同的物体。接着将特征送入跨层特征精炼模块，该模块首先通过初步精炼挖掘融合特征自身的全局信息，接着综合来自多个不同层次的信息产生跨层精炼特征。最后得到深层次的精炼特征以及跨层精炼特征。
[0063]
最后，在解码器上采样过程中，本发明的方案将跨层精炼特征及最深层的精炼特征通过类似跳跃连接的方式与解码层相结合，纠正在池化操作期间丢失的信息，最终得到更加精准的分割结果。此外，在本发明网络模型的训练阶段，还通过就将不同样本的标签变化到同样的尺寸，将每个解码层激活后与标签计算交叉熵损失，作为侧边监督，与端到端的交叉熵损失联合优化模型参数，使得分割结果更精细准确。
附图说明
[0064]
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
[0065]
图1为本发明实施例1中提供的一种基于多分支特征融合精炼的医学图像分割方法的原理框架图。
[0066]
图2是本发明实施例1中提供的一种基于多分支特征融合精炼的医学图像分割方法的步骤流程图。
[0067]
图3为发明实施例1中采用的特征融合过程的模处理流程图。
[0068]
图4为发明实施例1中采用的多尺度通道注意力模块的模块结构示意图。
[0069]
图5为发明实施例1中采用的特征精炼过程的处理流程图。
[0070]
图6为发明实施例1中采用的跨层特征精炼过程的处理流程图。
[0071]
图7为本发明实施例2中提供的一种基于多分支特征融合精炼的医学图像分割系统的系统架构图。
[0072]
图8为性能测试过程中本发明与其它网络模型在glas数据集上的图像分割实例。
[0073]
图9为性能测试过程中本发明与其它网络模型在pannuke数据集上的图像分割实例。
[0074]
实施方式
[0075]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
[0076]
实施例1
[0077]
本实施例提供一种基于多分支特征融合精炼的医学图像分割方法，其用于结合多层次的特征信息对医学图像中的目标进行识别，进而分割出更加精准的目标区域的图像。
[0078]
本实施例提供的图像分割方案的原理如图1所示：首先使用pvt预训练模型和resnext101预训练模型提取出输入的医学图像特征，将两个主干每层的输出作为输入，经过新设计的双分支的特征融合模块获取到融合特征。并将全部融合特征作为输入，经过设计的跨层特征精炼模块进行对不同层级的特征跨层分析，提取其中的全局信息；得到跨层精炼特征。最后将跨层精炼特征和最深层的精炼特征同时加入到解码器进行上采样，特征图逐步恢复到原始分辨率，最终输出分割结果图。
[0079]
具体地，如图2所示，本发明提供的基于多分支特征融合精炼的医学图像分割方法的详细处理过程包括如下步骤：
[0080]
s1：通过预训练后的pvt模型和resnext101模型同步对输入的医学图像进行特征提取，分别得到两路原始特征，每路包括四个不同层次的特征图；对两种不同来源的原始特征进行尺寸统一操作。
[0081]
pvt模型提取出尺度大小不同的四种特征图分别为：pm1,pm2,pm3,pm4。resnext101模型提取出尺度大小不同的四种特征图rm1,rm2,rm3,rm4。步骤s1的尺度统一操作中，以pvt模型输出的特征图形状为准，对resnext101模型输出的对应层的原始特征图进行尺寸调整，以使二者输出的特征图尺寸相匹配。
[0082]
s2：将尺寸统一后的两路特征图中每一个对应层的特征分别进行融合得到对应的
融合特征f。如图3所示，融合处理过程如下：
[0083]
s21：将通过pvt模型和resnext101模型提取的各对应层的两个特征图f
p
、fr相加；得到特征图x1,x
2,
x
3,
x4。
[0084]
s22：通过多尺度通道注意力模块提取相加后的各层特征图的多尺度通道注意矩阵m。本实施例中采用的多尺度通道注意力模块的网络框架如图4所示。
[0085]
s23：将多尺度通道注意矩阵m与各自的输入特征相乘后，并再次将得到的两个特征图相加。
[0086]
s24：将上步骤相加后的特征图经过一个3x3卷积和批归一化操作，最终由relu激活得到融合特征f
pr
。
[0087]
本实施例的步骤s2中，利用多尺度通道注意力模块计算特征图x的多尺度通道注意矩阵m(x)的操作过程，详细表示如下：
[0088][0089]
上式中，g(x)表示对特征图x进行全局平均池化，δ表示relu激活函数，表示批标准化操作，pwconv表示点卷积操作，
⊕
表示特征图间的加法操作，x表示两个分支特征图相加的结果；g(x)和l(x)分别表示对x特征的两种不同的操作；g(x)分支使用全局平均池，更关注全局分布的大对象；l(x)分支保持原始特征大小，更关注局部细节信息，让分割边界更清晰准确的同时还保证了小对象不被忽略。
[0090]
进一步地，根据pvt模型和resnext101模型提取的两个原始特征图f
p
、fr，以及计算出的多尺度通道注意矩阵m(x)，融合特征f
pr
的计算公式如下：
[0091][0092]
上式中，表示逐元素乘法；表示对相应层的原始特征图f
p
、fr进行尺寸统一后相加。
[0093]
s3：充分挖掘各层融合特征f
pr
中的全局上下文信息，进而输出各层融合特征f
pr
对应的精炼特征fe。如图5所示，精炼特征fe的生成过程如下：
[0094]
s31：将融合特征fe分别经过3
×
3卷积和平均池化层处理后，得到特征图fc和特征图fa。
[0095]
s32：通过多尺度通道注意力模块提取特征图fc和特征图fa的重要性矩阵mc和ma。
[0096]
s33：将多尺度注意矩阵mc和ma通过逐元素乘法与fc和fa融合，得到特征图f
cm
和f
am
。
[0097]
s34：将f
am
的特征图通过上采样恢复到与f
cm
同样大小，通过加法直接融合两个分支的特征图得到f
cam
。
[0098]
s35：通过残差结构将融合特征f
pr
与f
cam
融合，得到精炼特征fe。
[0099]
在本发明中，基于各层融合特征f
pr
生成对应的精炼特征fe的操作过程详细表示如下：
[0100][0101]
上式中，a(
·
)表示平均池化操作；u(
·
)表示上采样操作；conv表示卷积操作。
[0102]
s4：构建上步骤获取的各个精炼特征间的长距离相关性，对四个不同层次的精炼特征进行跨层精炼操作；并输出三个跨层精炼特征。如图6所示，跨层特征精炼模型的处理流程包括如下步骤：
[0103]
s41：假设获取的四个不同层次的精炼特征分别为：f
′1、f
′2、f
′3、f
′4，将他们在空间维度展平，然后变形到相同的通道数。
[0104]
s42：在展平的空间维度上拼接四个精炼特征。
[0105]
s43：将拼接后的特征经过ln层归一化后，再经过自注意力层和前馈神经网络mixffn处理构建出特征间的长距离相关性。
[0106]
s44：将上步骤网络模型的输出分成三个跨层精炼特征，并将跨层精炼特征分别变形成解码端相应解码层的形状，输出到解码端。
[0107]
在本发明中国，跨层特征精炼操作的处理过程如下：
[0108][0109]
上式中，fi表示根据不同层次的融合特征得到的精炼特征；表示各个融合特征的层次标记，i＝1，2，3，4；tokenfi表示将特征图变形重塑至同样形状的操作结果；b表示每批次的数据量；c表示通道数；reshape表示变形操作；concatenate表示特征拼接操作；merge_token表示特征拼接的操作结果；efficient_atten表示有效自注意力模块；atten_token表示有效自注意力模块的操作结果；表示层标准化操作；res_token表示层标准化的操作结果；
[0110]
mixffn表示前馈神经网络；ffni表示经前馈神经网络处理的结果；split表示划分并恢复原始形状操作；split_token表示将res_token划分并恢复原始形状的操作结果；output表示跨层特征精炼操作的整体输出。
[0111]
s5：将步骤s1-s4作为编码端的操作；在解码端的上采样过程中，将跨层精炼特征及最深层的精炼特征通过类似跳跃连接的方式与解码层相结合，纠正在池化操作期间丢失的信息，最终得到医学图像的分割结果。
[0112]
具体的，步骤s5的解码过程采取如下的解码策略：
[0113]
(1)将最深层的精炼特征作为解码器第一层的特征，参与到解码器分析过程；
[0114]
(2)将精炼特征最深层的特征通过卷积和池化操作一次变形到为与解码器第二、第三、第四个解码层相同的形状；
[0115]
(3)将跨层特征精炼操作输出的三个跨层精炼特征分别传递到解码器的第一、第二、第三解码层；
[0116]
(4)在各个解码层中将对应的精炼特征与相应的解码层及跨层精炼特征三者相结合，消除编码端和解码端歧义，有效的缓解细节信息丢失；
[0117]
(5)通过最后一个解码层输出预测到的图像分割结果。
[0118]
特别地，本发明设计出的基于多分支特征融合精炼的医学图像分割方法是一种利用“编码器-解码器”架构的网络模型进行图像分割处理方案。在搭建出的图像分割网络模型的训练阶段，整体网络参数使用侧边损失和端到端的损失联合进行参数优化。
[0119]
训练过程中，将标签变形到与解码层每一层对应的尺寸，计算交叉熵损失；交叉熵损失作为侧边监督与分割结果和标签之前的损失函数相加，以通过反向传播对于整体的网络参数进行优化。
[0120]
在训练阶段，采用预先准备训练集的样本图像对网络模型进行训练，直到损失函数收敛，每轮训练时在测试集上预测分割结果，并根据指标保存最佳模型。
[0121]
实施例2
[0122]
本实施例提供括一种基于多分支特征融合精炼的医学图像分割系统，该医学图像分割系统其采用如前述的基于多分支特征融合精炼的医学图像分割方法，对输入的医学图像进行分析和处理，进而输出识别和预测出的目标区域的图像分割结果。如图7所示，该型基于多分支特征融合精炼的医学图像分割系统包括：第一特征提取模块、第二特征提取模块、尺寸调整模块、特征融合模块、特征精炼模、跨层特征精炼模块，以及解码器。
[0123]
其中，第一特征提取模块作为其中一个分支中的主干网络。第一特征提取网络采用pvt模型作为特征提网络，并用于获取输入的医学图像四个不层的原始特征图。
[0124]
第二特征提取模块作为另外一个分支中的主干网络。第二特征提取网络采用resnext101模型作为特征提网络，并用于获取输入的医学图像四个不层的原始特征图。
[0125]
尺寸调整模块用于以pvt模型输出的特征图形状为准，对resnext101模型输出的对应层的原始特征图进行尺寸调整，以使二者输出的特征图尺寸相匹配。
[0126]
特征融合模块的网络框架如图3所示，用于将两个主干网络提取到的对应层的特征图相加；再通过多尺度通道注意力模块计算其中特征的重要性得到重要性矩阵，将重要性矩阵与各自的输入特征相乘，以突出重要特征，抑制与任务不相关的特征；然后对每层得到的两个特征图再次相加，经过一个3x3卷积和批归一化操作，最终由relu激活得到融合特征。
[0127]
特征精炼模块的网络框架如图5所示，用于先获取特征融合模块输出各层的融合特征，然后，将融合特征分别经过3
×
3卷积和平均池化层处理后，得到特征图fc和特征图fa。接着，分别经过多尺度注意力组件学习基于多尺度注意力的特征表达，将获取到的多尺度注意矩阵mc和ma通过逐元素乘法与fc和fa融合，得到特征图f
cm
和f
am
；再将f
am
的特征图通过上采样恢复到与f
cm
同样大小，通过加法直接融合两个分支的特征图得到f
cam
。最后，通过残差结构将f与f
cam
融合，得到精炼特征。
[0128]
跨层特征精炼模块的网络框架如图6所示，用于获取特征精炼模块输出的四层精
炼特征f
′1,f
′2,f
′
3,,f′4，并将f
′1～f
′4作为跨层特征精炼模块的输入。跨层特征精炼模块首先将各个特征图在空间维度展平，然后变形到相同的通道数，并在展平的空间维度上拼接四个精炼特征。接着，经过ln层归一化后，再经过自注意力层和前馈神经网络mixffn构建长距离相关性，得到跨层精炼特征。最后，将跨层精炼特征分别变形成解码器中相应解码层的形状，输出到解码器中；
[0129]
结合图1可知，解码器用于获取跨层精炼特征及最深层的精炼特征，然后通过类似跳跃连接的方式将各个特征图与解码层相结合，纠正在池化操作期间丢失的信息，最终得到医学图像的分割结果。加码器的处理过程包括：(1)将最深层的精炼特征作为解码器第一层的特征，参与到解码器分析过程。(2)将精炼特征最深层的特征通过卷积和池化操作一次变形到为与解码器第二、第三、第四个解码层相同的形状。(3)将跨层特征精炼操作输出的三个跨层精炼特征分别传递到解码器的第一、第二、第三解码层。(4)在各个解码层中将对应的精炼特征与相应的解码层及跨层精炼特征三者相结合。(5)通过最后一个解码层输出预测到的图像分割结果。
[0130]
实施例3
[0131]
本实施例提供一种基于多分支特征融合精炼的医学图像分割装置，其包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序。该医学图像分割装置中构建有如前述基于多分支特征融合精炼的医学图像分割系统对应架构的图像分割网络模型，图细分割网络模型经过预先训练。处理器执行程序时实现如前述的基于多分支特征融合精炼的医学图像分割方法的步骤；进而结合多层次的特征信息对医学图像中的目标进行识别，并分割出更加精准的目标区域的图像。
[0132]
该计算机设备可以是可以执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。本实施例的计算机设备至少包括但不限于：可通过系统总线相互通信连接的存储器、处理器。
[0133]
本实施例中，存储器(即可读存储介质)包括闪存、硬盘、多媒体卡、卡型存储器(例如，sd或dx存储器等)、随机访问存储器(ram)、静态随机访问存储器(sram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器可以是计算机设备的内部存储单元，例如该计算机设备的硬盘或内存。在另一些实施例中，存储器也可以是计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)等。当然，存储器还可以既包括计算机设备的内部存储单元也包括其外部存储设备。本实施例中，存储器通常用于存储安装于计算机设备的操作系统和各类应用软件等。此外，存储器还可以用于暂时地存储已经输出或者将要输出的各类数据。
[0134]
处理器在一些实施例中可以是中央处理器(central processing unit，cpu)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器通常用于控制计算机设备的总体操作。
[0135]
性能测试
[0136]
为了验证本实施例1-3中提供的技术方案的有效性，技术人员开进行了相应的仿
真实验，搭建相应的网络模型，并对网络模型进行训练和测试。
[0137]
在仿真实验中，实验环境基于windows10，采用pytorch1.8.1版本深度学习框架，编程环境是python3.7，实验的硬件设备采用的是显存为10gb的nvidia3080显卡，cpu采用的intel(r)core(tm)i7-10700型号，数据集采用的是glas，pannuke，tnbc医学图像数据集。
[0138]
在仿真实例中，本案技术人员还以传统的cnn网络的分割方案和基于transformer网络的多个不同的图像分割网络作为对照组进行性能对比，在性能对比中，图8为本实施例方法在glas数据集与其他先进方法的对比结果；图9为本实施例方法在pannuke数据集与其他先进方法的对比结果。
[0139]
选择评价相似度系数mdice和语义分割的评价指标miou作为方案的性能评价指标。统计不同图像分割方案的测量结果如下表所示：
[0140]
表1：本例与对照组中各网络模型的性能对比结果
[0141][0142]
分析上表数据可以，本实施例提供的方案在glas，pannuke，tnbc三个不同的医学图像数据集中，mdice和miou的值均好于其它传统方案，这反映了本实施例提供的方案具有非常突出的图像分割性能。
[0143]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。