技术特征：
1.一种基于多分支特征融合精炼的医学图像分割方法，其用于结合多层次的特征信息对医学图像中的目标进行识别，进而分割出更加精准的目标区域的图像；其特征在于，所述基于多分支特征融合精炼的医学图像分割方法包括如下步骤：s1：通过预训练后的pvt模型和resnext101模型同步对输入的医学图像进行特征提取，分别得到两路原始特征，每路包括四个不同层次的特征图；对两种不同来源的原始特征进行尺寸统一操作；s2：将尺寸统一后的两路特征图中每一个对应层的特征分别进行融合得到对应的融合特征f，融合处理过程如下：s21：将通过pvt模型和resnext101模型提取的各对应层的两个特征图f
p
、f
r
相加；s22：通过多尺度通道注意力模块提取相加后的各层特征图的多尺度通道注意矩阵m；s23：将多尺度通道注意矩阵m与各自的输入特征相乘后，并再次将得到的两个特征图相加；s24：将上步骤相加后的特征图经过一个3x3卷积和批归一化操作，最终由relu激活得到融合特征f
pr
；s3：充分挖掘各层融合特征f
pr
中的全局上下文信息，进而输出各层融合特征f
pr
对应的精炼特征f
e
；所述精炼特征f
e
的生成过程如下：s31：将融合特征f
e
分别经过3
×
3卷积和平均池化层处理后，得到特征图f
c
和特征图f
a
；s32：通过多尺度通道注意力模块提取特征图f
c
和特征图f
a
的重要性矩阵m
c
和m
a
；s33：将多尺度注意矩阵m
c
和m
a
通过逐元素乘法与f
c
和f
a
融合，得到特征图f
cm
和f
am
；s34：将f
am
的特征图通过上采样恢复到与f
cm
同样大小，通过加法直接融合两个分支的特征图得到f
cam
；s35：通过残差结构将融合特征f
pr
与f
cam
融合，得到精炼特征f
e
；s4：构建上步骤获取的各个精炼特征间的长距离相关性，对四个不同层次的精炼特征进行跨层精炼操作；并输出三个跨层精炼特征；过程如下：s41：假设获取的四个不同层次的精炼特征分别为：f
′1、f
′2、f
′3、f
′4，将他们在空间维度展平，然后变形到相同的通道数；s42：在展平的空间维度上拼接四个精炼特征；s43：将拼接后的特征经过ln层归一化后，再经过自注意力层和前馈神经网络mixffn处理构建出特征间的长距离相关性；s44：将上步骤网络模型的输出分成三个跨层精炼特征，并将跨层精炼特征分别变形成解码端相应解码层的形状，输出到解码端；s5：将步骤s1-s4作为编码端的操作；在解码端的上采样过程中，将跨层精炼特征及最深层的精炼特征通过类似跳跃连接的方式与解码层相结合，纠正在池化操作期间丢失的信息，最终得到医学图像的分割结果。2.如权利要求1所述的基于多分支特征融合精炼的医学图像分割方法，其特征在于：步骤s1的尺度统一操作中，以pvt模型输出的特征图形状为准，对resnext101模型输出的对应层的原始特征图进行尺寸调整，以使二者输出的特征图尺寸相匹配。3.如权利要求2所述的基于多分支特征融合精炼的医学图像分割方法，其特征在于：步骤s2中，利用多尺度通道注意力模块计算特征图x的多尺度通道注意矩阵m(x)的操作过程，
详细表示如下：上式中，g(x)表示对特征图x进行全局平均池化，δ表示relu激活函数，表示批标准化操作，pwconv表示点卷积操作，表示特征图间的加法操作，x表示两个分支特征图相加的结果；g(x)和l(x)分别表示对x特征的两种不同的操作；g(x)分支使用全局平均池，更关注全局分布的大对象；l(x)分支保持原始特征大小，更关注局部细节信息，让分割边界更清晰准确的同时还保证了小对象不被忽略。4.如权利要求3所述的基于多分支特征融合精炼的医学图像分割方法，其特征在于：步骤s2中，根据pvt模型和resnext101模型提取的两个原始特征图f
p
、f
r
，以及计算出的多尺度通道注意矩阵m(x)，融合特征f
pr
的计算公式如下：上式中，表示逐元素乘法；表示对相应层的原始特征图f
p
、f
r
进行尺寸统一后相加。5.如权利要求4所述的基于多分支特征融合精炼的医学图像分割方法，其特征在于：步骤s3中，基于各层融合特征f
pr
生成对应的精炼特征f
e
的操作过程详细表示如下：上式中，a(
·
)表示平均池化操作；u(
·
)表示上采样操作；conv表示卷积操作。6.如权利要求1所述的基于多分支特征融合精炼的医学图像分割方法，其特征在于：步骤s4中，跨层特征精炼操作的处理过程如下：上式中，f
i
表示根据不同层次的融合特征得到的精炼特征；表示各个融合特征的层次标记，i＝1，2，3，4；tokenf
i
表示将特征图变形重塑至同样形状的操作结果；b表示每批次的数据量；c表示通道数；reshape表示变形操作；concatenate表示特征拼接操作；merge_token
表示特征拼接的操作结果；efficient_atten表示有效自注意力模块；atten_token表示有效自注意力模块的操作结果；ln表示层标准化操作；res_token表示层标准化的操作结果；mixffn表示前馈神经网络；ffn
i
表示经前馈神经网络处理的结果；split表示划分并恢复原始形状操作；split_token表示将res_token划分并恢复原始形状的操作结果；output表示跨层特征精炼操作的整体输出。7.如权利要求1所述的基于多分支特征融合精炼的医学图像分割方法，其特征在于：步骤s5的解码过程采取如下的解码策略：(1)将最深层的精炼特征作为解码器第一层的特征，参与到解码器分析过程；(2)将精炼特征最深层的特征通过卷积和池化操作一次变形到为与解码器第二、第三、第四个解码层相同的形状；(3)将跨层特征精炼操作输出的三个跨层精炼特征分别传递到解码器的第一、第二、第三解码层；(4)在各个解码层中将对应的精炼特征与相应的解码层及跨层精炼特征三者相结合，消除编码端和解码端歧义，有效的缓解细节信息丢失；(5)通过最后一个解码层输出预测到的图像分割结果。8.如权利要求1所述的基于多分支特征融合精炼的医学图像分割方法，其特征在于：所述基于多分支特征融合精炼的医学图像分割方法是一种利用“编码器-解码器”架构的网络模型进行图像分割处理方案，在搭建出的图像分割网络模型的训练阶段，整体网络参数使用侧边损失和端到端的损失联合进行参数优化；将标签变形到与解码层每一层对应的尺寸，计算交叉熵损失；交叉熵损失作为侧边监督与分割结果和标签之前的损失函数相加，以通过反向传播对于整体的网络参数进行优化；在训练阶段，采用预先准备训练集的样本图像对网络模型进行训练，直到损失函数收敛，每轮训练时在测试集上预测分割结果，并根据指标保存最佳模型。9.一种基于多分支特征融合精炼的医学图像分割系统，其特征在于，其采用如权利要求1-8中任意一项所述的基于多分支特征融合精炼的医学图像分割方法，对输入的医学图像进行分析和处理，进而输出识别和预测出的目标区域的图像分割结果；所述基于多分支特征融合精炼的医学图像分割系统包括：第一特征提取模块，其作为其中一个分支中的主干网络；所述第一特征提取网络采用pvt模型作为特征提网络，并用于获取输入的医学图像四个不层的原始特征图；第二特征提取模块，其作为另外一个分支中的主干网络；所述第二特征提取网络采用resnext101模型作为特征提网络，并用于获取输入的医学图像四个不层的原始特征图；尺寸调整模块，其用于以pvt模型输出的特征图形状为准，对resnext1o1模型输出的对应层的原始特征图进行尺寸调整，以使二者输出的特征图尺寸相匹配。特征融合模块，其用于将两个主干网络提取到的对应层的特征图相加，再通过多尺度通道注意力模块计算其中特征的重要性得到重要性矩阵，将重要性矩阵与各自的输入特征相乘，以突出重要特征，抑制与任务不相关的特征；然后对每层得到的两个特征图再次相加，经过一个3x3卷积和批归一化操作，最终由relu激活得到融合特征；特征精炼模块，其用于先获取所述特征融合模块输出各层的融合特征，然后，将融合特
征分别经过3
×
3卷积和平均池化层处理后，得到特征图f
c
和特征图f
a
；接着，分别经过多尺度注意力组件学习基于多尺度注意力的特征表达，将获取到的多尺度注意矩阵m
c
和m
a
通过逐元素乘法与f
c
和f
a
融合，得到特征图f
cm
和f
am
；再将f
am
的特征图通过上采样恢复到与f
cm
同样大小，通过加法直接融合两个分支的特征图得到f
cam
；最后，通过残差结构将f与f
cam
融合，得到精炼特征；跨层特征精炼模块，其用于获取所述特征精炼模块输出的四层精炼特征f
′1，f
′2，f
′3，，f
′4，并将f
′1～f4作为跨层特征精炼模块的输入；所述跨层特征精炼模块首先将各个特征图在空间维度展平，然后变形到相同的通道数，并在展平的空间维度上拼接四个精炼特征；接着，经过ln层归一化后，再经过自注意力层和前馈神经网络mixffn构建长距离相关性，得到跨层精炼特征；最后，将跨层精炼特征分别变形成解码器中相应解码层的形状，输出到解码器中；解码器，其用于获取跨层精炼特征及最深层的精炼特征，然后通过类似跳跃连接的方式将各个特征图与解码层相结合，纠正在池化操作期间丢失的信息，最终得到医学图像的分割结果，处理过程包括：(1)将最深层的精炼特征作为解码器第一层的特征，参与到解码器分析过程；(2)将精炼特征最深层的特征通过卷积和池化操作一次变形到为与解码器第二、第三、第四个解码层相同的形状；(3)将跨层特征精炼操作输出的三个跨层精炼特征分别传递到解码器的第一、第二、第三解码层；(4)在各个解码层中将对应的精炼特征与相应的解码层及跨层精炼特征三者相结合；(5)通过最后一个解码层输出预测到的图像分割结果。10.一种基于多分支特征融合精炼的医学图像分割装置，其包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于：所述医学图像分割装置中构建有如权利要求书9所述的基于多分支特征融合精炼的医学图像分割系统对应架构的图像分割网络模型，图细分割网络模型经过预先训练；所述处理器执行所述程序时实现如权利要求1至8中任意一项所述的基于多分支特征融合精炼的医学图像分割方法的步骤；进而结合多层次的特征信息对医学图像中的目标进行识别，并分割出更加精准的目标区域的图像。
技术总结
本发明属于医学影像处理领域，具体涉及一种基于多分支特征融合精炼的医学图像分割方法、系统、装置。该医学图像分割方法包括如下步骤：S1：通过PVT和ResNext101模型对医学图像进行特征提取；S2：将每一个对应层的两个特征进行融合得到融合特征；S3：充分挖掘各层融合特征中的全局上下文信息，输出各层融合特征对应的精炼特征；S4：构建各个精炼特征间的长距离相关性，对四个不同层次的精炼特征进行跨层精炼操作；S5：将步骤S1-S4作为编码端的操作；在解码端的上采样过程中，将跨层精炼特征及最深层的精炼特征通过类似跳跃连接的方式与解码层相结合，输出医学图像的分割结果。本发明解决了现有医学图像分割方法精度、可靠性和鲁棒性不足的问题。性不足的问题。性不足的问题。
技术研发人员：汪粼波 曹险峰 方贤勇 刘政怡 褚海涛
受保护的技术使用者：合肥综合性国家科学中心人工智能研究院（安徽省人工智能实验室）
技术研发日：2022.12.28
技术公布日：2023/3/31