一种基于双重注意力融合的图像分割方法

本发明属于图像处理的，具体涉及一种基于双重注意力融合的图像分割方法。

背景技术：

1、医学图像在诊断疾病方面起到了非常关键的作用。用人工方法从医学图像中精确分割器官是非常困难和耗时的，人工方法也深深依赖于个人经验。现代图像处理和人工智能(ai)的快速发展为医生提供了更多关于病变的关键信息，人工智能技术正在提高疾病诊断的准确性，并减少诊断时间，从医学图像中准确分割特定器官是一项具有挑战性的工作，这对临床诊断非常重要。

2、近年来，基于深度学习进行医学图像分割的研究有了一定的突破，但从医学图像中分割多个器官有很大的困难，困难来自以下方面：第一，人体有多个器官被挤压在狭小的空间里，导致不同人的同一器官有很大的形变，例如，腹部的结肠和胰腺在不同的人身上有非常不同的形状外观；第二，是现有的扫描仪的扫描质量有限，导致边界模糊、对比度低和噪音大，在腹部ct切片中，胰腺头部和十二指肠之间通常有模糊的边界，导致分割精度有限；第三，人体器官在医学图像中具有不同的尺寸和形状，因此我们需要更多的从不同维度提取的抽象特征和高层次的特征来提取图像语义信息。

3、现有的方法大多是基于卷积神经网络的图像分割算法，通过在基础分割框架中加入新的模块来提高网络的特征提取能力从而得到更高精度的分割结果，但基于卷积神经网络的方法擅长于捕获局部特征中的细节信息，对于图像全局的远距离关系建模能力不足，自transformer自注意力算法在自然语言处理领域被提出，已被人广泛应用于计算机视觉领域，并取得了比较好的效果，但是如何利用好卷积和transformer的各自优势，还是一个很值得探索的课题。

技术实现思路

1、本发明提供了一种基于双重注意力融合的图像分割方法，提出的双重注意力门控融合的割网络模型，采用编-解码结构，在模型底部加入了双重注意力门控融合模块，很大程度上提高了模型的特征提取能力，并在网络最后直接输出图像的高精度分割结果，大大提高了自动分割的准确度，解决现有方法分割精度不高、分割效果较差等技术问题。

2、本发明可通过以下技术方案实现：

3、一种基于双重注意力融合的图像分割方法，包括以下步骤：

4、s1、根据目标任务构造数据集，所述数据集包括对特定目标进行像素级标注的多个图像样本；

5、s2、构建分割网络模型，并将数据集中的图像样本输入构建好的分割网络模型中进行训练，

6、所述分割网络模型采用u型结构，包括编码模块、双重注意力门控融合模块和解码模块，其中，所述编码模块用于对输入图像进行编码，获取初始特征图；所述双重注意力门控融合模块包括基于cnn的多尺度加权通道注意力分支和基于transformer的全局空间自注意力分支，并通过门控机制模块将两个分支提取到的特征进行融合而成，用于获取最终特征图；所述解码模块用于对最终特征图进行解码，获取分割后的图像；

7、所述多尺度加权通道注意力分支用于提取类间响应特征，以提高分类精度，获取多尺度特征图，所述全局空间自注意力分支用于提取长距离的依赖性特征，以提高定位精度，获取全局特征图；

8、s3、将待分割的图像数据输入到训练好的分割网络模型中，得到目标图像的高精度分割结果。

9、进一步，所述多尺度加权通道注意力分支包括串联的多尺度卷积操作和一个加权通道注意力操作，

10、针对输入的初始特征图，一方面，首先对初始特征图进行1×1的卷积将通道数变为原来的1/8，生成的特征图t1；另一方面，对初始特征图进行尺寸和通道数的减半后分别并行地进行3×3卷积、5×5卷积和7×7卷积，以此通道数压缩至初始特征图的1/8，由此再次得到三个1/8通道数的特征图t2、t3、t4，共计四个特征图t1、t2、t3、t4；

11、然后分别对四个特征图t1、t2、t3、t4进行se通道注意力操作，由此得出四组通道注意力系数，进而分别对4组通道注意力系数赋予可训练的四个权重值，得到四组加权后的通道注意力系数，再进行拼接并经过softmax函数归一化，接着对应通道地乘到由四个特征图t1、t2、t3、t4拼接而成的组合特征图上，再经过一次卷积，最终得到1/2原通道数的多尺度特征图，实现对初始特征图的多尺度信息提取。

12、进一步，所述全局空间自注意力分支包括串联的多个的transformer注意力块，每个所述transformer注意力块均包括层归一化模块、多头自注意力msa、多层感知器mlp和残差模块。

13、进一步，所述transformer注意力块设置有12个，所述5×5卷积设置有四组，所述7×7卷积设置有八组。

14、进一步，所述门控机制模块采用gru门控递归单元结构，包括“重置门”和“更新门”，使用sigmoid函数作为控制激活函数，对输入的多尺度特征图和全局特征图中各自有益特征的增强和不利因素的抑制，从而进行特征信息的充分融合，并去除重复冗余的信息，获取最终特征图。

15、进一步，述编码模块以resnet-50网络的残差卷积块作为主体结构，并在主体结构中插入了若干卷积、池化操作作为衔接；

16、所述解码模块包括三次相同的上采样块和一个分割图输出块，所述上采样块包括一次分辨率扩大一倍的上采样、一次同尺度的编解码特征拼接和两次卷积操作，其中后一次卷积使特征图的通道数减半；所述分割图输出块包括一次卷积操作和一个二倍上采样操作，其中的卷积输出通道数为需要分割的类别数。

17、本发明有益的技术效果如下：

18、(1)提出的双重注意力门控融合分割网络模型，采用u型编-解码结构，在模型底部编码模块和解码模块之间加入了双重注意力门控融合模块，很大程度上提高了模型的特征提取能力，并在网络最后直接输出图像的高精度分割结果，大大提高了自动分割的准确度。

19、(2)双重注意力门控融合模块中不同的分支起到不同的特征提取功能，多尺度加权通道注意力分支通过使用可学习的权重参数来调节多尺度特征的重要性，有效提取了特征图中的类间响应特征，以提高分类精度；多个transformer自注意力块的连续堆叠构成的transformer全局空间自注意力分支，有效提取了特征图中长距离的依赖关系，以提高定位精度。

20、(3)对于双重注意力门控融合模块中不同分支得到的特征图，门控循环单元gru可以有效地融合来自不同分支的高级特征，其中gru的更新门决定了进入下一阶段的低级和高级特征的数量，以强调重要的信息，而重置门则用于遗忘对分割不利的信息，有效避免了特征信息的冗余。

21、(4)强大的编码模块和双重注意力门控融合模块得到同时具有全局信息和多尺度信息的高级特征，基于这些高级特征进行解码，同时在解码阶段与来自编码模块的同尺度特征进行拼接，再次丰富了解码特征，最终体现在分割结果的效果上，有效提升了网络的分割精度。

技术特征：

1.一种基于双重注意力融合的图像分割方法，其特征在于包括以下步骤：

2.根据权利要求1所述的基于双重注意力融合的图像分割方法，其特征在于：所述多尺度加权通道注意力分支包括串联的多尺度卷积操作和一个加权通道注意力操作，

3.根据权利要求2所述的基于双重注意力融合的图像分割方法，其特征在于：所述全局空间自注意力分支包括串联的多个的transformer注意力块，每个所述transformer注意力块均包括层归一化模块、多头自注意力msa、多层感知器mlp和残差模块。

4.根据权利要求3所述的基于双重注意力融合的图像分割方法，其特征在于：所述transformer注意力块设置有12个，所述5×5卷积设置有四组，所述7×7卷积设置有八组。

5.根据权利要求1所述的基于双重注意力融合的图像分割方法，其特征在于：所述门控机制模块采用gru门控递归单元结构，包括“重置门”和“更新门”，使用sigmoid函数作为控制激活函数，对输入的多尺度特征图和全局特征图中各自有益特征的增强和不利因素的抑制，从而进行特征信息的充分融合，并去除重复冗余的信息，获取最终特征图。

6.根据权利要求1所述的基于双重注意力融合的图像分割方法，其特征在于：所述编码模块以resnet-50网络的残差卷积块作为主体结构，并在主体结构中插入了若干卷积、池化操作作为衔接；

技术总结
本发明公开了一种基于双重注意力融合的图像分割方法，先根据目标任务构造数据集；再构建分割网络模型，并将数据集中的图像样本输入构建好的分割网络模型中进行训练，该分割网络模型采用U型结构，包括编码模块、双重注意力门控融合模块和解码模块，其中编码模块用于对输入图像进行编码，获取初始特征图；双重注意力门控融合模块包括多尺度加权通道注意力分支和全局空间自注意力分支，并通过门控机制模块将两个分支提取到的特征进行融合而成，用于获取最终特征图；解码模块用于对最终特征图进行解码，获取分割后的图像；最后将待分割的图像数据输入到训练好的分割网络模型中，得到目标图像的高精度分割结果。

技术研发人员：袁非牛,汤照达
受保护的技术使用者：上海师范大学
技术研发日：
技术公布日：2024/1/11