基于卷积增强交叉自注意力变形器的U型图像分割网络

本发明涉及的是一种图像处理领域的技术，具体是一种基于卷积增强交叉自注意力变形器的u型图像分割网络。

背景技术：

1、基于变形器的模型由于能够获得长期的上下文信息而被广泛应用于图像分析中。变形器能够提供对象整体风格和轮廓的特征表示，对于局部变化剧烈的对象比基于卷积神经网络(cnn)的模型具有更稳定的识别性能。但现有的基于变形器架构的分割网络容易出现以下问题：1)cnn的提取特征方式与变形器模型有较大区别，特征编码器与解码器的融合会出现特征不匹配的问题。2)当网络的输入是如医学图像一样的高分辨率图像时，由于自注意力的计算复杂度较高，很难在保持性能的情况下，建立一种参数较少的模型。3)变形器在小规模数据集上的表现往往很差，因为它缺乏转换不变性，导致对识别对象的位置和大小不敏感。

技术实现思路

1、本发明针对现有变形器架构特征编码器无法获取详尽的局部信息的缺陷以及全局感知效果有限的不足，提出一种基于卷积增强交叉自注意力变形器的u型图像分割网络，通过卷积增强交叉自注意力变形器将图像划分为横纵条带，并在通道维度上进行特征合并，大大增强了自注意力的感知范围的同时，将局部编码模块融合进入变形器中增强了模型的局部信息处理能力，能够提供对象整体风格和轮廓的特征表示，对于局部变化剧烈的对象比基于卷积神经网络(cnn)的模型具有更稳定的识别性能和更为精确的分割效果。

2、本发明是通过以下技术方案实现的：

3、本发明涉及一种基于卷积增强交叉自注意力变形器的u型图像分割网络，包括：作为编码器的卷积嵌入模块、卷积合并模块和卷积增强交叉自注意力变形器以及作为解码器的卷积上采样模块和卷积解码模块，其中：编码器由五个依次连接的子编码块组成，解码器由四个依次连接的子解码块组成，第一子编码块与第四子解码块直接跳跃连接，第二子编码块与第三子解码块之间、第三子编码块与第二子解码块之间、第四子编码块与第一子解码块之间分别通过用于消除语义鸿沟的特征转换单元进行跳跃连接，第五子编码块与第一子解码块直接连接，第四子解码块输出端设有卷积上采样模块和用于拼接编码的维度映射模块，维度映射模块将融合特征图通过卷积上采样的维度映射生成分割掩码，实现图像分割。

4、所述的第一子编码块包括卷积嵌入模块和对应的卷积合并模块，其中：卷积嵌入模块将输入图像嵌入为特征图并进行局部编码提取细节信息，卷积合并模块对特征图进行卷积降采样。

5、所述的第二至第四子编码块均包括卷积增强交叉自注意力变形器和对应的卷积合并模块，其中：卷积增强交叉自注意力变形器在同一级别的特征图上进行局部和全局特征学习，卷积合并模块对特征图进行卷积降采样。

6、所述的第五子编码块仅包括卷积增强交叉自注意力变形器。

7、所述的第一至第四子解码块均包括卷积上采样模块和对应的卷积解码模块，其中：卷积上采样模块对编码器输出的特征图进行上采样，卷积解码模块对特征图通过跳跃连接特征转换单元进行融合并进行降维和特征提取生成融合特征图。

技术特征：

1.一种基于卷积增强交叉自注意力变形器的u型图像分割网络，包括：作为编码器的卷积嵌入模块、卷积合并模块和卷积增强交叉自注意力变形模块以及作为解码器的卷积上采样模块和卷积解码模块，其中：编码器由五个依次连接的子编码块组成，解码器由四个依次连接的子解码块组成，第一子编码块与第四子解码块直接跳跃连接，第二子编码块与第三子解码块之间、第三子编码块与第二子解码块之间、第四子编码块与第一子解码块之间分别通过用于消除语义鸿沟的特征转换单元进行跳跃连接，第五子编码块与第一子解码块直接连接，第四子解码块输出端设有卷积上采样模块和用于拼接编码的维度映射模块，维度映射模块将融合特征图通过卷积上采样的维度映射生成分割掩码，实现图像分割。

2.根据权利要求1所述的基于卷积增强交叉自注意力变形器的u型图像分割网络，其特征是，所述的第一子编码块包括卷积嵌入模块和对应的卷积合并模块，其中：卷积嵌入模块将输入图像嵌入为特征图并进行局部编码提取细节信息，卷积合并模块对特征图进行卷积降采样；

3.根据权利要求1所述的基于卷积增强交叉自注意力变形器的u型图像分割网络，其特征是，所述的第一至第四子解码块均包括卷积上采样模块和对应的卷积解码模块，其中：卷积上采样模块对编码器输出的特征图进行上采样，卷积解码模块对特征图通过跳跃连接和特征转换单元进行融合并进行降维和特征提取生成融合的特征图。

4.根据权利要求1或2所述的基于卷积增强交叉自注意力变形器的u型图像分割网络，其特征是，所述的卷积嵌入模块包括：用于高维度嵌入和降采样的第一卷积编码块和用于对嵌入后的特征图进行局部表示的第二卷积编码块；

5.根据权利要求1或2所述的基于卷积增强交叉自注意力变形器的u型图像分割网络，其特征是，所述的卷积合并模块通过内置的步长为2填充为1的3×3卷积层对输入的特征图进行局部信息融合后，进行下采样和层归一化ln，以加速后续编码的收敛速度。

6.根据权利要求1或2所述的基于卷积增强交叉自注意力变形器的u型图像分割网络，其特征是，所述的卷积增强交叉自注意力变形模块包括：局部编码模块和与其残差连接的交叉自注意力变形器、多层感知机mlp与两个层归一化单元ln，其中：局部编码模块对输入的特征图进行局部特征提取，交叉自注意力变形器对局部编码模块输出的特征图进行全局建模，从特征图中划分多个窗口并计算窗口内的自我注意和窗口之间的注意力得到蕴含全局信息的特征，多层感知机mlp和层归一化单元ln对同时包含局部和全局信息的特征图进行语义信息整合并加速收敛。

7.根据权利要求6所述的基于卷积增强交叉自注意力变形器的u型图像分割网络，其特征是，所述的窗口内的自我注意和窗口之间的注意力，通过以下方式计算得到：第l层的交叉自注意力变形器将局部编码模块归一化得到规整后的维度为的特征输出在特征维度分为水平和垂直组，其中：c为特征维度，h和w分别为特征的长和宽，垂直组注意力和水平组注意力hor-然后分别进行交叉自注意力的计算。

8.根据权利要求6所述的基于卷积增强交叉自注意力变形器的u型图像分割网络，其特征是，所述的特征转换单元包括：步幅为1的1×1卷积层、bn层和leakyrelu，其中：1×1卷积层用于调整通道数量，以保持cnn和transformer分支的通道一致性；bn层用于规范化transformer分支的输出，使其与cnn分支保持一致。

9.根据权利要求1所述的基于卷积增强交叉自注意力变形器的u型图像分割网络，其特征是，所述的维度映射模块将包含上下文信息的特征图通过卷积上采样进行2倍的上采样，然后使用步长为1，填充为1，核为3×3且输出维度为对应分割类别的投影，得到分割掩码。

技术总结
一种基于卷积增强交叉自注意力变形器的U型图像分割网络，包括：作为编码器的卷积嵌入模块、卷积合并模块和卷积增强交叉自注意力变形模块以及作为解码器的卷积上采样模块和卷积解码模块，本发明通过卷积增强交叉自注意力变形模块将图像块划分为横纵条带，并在通道维度上进行特征合并，大大增强了自注意力的感知范围的同时，将局部编码模块融合进入变形中增强了模型的局部信息处理能力，能够提供对象整体风格和轮廓的特征表示，对于局部变化剧烈的对象比基于卷积神经网络(CNN)的模型具有更稳定的识别性能和更为精确的分割效果。

技术研发人员：张麒,严逸飞
受保护的技术使用者：上海大学
技术研发日：
技术公布日：2024/1/12