一种基于双注意力的遥感图像多阶段分割模型训练方法

本发明涉及遥感图像分割技术，特别是一种基于双注意力的遥感图像多阶段分割模型训练方法。

背景技术：

1、遥感图像分割是遥感技术领域中的一个重要任务，旨在将遥感图像划分为具有相似特征的区域，从而提取地物信息。这一任务在城市规划、资源管理、环境监测等领域中具有广泛的应用。背后涉及的技术涵盖了计算机视觉、图像处理和深度学习等多个领域。

2、为此，中国专利(cn202110198576.3)提供了一种遥感图像语义分割方法、装置及存储介质，用于解决遥感图像语义分割准确性不高的技术问题。这份设备的公开信息中涵盖了一个预处理模块和编解码卷积神经网络。编解码卷积神经网络模型的输入不仅包含当前的数据通道，还包含多种规范化指数，以提高对特定类别的分割效果。在模型的编码路径和解码路径中，采用了多组混合提取模块，这些模块包含多尺度卷积模块，用于提取不同感受野的特征信息，从而增强对同物异谱和同谱异物等具有挑战性的分割任务的效果。混合提取模块中还引入了通道间注意力机制，以加强特征通道之间的融合，进一步提升特征提取的能力。

3、上述现有技术通过多种归一化方法和设计多尺度卷积块来提高分割模型的准确度，但是还存在以下缺陷，由于遥感图像本身分割的物体具有边缘不规则、面积较小等特点，单一的注意力机制和未进行图像分割会导致小类别物体的分割精度较差。若能够在特征提取块中执行通道注意力和空间注意力两种注意力机制，并对图像进行多尺度分割以增加细小类别物体所占面积，则能有效提高分割效率。

技术实现思路

1、发明目的：本发明的目的是提供一种基于双注意力的遥感图像多阶段分割模型训练方法，从而有效提高分割效率。

2、技术方案：本发明所述的一种基于双注意力的遥感图像多阶段分割模型训练方法，包括以下步骤：

3、步骤1、获取需要分割的遥感图像，并利用裁剪算法对所述遥感图像进行第一次裁剪，得到第一裁剪图像，对每个第一裁剪图像做第一次裁剪位置标记；

4、步骤2、构建特征提取模型，该模型包含编码器和解码器两部分，编码器和解码器同尺度之间有跳跃连接，用特征提取模型编码器对第一裁剪图像进行特征提取，利用三次下采样获取不同尺度的第一裁剪图像特征；

5、步骤3、利用裁剪算法对第一裁剪图像进行第二次裁剪，得到第二裁剪图像，对每一个第二裁剪图像做第二次裁剪位置标记；

6、步骤4、利用特征提取模型编码器对第二裁剪图像进行特征提取，利用三次下采样获取不同尺度的第二裁剪图像特征；

7、步骤5、将各尺度第二裁剪图像特征按照第二次裁剪位置标记拼接为与第一裁剪图像特征尺寸相同的各尺度还原特征，将各尺度还原特征与各尺度第一裁剪图像特征进行权值相加，得到各尺度最终特征；

8、步骤6、将特征提取模型解码器将最终特征进行三次上采样，过程中使用跳跃连接融合编码器同尺度特征，最终还原为与第一裁剪图像尺寸相同的还原分割掩模，然后将还原分割掩模按照第一次裁剪位置标记拼接为与原始图像尺寸相同的预测分割掩模；

9、步骤7、将预测分割掩模与原始标注进行损失计算，并指导模型进行训练直至模型收敛；

10、步骤8、测试时，将预测分割掩模中不同的预测类别填涂不同的颜色，并与原始图像一起显示给用户，实现分割结果的可视化。

11、步骤2和步骤4中所述的特征提取模型编码器包含一个卷积层、一个单独的特征提取块和三个下采样块，每个下采样块包含一个池化层和一个特征提取块，下采样块中执行的具体步骤如下：

12、对输入的特征利用池化层将分辨率减半，通道数加倍；

13、利用特征提取块进行特征提取。

14、步骤6所述特征提取模型解码器包含一个线性层和三个上采样块，每个上采样块包含一个反卷积层、一个连接层和一个特征提取块；上采样块中执行的具体步骤如下：

15、对输入的特征利用反卷积层将分辨率加倍，通道数减半；

16、将输入连接层的特征和编码器复制过来的同尺度特征进行矩阵加权求和，权值均为0.5；

17、利用特征提取块进行特征提取。

18、所述特征提取块由归一化层、通道注意力层、空间注意力层和激活函数层构成，特征提取执行的具体步骤如下：

19、对进入归一化层的特征按通道进行归一化处理，以抑制梯度爆炸，提高模型稳定性和泛化性；

20、对特征执行通道注意力，通道注意力的计算公式为：

21、c(q,k,v)＝vktq

22、其中q、k、v分别是进入通道注意力层的特征的三份复制，分别代表查询、键和值，t表示矩阵的转置操作；

23、对特征执行空间注意力，空间注意力的计算公式为：

24、p(q,k,v)＝qktv

25、其中q、k、v分别是进入空间注意力层的特征的三份复制，分别代表查询、键和值，t表示矩阵的转置操作；

26、对特征用激活函数relu激活，relu函数的计算公式为：

27、f(x)＝max(0,x)

28、其中x是进入激活函数层的特征。

29、步骤1、步骤6中的第一次裁剪位置标记和步骤3、步骤5中的第二次裁剪位置标记是将大的图像均匀裁剪为若干小的图像的标注，其标注分别为ii,j和iii,j，其中i和ii分别代表第一次裁剪位置标记和第二次裁剪位置标记，i和j分别表示图像张数编号和裁剪区域编号。

30、所述特征包括纹理、形状。

31、所述遥感图像包括可见光遥感图像、全色遥感图像、多光谱遥感图像、红外遥感图像、高光谱遥感图像、激光雷达遥感影像和合成孔径雷达遥感图像。

32、一种计算机存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的一种基于双注意力的遥感图像多阶段分割模型训练方法。

33、一种计算机设备，包括储存器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的一种基于双注意力的遥感图像多阶段分割模型训练方法。

34、有益效果：与现有技术相比，本发明具有如下优点：

35、1、本发明通过两次图像裁剪，将原始的高分辨率图像裁剪为两种分辨率的子图像，小分辨率图像上小分割对象所占的面积比例相对较大，一定程度上可以削减无关背景的影响；

36、2、本发明在两种分辨率次分别利用特征提取模型进行多尺度特征提取，利用通道注意力和全局注意力两种注意力提取小分割对象的边缘、纹理等特征，取得比单注意力更加好的效果；

37、3、同尺度下两种分辨率特征的权值相加融合了两种分辨率下的显著特征，大大提高遥感图像分割准确度；

38、4、分割掩模中不同的预测类别填涂不同的颜色使得分割结果更加直观的可视化，方便用户使用。

技术特征：

1.一种基于双注意力的遥感图像多阶段分割模型训练方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于双注意力的遥感图像多阶段分割模型训练方法，其特征在于，步骤2和步骤4中所述的特征提取模型编码器包含一个卷积层、一个单独的特征提取块和三个下采样块，每个下采样块包含一个池化层和一个特征提取块。

3.根据权利要求1所述的一种基于双注意力的遥感图像多阶段分割模型训练方法，其特征在于，步骤6所述特征提取模型解码器包含一个线性层和三个上采样块，每个上采样块包含一个反卷积层、一个连接层和一个特征提取块。

4.根据权利要求2所述的一种基于双注意力的遥感图像多阶段分割模型训练方法，其特征在于，所述特征提取块由归一化层、通道注意力层、空间注意力层和激活函数层构成。

5.根据权利要求1所述的一种基于双注意力的遥感图像多阶段分割模型训练方法，其特征在于，步骤1、步骤6中所述的第一次裁剪位置标记和步骤3、步骤5中所述的第二次裁剪位置标记是将大的图像均匀裁剪为若干小的图像的标注，其标注分别为ii,j和iii,j，其中i和ii分别代表第一次裁剪位置标记和第二次裁剪位置标记，i和j分别表示图像张数编号和裁剪区域编号。

6.根据权利要求1所述的一种基于双注意力的遥感图像多阶段分割模型训练方法，其特征在于，所述特征包括纹理、形状。

7.根据权利要求1所述的一种基于双注意力的遥感图像多阶段分割模型训练方法，其特征在于，所述遥感图像包括可见光遥感图像、全色遥感图像、多光谱遥感图像、红外遥感图像、高光谱遥感图像、激光雷达遥感影像和合成孔径雷达遥感图像。

8.一种计算机存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-7中任一项所述的一种基于双注意力的遥感图像多阶段分割模型训练方法。

9.一种计算机设备，包括储存器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-7中任一项所述的一种基于双注意力的遥感图像多阶段分割模型训练方法。

技术总结
本发明公开了一种基于双注意力的遥感图像多阶段分割模型训练方法，步骤如下：对高分辨率的遥感图像进行第一次裁剪并做第一次裁剪位置标记，用构建的包含双注意力的特征提取模型进行三次下采样以获得不同尺度特征；对第一次裁剪图像进行第二次裁剪并做第二次裁剪位置标记，利用同样的特征提取模型进行多尺度特征提取；在各尺度上利用第二次裁剪位置标记拼接成还原特征并与第一次裁剪训练的多尺度特征加权获得各尺度最终特征；利用三次上采样和跳跃连接恢复分辨率并融合编码器特征；利用第一次裁剪位置标记拼接形成预测分割掩模；将预测分割掩模中不同的预测类别填涂不同的颜色，并与原始图像一起显示给用户，实现分割结果的可视化。

技术研发人员：李益,邵海见
受保护的技术使用者：江苏科技大学
技术研发日：
技术公布日：2024/4/7