一种边界引导的光学遥感图像地物分类方法

本发明属于光学遥感图像成像，具体涉及一种基于边缘引导的光学遥感图像地物分类方法。

背景技术：

1、光学遥感图像成像技术的发展推动遥感图像数据爆发式增长，并呈现出更高分辨率、更大幅宽的趋势。光学遥感图像地物分类是遥感影像解译工作中的热点研究问题，其在国土资源调查、经济分析、生态环境监测等民用乃至国防领域发挥着重要作用。地物分类需要对遥感图像中的每一个像素进行分类，将图像分割为具有不同地物语义标识的区域，在遥感影像的分析和解译环节中有重要应用。

2、传统的地物分类方法主要包括遥感图像特征提取、遥感图像特征选择及分类算法三个方面。传统地物分类方法特征提取能力和泛化能力不足以解决高分辨率光学遥感图像的多地物分类问题。随着深度学习技术的发展，基于深度学习技术的地物分类方法得到极大的发展。基于卷积神经网络的地物分类方法通过对光学遥感图像进行逐层的特征学习，来训练神经网络分类器，在图像像素级上进行分类。在逐层学习特征的过程中，光学遥感图像的分辨率会逐渐降低进而导致空间信息的损失，同时受到卷积层感受野的限制，损失了图像中的长距信息及全局上下文信息。浅层特征图的空间信息与深层特征图的语义信息的良好融合有助于提高分割结果。

3、因此，研究如何弥补空间信息的损失和充分利用图像的长距信息及全局上下文信息，并进行良好的特征融合，从而提高地物分类精度，具有重要的实际意义和应用价值。

技术实现思路

1、本发明的目的是，针对光学遥感图像，解决基于卷积神经网络进行地物分类过程中空间信息丢失及未充分利用长距乃至全局上下文信息的问题，以获取良好的地物分类效果。

2、为达到上述目的，本发明是通过以下技术方案实现的：

3、对于输入图像，提取四个不同层次的特征图，按照由浅层到深层的顺序进行排序依次是f1、f2、f3、f4。

4、将f1和f4输入边缘提取模块中，边缘提取模块先对两张特征图进行融合，并从融合特征中提取边缘语义fe。该模块旨在融合低级局部边缘信息和高级全局位置信息，在显式边界监督下提取与目标边界相关的边缘语义。

5、再将提取到的边缘语义fe，依次通过边缘引导模块与f1、f2、f3、f4进行融合，得到f1′、f2′、f3′、f4′。该模块旨在将边缘语义与各级主干特征相融合，以引导特征学习。

6、最后，将f1′、f2′、f3′、f4′输入到跨尺度融合模块，得到最终分割结果。该模块旨在基于transformer架构，关注特征图的全局上下文信息并对四个层次的特征图进行跨尺度的聚合，以产生更强更有效的特征。

7、对所构建的地物分类网络进行训练，训练完成后挑选性能指标最佳的模型用于光学遥感图像的地物分类任务。

8、根据上述技术方案，本方法的具体步骤如下：

9、步骤一：从输入图像中提取多级特征，即f1、f2、f3、f4。

10、步骤二：应用边缘提取模块，从包含局部边缘细节信息的f1低级特征和包含目标边界监督下的全局位置信息f4的高级特征中提取与目标相关的边缘语义。

11、良好的边缘先验有助于地物分类中的定位和分割。低级特征包含丰富的边缘细节但缺乏高级语义。因此本模块意图结合低级特征和高级特征来建模并提取边缘信息。

12、步骤三：利用多个边缘引导模块将步骤二所得fe与各层次的主干特征f1、f2、f3、f4进行聚合，得到以引导特征学习，从而增强了边界表示，弥补了空间信息的损失。

13、该模块旨在将边界相关的边缘信息引入到表示学习中，以增强具有目标结构语义的特征表示。众所周知，不同的特征通道通常包含不同的语义。因此为了实现良好的融合并获得强大的表示，本模块引入了局部通道注意力机制来探索通道间的相互作用。

14、步骤四：采用跨尺度融合模块，对进行跨尺度聚合，并预测得到分割结果图。

15、该模块旨在利用全局语义信息和长距语义信息，采用基于transformer体系架构来获得高分辨率和丰富语义表示，这对于后续分割至关重要。该模块主要使用交叉注意力机制，以实现从粗到细的聚合不同分辨率的特征图，进而可以充分利用长距和全局上下文信息。

技术特征：

1.一种边界引导的光学遥感图像地物分类方法，其特征在于该方法的步骤包括：

2.根据权利要求1所述的一种边界引导的光学遥感图像地物分类方法，其特征在于步骤一中，对于输入图像，采用res2net-50作为主干网络，提取四个不同层级的特征，按照由浅层到深层的顺序排列为f1、f2、f3、f4。

3.根据权利要求1所述的一种边界引导的光学遥感图像地物分类方法，其特征在于步骤二中，首先使用两个1×1卷积块将f1和f4的通道数压缩为64(f1′)和256(f4′)，然后对f4′进行上采样得到f4″，其中f4″与f1′尺寸相同，并通过concat操作将f1′和f4″沿通道维进行拼接融合；之后，通过两个3×3卷积块、一个1×1卷积块和一个sigmoid函数得到边缘信息fe。

4.根据权利要求1所述的一种边界引导的光学遥感图像地物分类方法，其特征在于步骤三中，最后的融合特征表示为：

5.根据权利要求1所述的一种边界引导的光学遥感图像地物分类方法，其特征在于步骤四中，mix-ffn的输出定义为：

6.根据权利要求1所述的一种边界引导的光学遥感图像地物分类方法，其特征在于步骤四中，跨尺度模块的输出定义为：

技术总结
本发明公开了一种边界引导的光学遥感图像地物分类方法。光学遥感图像地物分类是遥感影像解译工作中的热点研究问题，其在民用、国防领域都发挥着重要作用。准确及时地从遥感影像中获取地物信息有着实际需求。通常的基于卷积神经网络的地物分类方法在逐层学习特征过程中，会损失空间信息同时对图像中的长距信息及全局上下文信息关注较少。本发明旨在基于Transformer架构，借助注意力机制对长距信息和全局上下文信息进行更好的利用，以实现较好的特征融合，进而改善分割效果。

技术研发人员：王裕沛,常源,陈亮
受保护的技术使用者：北京理工大学
技术研发日：
技术公布日：2024/1/13