一种多模态遥感数据分类的基础模型自适应方法

本发明涉及一种多模态遥感数据分类方法，具体涉及一种多模态遥感数据分类的基础模型自适应方法，属于图像处理。

背景技术：

1、遥感领域的多模态通常是指场景和目标在不同传感器(多光谱、高光谱、合成孔径雷达、激光雷达等)下的成像结果。合理利用多模态遥感数据可以从光谱、时间、空间为地物提供更全面的描述信息，提高遥感的解译能力，满足军事侦察、智慧农业等实际应用的需求。

2、为促使多模态遥感数据在上述应用中得到深入、广泛应用，需要有效的信息处理手段。分类作为遥感数据处理技术的重要环节之一，是当今研究的热点问题。近年来，深度学习因其强大的特征提取能力已成为多模态遥感数据分类的主流。在众多的深度学习方法中基于transformer的多模态遥感数据方法引起了广泛关注。transformer中的自注意力机制使其能够同时关注不同模态并捕获长程依赖关系，但是，这些方法的分类精度仍需提高。

3、随着深度学习方法的发展，涌现出了在大量原始数据的基础上通过无监督学习训练而成的神经网络即基础模型。在下游任务上，只需给基础模型少量的标注数据，就可以获得更好的分类性能。然而，用于训练基础模型的数据集和多模态数据差异较大，因此，很难直接使用预训练好的基础模型实现多模态遥感数据的分类。

技术实现思路

1、本发明为了克服上述现有技术中存在的难于直接使用预训练好的基础模型实现多模态遥感数据的分类问题，为更好利用基础模型学习到的通用知识提高分类效果，探究了基础模型在多模态遥感数据分类任务中的潜力和有效性，进而提出了一种多模态遥感数据分类的基础模型自适应方法，而无需微调基础模型参数便可提高分类效果。在下文中给出了关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。

2、本发明的技术方案：

3、一种多模态遥感数据分类的基础模型自适应方法，包括以下步骤：

4、s1.获取多模态遥感数据；

5、s2.预处理多模态遥感数据，以每个模态中带有标签的像素为中心，选取27×27为大小的矩形窗作为每个单模态数据的样本，并将每个模态数据的样本使用双线性插值的方法将所有样本放大到224×224，匹配基础模型的空间输入维度；

6、s3.建立映射层，将每个模态数据的样本分别送入映射层中进行降维匹配通道维度，并将降维后的不同单模态数据样本进行融合，得到融合后的多模态数据输入样本；

7、s4.选取基于transformer的基础模型，将多模态遥感数据输入到基础模型中提取多模态数据的通用特征；

8、s5.构建跨空间交互模块实现通用特征和多模态数据中的空间特征的交互，沿多模态遥感数据的空间维度生成可学习的空间编码向量集合s0，并将其加到特征编码向量集合z0中，输出空间特征；

9、s6.构建跨通道交互模块，在基础模型的编码器模块的多头注意力机制msa中，增加通用特征与多模态数据中通道维度的特征交互，输出光谱特征；

10、s7.将输出的空间特征和光谱特征输入到全连接层中得到分类结果。

11、进一步地：步骤s5具体实现过程如下：

12、s51.选取多模态遥感数据中的一种高光谱数据，选取高光谱数据样本xhsi，并由卷积神经网络提取其空间特征；cnn由1×1的卷积层、批归一化层、relu激活函数和3×3卷积层构成，其输出的空间特征s用公式表示为：

13、s＝cnn(xhsi)                    (9)

14、s52.将空间特征s划分为n个不重叠的特征块形成空间特征编码集合s0，将s0与特征编码向量集合z0进行拼接，表示如下：

15、

16、

17、

18、进一步地：步骤s6具体实现过程如下：

19、s61.将每个高光谱数据样本xhsi的平均光谱特征作为输入；

20、s62.将这些光谱特征输入到由1×1卷积层、批归一化层、relu激活函数和mlp层的cnn中输出光谱特征编码集合d′；

21、s63.d′用于生成与查询矩阵q、键值矩阵k、值矩阵v三个矩阵相匹配的dq、dk和dv，并将其与基础模型中的多头自注意力机制msa中的qi，ki和vi相加；

22、其中，dq和dk由d′的中间向量表示，用来提取中心像素所代表地物的光谱特征，而dv与d′相同，代表全局的光谱特征；

23、s64.更新msa中的计算方式：

24、

25、其中，dq表示被添加到qi的光谱向量，dk表示被添加到ki的光谱向量，dv表示被添加到vi的光谱向量。

26、本发明有益效果体现在：

27、相对于现有技术，本发明提出的多模态遥感数据分类的基础模型自适应框架仅通过调整跨空间交互模块和跨通道交互模块，就融合了所有多模态基础模型提取的通用特征、空间特征和光谱特征之间的关系，同时冻结了基础模型的参数，保留了基础模型提取的强大的通用知识，最终通过合理利用基础模型预训练好的参数，并融入多模态遥感数据独特的空间和光谱等特征提升多模态遥感数据的分类精度。

技术特征：

1.一种多模态遥感数据分类的基础模型自适应方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种多模态遥感数据分类的基础模型自适应方法，其特征在于：步骤s5具体实现过程如下：

3.根据权利要求2所述的一种多模态遥感数据分类的基础模型自适应方法，其特征在于：步骤s6具体实现过程如下：

4.一种电子设备，其特征在于，包括存储器和处理器，存储器存储有计算机程序，所述的处理器执行所述计算机程序时实现权利要求1-3任一项所述的一种多模态遥感数据分类的基础模型自适应方法的步骤。

5.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-3任一项所述的一种多模态遥感数据分类的基础模型自适应方法。

技术总结
一种多模态遥感数据分类的基础模型自适应方法，属于图像处理技术领域。本发明解决了现有技术中难于直接使用预训练好的基础模型实现多模态遥感数据的分类问题。要点：获取多模态遥感数据；预处理多模态遥感数据；建立映射层，选取基础模型；构建跨空间交互模块实现通用特征和多模态数据中的空间特征的交互，沿多模态遥感数据的空间维度生成可学习的空间编码向量集合，并将其加到特征编码向量集合中，输出空间特征；构建跨通道交互模块，在基础模型的编码器模块的多头注意力机制MSA中，增加通用特征与多模态数据中通道维度的特征交互，输出光谱特征；将空间特征和光谱特征输入到全连接层中得到分类结果。本发明提升了多模态遥感数据的分类精度。

技术研发人员：何欣,赵雅琴,陈雨时,吴龙文
受保护的技术使用者：哈尔滨工业大学
技术研发日：
技术公布日：2024/2/29