一种光谱保真的全局交互高光谱多光谱跨模态融合方法

本发明设计光学遥感影像处理，尤其是涉及一种基于光谱保真的全局交互高光谱多光谱跨模态融合方法。

背景技术：

1、遥感图像是地面监测行业中关键的数据基础。图像融合作为遥感图像处理的重要步骤之一，是目前改进高光谱数据空间分辨率不足的重要手段。高光谱成像技术以其精确的光谱信息捕获能力，能够实现对地物的精细分类和识别。然而，这种技术通常受限于较低的空间分辨率。与此相反，多光谱成像虽然在光谱信息的表达上不如高光谱成像丰富，但它能提供更高的空间分辨率，从而更加完整地描述地物的形态和分布特征。因此，通过将高光谱和多光谱图像进行有效融合，可以生成既具备高空间分辨率又包含细致光谱信息的图像，这一过程显著提升了遥感数据的实用价值。

2、目前，针对高光谱数据与多光谱数据融合的方法主要有三种：细节注入方法、模型优化方法及深度学习方法。细节注入方法旨在解决多光谱图像超分辨率融合问题，因此当迁移到高光谱和多光谱图像超分辨率融合领域，随之而来的是不可避免的空间和光谱畸变。相比于细节注入方法，模型优化方法通过对待求图像施加先验信息，在退化模型的辅助之下可以实现高保真度的图像重建。然而，在面对复杂的自然场景时，设计合适且有效的先验约束是一项烦琐的探索性工作，往往伴随着高复杂度的求解过程。相反，深度学习方法则摆脱人为设计先验的过程，通过对大量数据的自动化挖掘，实现了复杂函数的高度拟合。但大规模、高质量的训练集让监督类方法难以有效应用到实际需求中。

3、现有的高光谱和多光谱融合方法中主要存在以下问题：对所有波段同步处理，忽略了相邻波段的高度相似性，阻碍了从相对较远的相邻波段借用互补内容，导致融合结果严重光谱畸变；由于普通卷积感受野有限、传统transformer结构自注意力窗口形状大小固定，往往只能提取局部特征，无法有效地提取全局特征，导致在具有复杂地面特征和严重光谱混合的大规模场景中精度有限；普通卷积无法沿着多个方向捕获局部或非局部上下文信息，导致不相关区域干扰特征学习。针对以上问题，本发明提出一种光谱保真的全局交互高光谱多光谱跨模态融合方法。

技术实现思路

1、本发明的目的在于针对现有技术的不足，提出一种基于光谱保真的全局交互高光谱多光谱跨模态融合方法。首先对高光谱遥感图像进行波段分割及去噪，对单波段及其相邻四波段进行分析，然后对分组波段进行交叉融合；其次，融合去噪后的高光谱图像和多光谱图像，实现高光谱多光谱图像空间模态和光谱模态引导融合的跨模态交互信息提取；最后通过编码器-解码器结构的u型多尺度transformer模块，利用相邻像素和相邻光谱之间的相关性对重建像素执行明确的约束，同时获取不同粒度的特征，更好得学习局部和更远的表示。

2、这种光谱保真的全局交互高光谱多光谱跨模态融合方法，具体包括如下步骤：

3、11）获取不同分辨率的合成高光谱多光谱数据集：根据wald协议构建训练网络所需模拟数据集和测试集，使用原始高光谱图像作为训练标签数据，训练集中的低空间分辨率高光谱图像和高空间分辨率多光谱图像分别是以原始高光谱图像经过空间降采样和光谱降采样生成得到，并对训练集进行加噪处理，对低空间分辨率高光谱图像进行波段分组处理；

4、12）构建光谱保真的全局交互高光谱多光谱跨模态融合模型：该模型主要由高光谱相邻波段融合模块、多光谱空间纹理提取模块、引导融合信息重建模块、加窗多尺度视觉transformer模块组成；

5、13）光谱保真的全局交互高光谱多光谱跨模态融合模型训练：将构建好的成对不同分辨率的高光谱多光谱训练数据集作为输入，同时以原始高光谱数据作为参考对模型进行监督训练，得到训练好的光谱保真的全局交互高光谱多光谱跨模态融合模型；

6、14）待融合成对真实高光谱多光谱遥感影像数据获取；

7、15）高光谱和多光谱遥感影像融合结果获取：将获取的成对待融合真实高光谱和多光谱遥感影像输入到训练好的光谱保真的全局交互高光谱多光谱跨模态融合模型，得到融合后的高光谱遥感影像。

8、进一步地，所述获取不同分辨率的合成高光谱多光谱数据集，包括以下步骤：

9、21）采用原始高光谱图像作为训练的标签图像；

10、22）对原始参考高光谱图像进行空间降采样操作，使用大小为5×5、0均值和标准差为2的高斯模糊核滤波和四次双线性插值下采样得到用于训练的低空间分辨率高光谱图像；

11、23）对原始参考高光谱图像进行光谱降采样操作，使用对应多光谱卫星的光谱响应函数，得到用于训练的高空间分辨率多光谱图像；

12、24）给高分辨率多光谱图像和低分辨率高光谱图像中分别加入高斯白噪声，模拟真实场景中的噪声干扰；

13、25）对原始参考数据的中心区域裁剪出128×128的分块作为测试集，剩余区域用于训练，训练区域被随机裁剪为 128 × 128 的大小，以便在每次迭代中进行训练；

14、25）对随机划分出的训练集与测试集重叠的部分，用0像素填充；

15、26）对低空间分辨率高光谱图像进行波段分组操作，具体步骤如下：

16、261）对单波段及其相邻四个波段进行分析，波段分割公式为：

17、<mstyle displaystyle="true" mathcolor="#000000"><mi>p</mi><mi>(</mi><mi>i</mi><mi>)</mi><mi>=</mi><mrow><mo>[</mo><mrow><msubsup><mi>i</mi><mi>lr</mi><mn>1</mn></msubsup><mi>,</mi><msubsup><mi>i</mi><mi>lr</mi><mn>2</mn></msubsup><mi>,</mi><msubsup><mi>i</mi><mi>lr</mi><mn>3</mn></msubsup><mi>,</mi><msubsup><mi>i</mi><mi>lr</mi><mn>4</mn></msubsup><mi>,</mi><msubsup><mi>i</mi><mi>lr</mi><mn>5</mn></msubsup><mi>,</mi></mrow><mo>]</mo></mrow><mi>,</mi><mn>1</mn><mi>≤</mi><mi>i</mi><mi>&lt;</mi><mn>3</mn></mstyle>，

18、<mstyle displaystyle="true" mathcolor="#000000"><mi>p</mi><mi>(</mi><mi>i</mi><mi>)</mi><mi>=</mi><mrow><mo>[</mo><mrow><msubsup><mi>i</mi><mi>lr</mi><mrow><mi>i</mi><mi>−</mi><mn>2</mn></mrow></msubsup><mi>,</mi><msubsup><mi>i</mi><mi>lr</mi><mrow><mi>i</mi><mi>−</mi><mn>1</mn></mrow></msubsup><mi>,</mi><msubsup><mi>i</mi><mi>lr</mi><mi>i</mi></msubsup><mi>,</mi><msubsup><mi>i</mi><mi>lr</mi><mrow><mi>i</mi><mo>+</mo><mn>1</mn></mrow></msubsup><mi>,</mi><msubsup><mi>i</mi><mi>lr</mi><mrow><mi>i</mi><mo>+</mo><mn>2</mn></mrow></msubsup><mi>,</mi></mrow><mo>]</mo></mrow><mi>,</mi><mn>3</mn><mi>≤</mi><mi>i</mi><mi>≤</mi><mi>l</mi><mi>−</mi><mn>3</mn></mstyle>，

19、<mstyle displaystyle="true" mathcolor="#000000"><mi>p</mi><mi>(</mi><mi>i</mi><mi>)</mi><mi>=</mi><mrow><mo>[</mo><mrow><msubsup><mi>i</mi><mi>lr</mi><mrow><mi>l</mi><mi>−</mi><mn>4</mn></mrow></msubsup><mi>,</mi><msubsup><mi>i</mi><mi>lr</mi><mrow><mi>l</mi><mi>−</mi><mn>3</mn></mrow></msubsup><mi>,</mi><msubsup><mi>i</mi><mi>lr</mi><mrow><mi>l</mi><mi>−</mi><mn>2</mn></mrow></msubsup><mi>,</mi><msubsup><mi>i</mi><mi>lr</mi><mrow><mi>l</mi><mi>−</mi><mn>1</mn></mrow></msubsup><mi>,</mi><msubsup><mi>i</mi><mi>lr</mi><mi>l</mi></msubsup><mi>,</mi></mrow><mo>]</mo></mrow><mi>,</mi><mi>l</mi><mi>−</mi><mn>3</mn><mi>&lt;</mi><mi>i</mi><mi>≤</mi><mi>l</mi></mstyle>，

20、上式中，l为高光谱图像波段总数，是第i个波段集， 为低空间分辨率高光谱图像的第i个单波段；

21、262）将分割的五个波段分成三组，可以表示为：

22、<mstyle displaystyle="true" mathcolor="#000000"><msub><mi>f</mi><mi>bp</mi></msub><mi>(</mi><mi>p</mi><mi>(</mi><mi>i</mi><mi>))</mi><mi>=</mi><mrow><mo>[</mo><mrow><mrow><mo>[</mo><msubsup><mi>i</mi><mi>lr</mi><mi>i</mi></msubsup><mo>]</mo></mrow><mi>,[</mi><msubsup><mi>i</mi><mi>lr</mi><mrow><mi>i</mi><mi>−</mi><mn>1</mn></mrow></msubsup><mi>,</mi><msubsup><mi>i</mi><mi>lr</mi><mi>i</mi></msubsup><mi>,</mi><msubsup><mi>i</mi><mi>lr</mi><mrow><mi>i</mi><mo>+</mo><mn>1</mn></mrow></msubsup><mi>],[</mi><msubsup><mi>i</mi><mi>lr</mi><mrow><mi>i</mi><mi>−</mi><mn>2</mn></mrow></msubsup><mi>,</mi><msubsup><mi>i</mi><mi>lr</mi><mi>i</mi></msubsup><mi>,</mi><msubsup><mi>i</mi><mi>lr</mi><mrow><mi>i</mi><mo>+</mo><mn>2</mn></mrow></msubsup><mi>]</mi></mrow><mo>]</mo></mrow><mi>,</mi><mn>3</mn><mi>≤</mi><mi>i</mi><mi>≤</mi><mi>l</mi><mi>−</mi><mn>3</mn></mstyle>，

23、<mstyle displaystyle="true" mathcolor="#000000"><msub><mi>f</mi><mi>bp</mi></msub><mi>(</mi><mi>p</mi><mi>(</mi><mi>i</mi><mi>))</mi><mi>=</mi><mrow><mo>[</mo><mrow><mrow><mo>[</mo><msubsup><mi>i</mi><mi>lr</mi><mi>i</mi></msubsup><mo>]</mo></mrow><mi>,[</mi><msubsup><mi>i</mi><mi>lr</mi><mn>1</mn></msubsup><mi>,</mi><msubsup><mi>i</mi><mi>lr</mi><mn>2</mn></msubsup><mi>,</mi><msubsup><mi>i</mi><mi>lr</mi><mn>3</mn></msubsup><mi>],[</mi><msubsup><mi>i</mi><mi>lr</mi><mn>4</mn></msubsup><mi>,</mi><msubsup><mi>i</mi><mi>lr</mi><mi>i</mi></msubsup><mi>,</mi><msubsup><mi>i</mi><mi>lr</mi><mn>5</mn></msubsup><mi>]</mi></mrow><mo>]</mo></mrow><mn>1</mn><mi>≤</mi><mi>i</mi><mi>≤</mi><mn>3</mn></mstyle>，

24、<mstyle displaystyle="true" mathcolor="#000000"><msub><mi>f</mi><mi>bp</mi></msub><mi>(</mi><mi>p</mi><mi>(</mi><mi>i</mi><mi>))</mi><mi>=</mi><mrow><mo>[</mo><mrow><mrow><mo>[</mo><msubsup><mi>i</mi><mi>lr</mi><mi>i</mi></msubsup><mo>]</mo></mrow><mi>,[</mi><msubsup><mi>i</mi><mi>lr</mi><mrow><mi>l</mi><mi>−</mi><mn>2</mn></mrow></msubsup><mi>,</mi><msubsup><mi>i</mi><mi>lr</mi><mrow><mi>l</mi><mi>−</mi><mn>1</mn></mrow></msubsup><mi>,</mi><msubsup><mi>i</mi><mi>lr</mi><mi>l</mi></msubsup><mi>],</mi></mrow><mo>]</mo></mrow><mi>[</mi><msubsup><mi>i</mi><mi>lr</mi><mrow><mi>l</mi><mi>−</mi><mn>3</mn></mrow></msubsup><mi>,</mi><msubsup><mi>i</mi><mi>lr</mi><mi>i</mi></msubsup><mi>,</mi><msubsup><mi>i</mi><mi>lr</mi><mrow><mi>l</mi><mi>−</mi><mn>4</mn></mrow></msubsup><mi>]</mi><mi>l</mi><mi>−</mi><mn>3</mn><mi>&lt;</mi><mi>i</mi><mi>≤</mi><mi>l</mi></mstyle>，

25、其中，表示波段分组函数； l为高光谱图像波段总数，是第i个波段集，为低空间分辨率高光谱图像的单波段，需要出现在每组中；

26、263）对每个波段集，依次经过一个小波基为db3、去噪级别为3、阈值选择规则为“sure”的二维小波变换操作，相当于一个下采样的卷积操作，小波变换将高维数据分解为高通分量和低通分量，高通分量捕获的高光谱图像的噪声被去除，得到去除噪声的高光谱图像波段集，作为下一阶段模型的输入。

27、所述构建光谱保真的全局交互高光谱多光谱跨模态融合模型包含以下步骤：

28、31）构建用于充分探索每个波段分组中的潜在信息的高光谱相邻波段融合模块，该模块由三个并行的3d卷积交叉融合分支组成，以分别将三组输入映射到深层特征，3d卷积交叉融合分支由两个卷积核大小为3×3×3的卷积层，每个卷积层后接一个relu层堆叠而成，之后再堆叠一个各个方向上步长均为2的最大值池化层；

29、32）构建用于提取多光谱图像丰富的纹理信息的多光谱空间纹理提取模块：

30、321）构建多光谱粗略空间信息提取子模块，该模块由两个卷积核大小为3×3的卷积层、每个卷积层后接一个relu层堆叠而成；

31、322）构建用于提取不同方向空间细节的多光谱图像特征的gabor滤波子模块，该模块可以被看作具有多相位和多尺度的滤波器，其特性被其高斯核函数的频率f和相位θ所决定，其中频率f的值为0.2hz，四个相位θ分别为，gabor滤波器的尺寸大小为3×3；

32、33）构建用于实现高光谱多光谱图像空间模态和光谱模态跨模态交互的引导融合信息重建模块，该模块采用两个不同的输入，包括去噪后的高光谱特征和经过gabor滤波的多光谱细节纹理特征：

33、331）构建用于将输入特征映射为深层特征的映射子模块，该模块由三个卷积核大小为3×3的卷积层，每个卷积层后接一个relu层堆叠而成；

34、332）构建用于对深层特征进行引导转换的互引导子模块，以产生融合高光谱图像潜在的粗略估计，该模块在两个特征的指导下对二分支中的每个特征进行变换，采用并行的两个卷积核大小为2×2的卷积堆叠块，且每个卷积层后接一个relu层堆叠，卷积堆叠块之后是一个特征拼接层，最后的跳跃连接通过逐元素求和将输入特征映射传递到残差块的输出；

35、333）构建用于捕获不同方向长距离上下文信息的条带卷积子模块，包括包含水平、垂直、左对角线、右对角线4个方向的1×9卷积层和特征拼接层；

36、34）构建u型多尺度transformer模块，其由多级抽象特征提取编码子模块、加窗多尺度transformer子模块、空谱校准子模块、特征集成解码子模块组成；

37、341）构建多级抽象特征提取编码子模块，用于编码器阶段的逐级特征提取，其由光谱位置敏感自注意力块、一个layer norm块、高频信息保留块和最后的前馈层组成：

38、3411）构建光谱位置敏感自注意力块，使用q(查询),k(键值),v(值)作为输入，在由两个3 × 3深度可分离卷积层组成的之后，输出位置嵌入，它可以表述为：

39、，

40、，

41、其中，表示注意力图，是输入的线性投影值，分别代表查询、键和值投影，表示位置嵌入函数，产生的k、q、v都包含位置信息；

42、3412）构建高频信息保留块，其位于编码器级中的光谱位置敏感自注意力块与layer norm块之间，由一个平均池化层、双线性插值层，和最后用于调整维度的1×1卷积层组成；

43、3413）构建多级抽象特征提取编码子模块中的前馈层，其一次由1×1卷积、gelu、3×3深度可分离卷积、gelu和1×1卷积组成；

44、342）构建加窗多尺度transformer子模块，其位于u型多尺度transformer模块的瓶颈层，由一个patch partition操作，linear embedding操作，三个不同窗口大小的transformer block，和最后的卷积核为3的卷积层组成：

45、3421）构建第一个多尺度窗口大小transformer block，其由layer norm，windowsize = 8的window attention和mlp组成，将输入进行矩阵q(查询),k(键值),v(值)的计算得到具有关注能力的特征矩阵；

46、3422）构建第二个多尺度窗口大小transformer block，其由layer norm，windowsize = 4的window attention和mlp组成，将输入进行矩阵q(查询),k(键值),v(值)的计算得到具有关注能力的特征矩阵；

47、3423）构建第三个多尺度窗口大小transformer block，其由layernorm，windowsize = 2的window attention和mlp组成，将输入进行矩阵q(查询),k(键值),v(值)的计算得到具有关注能力的特征矩阵；

48、343）构建用于提高特征图的邻域空间和邻域光谱相关性的空谱校准子模块，其应用空间和光谱双分支结构在光谱方向和空间方向上重新校准特征图的权重；输入特征首先经过一个3×3卷积，得到输入映射特征；

49、其中光谱分支由1-d卷积、最大池化、平均池化和多层感知器mlp组成，可以表示为：

50、，

51、其中，表示全局平均池化操作，表示全局最大池化操作，表示1-d卷积，表示多层感知器函数，它由两个1 × 1卷积层组成，表示sigmoid操作，为输入映射特征，为输出光谱特征；

52、在空间分支上，使用通道最大池化和通道平均池化操作，在空间方向上生成两个大小为h × w × 1的特征；将这两个特征进行融合，然后通过3 × 3卷积提取局部空间特征；这个过程中，利用空间相邻像素的相似性来融合有效信息；最后经过一个sigmoid函数，再输出空间特征；它可以公式化为：

53、，

54、其中，表示通道平均池化操作， 表示通道最大池化操作，为3 × 3卷积，表示sigmoid操作，为输入映射特征， 为输出空间特征；

55、最后的输出可以表示如下：

56、，

57、其中，为输入映射特征，为输出光谱特征，为输出空间特征， 表示逐元素相乘操作；

58、344）构建特征集成解码子模块，其由光谱位置敏感自注意力块、一个layer norm块，和最后的前馈层组成，其中光谱位置敏感自注意力块和前馈层均与多级抽象特征提取编码子模块中的相同，是与解码器对称的结构，编码器的特征通过加窗多尺度transformer子模块后的跳跃连接到解码器，以避免下采样过程中的有效信息丢失。

59、所述光谱保真的全局交互高光谱多光谱跨模态融合模型训练包括以下步骤：

60、41）组间波段融合：对去噪后的各个高光谱波段集进行交叉融合，输入三个并行的3d卷积交叉融合分支，执行两次卷积核大小为3×3×3的卷积层，每次卷积后经过一次relu非线性激活操作；

61、最后执行一次三分支特征的拼接和跳跃连接操作，得到相邻波段整合和去噪后的高光谱图像，同时作为高光谱多光谱图像空间模态和光谱模态跨模态交互的引导融合信息提取模块的输入之一；

62、42）将预处理后的模拟多光谱图像输入多光谱空间纹理提取模块，获取高空间分辨率的空间特征，具体步骤如下：

63、421）将预处理后的模拟多光谱图像输入两个卷积核大小为3×3的卷积层，每次卷积后经过一次relu非线性激活操作，获取初步提取的空间特征，作为下一阶段gabor滤波子模块的输入；

64、422）将初步提取的空间特征输入gabor滤波子模块，提取包含基础纹理特征的特征图，作为输入送入到高光谱多光谱图像空间模态和光谱模态跨模态交互的引导融合信息重建模块中进行下一步更加精细的特征重建；

65、43）将相邻波段整合和去噪后的高光谱特征、多光谱图像的空间细节特征，同时作为输入，输入到高光谱多光谱图像空间模态和光谱模态跨模态交互的引导融合信息重建模块，获取初步融合的空谱特征图，具体步骤如下：

66、431）对输入的高光谱特征执行一次1×1×3的3d卷积、对输入的多光谱特征执行一次3×1×1的3d卷积，分别提取光谱维度的特征和空间维度的特征；

67、432）将光谱特征和空间特征分别输入两组映射子模块和互引导子模块，再对输出结果进行拼接和跳跃连接操作，最后再执行一次卷积核大小为1×3×3的3d卷积操作，得到空谱交互融合特征；

68、433）将空谱交互融合特征输入条带卷积子模块，用大小为1×9的条带卷积核分别从水平、垂直、左对角线、右对角线4个方向对输入特征执行卷积操作，使用长核形状的卷积核来捕获区域的长程依赖性，最后将四条路径的输出特征图连接起来，得到条带卷积块的最终输出；

69、44）将条带卷积块的输出特征输入可利用频谱全局信息的u型多尺度transformer模块中：

70、441）执行多级抽象特征提取编码子模块：

71、4411）在编码器阶段，首先执行光谱位置敏感自注意力块，得到频谱内的相对位置关系的注意力图，更好地整合频谱方面的相互依赖性；

72、4412）其次注意力图依次被输入到多个高频信息保留块，通过平均池化操作生成下采样图；接下来，使用双线性插值将特征图调整为与 fin 相同的大小；差分后得到的残差特征图具有丰富的高频信息，再利用1 × 1卷积来获得输出特征图以调整维度；

73、4413）将高频信息保留块的输出输入ffn前馈层，依次经过线性变换和gelu激活函数，强化位置信息的表示和特征的提取；

74、442）将编码器的输出输入u型多尺度transformer模块的瓶颈层中，即

75、执行加窗多尺度视觉transformer模块：

76、4421）执行一次patch partition操作得到被切成的多个patch；

77、对得到的多个patch执行一次linear embedding层；

78、在位置编码信息嵌入操作时与经过patch partition和linear embedding操作的输入影像数据逐像素相加，得到融合影像数据块；

79、4422）将数据块经过三阶段连续的加窗多尺度视觉transformer模块信息提取模块，每阶段的transformer block均执行layer norm，window attention和mlp操作，其attention操作均为矩阵q（查询），k（键值），v（值）的自注意力计算；每阶段输出的特征图作为下一阶段的输入；

80、4423）执行一个卷积核大小为3×3的卷积操作，得到进一步提取的抽象特征；

81、443）编码器的每一级特征被输入到空谱校准子模块中：

82、4431）执行空谱校准子模块的光谱分支，首先通过一个全局最大池化操作和一个全局平均池化操作生成两个1 × 1 × c维的特征，在多层感知器（mlp）函数自适应地校准特征的响应之后，在sigmoid之后输出光谱特征；

83、4432）执行空谱校准子模块的空间分支，通过通道最大池化和通道平均池化操作生成两个h × w × 1维特征；

84、执行一次特征融合，采用3 × 3卷积提取局部空间特征；

85、执行一次sigmoid操作，输出光谱特征；

86、444）将瓶颈层的输出输入特征集成解码子模块，利用空谱校准子模块通过跳跃连接传递到解码器，解码器采用与编码器对称的操作，以避免下采样过程中的有效信息丢失；

87、445）对特征集成解码子模块的输出执行一次3 × 3卷积来微调特征图；

88、45）正向传播，得到融合后的高分辨率高光谱遥感图像；

89、46）使用l1损失函数和结构相似性损失ssim函数作为网络模型的损失函数，用于计算参考高光谱图像和生成的目标高分辨率高光谱图像之间的差异；

90、l1损失函数表达式如下：

91、，,

92、其中为输出的高光谱图像，为参考图像；

93、结构相似性（ssim）可以比较和之间的结构差异，包括亮度对比函数和结构对比函数；ssim函数定义如下：

94、，

95、其中，b代表光谱波段的数量； 和分别等于和；和分别表示和的平均值；和分别表示和的方差；是和之间的协方差；c1和c2是两个固定常数；使用ssim来测量图像失真；因此，结构相似性损失表示如下：

96、,

97、整体的损失函数：整体的损失函数由两个损失的加权和组成：

98、,

99、其中表示l1损失函数函数，表示结构相似性损失，是一个正则超参数，固定为0.1；

100、48）通过损失值反向传播确定梯度向量，更新高光谱和多光谱融合模型参数；

101、49）判断是否达到设定的训练轮数，若是则完成高光谱和多光谱融合模型的训练，否则继续训练。

102、有益效果

103、本发明涉及一种光谱保真的全局交互高光谱多光谱跨模态融合方法，充分改进了现有融合方法的不足。针对现有方法忽略相对较远的相邻波段的互补内容而导致的重建光谱扭曲和空间畸变问题，构建高光谱波段分组和相邻波段融合模块，利用高光谱图像在大光谱范围内相邻波段之间表现出高度相似这一特性，将一定光谱范围内相似度较高的五个波段分为三组，通过四个相邻波段辅助当前波段增强探索能力，使相对较远的波段也可以明确地服务于当前波段，解决了融合图像的光谱扭曲问题，在获得高光谱保真度的同时提高空间分辨率，使融合的图像视觉上更为清晰、纹理细节更易分辨。

104、针对现存方法无法充分对空间信息和光谱信息进行交互融合的问题，构建高光谱与多光谱跨模态融合重建结构，实现高光谱和多光谱图像空间模态和光谱模态跨模态交互重建，提高融合性能；同时，注意到遥感图像中往往包含河流、道路等物体，具有跨度大、分布窄且连续的特点，使用平方卷积不能很好地捕获这些对象的线性特征，因此构建条带卷积沿着其他空间捕获局部上下文信息，以防止不相关区域干扰特征学习，解决重建结果的空间失真问题。

105、针对现有方法难以充分利用空间和光谱的局部和全局信息来指导重建，导致在具有复杂地面特征和严重光谱混合的大规模场景中精度有限的问题，构建u型多尺度transformer模块，其编码器-解码器的结构实现浅层特征提取和深层特征映射，利用相邻像素和相邻光谱之间的相关性对重建像素执行明确的约束；同时防止下采样过程中高频信息的丢失，构建高频信息保留块，改善特征变化剧烈的区域的重建结果。