低秩先验与空谱信息引导的多-高光谱影像融合方法

1.本发明涉及高光谱影像与多光谱影像融合领域，特别涉及一种通过空间光谱引导从而减小融合过程中产生的空间扭曲与光谱扭曲的技术方法与通过于神经网络中嵌入低秩先验从而使融合影像更符合实际应用需求的技术方法，以数据驱动的方式完成低分辨率影像到高分辨率影像的映射，实现高光谱影像与多光谱影像的有效融合。


背景技术：

2.高光谱影像通常具有几十几百个窄光谱范围的波段，也就是说具有较高的光谱分辨率，利用该特性能够模拟出非常细腻的光谱曲线，能够识别出不同类别的地物材料及特征，因此被广泛应用在影像分类，目标识别，变换检测等一系列任务当中。但是，传感器成像必须保持一定的信噪比，而受到成像系统的限制，高光谱影像的空间分辨率往往较低，这极大的限制了高光谱影像的应用。相对的，多光谱影像波段数量较少，光谱分辨率较低，但是其具有较高的空间分辨率，能够提供精细的纹理和几何特征。因此，通过融合高光谱影像与多光谱影像重建出具有高空间分辨率的高光谱影像是一项非常重要的工作。
3.目前，高光谱影像与多光谱影像融合的方法主要归为四类：
4.基于全色锐化的方法：该类方法通常是将高光谱影像与多光谱影像融合看作是多个全色锐化子问题进而进行融合，这其中包括高光谱波段被多光谱波段范围可覆盖部分和不可覆盖部分，对于不可覆盖部分通常将多光谱波段范围重采样，进而使用全色锐化的方法进行融合。该类方法虽然在一定程度上提高了高光谱影像的空间分辨率，但是由于把整个融合问题看作成了全色锐化的子问题，导致多光谱影像的空间结构信息利用不够完全。
5.基于矩阵分解的方法：该类方法通常是将三维的高光谱影像和多光谱影像按光谱维度分别分解成两个矩阵也就是我们所说的端元矩阵和丰度矩阵，之后通过一系列优化方法进行优化直到收敛，从而得到高空间分别率的高光谱影像。但是，因为将三维的张量转化为二维矩阵破坏了空间维和光谱维信息的连续性，同时该类方法仅考虑高光谱影像的光谱相关性，而忽视了非局部相似性，导致融合精度不高。
6.基于张量分解的方法：不同与矩阵分解方法，该类方法通常采用cp分解或塔克分解将三维的高光谱影像和多光谱影像分解成一个核心张量和三个维度的字典，之后通过一系列优化方法进行优化直到收敛，从而得到高空间分辨率的高光谱影像。但是，将张量沿各个模展开为矩阵会导致张量的空间结构信息被破坏，所以很难保存张量的内在结构信息，并且张量核范数权重的最优值选取不明确，其权重是由经验确定的，导致融合精度并不高。
7.基于深度学习的方法：相比于前三种方法，基于深度学习的方法以其强大的非线性模拟能力逐渐将其取代。通常该类方法会将原始的高光谱影像和多光谱影像进行下采样，以下采样后的影像作为输入，以原始的高光谱影像作为目标影像，训练一个深度学习的网络，网络训练完成后，将高光谱影像和多光谱影像输入该网络，即可生成所需的高分辨率的高光谱影像。而该类方法的核心则在于构建出一个优秀的深度学习网络，从而能够更好地模拟高光谱影像和多光谱影像同高分辨率的高光谱影像之间的非线性关系，进而生成高
质量的高分辨率高光谱影像。
8.在基于深度学习的融合方法中，通常是将高光谱影像与多光谱影像叠加作为网络输入，难以很好地保留，提取多光谱和高光谱各自的特性，加大了融合的难度。同时，其缺乏有效的空谱引导，具有严重的空间光谱扭曲。再者，整个融合过程具有缺乏物理解释性，容易忽略高光谱影像内在的先验特性，使得融合影像不一定符合真实应用需求。
9.可见，尚未出现非常理想的高光谱影像与多光谱影像融合方法。


技术实现要素：

10.针对现有基于深度学习的高光谱影像与多光谱影像融合方法中的缺点，本发明提出一种低秩先验与空谱信息引导的多-高光谱影像融合方法，通过构建多层多分支子网络进行初步的融合，同时构造基于空谱引导的融合影像空间光谱纠正子网络缩小融合过程中产生的空间光谱扭曲，最后构造基于低秩神经网络的融合影像低秩先验约束子网络，通过将低秩先验与深度学习网络相结合，利用网络自身特性进行低秩分解，从而进行融合影像的低秩约束，使融合结果更符合真实应用需求。
11.本发明的技术方案提供一种低秩先验与空谱信息引导的多-高光谱影像融合方法，包括以下步骤：
12.步骤1，对给定高光谱影像与多光谱进行高斯滤波与下采样，生成网络训练时的输入，原始高光谱影像作为目标影像，用以计算损失函数；
13.步骤2，构造结合空谱引导与低秩先验的多层多分支网络，将下采样的高光谱影像与多光谱影像输入，然后设置网络的超参数，根据损失函数训练网络，直至训练收敛或达到最大训练轮数；
14.其中，构造结合空谱引导与低秩先验的多层多分支网络的具体结构如下；
15.首先，构造多层多分支融合子网络mlmb，从多个分支进行特征的提取，并进行多层特征融合，重建出初步的融合影像，其通过多分支的方式有效提取高光谱影像与多光谱影像的特征，通过多层次融合的策略使得特征之间的融合更加充分，包括特征提取部分，特征融合部分以及影像重建部分；
16.然后，构建基于空谱引导的融合影像空间光谱纠正子网络，利用低光谱分辨率高空间分辨率影像波段叠加求得的灰度值引导融合影像的空间重建避免融合影像的空间扭曲，获得经过空间约束后的融合影像；利用低空间分辨率高光谱分辨率影像各个波段平均灰度值引导融合影像的光谱重建避免融合影像的光谱扭曲，获得经过空间光谱约束后的融合影像；
17.步骤3，网络训练完成之后，将原始的高光谱影像与多光谱影像输入网络，实现影像间的融合，得到高分辨率的高光谱影像。
18.进一步的，在步骤1中，首先采用高斯卷积核对原始高光谱影像与原始多光谱影像进行高斯滤波：
[0019][0020]
式(1)为二维高斯核公式，其中σ代表标准差，x和y分别代表对应像素到中心像素
的横纵坐标差，之后对滤波后的影像进行双线性下采样，最终得到步骤2构建的网络的训练输入：高光谱影像和多光谱影像其中w＝rw,h＝rh,l＞＞l，这里w,h,l分别代表多光谱影像的长度，宽度和波段数，w,h,l分别代表高光谱影像的长度，宽度和波段数，r代表多光谱长度宽度与高光谱长度宽度之间的比值，同时原始高光谱影像作为网络训练时的目标影像
[0021]
进一步的，步骤2中，在mlmb网络的特征提取部分，采用多分支的特征提取方式，旨在充分提取高光谱影像与多光谱影像的特征，其具体过程为：首先，为避免两幅影像特征之间的互相干扰，将两幅影像进行单独地输入，构造多光谱影像特征提取分支和高光谱影像特征提取分支，并在两个分支中采用同样的特征提取模块进行特征的有效提取；其次，特征提取模块中，利用跳跃连接的方式构造一个深层特征提取分支，使用七个卷积层进行特征提取，并将第一个卷积层与第三个卷积层的结果进行相加，作为第四个卷积层的输入，将第四个卷积层与第六个卷积层的结果进行相加，作为第七个卷积层的输入，其第七个卷积层的输出作为该深层分支所提取的最终特征；浅层特征提取分支使用三个不同卷积层依次进行特征的提取，第三个卷积层的结果作为该浅层分支所提取的最终特征。
[0022]
进一步的，步骤2中，在mlmb网络的特征融合部分，采用多层次融合的策略，旨在使特征融合的更加充分，这里的多层次融合策略指的是深层特征融合，浅层特征融合，以及深浅特征融合，其具体过程为：首先，使用三层卷积将多光谱影像和高光谱影像的深层特征融合，用以得到融合影像的深层特征；与此同时，同样使用三层卷积将多光谱影像和高光谱影像的浅层特征融合，用以得到融合影像的浅层特征；最后将融合影像的深层特征与浅层特征通过一个三层卷积进行融合，得到融合影像的特征，用于之后的影像重建；
[0023]
进一步的，步骤2中，在mlmb网络的重建部分，使用三个反卷积层进行重建，反卷积层均使用relu激活函数进行激活，其作用是将输入的负值变为0，如下公式所示：
[0024]
f(x)＝max(0,x)
ꢀꢀ
(2)
[0025]
在这里，x代表函数的输入值。
[0026]
进一步的，多层多分支融合子网络mlmb的具体处理过程用如下公式表示；
[0027]zmlmb
＝re(f(fd(d(x)+d(y))+fs(s(x)+s(y))))
ꢀꢀ
(3)
[0028]
在这里d(*)代表生成深层特征提取分支，s(*)代表浅层特征提取分支，s(*)代表深层特征融合层，fs(*)代表浅层特征融合层，f(*)代表深层浅层特征融合层，re(*)代表影像重建层，z
mlmb
代表经过mlmb模块的初步融合影像。
[0029]
进一步的，步骤2中通过空间引导部分spag避免融合影像的空间扭曲，获得经过空间约束后的融合影像；
[0030]
所述空间引导部分spag以多光谱影像作为输入，空间引导值作为输出，由六个卷积层组成，左侧三个卷积层主要通过卷积的方式对多光谱影像进行编码，右侧通过三个卷积层对其进行解码，中途采用跳跃连接的方式将第二个卷积层的输出与第三卷积层的输出进行叠加作为第四卷积层的输入，并将第四卷积层的输出与第一卷积层的输出叠加作为第五卷积层的输入，后将第五卷积层的输出输入第六卷积层，得到最终的空间约束值，其中前五个卷积层使用relu激活函数，而在第六卷积层则使用sigmoid激活函数，该激活函数可以将输入的值从归一化到0-1之间，其具体如下公式所示：
[0031][0032]
在这里，x代表函数的输入值，因为在第六卷积块中使用的是sigmoid激活函数，故空间约束值值在0-1之间，后将该值应用在mlmb模块初步融合的影响上对其进行空间上的引导与纠正，得到具有较少空间扭曲的融合影像整个过程的具体做法如下公式所示：
[0033][0034]
在这里z
mlmb
代表经过mlmb模块得到的初步融合影像，s
pag
代表spag模块训练得到的空间约束值，代表逐像素相乘，i代表对应波段，z
spag
代表经过空间约束后的融合影像。
[0035]
进一步的，步骤2中通过光谱引导部分speg避免融合影像的光谱扭曲，获得经过空间光谱约束后的融合影像；
[0036]
所述光谱引导部分speg以高光谱影像作为输入，光谱引导值作为输出，最开始使用全局池化的方式直接获得各个波段的平均灰度值，之后使用两个全连接层进行训练，其中第一个全连接层之后使用relu激活函数进行激活，第二个全连接层之后使用sigmoid激活函数激活，其后得到光谱约束值；
[0037]
在网络的最后使用的是sigmoid激活函数，故其值在0-1之间，后将该值应用在通过spag模块进行了空间约束的融合影像z
spag
上，得到具有较少光谱扭曲的融合影像整个过程的具体做法如下公式所示：
[0038][0039]
在这里z
spag
代表经过空间约束后的融合影像，s
peg
代表speg模块训练得到的光谱约束值，i代表对应波段，z
speg
代表经过空间光谱约束后的融合影像。
[0040]
进一步的，步骤2中还包括构建基于低秩神经网络的融合影像低秩先验约束子网络lrc，其处理过程如下；
[0041]
以经过空间光谱引导后的融合影像z
speg
作为输入，这里用来表示z
speg
，f经过卷积，维度变换操作得到丰度矩阵和f的变形矩阵三个矩阵，k表示矩阵的秩，然后将u
′
与f
rs
进行矩阵相乘，得到系数矩阵分别对丰度矩阵u和系数矩阵v进行正则化，之后进行矩阵相乘与卷积就可以得到对应的低秩约束值最后通过将低秩约束值与经过空间光谱引导后的融合影像f相加，得到最终的融合影像f0。
[0042]
本发明提出的低秩先验与空谱信息引导的多-高光谱影像融合方法，构建一种全新的结合空谱引导与低秩先验的多层多分支融合网络sslrnet，该网络首先构造多层多分支融合子网络(mlmb)，从多个分支进行特征的提取，并进行多层特征融合，重建出初步的融合影像，能够有效避免以往基于深度学习的融合方法中存在的高光谱影像与多光谱影像特征提取之间的彼此干扰。构造基于空谱引导的融合影像空间光谱纠正子网络，通过多光谱影像波段叠加求和影像与高光谱影像波段平均值影像对mlmb生成的初步融合影像进行空间光谱引导，用于缩小融合过程中产生的空间光谱扭曲。构造基于低秩神经网络的融合影
像低秩先验约束子网络，通过将低秩先验与深度学习网络相结合，利用网络自身特性进行低秩分解，从而进行融合影像的低秩约束，使融合结果更符合真实应用需求。
[0043]
同时，本发明不仅可以通过多分支提取多层融合的手段进行影像的融合，还可以通过空谱信息引导来缩小融合过程中产生的空间光谱扭曲，从而提高了网络的融合精度。另外，还能通过低秩先验约束使得融合影像更符合真实应用需求。本发明提出的方法为高光谱影像后续的影像分类，目标识别，变换检测等应用提供了重要基础和支持。因此，低秩先验与空谱信息引导的多-高光谱影像融合方法不仅具有非常重要的学术价值而且具有重要的现实意义。
附图说明
[0044]
图1是本发明的总体网络结构图。
[0045]
图2是本发明的多层多分支融合子网络图。
[0046]
图3是本发明的基于空谱引导的融合影像空间光谱纠正子网络中空间引导图。
[0047]
图4是本发明的基于空谱引导的融合影像空间光谱纠正子网络中光谱引导图。
[0048]
图5是本发明的基于低秩神经网络的融合影像低秩先验约束子网络图。
具体实施方式
[0049]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对根据本发明一个实施例的低秩先验与空谱信息引导的多-高光谱影像融合方法进一步详细说明。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。
[0050]
本发明提供一种低秩先验与空谱信息引导的多-高光谱影像融合方法，包括以下步骤：
[0051]
步骤1，对给定高光谱影像与多光谱影像进行高斯滤波与下采样，生成网络训练时的输入，原始高光谱影像作为目标影像，用以计算损失函数。
[0052]
步骤2，构造结合空谱引导与低秩先验的多层多分支网络，将下采样的高光谱影像与多光谱影像输入，然后设置网络的超参数，根据损失函数训练网络，直至训练收敛或达到最大训练轮数。
[0053]
步骤3，网络训练完成之后，将原始的高光谱影像与多光谱影像输入网络，实现影像间的融合，得到高分辨率的高光谱影像。
[0054]
而且，在步骤1中，首先采用高斯卷积核对原始高光谱影像与原始多光谱影像进行高斯滤波：
[0055][0056]
式(1)为二维高斯核公式，其中σ代表标准差，x和y分别代表对应像素到中心像素的横纵坐标差。之后对滤波后的影像进行双线性下采样，最终得到步骤2构建的网络的训练输入高光谱影像和多光谱影像这里w,h,l分别代表多光谱影像的长度，宽度和波段数，w,h,l分别代表高光谱影像的长度，宽度和波段数，r代表多光谱长度宽度与高光谱长度宽度之间的比值，同时原始高光谱影像
作为网络训练时的目标影像
[0057]
而且，步骤2中，构建的网络结构见附图1。
[0058]
首先，构造多层多分支融合子网络mlmb，旨在从多个分支进行特征的提取，并进行多层特征融合，重建出初步的融合影像。其主要思想是通过多分支的方式有效提取高光谱影像与多光谱影像的特征，通过多层次融合的策略使得特征之间的融合更加充分，主要部分分为特征提取部分，特征融合部分以及影像重建部分，具体结构见附图2。
[0059]
在mlmb网络的特征提取部分，我们构造了一种多分支的特征提取方式，旨在充分提取高光谱影像与多光谱影像的特征。首先，为避免两幅影像特征之间的互相干扰，导致彼此特征提取不完全，我们放弃传统的将两幅影像直接叠加之后作为网络的输入进行训练的方式，而是将两幅影像进行单独地输入，构造多光谱影像特征提取分支和高光谱影像特征提取分支，并在两个分支中采用同样的特征提取模块进行特征的有效提取。其次，特征提取模块中，考虑到影像所具有的深层与浅层两方面的特征，我们利用跳跃连接的方式构造相对而言较深的一个深层特征提取分支，这里主要使用七个卷积层进行特征提取，并会将第一个卷积层与第三个卷积层的结果进行相加，作为第四个卷积层的输入，将第四个卷积层与第六个卷积层的结果进行相加，作为第七个卷积层的输入，其第七个卷积层的输出作为该深层分支所提取的最终特征。而浅层特征提取分支构造相对简单，主要使用三个不同卷积层依次进行特征的提取，第三个卷积层的结果作为该浅层分支所提取的最终特征。由此能够在同时提取出多光谱影像的深层特征和浅层特征以及高光谱影像的深层特征和浅层特征时，有效的避免彼此特征之间的干扰。
[0060]
在mlmb网络的特征融合部分，我们并没有直接将提取出来的四类特征进行融合，而是构建了一种叫做多层次融合的策略，旨在使特征融合的更加充分，这里的多层次融合策略主要指的是深层特征融合，浅层特征融合，以及深浅特征融合。首先，使用三层卷积将多光谱影像和高光谱影像的深层特征融合，用以得到融合影像的深层特征。与此同时，同样使用三层卷积将多光谱影像和高光谱影像的浅层特征融合，用以得到融合影像的浅层特征。最后将融合影像的深层特征与浅层特征通过一个三层卷积进行融合，得到融合影像的特征，用于之后的影像重建。该部分分类融合，层层递进使得特征融合的更加完全。
[0061]
在mlmb网络的重建部分，使用三个反卷积层进行重建。在该mlmb模块中，无论卷积层还是反卷积层均使用relu激活函数进行激活，其主要作用是将输入的负值变为0，如下公式所示：
[0062]
f(x)＝max(0,x)
ꢀꢀ
(2)
[0063]
在这里，x代表函数的输入值。
[0064]
总体来说，该mlmb模块通过构造多个特征提取分支并分别应用在高光谱影像与多光谱影像上充分提取彼此的特征避免互相干扰，同时在提取出特征之后采用多层次融合策略使特征融合更加完全，最后通过反卷积层进行影像的重建，能够较好的完成影像之间的融合，其可以用如下公式表示：
[0065]zmlmb
＝re(f(fd(d(x)+d(y))+fs(s(x)+s(y))))
ꢀꢀ
(3)
[0066]
在这里d(*)代表生成深层特征提取分支，s(*)代表浅层特征提取分支，s(*)代表深层特征融合层，fs(*)代表浅层特征融合层，f(*)代表深层浅层特征融合层，re(*)代表影像重建层，z
mlmb
代表经过mlmb模块的初步融合影像。
[0067]
其次，构建基于空谱引导的融合影像空间光谱纠正子网络，利用低光谱分辨率高空间分辨率影像波段叠加求得的灰度值引导融合影像的空间重建避免融合影像的空间扭曲(即：空间引导部分spag)，利用低空间分辨率高光谱分辨率影像各个波段平均灰度值引导融合影像的光谱重建避免融合影像的光谱扭曲(即：光谱引导部分speg)。
[0068]
空间引导部分spag，具体结构见附录中图3。该部分为一个小的u型网络，以多光谱影像作为输入，空间引导值作为输出，具体由六个卷积层组成，左侧三个卷积层主要通过卷积的方式对多光谱影像进行编码，右侧通过三个卷积层对其进行解码，中途采用跳跃连接的方式将第二个卷积层的输出与第三卷积层的输出进行叠加作为第四卷积层的输入，并将第四卷积层的输出与第一卷积层的输出叠加作为第五卷积层的输入，后将第五卷积层的输出输入第六卷积层，得到最终的空间约束值。
[0069]
其中前五个卷积层使用relu激活函数，而在第六卷积层则使用sigmoid激活函数，该激活函数可以将输入的值从归一化到0-1之间，其具体如下公式所示：
[0070][0071]
在这里，x代表函数的输入值。因为在第六卷积块中使用的是sigmoid激活函数，故空间约束值值在0-1之间，后将该空间约束值应用在mlmb模块初步融合的影响上对其进行空间上的引导与纠正，得到具有较少空间扭曲的融合影像整个过程的具体做法如下公式所示：
[0072][0073]
在这里z
mlmb
代表经过mlmb模块得到的初步融合影像，s
pag
代表spag模块训练得到的空间约束值，代表逐像素相乘，i代表对应波段，z
spag
代表经过空间约束后的融合影像。
[0074]
光谱引导部分speg，具体结构见附录中图4。该部分为相对简单的一个网络，以高光谱影像作为输入，光谱引导值作为输出，最开始使用全局池化的方式直接获得高光谱影像各个波段的平均灰度值，之后使用两个全连接层进行训练，其中第一个全连接层之后使用relu激活函数进行激活，第二个全连接层之后使用sigmoid激活函数激活，其后得到我们的光谱约束值。
[0075]
在网络的最后使用的是sigmoid激活函数，故其值在0-1之间，后将该光谱约束值应用在通过进行了空间约束的融合影像z
spag
上，得到具有较少光谱扭曲的融合影像整个过程的具体做法如下公式所示：
[0076][0077]
在这里z
spag
代表经过空间约束后的融合影像，s
peg
代表speg模块训练得到的光谱约束值，i代表对应波段，z
speg
代表经过空间光谱约束后的融合影像。
[0078]
其次，构建基于低秩神经网络的融合影像低秩先验约束子网络lrc(没有这一子网络也可以实现高光谱影像与多光谱影像的融合)，其利用深度学习具有的强大学习能力，处理传统低秩分解具有的计算复杂度变大，且优化时具有凸松弛等一系列问题，该网络能够很容易地通过矩阵的分解与重建获得低秩特性，进而对融合影像进行低秩约束，使融合影像保持波段强相关性，免受噪声的干扰，更符合真实应用需求，具体结构见附录中图5。
[0079]
该子网络中以经过空间光谱约束后的融合影像z
speg
作为输入，这里用来表示z
speg
，f经过卷积，维度变换等操作得到丰度矩阵(k表示矩阵的秩)和f的变形矩阵三个矩阵，后将u
′
与f
rs
进行矩阵相乘，得到系数矩阵分别对丰度矩阵u和系数矩阵v进行正则化，之后进行矩阵相乘与卷积就可以得到对应的低秩约束值最后通过将低秩约束值与经过空间光谱引导后的融合影像f相加，得到最终的融合影像f0。
[0080]
实施例1
[0081]
步骤1，对给定高光谱影像与多光谱影像进行高斯滤波与下采样，生成网络训练时的输入，原始高光谱影像作为目标影像，用以计算损失函数。
[0082]
本发明中通过对原始的高光谱影像进行高斯滤波时，其中滤波核大小为5
×
5，标准差为2。滤波之后进行下采样，下采样率为3，采样方式为双线性采样。
[0083]
实施例中的多光谱影像的大小为2187
×
2187共包含4个波段，共包含高光谱影像的大小为729
×
729，共包含150个波段。具体实施时，将多光谱影像与高光谱影像进行滤波核大小为5
×
5，标准差为2的高斯滤波，滤波之后进行下采样率为3的双线性下采样，最终将大小为729
×
729的多光谱影像和大小为243
×
243的高光谱影像作为网络的输入，原始大小为729
×
729的高光谱影像作为目标影像，计算损失函数。
[0084]
步骤2，构造结合空谱引导与低秩先验的多层多分支网络，将下采样的高光谱影像与多光谱影像输入，然后设置网络的超参数，根据损失函数训练网络，直至训练收敛或达到最大训练轮数。
[0085]
在具体实施时，随机确定网络的超参数，在训练的阶段，采用adam优化器来训练网络，损失函数为l2损失函数，总体的学习率设为1e-4，批量大小设为整个影像的大小，网络的训练轮数为10000。具体实施时本领域技术人员可以根据具体使用的影像对网络的超参数进行调整。
[0086]
步骤3，网络训练完成之后，将原始的高光谱影像与多光谱影像输入网络，实现影像间的融合，得到高分辨率的高光谱影像。
[0087]
在具体实施时，将大小为2187
×
2187共包含4个波段的未下采样多光谱影像与将大小为729
×
729共包含150个波段的未下采样高光谱影像输入训练完成的网络，实现影像间的融合，得到大小为2187
×
2187共包含150个波段的高光谱影像。
[0088]
本领域普通技术人员可以理解，本发明不仅通过构建多层多分支子网络进行初步的融合，避免两幅影像彼此将的干扰，同时构造基于空谱引导的融合影像空间光谱纠正子网络缩小融合过程中产生的空间光谱扭曲，提高融合的精度，构造基于低秩神经网络的融合影像低秩先验约束子网络，对进行融合影像进行低秩约束，使融合结果更符合真实应用需求。
[0089]
应该注意到并理解，在不脱离后附的权利要求所要求的本发明的精神和范围的情况下，能够对上述详细描述的本发明做出各种修改和改进。因此，要求保护的技术方案的范围不受所给出的任何特定示范教导的限制。