技术特征：
1.低秩先验与空谱信息引导的多-高光谱影像融合方法，包括以下步骤：步骤1，对给定高光谱影像与多光谱进行高斯滤波与下采样，生成网络训练时的输入，原始高光谱影像作为目标影像，用以计算损失函数；步骤2，构造结合空谱引导与低秩先验的多层多分支网络，将下采样的高光谱影像与多光谱影像输入，然后设置网络的超参数，根据损失函数训练网络，直至训练收敛或达到最大训练轮数；其中，构造结合空谱引导与低秩先验的多层多分支网络的具体结构如下；首先，构造多层多分支融合子网络mlmb，从多个分支进行特征的提取，并进行多层特征融合，重建出初步的融合影像，其通过多分支的方式有效提取高光谱影像与多光谱影像的特征，通过多层次融合的策略使得特征之间的融合更加充分，包括特征提取部分，特征融合部分以及影像重建部分；然后，构建基于空谱引导的融合影像空间光谱纠正子网络，利用低光谱分辨率高空间分辨率影像波段叠加求得的灰度值引导融合影像的空间重建避免融合影像的空间扭曲，获得经过空间约束后的融合影像；利用低空间分辨率高光谱分辨率影像各个波段平均灰度值引导融合影像的光谱重建避免融合影像的光谱扭曲，获得经过空间光谱约束后的融合影像；步骤3，网络训练完成之后，将原始的高光谱影像与多光谱影像输入网络，实现影像间的融合，得到高分辨率的高光谱影像。2.根据权利要求1所述低秩先验与空谱信息引导的多-高光谱影像融合方法，其特征在于：在步骤1中，首先采用高斯卷积核对原始高光谱影像与原始多光谱影像进行高斯滤波：式(1)为二维高斯核公式，其中σ代表标准差，x和y分别代表对应像素到中心像素的横纵坐标差，之后对滤波后的影像进行双线性下采样，最终得到步骤2构建的网络的训练输入：高光谱影像和多光谱影像其中w＝rw,h＝rh,l＞＞l，这里w,h,l分别代表多光谱影像的长度，宽度和波段数，w,h,l分别代表高光谱影像的长度，宽度和波段数，r代表多光谱长度宽度与高光谱长度宽度之间的比值，同时原始高光谱影像作为网络训练时的目标影像3.根据权利要求1所述低秩先验与空谱信息引导的多-高光谱影像融合方法，其特征在于：步骤2中，在mlmb网络的特征提取部分，采用多分支的特征提取方式，旨在充分提取高光谱影像与多光谱影像的特征，其具体过程为：首先，为避免两幅影像特征之间的互相干扰，将两幅影像进行单独地输入，构造多光谱影像特征提取分支和高光谱影像特征提取分支，并在两个分支中采用同样的特征提取模块进行特征的有效提取；其次，特征提取模块中，利用跳跃连接的方式构造一个深层特征提取分支，使用七个卷积层进行特征提取，并将第一个卷积层与第三个卷积层的结果进行相加，作为第四个卷积层的输入，将第四个卷积层与第六个卷积层的结果进行相加，作为第七个卷积层的输入，其第七个卷积层的输出作为该深层分支所提取的最终特征；浅层特征提取分支使用三个不同卷积层依次进行特征的提
取，第三个卷积层的结果作为该浅层分支所提取的最终特征。4.根据权利要求3所述低秩先验与空谱信息引导的多-高光谱影像融合方法，其特征在于：步骤2中，在mlmb网络的特征融合部分，采用多层次融合的策略，旨在使特征融合的更加充分，这里的多层次融合策略指的是深层特征融合，浅层特征融合，以及深浅特征融合，其具体过程为：首先，使用三层卷积将多光谱影像和高光谱影像的深层特征融合，用以得到融合影像的深层特征；与此同时，同样使用三层卷积将多光谱影像和高光谱影像的浅层特征融合，用以得到融合影像的浅层特征；最后将融合影像的深层特征与浅层特征通过一个三层卷积进行融合，得到融合影像的特征，用于之后的影像重建。5.根据权利要求1所述低秩先验与空谱信息引导的多-高光谱影像融合方法，其特征在于：步骤2中，在mlmb网络的重建部分，使用三个反卷积层进行重建，反卷积层均使用relu激活函数进行激活，其作用是将输入的负值变为0，如下公式所示：f(x)＝max(0,x)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)在这里，x代表函数的输入值。6.根据权利要求1所述低秩先验与空谱信息引导的多-高光谱影像融合方法，其特征在于：多层多分支融合子网络mlmb的具体处理过程用如下公式表示；z
mlmb
＝r
e
(f(f
d
(d(x)+d(y))+f
s
(s(x)+s(y))))
ꢀꢀꢀꢀꢀꢀꢀꢀ
(3)在这里d(*)代表生成深层特征提取分支，s(*)代表浅层特征提取分支，s(*)代表深层特征融合层，f
s
(*)代表浅层特征融合层，f(*)代表深层浅层特征融合层，r
e
(*)代表影像重建层，z
mlmb
代表经过mlmb模块的初步的融合影像。7.根据权利要求1所述低秩先验与空谱信息引导的多-高光谱影像融合方法，其特征在于：步骤2中通过空间引导部分spag避免融合影像的空间扭曲，获得经过空间约束后的融合影像；所述空间引导部分spag以多光谱影像作为输入，空间引导值作为输出，由六个卷积层组成，左侧三个卷积层主要通过卷积的方式对多光谱影像进行编码，右侧通过三个卷积层对其进行解码，中途采用跳跃连接的方式将第二个卷积层的输出与第三卷积层的输出进行叠加作为第四卷积层的输入，并将第四卷积层的输出与第一卷积层的输出叠加作为第五卷积层的输入，后将第五卷积层的输出输入第六卷积层，得到最终的空间约束值，其中前五个卷积层使用relu激活函数，而在第六卷积层则使用sigmoid激活函数，该激活函数可以将输入的值从归一化到0-1之间，其具体如下公式所示：在这里，x代表函数的输入值，因为在第六卷积块中使用的是sigmoid激活函数，故空间约束值值在0-1之间，后将该值应用在mlmb模块初步融合的影响上对其进行空间上的引导与纠正，得到具有较少空间扭曲的融合影像整个过程的具体做法如下公式所示：在这里z
mlmb
代表经过mlmb模块得到的初步的融合影像，s
pag
代表spag模块训练得到的空间约束值，代表逐像素相乘，i代表对应波段，z
spag
代表经过空间约束后的融合影像。
8.根据权利要求1所述低秩先验与空谱信息引导的多-高光谱影像融合方法，其特征在于：步骤2中通过光谱引导部分speg避免融合影像的光谱扭曲，获得经过空间光谱约束后的融合影像；所述光谱引导部分speg以高光谱影像作为输入，光谱引导值作为输出，最开始使用全局池化的方式直接获得各个波段的平均灰度值，之后使用两个全连接层进行训练，其中第一个全连接层之后使用relu激活函数进行激活，第二个全连接层之后使用sigmoid激活函数激活，其后得到光谱约束值；在网络的最后使用的是sigmoid激活函数，故其值在0-1之间，后将该值应用在通过spag模块进行了空间约束的融合影像z
spag
上，得到具有较少光谱扭曲的融合影像整个过程的具体做法如下公式所示：在这里z
spag
代表经过空间约束后的融合影像，s
peg
代表speg模块训练得到的光谱约束值，i代表对应波段，z
speg
代表经过空间光谱约束后的融合影像。9.根据权利要求1所述低秩先验与空谱信息引导的多-高光谱影像融合方法，其特征在于：步骤2中还包括构建基于低秩神经网络的融合影像低秩先验约束子网络lrc，其处理过程如下；以经过空间光谱约束后的融合影像作为输入，这里用来表示，f经过卷积，维度变换操作得到丰度矩阵和f的变形矩阵三个矩阵，k表示矩阵的秩，然后将u
′
与f
rs
进行矩阵相乘，得到系数矩阵分别对丰度矩阵u和系数矩阵v进行正则化，之后进行矩阵相乘与卷积就可以得到对应的低秩约束值最后通过将低秩约束值与经过空间光谱引导后的融合影像f相加，得到最终的融合影像f0。
技术总结
本发明公开了一种低秩先验与空谱信息引导的多-高光谱影像融合方法，提出了一种全新的结合空谱引导与低秩先验的多层多分支融合网络SSLRNet，该网络首先构造多层多分支融合子网络(MLMB)，旨在从多个分支进行特征的提取，并进行多层特征融合，重建出初步的融合影像。之后，构造基于空谱引导的融合影像空间光谱纠正子网络，通过多光谱影像波段叠加求和影像与高光谱影像波段平均值影像对MLMB生成的初步融合影像进行空间光谱引导，缩小空间光谱扭曲。最后，构造基于低秩神经网络的融合影像低秩先验约束子网络，与深度学习网络相结合，利用网络自身特性进行低秩分解，使融合结果更符合真实应用需求。本发明提高了网络的融合精度，更符合真实应用需求。更符合真实应用需求。更符合真实应用需求。
技术研发人员：张洪艳 王文高 曹伟男 杨光义 张良培
受保护的技术使用者：武汉大学
技术研发日：2022.03.29
技术公布日：2022/8/5