基于递进式空谱联合深度网络的高光谱遥感图像生成方法

1.本发明涉及高光谱图像生成方法，属于卫星遥感技术领域，涉及深度神经网络和光谱超分辨技术。


背景技术：

2.高光谱图像通常具有从红外光谱到紫外光谱的多种光谱带，高光谱图像的丰富光谱信息使得在局部波段相似的物体分离更容易，丰富的光谱特征已被广泛应用于各种任务。
3.然而，由于成像技术的局限性，获取包含丰富光谱波段的高光谱图像是一项获取成本相对较高的工作。与高光谱图像相比，多光谱图像通常具有较少的光谱波段(一般少于20个)，相伴随的是低获取成本和具有丰富的空间信息，使得在图像细节上进行区分更加便利。同时远多于高光谱卫星的多光谱卫星数也带来了大量可使用的多光谱图像。但是现有缺少根据多光谱图像获得高光谱图像的方法。


技术实现要素：

4.本发明的目的是为了解决现有缺少根据多光谱图像获得高光谱图像的方法。现提供一种基于递进式空谱联合深度网络的高光谱遥感图像生成方法。
5.基于递进式空谱联合深度网络的高光谱遥感图像生成方法，所述方法包括以下内容：
6.步骤1、利用多光谱传感器光谱响应函数对原始高光谱图像进行采样以得到与原始高光谱图像对应的原始多光谱图像，利用原始多光谱图像训练递进式空谱联合网络，得到递进式空谱联合网络训练模型，所述递进式空谱联合网络训练模型能够根据原始多光谱图像得到对应的重构高光谱图像；
7.步骤2、通过多光谱卫星获取任意区域地物目标的多光谱图像；
8.步骤3、将步骤2中的多光谱图像输入到递进式空谱联合网络训练模型中，生成对应的重构高光谱图像；
9.步骤4、将步骤3中得到的重构高光谱图像输入至多光谱传感器光谱响应函数中，得到对应的重构多光谱图像，将该重构多光谱图像与步骤1的原始多光谱图像比较，判断重构多光谱图像与原始多光谱图像的平均相对误差是否超出预设多光谱误差，如果是，则将步骤3中得到的重构高光谱图像作为原始高光谱图像，重复执行步骤1至4，并调节递进式空谱联合网络训练模型中的一号损失函数，直到步骤4得到的重构多光谱图像与原始多光谱图像的差异在预设多光谱误差内，则此时将步骤3生成的重构高光谱图像作为最终高光谱图像；如果否，则将重构高光谱图像作为最终高光谱图像。
10.优选地，步骤1中，利用多光谱传感器光谱响应函数对原始高光谱数据进行采样以得到与原始高光谱数据对应的原始多光谱数据，具体为：
11.步骤11、获得多光谱传感器光谱响应函数和原始高光谱图像；
12.步骤12、基于线性插值的原理将多光谱传感器光谱响应函数调整为高光谱到多光谱的归一化光谱响应函数，该高光谱到多光谱的归一化光谱响应函数表示原始高光谱图像到原始多光谱图像的映射关系；
13.步骤13、将原始高光谱图像与高光谱到多光谱的归一化光谱响应函数相乘得到对应的原始多光谱图像。
14.优选地，步骤12中，原始多光谱图像l
m
表示为：
[0015][0016]
式中，l为连续光谱曲线，g为光谱响应函数，λ为波长，g(λ)为与波长相关的光谱响应函数值，n为离散波长值，g(n)为与离散波长相关的光谱响应函数值，i为选定的多光谱波段；
[0017]
步骤12中，该高光谱到多光谱的归一化光谱响应函数表示原始高光谱图像到原始多光谱图像的映射关系为：
[0018][0019]
式中，为高光谱到多光谱的归一化光谱响应函数，l
h
表示高光谱曲线，b
h
是高光谱波段数；
[0020]
步骤13中，将原始高光谱图像与高光谱到多光谱的归一化光谱响应函数相乘得到对应的原始多光谱图像为：
[0021]
l
m
＝g
hm
l
h
ꢀꢀꢀꢀ
公式3，
[0022]
式中，用g
hm
表示。
[0023]
优选地，步骤1中，所述递进式空谱联合网络训练模型能够根据原始多光谱图像得到对应的重构高光谱图像，具体为：
[0024]
通过调节递进式空谱联合网络中的二号损失函数，使得递进式空谱联合网络训练模型得到的重构高光谱图像与原始高光谱图像的平均相对误差小于预设高光谱误差，从而使所述递进式空谱联合网络训练模型根据原始多光谱图像输出小于预设高光谱误差的重构高光谱图像。
[0025]
优选地，二号损失函数loss表示为：
[0026]
loss＝mrae(h(msi),hsi)+mrae(srf*h(msi),msi)
ꢀꢀꢀꢀ
公式4，
[0027]
式中，mrae表示平均相对误差，h表示递进式空谱联合网络，msi为原始多光谱图像，srf为多光谱传感器的光谱响应函数；
[0028]
平均相对误差mrae表示为：
[0029][0030]
式中，n表示原始高光谱图像的像素数，c表示原始高光谱图像的像素序号，p
gtc
和p
recc
分别代表原始高光谱图像和重构高光谱数据。
[0031]
优选地，递进式空谱联合网络训练模型包括2d空间特征提取模块、递进式3d空谱
特征构建模块和光谱特征后处理模块，
[0032]
2d空间特征提取模块，用于对原始多光谱数据进行处理，得到一部分重构高光谱特征；
[0033]
递进式3d空谱特征构建模块，用于对原始多光谱数据进行处理，得到另一部分重构高光谱特征；
[0034]
光谱特征后处理模块，用于将两部分重构高光谱特征相加，得到与原始多光谱数据对应的重构高光谱图像。
[0035]
优选地，2d空间特征提取模块包括一号升维层、一号特征提取层、2d特征堆叠层和特征压缩层，
[0036]
一号升维层，用于将原始多光谱数据处理为指定高维度特征图像；
[0037]
一号特征提取层，用于提取指定高维度特征图像的不同深度的特征；
[0038]
2d特征堆叠层，用于将提取的不同深度特征进行堆叠，得到堆叠特征；
[0039]
特征压缩层，用于将堆叠特征进行压缩，得到高光谱特征，该高光谱特征作为一部分重构高光谱特征。
[0040]
优选地，递进式3d空谱特征构建模块包括多层递进式3d特征处理模块和一个3d特征压缩模块，
[0041]
每层递进式3d特征处理模块均包括二号升维层、二号特征提取层、特征扩展层、3d特征堆叠层、求和模块和3d光谱特征放大层，
[0042]
二号升维层，用于将原始多光谱图像处理为不同维度的高维度特征图像；
[0043]
二号特征提取层，用于提取不同维度的高维度特征图像的不同深度的特征；
[0044]
特征扩展层，用于将不同深度的特征扩展为3d深度特征；
[0045]
3d特征堆叠层，用于将3d深度特征进行堆叠，得到堆叠特征；
[0046]
求和模块，用于将多层3d特征堆叠层得到的多个堆叠特征结合，得到结合特征；
[0047]
3d光谱特征放大层，用于放大结合特征的光谱维，得到具有加倍的光谱维的光谱特征；
[0048]
3d特征压缩模块包括至少一个3d卷积模块，3d卷积模块，用于将加倍的光谱维的光谱特征压缩至高光谱特征，该高光谱特征作为另一部分重构高光谱特征。
[0049]
优选地，一号升维层或二号升维层包括一号3
×
3卷积层和一号激活层，
[0050]
一号3
×
3卷积层的输出端连接一号激活层的输入端；
[0051]
一号特征提取层或二号特征提取层包括多个残差通道注意力块，
[0052]
每个残差通道注意力块包括1个残差块和1个压缩与激励残差块，每个残差块包括二号3
×
3卷积层、二号激活层、1*1卷积层和三号激活层，
[0053]
压缩与激励残差块包括均1个均值池化层、2个全连接层和2个四号激活层，
[0054]
一号激活层的输出端连接同时连接二号3
×
3卷积层的输入端和压缩与激励残差块的输入端，二号3
×
3卷积层的输出端连接二号激活层的输入端，二号激活层的输出端连接1*1卷积层的输入端，1*1卷积层的输出端连接三号激活层的输入端，三号激活层的输出端连接均值池化层的输入端，均值池化层的输出端连接全连接层的输入端，全连接层的输出端连接一个四号激活层的输入端，一个四号激活层输出端连接另一个全连接层的输入端，另一个全连接层的输出端连接另一个四号激活层输入端。
[0055]
优选地，3d光谱特征放大层包括1个3d反卷积层和五号激活层，
[0056]
求和模块的输出端连接3d反卷积层的输入端，3d反卷积层的输出端连接五号激活层的输入端，五号激活层的输出端连接3d特征压缩模块的输入端。
[0057]
本发明的有益效果是：
[0058]
本申请通过递进式空谱联合深度网络获取原始多光谱图像到重构高光谱图像的映射关系进而通过多光谱图像生成高光谱图像。生成的重构高光谱图像将同时具有较高的空间分辨率和光谱分辨率，这使得对区域进行小尺度高精度的精细解译变得可行。
[0059]
本申请通过高光谱图像生成技术，可以将大量的原始多光谱图像生成为其相对应的重构高光谱图像，也就是产生了大量新的高光谱图像，从而实现将现有的不同高光谱、多光谱数据处理为多时相、空间分辨率高、具有丰富光谱波段的高光谱图像序列；以通过已训练的高光谱分类模型，对该区域进行整体的、跨时空的分析。
[0060]
本申请通过已训练的递进式空谱联合网络以丰富的多光谱图像资源作为基础生成大量高光谱遥感图像，为高光谱数据应用带来了大量可用的高空间分辨率的高光谱遥感图像资源。
[0061]
另外，本申请将重构多光谱图像与原始多光谱图像进行对比，从而判断生成的重构高光谱图像的效果，以保证生成的重构高光谱图像具有更优的生成效果。
附图说明
[0062]
图1为基于递进式空谱联合深度网络的高光谱遥感图像生成方法的流程图；
[0063]
图2为递进式空谱联合深度网络实施的原理图；
[0064]
图3为用训练模型生成重构高光谱图像的原理图；
[0065]
图4为递进式空谱联合深度网络的原理图；
[0066]
图5为2d空间特征提取模块的原理图；
[0067]
图6为2d空间特征提取模块中特征提取层的组成图；
[0068]
图7为压缩与激励残差块的组成图；
[0069]
图8为递进式3d空谱特征构建模块示意图。
具体实施方式
[0070]
具体实施方式一：结合图1至图3说明本实施方式，本实施方式所述的基于递进式空谱联合深度网络的高光谱遥感图像生成方法，所述方法包括以下内容：
[0071]
步骤1、利用多光谱传感器光谱响应函数对原始高光谱图像进行采样以得到与原始高光谱图像对应的原始多光谱图像，利用原始多光谱图像训练递进式空谱联合网络，得到递进式空谱联合网络训练模型，所述递进式空谱联合网络训练模型能够根据原始多光谱图像得到对应的重构高光谱图像；
[0072]
步骤2、通过多光谱卫星获取任意区域地物目标的多光谱图像；
[0073]
步骤3、将步骤2中的多光谱图像输入到递进式空谱联合网络训练模型中，生成对应的重构高光谱图像；
[0074]
步骤4、将步骤3中得到的重构高光谱图像输入至多光谱传感器光谱响应函数中，得到对应的重构多光谱图像，将该重构多光谱图像与步骤1的原始多光谱图像比较，判断重
构多光谱图像与原始多光谱图像的平均相对误差是否超出预设多光谱误差，如果是，则将步骤3中得到的重构高光谱图像作为原始高光谱图像，重复执行步骤1至4，并调节递进式空谱联合网络训练模型中的一号损失函数，直到步骤4得到的重构多光谱图像与原始多光谱图像的差异在预设多光谱误差内，则此时将步骤3生成的重构高光谱图像作为最终高光谱图像；如果否，则将重构高光谱图像作为最终高光谱图像。
[0075]
具体实施方式二：本实施方式是对具体实施方式一所述的基于递进式空谱联合深度网络的高光谱遥感图像生成方法，步骤1中，利用多光谱传感器光谱响应函数对原始高光谱数据进行采样以得到与原始高光谱数据对应的原始多光谱数据，具体为：
[0076]
步骤11、获得多光谱传感器光谱响应函数和原始高光谱图像；
[0077]
步骤12、基于线性插值的原理将多光谱传感器光谱响应函数调整为高光谱到多光谱的归一化光谱响应函数，该高光谱到多光谱的归一化光谱响应函数表示原始高光谱图像到原始多光谱图像的映射关系；
[0078]
步骤13、将原始高光谱图像与高光谱到多光谱的归一化光谱响应函数相乘得到对应的原始多光谱图像。
[0079]
具体实施方式三：本实施方式是对具体实施方式二所述的基于递进式空谱联合深度网络的高光谱遥感图像生成方法，其特征在于，步骤12中，原始多光谱图像l
m
表示为：
[0080][0081]
式中，l为连续光谱曲线，g为光谱响应函数，λ为波长，g(λ)为与波长相关的光谱响应函数值，n为离散波长值，g(n)为与离散波长相关的光谱响应函数值，i为选定的多光谱波段；
[0082]
步骤12中，该高光谱到多光谱的归一化光谱响应函数表示原始高光谱图像到原始多光谱图像的映射关系为：
[0083][0084]
式中，为高光谱到多光谱的归一化光谱响应函数，l
h
表示高光谱曲线，b
h
是高光谱波段数；
[0085]
步骤13中，将原始高光谱图像与高光谱到多光谱的归一化光谱响应函数相乘得到对应的原始多光谱图像为：
[0086]
l
m
＝g
hm
l
h
ꢀꢀꢀꢀ
公式3，
[0087]
式中，用g
hm
表示。
[0088]
本实施方式中，步骤12中的高光谱到多光谱的归一化光谱响应函数能够根据原始高光谱图像得到原始多光谱图像，得到的原始多光谱图像为从高光谱到多光谱的归一化光谱响应函数内的多光谱波段范围内选定的原始多光谱图像。
[0089]
具体实施方式四：本实施方式是对具体实施方式一所述的基于递进式空谱联合深度网络的高光谱遥感图像生成方法，其特征在于，步骤1中，所述递进式空谱联合网络训练模型能够根据原始多光谱图像得到对应的重构高光谱图像，具体为：
[0090]
通过调节递进式空谱联合网络中的二号损失函数，使得递进式空谱联合网络训练
模型得到的重构高光谱图像与原始高光谱图像的平均相对误差小于预设高光谱误差，从而使所述递进式空谱联合网络训练模型根据原始多光谱图像输出小于预设高光谱误差的重构高光谱图像。
[0091]
具体实施方式五：本实施方式是对具体实施方式四所述的基于递进式空谱联合深度网络的高光谱遥感图像生成方法，其特征在于，二号损失函数loss表示为：
[0092]
loss＝mrae(h(msi),hsi)+mrae(srf*h(msi),msi)
ꢀꢀꢀꢀ
公式4，
[0093]
式中，mrae表示平均相对误差，h表示递进式空谱联合网络，msi为原始多光谱图像，srf为多光谱传感器的光谱响应函数；
[0094]
平均相对误差mrae表示为：
[0095][0096]
式中，n表示原始高光谱图像的像素数，c表示原始高光谱图像的像素序号，p
gtc
和p
recc
分别代表原始高光谱图像和重构高光谱数据。
[0097]
本实施方式中，总的系统响应可以表示为
[0098]
i
sr
＝h
se
(h
2dsfem
(i
m
)+h
3dpsfcm
(i
m
))＝h
psjn
(i
m
)
[0099]
其中h
2dsfem
、h
3dpsfcm
、h
se
分别表示2d空间特征提取模块、递进式3d空谱特征构建模块和光谱特征处理模块各自的系统响应，i
m
为输入多光谱数据，i
sr
为输出的光谱生成的高光谱数据。
[0100]
具体实施方式六：结合图4说明本实施方式，本实施方式是对具体实施方式一所述的基于递进式空谱联合深度网络的高光谱遥感图像生成方法，其特征在于，递进式空谱联合网络训练模型包括2d空间特征提取模块、递进式3d空谱特征构建模块和光谱特征后处理模块，
[0101]
2d空间特征提取模块，用于对原始多光谱数据进行处理，得到一部分重构高光谱特征；
[0102]
递进式3d空谱特征构建模块，用于对原始多光谱数据进行处理，得到另一部分重构高光谱特征；
[0103]
光谱特征后处理模块，用于将两部分重构高光谱特征相加，得到与原始多光谱数据对应的重构高光谱图像。
[0104]
本实施方式中，一号升维层，用于将原始多光谱图像处理为指定高维度特征图像，在使用中该维度通常定为256。对于输入数据i
m
∈n
×
m
×
x
×
y，经过升维层后的输出为i
2dda
∈n
×
256
×
x
×
y。
[0105]
i
2dda
＝h
2dda
(i
m
)；
[0106]
特征提取层由多个残差通道注意力块组成；
[0107]
残差通道注意力块如图6所示，由单个残差块和单个压缩与激励残差块(se块)组成，残差块内包含单个二号3
×
3卷积层、二号激活层(prelu)、单个1*1卷积层和三号激活层(prelu)；se块如图7所示，包括均值池化层、两个全连接层和2个四号激活层。
[0108]
对于第一层到第n层的残差通道注意力块的输出可以表示为
[0109]
f
2d1
＝h(i
2dda
)
[0110]
f
2dn
＝h(
…
h(h(i
2dda
)))
[0111]
其中h表示残差通道注意力块的系统响应，f
2dn
表示第n层残差通道注意力块输出的特征，残差通道注意力块不改变特征的维度，f
2dm
∈n
×
256
×
x
×
y,
[0112]
特征堆叠层，用于将提取的多光谱图像的不同深度特征进行堆叠；特征堆叠层将不同深度的特征从光谱维度(2d网络的通道维度)上堆叠在一起，该特征堆叠层可表示为：
[0113]
f
2d
＝c[i
2dda
,f
2d1
,f
2d2
,
…
f
2dn
]
[0114]
c表示光谱维的堆叠(concat)，f表示最终输出的特征，经过堆叠后特征的光谱维度增加，f∈n
×
(256
×
(i+1))
×
x
×
y,i为残差通道注意力块个数，
[0115]
特征压缩层，用于将堆叠特征进行压缩，得到高光谱特征。特征压缩层由单个3
×
3卷积层和单个激活层(prelu)组成
[0116]
i
2d
＝h
2dd
(f
2d
)
[0117]
对于输入数据f
2d
∈n
×
(256
×
(i+1))
×
x
×
y，经过特征压缩层后的输出为i
2d
∈n
×
h
×
x
×
y。
[0118]
具体实施方式七：本实施方式是对具体实施方式六所述的基于递进式空谱联合深度网络的高光谱遥感图像生成方法，其特征在于，2d空间特征提取模块包括一号升维层、一号特征提取层、2d特征堆叠层和特征压缩层，
[0119]
一号升维层，用于将原始多光谱数据处理为指定高维度特征图像；
[0120]
一号特征提取层，用于提取指定高维度特征图像的不同深度的特征；
[0121]
2d特征堆叠层，用于将提取的不同深度特征进行堆叠，得到堆叠特征；
[0122]
特征压缩层，用于将堆叠特征进行压缩，得到高光谱特征，该高光谱特征作为一部分重构高光谱特征。
[0123]
具体实施方式八：本实施方式是对具体实施方式六或六所述的基于递进式空谱联合深度网络的高光谱遥感图像生成方法，递进式3d空谱特征构建模块包括多层递进式3d特征处理模块和一个3d特征压缩模块，
[0124]
每层递进式3d特征处理模块均包括二号升维层、二号特征提取层、特征扩展层、3d特征堆叠层、求和模块和3d光谱特征放大层，
[0125]
二号升维层，用于将原始多光谱图像处理为不同维度的高维度特征图像；
[0126]
二号特征提取层，用于提取不同维度的高维度特征图像的不同深度的特征；
[0127]
特征扩展层，用于将不同深度的特征扩展为3d深度特征；
[0128]
3d特征堆叠层，用于将3d深度特征进行堆叠，得到堆叠特征；
[0129]
求和模块，用于将多层3d特征堆叠层得到的多个堆叠特征结合，得到结合特征；
[0130]
3d光谱特征放大层，用于放大结合特征的光谱维，得到具有加倍的光谱维的光谱特征；
[0131]
3d特征压缩模块包括至少一个3d卷积模块，3d卷积模块，用于将加倍的光谱维的光谱特征压缩至高光谱特征，该高光谱特征作为另一部分重构高光谱特征。
[0132]
本实施方式中，每一个递进式3d特征处理模块有一个指定的光谱维度，且该光谱维度逐级递增(通常使用16
‑
32
‑
64
‑
128
‑
256或9
‑
18
‑
36
‑
72
‑
144)。
[0133]
二号升维层由单个3
×
3卷积层和单个激活层(prelu)组成。
[0134]
i
3dda
＝h
3dda
(i
m
)
[0135]
对于输入数据i
m
∈n
×
m
×
x
×
y，经过第一个递进块的升维层后的输出为i
3dda1
∈n
×
s
×
x
×
y。第k个递进块的升维层后的输出为i
3ddak
∈n
×
(s*2^k)
×
x
×
y。
[0136]
二号特征提取层，用于提取多光谱图像的不同深度的特征；二号特征提取层由数个残差通道注意力块组成；残差通道注意力块如图6所示，由单个残差块和单个se块组成，残差块内包含单个3
×
3卷积层，激活层(prelu)和单个1*1卷积层，激活层(prelu)；se块如图7所示，包括全局池化层、两个全连接层、一个relu层和一个sigmoid层。
[0137]
对于第一层到第n层的残差通道注意力块的输出可以表示为
[0138]
f
3d1
＝h(i
3dda
)
[0139]
f
3dn
＝h(
…
h(h(i
3dda
)))
[0140]
其中h表示残差通道注意力块的系统响应，f
3dn
表示第n层残差通道注意力块输出的特征，残差通道注意力块不改变特征的维度，f
2dm
∈n
×
s*2
k
×
x
×
y
[0141]
特征扩展层，用于将2d深度特征扩展为3d深度特征；为原有的4维数据增加一个特征维(3d网络的通道维)变为5维数据，即由f
3dm
∈n
×
s*2^k
×
x
×
y变为f
3dm
∈n
×1×
s*2
k
×
x
×
y
[0142]
3d特征堆叠层，用于将3d深度特征进行堆叠；3d特征堆叠层将不同深度的特征从特征维度上堆叠在一起，该3d特征堆叠层可表示为：
[0143]
f
3d
＝c[i
3dda
,f
3d1sq
,f
3d2sq
,
…
f
3dnsq
]
[0144]
c表示特征维的堆叠(concat)，f
3d
表示最终输出的特征，经过堆叠后特征的光谱维度不变特征维度增加，f
3d
∈n
×
(i+1)
×
s*2
k
×
x
×
y,i为残差通道注意力块个数
[0145]
求和模块，用于结合本层深度特征与上一层3d特征处理模块的深度特征；
[0146]
f
sum
＝f
3d
+f
3dupper
[0147]
f
3dupper
表示上一级递进式3d特征处理模块的输出
[0148]
3d光谱特征放大层，用于放大所提取3d深度特征的光谱维。由一个3d反卷积层和一个prelu层组成，用于提高数据的光谱维度。
[0149]
f
out
＝h(f
sum
)
[0150]
放大后，数据的光谱维度加倍，由f
sum
∈n
×
(i+1)
×
s*2
k
×
x
×
y变为f
out
∈n
×
(i+1)
×
s*2
k+1
×
x
×
y
[0151]
本级的输出将作为下一级3d特征处理模块的求和模块输入使用
[0152]
经过多级递进式3d特征处理模块，最后一级的输入光谱维度大于真实高光谱光谱维度，此时最后一级的3d光谱特征放大层替换为3d特征压缩模块。
[0153]
3d特征压缩模块包括一或多个3d卷积模块，以将3d特征的光谱维度压缩至高光谱特征的光谱维度。征压缩层由一或两个3d卷积层和单个激活层(prelu)组成.
[0154]
i
3d
＝h
3dd
(f
sumend
)
[0155]
对于输入数据f
sumend
∈n
×
(i+1)
×
s*2
k
×
x
×
y，经过3d特征压缩模块后的输出为i
3d
∈n
×1×
h
×
x
×
y,去除多余的特征维后为i
3d
∈n
×
h
×
x
×
y
[0156]
光谱特征处理模块由单个se块组成，用于对2d网络和3d网络的输出之和进行光谱层面的调整。
[0157]
具体实施方式九：结合图5至图7说明本实施方式，本实施方式是对具体实施方式六或七所述的基于递进式空谱联合深度网络的高光谱遥感图像生成方法，一号升维层或二
号升维层包括一号3
×
3卷积层和一号激活层，
[0158]
一号3
×
3卷积层的输出端连接一号激活层的输入端；
[0159]
一号特征提取层或二号特征提取层包括多个残差通道注意力块，
[0160]
每个残差通道注意力块包括1个残差块和1个压缩与激励残差块，每个残差块包括二号3
×
3卷积层、二号激活层、1*1卷积层和三号激活层，
[0161]
压缩与激励残差块包括均1个均值池化层、2个全连接层和2个四号激活层，
[0162]
一号激活层的输出端连接同时连接二号3
×
3卷积层的输入端和压缩与激励残差块的输入端，二号3
×
3卷积层的输出端连接二号激活层的输入端，二号激活层的输出端连接1*1卷积层的输入端，1*1卷积层的输出端连接三号激活层的输入端，三号激活层的输出端连接均值池化层的输入端，均值池化层的输出端连接全连接层的输入端，全连接层的输出端连接一个四号激活层的输入端，一个四号激活层输出端连接另一个全连接层的输入端，另一个全连接层的输出端连接另一个四号激活层输入端。
[0163]
具体实施方式十：结合图8说明本实施方式，本实施方式是对具体实施方式八所述的基于递进式空谱联合深度网络的高光谱遥感图像生成方法，3d光谱特征放大层包括1个3d反卷积层和五号激活层，
[0164]
求和模块的输出端连接3d反卷积层的输入端，3d反卷积层的输出端连接五号激活层的输入端，五号激活层的输出端连接3d特征压缩模块的输入端。
[0165]
采用以下实施例验证本发明的有益效果：
[0166]
采用gf5高光谱卫星获取的3幅高光谱遥感图像(0531,0417,0224)和gf1多光谱卫星获取的1幅多光谱图像(0506)作为数据集。高分五号卫星高光谱数据，具有30米的空间分辨率。在可见近红外波段(0.39
‑
1.03μm)的光谱分辨率约为5nm，共150波段，短波红外波段(1
‑
2.51μm)的光谱分辨率约为10nm，共180波段。选取覆盖400
‑
1000nm的无噪波段137个作为待生成的高光谱波段。以其中一幅高光谱图像的1/3用作训练，其余区域和其余图像用作测试。训练过程中将高光谱图像和降采样得到的多光谱图像16
×
16
×
137和16
×
16
×
4的图像块输入网络，训练采用adam优化器，初始学习率为0.001，每次迭代学习率降低0.05％，5epoch后每次迭代学习率降低0.00625％，40epoch后每次迭代学习率降低0.001％。采用均方根误差rmse、平均相对误差mrae和光谱角函数sam来衡量生成高光谱图像与真实高光谱图像的相似度，rmse、mrae、sam越小，重构精度越高，采用svm分类来衡量生成高光谱图像的分类能力与真实高光谱图像的相近程度，衡量指标为总体分类率oa，平均分类率aa，kappa系数和各类分类率。
[0167]
表1三组数据集上的相似度衡量
[0168][0169]
表2三组数据集上的分类性能衡量
[0170][0171]
参见表1可知，本实例基于递进式空谱联合网络的高光谱遥感图像生成方法具有较小的rmse、mrae、sam，说明本方法生成的高光谱图像与真实高光谱图像有着较高的相似度，能够有效地生成高光谱图像的光谱特征。
[0172]
参见表2可知，本方法生成的高光谱图像的分类性能远高于原始多光谱图像的分类性能，接近真实高光谱图像的分类性能，说明本方法生成的高光谱向能够有效地还原高光谱图像的优秀分类性能。
[0173]
综上所述，为了便捷而低成本地获取高光谱遥感图像，本实施例提供了一种于递进式空谱联合网络的高光谱遥感图像生成方法，能够有效地以多光谱图像为基础生成对应的高光谱遥感图像。