一种基于多传感器光谱重构网络的高光谱遥感图像生成方法

1.本发明属于卫星遥感技术领域，涉及深度神经网络和光谱超分辨技术，具体涉及一种高光谱图像生成方法。


背景技术：

2.高光谱图像通常具有从红外光谱到紫外光谱的多种光谱带，高光谱图像的丰富光谱信息使得在局部波段相似的物体分离更容易，丰富的光谱特征已被广泛应用于各种任务。
3.然而，由于成像技术的局限性，获取包含丰富光谱波段的高光谱图像是一项获取成本相对较高的工作。与高光谱图像相比，多光谱图像通常具有较少的光谱波段(一般少于20个)，相伴随的是低获取成本、丰富的空间信息和连续的时间信息，使得在图像细节上进行区分更加便利。同时远多于高光谱卫星的多光谱卫星数也带来了大量可使用的多光谱图像。


技术实现要素：

4.本发明的目的是为了解决现有成像技术中获取包含丰富光谱波段的高光谱图像是一项获取成本相对较高的工作的问题，而提出一种基于多传感器光谱重构网络的高光谱遥感图像生成方法。
5.一种基于多传感器光谱重构网络的高光谱遥感图像生成方法具体过程为：
6.步骤一、利用多光谱传感器光谱响应函数和高光谱图像构建对应的理想多光谱图像；
7.选定一个传感器作为主传感器，将主传感器的理想多光谱数据和一个其他传感器的真实多光谱数据作为训练数据集，通过训练数据集对传感器理想映射网络的网络参数进行优化得到训练完成的传感器理想映射网络；
8.步骤二、利用多个不同的多光谱传感器光谱响应函数和高光谱图像构建对应的多光谱图像，构建多传感器多光谱-高光谱数据对，并以之作为训练样本，构建并训练理想多传感器光谱重构网络；
9.步骤三、通过传感器获取待测区域的多光谱图像，将待测区域的多光谱图像输入训练完成的传感器理想映射网络，获得待测区域的多光谱图像对应的理想多光谱图像；
10.将理想多光谱图像输入训练完成的理想多传感器光谱重构网络，获得理想多光谱图像对应的高光谱图像；
11.步骤四、对步骤三获得的高光谱图像进行修正，得到修正后的高光谱图像。
12.本发明的有益效果为：
13.不同传感器获取的多光谱图像因其感应的不同波段范围，可以提供更多光谱信息。因而尝试获取多传感器多光谱图像到高光谱图像的映射关系进而通过多光谱图像生成高光谱图像作为一种计算替代方案便变得相当有意义。生成的高光谱图像将同时具有较高
的空间分辨率、光谱分辨率和时间分辨率，这使得对区域进行小尺度高精度的精细解译变得可行。
14.通过基于多传感器多光谱图像的高光谱图像生成技术，可以将大量的来自不同传感器的多光谱图像生成为其相对应的高光谱图像，也就是产生了大量新的高光谱图像，从而实现将现有的多传感器多光谱数据处理为空时分辨率高、具有丰富光谱波段的高光谱图像序列；以通过已训练的高光谱分类模型，对该区域进行整体的、跨时空的分析。
15.本发明通过已训练的多传感器光谱重构网络以丰富的不同传感器多光谱图像资源作为基础生成大量高光谱遥感图像，为高光谱数据应用带来了大量可用的高空间分辨率、高时间分辨率的高光谱遥感图像资源。
附图说明：
16.图1为传感器理想映射网络图，msi0-msin为真实的多光谱图像，通过投影后获得理想的多光谱图像hsi；
17.图2为传感器理想映射网络结构图；
18.图3为全连接res结构图；
19.图4为理想多传感器光谱重构网络结构图；
20.图5为2d空间特征提取网络结构图；
21.图6为压缩与激励残差块结构图；
22.图7为3d空谱特征构建网络结构图；
23.图8为多传感器信息融合网络结构图；
24.图9为多信息融合块结构图。
具体实施方式：
25.具体实施方式一：本实施方式一种基于多传感器光谱重构网络(multi-sensor spectral reconstruction network，下简称mssrn)的高光谱遥感图像生成方法具体过程为：
26.步骤一、利用多光谱传感器光谱响应函数和高光谱图像构建对应的理想多光谱图像；
27.选定一个传感器作为主传感器，将主传感器的理想多光谱数据和一个其他传感器的真实多光谱数据作为训练数据集，通过训练数据集对传感器理想映射网络的网络参数进行优化得到训练完成的传感器理想映射网络；如图1；
28.不同传感器产生的光谱曲线经过映射后将会趋于一致。所述传感器理想映射网络通过训练建立了真实多光谱图像与理想多光谱图像之间的映射关系；
29.步骤二、利用多个不同的多光谱传感器光谱响应函数和高光谱图像构建对应的多光谱图像，构建多传感器多光谱-高光谱数据对，并以之作为训练样本，构建并训练理想多传感器光谱重构网络；
30.步骤三、通过传感器获取待测区域的多光谱图像，将待测区域的多光谱图像输入训练完成的传感器理想映射网络，获得待测区域的多光谱图像对应的理想多光谱图像；
31.将理想多光谱图像输入训练完成的理想多传感器光谱重构网络，获得理想多光谱
图像对应的高光谱图像；
32.步骤四、对步骤三获得的高光谱图像进行修正，得到修正后的高光谱图像。
33.具体实施方式二：本实施方式与具体实施方式一不同的是，所述步骤一中利用多光谱传感器光谱响应函数和高光谱图像构建对应的理想多光谱图像；具体过程为：
34.1)、查询所使用的多光谱传感器的光谱响应函数和待生成高光谱图像所使用的波段；以l和lm分别作为连续光谱曲线(指入射传感器处的完整光谱曲线)和多光谱曲线，以r作为多光谱传感器的光谱响应函数，则lm的第i个波段与l和r之间的关系可以表示为:l
mi
＝∫l(λ)ri(λ)dλ
35.其中，l
mi
为多光谱曲线的第i个波段，l(λ)为连续光谱曲线，ri(λ)为多光谱曲线第i个波段对应的光谱响应函数，λ为波长；
36.2)、基于线性插值的原理将多光谱传感器的光谱响应函数调整为高光谱到多光谱的归一化光谱响应函数rh，光谱响应函数rh表示高光谱图像到多光谱图像的映射关系，
37.其中，lh表示高光谱曲线，h是高光谱波段数，λn为高光谱传感器所拥有的第n个波段的波长，r
hi
(λn)为归一化光谱响应函数rh在对应多光谱曲线第i个波段在波长为λn时的具体取值；
38.3)、将高光谱图像与高光谱到多光谱的归一化光谱响应函数相乘得到对应的理想多光谱图像lm＝lhrh，lm、lh和rh分别为用矩阵形式表示的lm、lh和rh(斜体的是以单个像素计算的形式表示的，粗体是对整幅图像以矩阵形式表示的)。
39.其它步骤及参数与具体实施方式一相同。
40.具体实施方式三：本实施方式与具体实施方式一或二不同的是，所述步骤一中传感器理想映射网络的构建，本实施例基于深度学习的高光谱遥感图像生成方法的基本原理如下：基于像素信息融合构建传感器理想映射网络。
41.具体网络结构如图2所示，传感器理想映射网络包括特征提取层和特征融合层；
42.传感器理想映射网络(总的系统响应)可以表示为
43.i
map
＝h
fus
(h
qs
(i
m-s
)
×hqr
(i
m-r
))
44.其中h
qs
、h
qr
和h
fus
分别表示针对参考数据的特征提取层(参考数据部分)、针对真实数据的特征提取层(真实数据部分)、特征融合层各自的系统响应，i
m-s
和i
m-r
分别表为输入的参考多光谱数据和真实多光谱数据，i
map
为传感器理想映射网络输出的理想投影多光谱数据；
45.在训练过程中参考数据是选定为主传感器的理想多光谱数据，在后续的测试过程采用的是主传感器的真实多光谱数据；
46.针对参考数据的特征提取层(参考数据部分)与针对真实数据的特征提取层(真实数据部分)结构一致；
47.特征提取层依次包括1个全连接层和3个全连接res层，用于参考数据和真实数据的特征提取，特征提取层(系统响应)可以表示为：
48.i
qs
＝h
qs-3
(h
qs-2
(h
qs-1
(h
qs-0
(i
m-s
))))
49.i
qr
＝h
qr-3
(h
qr-2
(h
qr-1
(h
qr-0
(i
m-r
))))
50.其中h
qs-0
、h
qr-0
分别为针对参考数据的特征提取层(参考数据部分)与针对真实数据的特征提取层(真实数据部分)的第1个全连接层；h
qs-1
、h
qs-2
、h
qs-3
、h
qr-1
、h
qr-2
和h
qr-3
分别为针对参考数据的特征提取层(参考数据部分)与针对真实数据的特征提取层(真实数据部分)的第1-3个全连接res层；i
qs
为对参考数据提取的特征，i
qr
为对真实数据提取的特征；
51.其中每个全连接res层依次由全连接层、激活层、全连接层、激活层组成，如图3所示；
52.特征融合层包括两次元素乘积和四个全连接层，用于将特征提取层获取的信息相融合，得到投影后的多光谱光谱曲线，特征融合层(系统响应)可以表示为：
53.i
map
＝h
fus1
(i
qs
×iqr
)
×hfus2
(i
qr
)
54.其中h
fus1
和h
fus2
分别表示融合特征处理真实特征处理的系统响应，i
map
为特征融合层输出特征；
55.所述融合特征处理依次由2个全连接层组成；
56.所述真实特征处理依次由2个全连接层组成。
57.其它步骤及参数与具体实施方式一或二相同。
58.具体实施方式四：本实施方式与具体实施方式一至三之一不同的是，所述步骤二中理想多传感器光谱重构网络的构建，本实施例基于深度学习的高光谱遥感图像生成方法的基本原理如下：基于多传感器特征融合构建理想多传感器光谱重构网络。
59.理想多传感器光谱重构网络包括特征提取层和特征融合层；
60.其中特征提取层包括2d空间特征提取网络、3d空谱特征提取网络；
61.特征融合层包括多传感器信息融合网络和一个光谱特征处理模块；
62.具体网络结构如图4所示，理想多传感器光谱重构网络包括特征提取层和特征融合层；理想多传感器光谱重构网络(总的系统响应)可以表示为：
63.i
mssr
＝h
se
(h
s3d
(im)+h
msr
(h
s2d
(im),h
s2d1
(i
m1
),h
s2d2
(i
m2
)))
64.其中h
s2d
表示主传感器(训练时是理想多光谱数据，测试时也是理想多光谱数据，实际应用时是真实多光谱数据)特征提取层对应的2d空间特征提取网络；
65.h
s3d
表示主传感器特征提取层对应的3d空谱特征提取网络；
66.h
s2d1
表示传感器1(训练时是理想多光谱数据，测试和实际应用时是真实多光谱数据通过理想映射网络得到的映射理想多光谱数据)特征提取层对应的2d空间特征提取网络；
67.h
s2d2
表示传感器2(训练时是理想多光谱数据，测试和实际应用时是真实多光谱数据通过理想映射网络得到的映射理想多光谱数据)特征提取层对应的2d空间特征提取网络；
68.h
msr
和h
se
分别表示特征融合层中的多传感器信息融合网络和一个光谱特征处理模块；
69.im表示输入主传感器的理想多光谱数据，i
m1
表示输入传感器1的理想多光谱数据，i
m2
表示输入传感器2的理想多光谱数据，i
mssr
表示理想多传感器光谱重构网络输出。
70.训练时是理想多光谱数据，测试时也是理想多光谱数据，实际应用时是真实多光谱数据。
71.其它步骤及参数与具体实施方式一至三之一相同。
72.具体实施方式五：本实施方式与具体实施方式一至三之一不同的是，所述2d空间特征提取网络包括：升维层、特征提取层、特征堆叠层和特征压缩层；如图5所示；
73.升维层，用于将原始多光谱图像处理为指定高维度特征图像，在使用中该维度通常定为256。升维层依次由单个3
×
3卷积层和单个激活层(prelu)组成；
74.i
2d-da
＝h
2d-da
(im)
75.im为输入数据，i
2d-da
为经过升维层后的输出；h
2d-da
为升维层处理；
76.对于输入数据经过升维层后的输出为其中n为每次处理的多光谱图像个数，m为多光谱图像的波段数，x和y分别为输入多光谱图像的长和宽；h
2d-da
为升维层处理；
77.特征提取层，用于提取多光谱图像的不同深度的特征；特征提取层由5个压缩与激励残差块组成；
78.压缩与激励残差块如图6所示；
79.每个压缩与激励残差块依次由单个残差块和单个压缩与激励块组成；
80.每个残差块依次包含一个3
×
3卷积层，一个激活层(prelu)、一个1
×
1卷积层和一个激活层(prelu)；
81.每个压缩与激励块依次包括一个全局池化层、一个全连接层、一个relu激活层、一个全连接层和一个sigmoid激活层；
82.每个压缩与激励残差块的连接关系为：
83.输入特征依次输入一个3
×
3卷积层，一个激活层、一个1
×
1卷积层，一个激活层(prelu)，获得残差块输出特征，将残差块输出特征与输入特征相加后的结果依次输入一个全局池化层、一个全连接层、一个relu激活层、一个全连接层和一个sigmoid激活层，得到压缩与激励块输出特征，将残差块输出特征与压缩与激励块输出特征相乘，得到压缩与激励残差块输出结果；
84.对于第1层到第n层的压缩与激励残差块的输出可以表示为：
85.i
2d-1
＝h
2d-1
(i
2d-da
)
86.i
2d-n
＝h
2d-n
(...(h
2d-1
(i
2d-da
)))
87.其中h表示压缩与激励残差块的系统响应，h
2d-1
表示第1层压缩与激励残差块的系统响应，h
2d-n
表示第n层压缩与激励残差块的系统响应，i
2d-n
表示第n层压缩与激励残差块输出的特征，压缩与激励残差块不改变特征的维度，
88.特征堆叠层，用于将提取的多光谱图像的不同深度特征进行堆叠；特征堆叠层将不同深度的特征从光谱维度(2d网络的通道维度)上堆叠在一起，特征堆叠层可表示为：
89.i
2d-c
＝[i
2d-da
,i
2d-1
,i
2d-2
，...，i
2d-n
]
[0090]
其中[]表示光谱维的堆叠，i
2d-c
表示最终输出的特征，经过堆叠后特征的光谱维度增加，i为压缩与激励残差块个数；
[0091]
特征压缩层，用于将堆叠特征进行压缩，得到高光谱特征。特征压缩层依次由单个3
×
3卷积层和单个激活层(prelu)组成；表示为：
[0092]i2d
＝h
2d-d
(i
2d-c
)
[0093]
其中h
2d-d
表示特征压缩层处理，特征压缩层依次由单个3
×
3卷积层和单个激活层
(prelu)组成。
[0094]
对于输入数据经过特征压缩层后的输出为h为所需高光谱的光谱数。
[0095]
其它步骤及参数与具体实施方式一至四之一相同。
[0096]
具体实施方式六：本实施方式与具体实施方式一至五之一不同的是，所述3d空谱特征提取网络包括4组3d特征处理模块和一个3d特征压缩模块(处理模块，第二组3d特征处理模块的输出给第三组3d特征处理模块，第三组3d特征处理模块的输出给第四组3d特征处理模块，第四组3d特征处理模块的输出给3d特征压缩模块)，如图7所示；
[0097]
每一个3d特征处理模块有一个指定的基础光谱维度，且该光谱维度逐级递增(常用10-20-40-80-160)，其中每个叠加式3d特征处理模块包括：升维层、特征提取层、特征扩展层、3d特征堆叠层、求和模块和3d光谱特征放大层；
[0098]
升维层，用于将原始多光谱图像处理为指定高维度特征图像，在使用中该维度与该块指定维度有关。升维层依次由单个3
×
3卷积层和单个激活层(prelu)组成；表示为：
[0099]i3d-da
＝h
3d-da
(im)
[0100]im
为输入数据经过第一个3d特征处理模块的升维层后的输出为i
3d-1
经过第k个3d特征处理模块的升维层后的输出为i
3d-k
其中s为设定的初始3d维度，通常为10，2
k-1
为第k-1个3d特征处理模块的放大倍数；h
3d-da
为升维层处理，i
3d-da
为经过升维层后的输出；
[0101]
特征提取层，用于提取多光谱图像的不同深度的特征；特征提取层由5个压缩与激励残差块组成；压缩与激励残差块如图6所示，每个压缩与激励残差块依次由单个残差块和单个压缩与激励块组成；
[0102]
每个残差块依次包含一个3
×
3卷积层，一个激活层(prelu)、一个1
×
1卷积层和一个激活层(prelu)；
[0103]
每个压缩与激励块依次包括一个全局池化层、一个全连接层、一个relu激活层、一个全连接层和一个sigmoid激活层；
[0104]
每个压缩与激励残差块的连接关系为：
[0105]
输入特征依次输入一个3
×
3卷积层，一个激活层、一个1
×
1卷积层，一个激活层(prelu)，获得残差块输出特征，将残差块输出特征与输入特征相加后的结果依次输入一个全局池化层、一个全连接层、一个relu激活层、一个全连接层和一个sigmoid激活层，得到压缩与激励块输出特征，将残差块输出特征与压缩与激励块输出特征相乘，得到压缩与激励残差块输出结果；
[0106]
对于第1层到第n层的压缩与激励残差块的输出可以表示为
[0107]i3d-1
＝h
3d-1
(i
3d-da
)
[0108]i3d-n
＝h
3d-n
(...(h
3d-1
(i
3d-da
)))
[0109]
其中h表示压缩与激励残差块的系统响应，h
3d-1
表示第1层压缩与激励残差块的系统响应，h
3d-n
表示第n层压缩与激励残差块的系统响应，i
3d-n
表示第n层压缩与激励残差块输出的特征，压缩与激励残差块不改变特征的维度，
[0110]
特征扩展层，用于将2d深度特征扩展为3d深度特征，为原有的4维数据增加一个特
征维(3d网络的通道维)变为5维数据，即由变为i
3d-n-usq
表示特征扩展后的第n层压缩与激励残差块输出的特征，升维层的i
3d-da
通过特征扩展变为i
3d-da-usq
；
[0111]
3d特征堆叠层，用于将3d深度特征进行堆叠；3d特征堆叠层将不同深度的特征从特征维度上堆叠在一起，该3d特征堆叠层可表示为：
[0112]i3d-c
＝[i
3d-da-usq
,i
3d-1-usq
,i
3d-2-usq
，...，i
3d-n-usq
]
[0113]
其中[]表示特征维的堆叠，i
3d-c
表示最终输出的特征，经过堆叠后特征的光谱维度不变特征维度增加，i为压缩与激励残差块个数；
[0114]
求和模块，用于结合上层3d特征处理模块的深度特征；
[0115]i3d-s
＝i
3d-c
+i
3d-l0
[0116]
其中i
3d-l0
为上层3d特征处理模块获取的特征；i
3d-s
表示求和处理后的特征；
[0117]
3d光谱特征放大层，用于放大所提取3d深度特征的光谱维；3d光谱特征放大层由1个3d反卷积层组成，用于提高数据的光谱维度；
[0118]i3d-l
＝h
3d-l
(i
3d-s
)
[0119]
其中h
3d-l
表示3d光谱特征放大层处理；i
3d-l
表示3d光谱特征放大后的i
3d-s
；
[0120]
放大后，数据的光谱维度增加一倍，由变为
[0121]
经过4组叠加式3d特征处理模块后，输入3d特征压缩模块；
[0122]
受输入多光谱维度和输出高光谱维度不同所影响，所述3d特征压缩模块包括1或2个3d卷积模块(3d卷积模块依次包括卷积层、激活函数)，以将3d特征的光谱维度压缩至高光谱特征的光谱维度；
[0123]i3d
＝h
3d-d
(i
3d-s
)
[0124]
其中，i
3d-s
表示求和处理后的特征；h
3d-d
表示3d特征压缩模块处理；i
3d
表示经过3d特征压缩模块后的输出特征。
[0125]
对于输入数据经过3d特征压缩模块后的输出为去除多余的特征维后为其中t为叠加式3d特征处理模块的个数。
[0126]
其它步骤及参数与具体实施方式一至五之一相同。
[0127]
具体实施方式七：本实施方式与具体实施方式一至六之一不同的是，所述光谱特征处理模块由单个压缩与激励块组成，用于对2d网络和3d网络的输出之和进行光谱层面的调整；
[0128]
单个压缩与激励块依次包括一个全局池化层、一个全连接层、一个relu激活层、一个全连接层和一个sigmoid激活层。
[0129]
其它步骤及参数与具体实施方式一至六之一相同。
[0130]
具体实施方式八：本实施方式与具体实施方式一至七之一不同的是，所述如图8所示，多传感器信息融合网络依次包括1个多传感器信息预处理层、3个多信息融合块和1个信息后处理层；
[0131]
其中多传感器信息预处理层包括3个2d卷积模块，以将2d空间特征提取网络获取
的多传感器特征块处理至相近的语义特征，多传感器信息预处理层为2d空间特征提取网络的中间特征i
2d-c
是特征堆叠层得到的)，对于多个传感器分别命名为i
2d-c
、i
2d-c1
和i
2d-c2
，分别处理为：
[0132]imt-p
＝h
mt-p
(i
2d-c
)
[0133]imt-p1
＝h
mt-p1
(i
2d-c1
)
[0134]imt-p2
＝h
mt-p2
(i
2d-c2
)
[0135]
其中，i
2d-c
为主传感器输入的多光谱数据经过2d空间特征提取网络在特征堆叠层获取的堆叠特征，h
mt-p
为对应主传感器的2d卷积模块(2d卷积模块依次包括卷积层、激活函数)的系统响应，i
mt-p
为主传感器输出特征，i
2d-c2
为传感器1输入的多光谱数据经过2d空间特征提取网络在特征堆叠层获取的堆叠特征，h
mt-p2
为对应传感器1的2d卷积模块的系统响应，i
mt-p2
为传感器1输出特征，i
2d-c2
为传感器2输入的多光谱数据经过2d空间特征提取网络在特征堆叠层获取的堆叠特征，h
mt-p3
为对应传感器2的2d卷积模块的系统响应，i
mt-p3
为传感器2输出特征；
[0136]
其中三个输出的维度均为多信息融合块对三个输出特征进行初步融合：
[0137]imt-pf
＝h
mt-f
(i
mt-p
+i
mt-p1
+i
mt-p2
)
[0138]imti-pc-end
＝h
mt-f
(h
mt-f
(i
mt-pf
))
[0139]
其中，i
mt-pf
为经过单个多信息融合块后的输出，i
mti-pc-end
为经过3个多信息融合块后的输出，h
mt-f
为多信息融合块的响应函数；
[0140]
信息后处理层包括一个激活层，用于将最后一级多信息融合块输出的组合块进行后处理后进行输出：
[0141]imt
＝h
mt-a
(i
mti-pc-end
)
[0142]
其中i
mti-pc-end
为最后一级多信息融合块输出的组合块，h
mt-a
为激活函数的响应。
[0143]
所述多信息融合块包括特征处理模块、特征融合模块和特征输出模块；
[0144]
多信息融合块包含五个输入和五个输出，如图9所示，五个输入分别为信息块1、信息块2、信息块3、融合块、组合块，五个输出分别为信息块1、信息块2、信息块3、融合块、组合块；
[0145]
第一个多信息融合块的三个信息块分别为i
mt-p1
、i
mt-p2
和i
mt-p3
，融合块为i
mt-pf
，组合块为与i
mt-pf
维度一致的填充0的数据块；
[0146]
其他多信息融合块的五个输入分别为上一级的五个输出；
[0147]
特征处理模块包括3个压缩与激励残差块，分别对信息块1、信息块2、信息块3进行特征处理：
[0148]imti-p1
＝h
mti-p1
(i
mti-input1
)
[0149]imti-p2
＝h
mti-p2
(i
mti-input2
)
[0150]imti-p3
＝h
mti-p3
(i
mti-input3
)
[0151]
其中，i
mti-input1
为信息块1，i
mti-p1
为信息块1的输出，i
mti-input2
为信息块2，i
mti-p2
为信息块2的输出，i
mti-input3
为信息块3，i
mti-p3
为信息块3的输出；h
mti-p1
为压缩与激励块，h
mti-p2
为压缩与激励块，h
mti-p3
为压缩与激励块；
[0152]
所述压缩与激励块依次包括一个全局池化层、一个全连接层、一个relu激活层、一个全连接层和一个sigmoid激活层；
[0153]
所述特征融合模块将多传感器特征进行融合：
[0154]imti-pf
＝h
mti-pf
(h
mti-p1
(i
mti-input1
)+h
mti-p2
(i
mti-input2
)+h
mti-p3
(i
mti-input3
)+h
mti-pff
(i
mti-inputf
))
[0155]
其中，h
mti-pff
、h
mti-p1
、h
mti-p2
、h
mti-p3
分别为对融合块、信息块1、信息块2、信息块3进行处理的卷积块的系统响应，h
mti-pf
为对上述4个块的输出结果加和后进行处理的激活函数的系统响应，i
mti-pf
为融合结果，i
mti-inputf
是融合块；
[0156]
特征输出模块包括单个卷积块(卷积块依次包括卷积层、激活函数)和相加层，以将融合特征与上一级特征进一步融合：
[0157]imti-pc
＝i
mti-inputc
+h
mti-pc
(i
mti-pf
)
[0158]
其中i
mti-pc
为特征输出模块输出；h
mti-pc
为单个卷积块。
[0159]
其它步骤及参数与具体实施方式一至七之一相同。
[0160]
具体实施方式九：本实施方式与具体实施方式一至八之一不同的是，所述步骤一中传感器理想映射网络；具体过程为：
[0161]
通过最小化下式所示的loss来优化网络参数
[0162]
loss＝l(fs(m
r1
,m
s0
；θs),m
s1
)
[0163]
其中l为使用的损失函数，m
r1
、m
s0
和m
s1
分别为待投影的传感器1真实多光谱数据、用于参考的传感器0理想多光谱数据、传感器1理想多光谱数据；θs为网络参数，fs为网络响应；
[0164]
所述步骤二中多传感器光谱重构网络的训练过程为：
[0165]
通过最小化下式所示的loss来优化网络参数
[0166]
losss＝l(fm(m,m1,m2；θm),h)+λl(fm(m,m1,m2；θm)r,m)
[0167]
其中l为使用的损失函数，m、m1、m2和h分别为传感器1真实多光谱数据、用于参考的传感器0理想多光谱数据、传感器1理想多光谱数据和高光谱数据，r为光谱响应函数对应的矩阵，fm为网络响应，θm为网络参数，λ为比例系数，通常设为0.25。
[0168]
其它步骤及参数与具体实施方式一至八之一相同。
[0169]
具体实施方式十：本实施方式与具体实施方式一至九之一不同的是，所述步骤四中对步骤三获得的高光谱图像进行修正，得到修正后的高光谱图像；具体过程为：
[0170]
对应第n个多光谱传感器的平行成分为
[0171][0172]
替换为对应平行成分
[0173][0174]
最终输出的结果为
[0175][0176]
其中m为第1到n0个多光谱传感器对应的多光谱数据，n0为多光谱传感器和多光谱数据个数，n＝1,2,
…
,n0；f(m；θ)为网络输出的重构高光谱数据，rn为
第n个多光谱传感器的光谱响应函数，为rn的转置，pcn为利用第n个多光谱传感器的光谱响应函数对高光谱图像进行分解获得的平行成分，apcn为替换后的平行成分(基于理想多光谱图像和多光谱传感器的光谱响应函数计算获得的)，mn为理想多光谱图像，h
rc
为修正后的高光谱图像进行修正，θ为网络参数。
[0177]
其它步骤及参数与具体实施方式一至九之一相同。
[0178]
采用以下实施例验证本发明的有益效果：
[0179]
采用资源一号02d星高光谱传感器获取的3幅高光谱遥感图像(0501,0628,0724)和相近时间的高分一号宽幅传感器、高分六号宽幅传感器、哨兵二号宽幅传感器、资源一号02d星多光谱传感器获取的共计12幅幅多光谱遥感图像构成的3组图像作为数据集。资源一号02d卫星高光谱数据，具有30米的空间分辨率。在可见近红外波段(0.39-1.04μm)的光谱分辨率约为10nm，共76波段，短波红外波段(1-2.5μm)的光谱分辨率约为20nm，共80波段。选取覆盖390-1040nm的无噪波段77个作为待生成的高光谱波段。选择两组图像用作训练，剩余一组图像用作测试。训练过程中将高光谱图像、降采样得到的多光谱图像、真实多光谱图像以空间大小16
×
16的图像块输入网络，训练采用adam优化器，初始学习率为0.0005，每个epoch迭代学习率降低10％，最低降至0.00002。测试时将数据先输入传感器理想映射网络，再输入理想多传感器光谱重构网络。采用均方根误差rmse、平均相对误差mrae和光谱角函数sam来衡量生成高光谱图像与真实高光谱图像的相似度，rmse、mrae、sam越小，重构精度越高。
[0180]
表1四组数据集上的相似度衡量
[0181][0182]
参见表1可知，本实例基于多传感器光谱重构网络的高光谱遥感图像生成方法具有相较单传感器光谱重构更小的rmse、mrae、sam，说明结合多传感器信息后本方法生成的高光谱图像与真实高光谱图像有着更高的相似度，能够有效地生成高光谱图像的光谱特征。
[0183]
综上所述，为了便捷而低成本地获取高光谱遥感图像，本实施例提供了一种于多传感器光谱重构网络的高光谱遥感图像生成方法，能够有效地以不同传感器多光谱图像为基础生成对应的高光谱遥感图像。