本公开涉及遥感数据处理,尤其涉及一种光谱重建模型和高光谱影像库的构建方法、装置和设备。
背景技术:
1、高光谱遥感技术通过搭载在不同空间平台上的成像光谱仪,在紫外、可见光、近红外和中红外电磁波谱范围内,以数十至数百个连续且细分的光谱波段对目标区域同时成像,从而获得地物连续的光谱信息,实现了地物光谱信息与图像信息的同步采集。与全色影像和多光谱影像相比,高光谱遥感影像具有更多的光谱波段,能够获得更高的光谱分辨率,进一步增强了地物光谱特征的精细表达能力,这对于精确识别和解译地物的光谱特性具有至关重要的作用。因此,高光谱遥感技术已广泛应用于民用对地观测、军事探测等各个领域,并且展现出了巨大的应用价值。
2、然而,直接建立大范围高光谱影像库面临一些挑战:通常情况下,通过机载高光谱成像仪来获取高光谱影像,由于高光谱成像仪生成高光谱影像所需的时间长且回传速度慢,从而影响了高光谱影像库的构建效率。
技术实现思路
1、有鉴于此,本公开提出了一种光谱重建模型和高光谱影像库的构建方法、装置和设备,可以通过预先构建的光谱重建模型来进行高光谱影像库的构建,从而提高了高光谱影像库的构建效率。
2、根据本公开的第一方面,提供了一种光谱重建模型,所述光谱重建模型基于多阶段退化学习神经网络构建,用于高光谱影像库的构建,包括:单卷积层和至少两个顺次连接的退化学习阶段,其中,每个退化学习阶段包括退化学习梯度下降模块和近端映射模块;
3、所述单卷积层,用于提取输入图像的浅层特征;
4、各所述退化学习阶段中的所述退化学习梯度下降模块,用于根据所述输入图像和光谱响应曲线,对前一退化学习阶段重构的高光谱影像进行再次重构,得到当前阶段的初始高光谱影像;
5、各所述退化学习阶段中的所述近端映射模块,用于对所述当前阶段的初始高光谱影像进行数据增强,并将所述数据增强结果作为当前阶段重构的高光谱影像;
6、将最后一个退化学习阶段重构出的高光谱影像作为所述输入图像对应的高光谱影像;
7、其中,针对第一个退化学习阶段,根据所述输入图像和光谱响应曲线,对浅层特征进行光谱重构,得到所述第一退化学习阶段的初始高光谱影像。
8、在一种可能的实现方式中,基于多阶段退化学习神经网络构建所述光谱重建模型时,包括:
9、获取遥感卫星回传的由光谱影像组成的影像对;其中,所述影像对为多组,所述光谱影像包含高光谱影像、多光谱影像和全色影像中的至少一种;
10、在所述光谱影像包含有所述高光谱影像和所述多光谱影像时,所述高光谱影像和所述多光谱影像为同时相、同区域影像;
11、在所述光谱影像包含所述高光谱影像、所述多光谱影像和所述全色影像时,所述高光谱影像与所述多光谱影像和所述全色影像为同时相、同区域影像;
12、基于各所述影像对构建训练数据,并基于所述训练数据,对基于多阶段退化学习神经网络构建的基础模型进行训练,得到所述光谱重建模型。
13、在一种可能的实现方式中,所述退化学习梯度下降模块在根据所述输入图像和光谱响应曲线,对前一退化学习阶段重构的高光谱影像进行再次重构,得到当前阶段的初始高光谱影像时,包括:
14、根据所述前一退化学习阶段重构的高光谱影像和光谱响应曲线,计算第一特征影像;
15、计算所述第一特征影像与所述输入图像的信息残差,并计算所述信息残差对应的修正数据;
16、基于所述修正数据,对所述前一退化学习阶段重构的高光谱影像进行再次重构,得到所述当前阶段的初始高光谱影像。
17、在一种可能的实现方式中,所述近端映射模块基于编码器和解码器网络构建,其中,所述编码器最后一层的编码结果除了通过跳转链接输入至对应的解码器,还通过预先构建的细粒度多头光谱变换器进行光谱维度的数据增强,并将数据增强结果输入对应的解码器,以使对应的解码器获取到更丰富的光谱特征信息。
18、在一种可能的实现方式中,在通过所述细粒度多头光谱变换器对所述编码器最后一层的编码结果进行光谱维度的数据增强时,包括:
19、对所述编码器最后一层的编码结果进行空间维度压缩,得到压缩编码结果;
20、计算所述压缩编码结果的相关特征,并将所述相关特征进行光谱维度的分解,得到多组相关特征;其中,所述相关特征中包括所述压缩编码结果的查询值、键值和值;
21、对各组相关特征进行数据增强,并基于数据增强后的各组相关特征,计算细粒度自注意力;
22、基于所述细粒度自注意力,得到最终的数据增强结果。
23、根据本公开的第二方面,提供了一种高光谱影像库的构建方法,所述构建方法基于第一方面任一项所述的光谱重建模型进行构建,包括:
24、获取遥感卫星回传的目标区域的多个待处理多光谱影像;
25、基于各所述待处理多光谱影像,采用所述光谱重建模型进行高光谱影像的重建,得到各所述待处理多光谱影像对应的高光谱影像;
26、基于各所述高光谱影像,构建出所述目标区域的高光谱影像库。
27、在一种可能的实现方式中,在基于所述待处理多光谱影像,采用所述光谱重建模型进行高光谱影像的重建,得到所述待处理多光谱影像对应的高光谱影像时,包括:
28、将所述待处理多光谱影像输入至所述光谱重建模型进行高光谱影像的重建,得到所述待处理多光谱影像对应的高光谱影像。
29、在一种可能的实现方式中,在基于所述待处理多光谱影像,采用所述光谱重建模型进行高光谱影像的重建,得到所述待处理多光谱影像对应的高光谱影像时,还包括:
30、获取遥感卫星回传的与所述待处理多光谱影像同时相、同区域的待处理全色影像;
31、对所述待处理多光谱影像和所述待处理全色影像进行融合,得到rgb影像;
32、将所述rgb影像输入至所述光谱重建模型进行高光谱影像的重建,得到所述待处理多光谱影像对应的高光谱影像。
33、根据本公开的第三方面,提供了一种高光谱影像库的构建的装置,所述装置基于第一方面任一项所述的光谱重建模型进行构建,包括:
34、遥感影像获取模块,用于获取遥感卫星回传的目标区域的多个待处理多光谱影像;
35、高光谱影像重建模块,用于基于各所述待处理多光谱影像,采用所述光谱重建模型进行高光谱影像的重建,得到各所述待处理多光谱影像对应的高光谱影像;
36、影像库构建模块,用于基于各所述高光谱影像,构建出所述目标区域的高光谱影像库。
37、根据本公开的第三方面,提供了一种高光谱影像库的构建设备,包括:处理器;用于存储处理器可执行指令的存储器;其中,所述处理器被配置为执行本公开第二方面所述的方法。
38、本公开中提供了一种光谱重建模型,该光谱重建模型基于多阶段退化学习神经网络构建,用于高光谱影像库的构建,包括:单卷积层和至少两个顺次连接的退化学习阶段,其中,每个退化学习阶段包括退化学习梯度下降模块和近端映射模块;单卷积层,用于提取输入图像的浅层特征;各退化学习阶段中的退化学习梯度下降模块,用于根据输入图像和光谱响应曲线,对前一退化学习阶段重构的高光谱影像进行再次重构,得到当前阶段的初始高光谱影像;各退化学习阶段中的近端映射模块,用于对当前阶段的初始高光谱影像进行数据增强,并将数据增强结果作为当前阶段重构的高光谱影像;将最后一个退化学习阶段重构出的高光谱影像作为输入图像对应的高光谱影像;其中,针对第一个退化学习阶段,根据输入图像和光谱响应曲线,对浅层特征进行光谱重构,得到第一退化学习阶段的初始高光谱影像。通过构建的光谱重建模型,可以直接进行高光谱影像库的构建,从而提高了高光谱影像库的构建效率。
39、根据下面参考附图对示例性实施例的详细说明,本公开的其它特征及方面将变得清楚。