高光谱和多光谱图像的多尺度特征融合方法、系统和装置与流程

本发明涉及遥感图像处理，特别是涉及一种高光谱和多光谱图像的多尺度特征融合方法、系统和装置。

背景技术：

1、随着成像技术的发展，遥感图像的分辨率越来越高，但这是牺牲了光谱分辨率换来的，即不能同时获得高空间分辨率和高光谱分辨率的图像，只能获取具有高空间分辨率但光谱信息有限的图像(高分辨率多光谱图像，high rate multi-spectral image，简写为：hr-msi)，或具有高光谱分辨率但空间信息有限的图像(低分辨率高光谱图像，low ratehyper-spectral image，简写为：lr-hsi)。如何获取高空间分辨率和高光谱分辨率的图像(高分辨率高光谱图像，high rate hyper-spectral image，简写为：hr-hsi)在光谱图像处理领域逐渐成为一项具有挑战和非常重要的工作，对精细分类、目标检测、目标追踪等应用具有重要意义。目前深度学习在图像领域获得了不错的成果，在遥感图像融合问题上同样表现优异。然而，现有算法忽略了两个问题：1、原始高光谱图像(hyper-spectral image，简写为：hsi)和多光谱图像(multi-spectral image，简写为：msi)之间存在巨大尺度差距；2、对光谱信息重建的关注不足。这两个问题会导致获取的图像质量不高，因此现有技术还需进一步改进和发展。

2、有鉴于此，如何克服现有技术所存在的缺陷，解决上述技术问题，是本技术领域待解决的难题。

技术实现思路

1、针对现有技术中的缺陷或改进需求。本发明提供一种高光谱和多光谱图像的多尺度特征融合方法、系统和装置，旨在解决hsi与msi存在的尺度差异和光谱重建关注度不足的问题。

2、本发明采用如下技术方案：

3、第一方面，本发明提供了一种高光谱和多光谱图像的多尺度特征融合方法，包括：

4、将高光谱图像和多光谱图像各输入双分支网络中的一个分支并跨分支融合，获得融合后高光谱图像和融合后多光谱图像；

5、针对融合后高光谱图像和融合后多光谱图像进行特征提取，获取多尺度空间特征以及光谱特征；针对光谱特征以及所述多尺度空间特征进行特征融合，得到多尺度空谱联合特征；

6、将多尺度空谱联合特征输入到跨层连接支路进行拼接，得到所需高分辨率高光谱图像尺度的最终空谱联合特征；

7、将所需高分辨率高光谱图像尺度的最终空谱联合特征输入到图像重建网络中进行图像重建，得到所需的高分辨率高光谱图像。

8、进一步的，所述将高光谱图像和多光谱图像各输入双分支网络中的一个分支并跨分支融合，获得融合后高光谱图像和融合后多光谱图像具体包括：

9、对所述高光谱图像进行上采样，获得采样后高光谱图像；

10、对所述多光谱图像进行下采样，获得采样后多光谱图像；

11、连接所述多光谱图像和所述采样后高光谱图像，获得融合后多光谱图像；

12、连接所述高光谱图像和所述采样后多光谱图像，获得融合后高光谱图像。

13、进一步的，所述针对融合后高光谱图像和融合后多光谱图像进行特征提取，获取多尺度空间特征以及光谱特征具体包括：

14、将融合后多光谱图像输入到多光谱图像多尺度特征提取支路，得到多尺度空间特征；

15、将融合后高光谱图像输入到高光谱图像特征提取支路，得到光谱特征。

16、进一步的，所述将融合后多光谱图像输入到多光谱图像多尺度特征提取支路，得到多尺度空间特征具体包括：

17、对所述融合后多光谱图像进行下采样得到三个尺度的多光谱图像；

18、将所述三个尺度的多光谱图像分别输入到特征提取模块，得到三个尺度的空间特征，即第一尺度空间特征、第二尺度空间特征和第三尺度空间特征。

19、进一步的，所述将融合后高光谱图像输入到高光谱图像特征提取支路，得到光谱特征具体包括：

20、将所述融合后高光谱图像输入到特征提取模块，得到一个光谱特征，即第一尺度光谱特征。

21、进一步的，所述针对光谱特征以及所述多尺度空间特征进行特征融合，得到多尺度空谱联合特征具体包括：

22、将第一尺度光谱特征和第一尺度空间特征输入到特征融合模块，完成第一尺度融合，得到第一尺度空谱联合特征；

23、对所述第一尺度空谱联合特征进行一次上采样，得到第二尺度光谱特征，将所述第二尺度光谱特征和第二尺度空间特征输入到特征融合模块，完成第二尺度融合，得到第二尺度空谱联合特征；

24、对所述第二尺度空谱联合特征进行一次上采样，得到第三尺度光谱特征，将所述第三尺度光谱特征和第三尺度空间特征输入到特征融合模块，完成第三尺度融合，得到第三尺度空谱联合特征。

25、进一步的，所述将多尺度空谱联合特征输入到跨层连接支路进行拼接，得到所需高分辨率高光谱图像尺度的最终空谱联合特征具体包括：

26、对所述第一尺度空谱联合特征和所述第二尺度空谱联合特征进行上采样，得到两个所需高分辨率高光谱图像尺度的空谱联合特征；

27、将两个所需高分辨率高光谱图像尺度的空谱联合特征和所述第三尺度空谱联合特征通过跨层连接拼接在一起，得到所需高分辨率高光谱图像尺度的最终空谱联合特征。

28、进一步的，所述特征提取、所述特征融合、所述图像重建的卷积操作均为3d卷积。

29、第二方面，本发明提供了一种高光谱和多光谱图像的多尺度特征融合系统，用于实现如第一方面所述的高光谱和多光谱图像的多尺度特征融合方法，系统包括跨分支融合模块、特征提取模块、特征融合模块、跨层连接模块以及图像重建模块，其中：

30、所述跨分支融合模块用于将高光谱图像和多光谱图像各输入双分支网络中的一个分支并跨分支融合，获得融合后高光谱图像和融合后多光谱图像；

31、所述特征提取模块用于针对融合后高光谱图像和融合后多光谱图像进行特征提取，获取多尺度空间特征以及光谱特征；

32、所述特征融合模块用于针对光谱特征以及所述多尺度空间特征进行特征融合，得到多尺度空谱联合特征；

33、所述跨层连接模块用于将多尺度空谱联合特征输入到跨层连接支路进行拼接，得到所需高分辨率高光谱图像尺度的最终空谱联合特征；

34、所述图像重建模块用于将所需高分辨率高光谱图像尺度的最终空谱联合特征输入到图像重建网络中进行图像重建，得到所需的高分辨率高光谱图像。

35、另一方面，本发明提供了一种高光谱和多光谱图像的多尺度特征融合装置，具体为：包括至少一个处理器和存储器，至少一个处理器和存储器之间通过数据总线连接，存储器存储能被至少一个处理器执行的指令，指令在被处理器执行后，用于完成第一方面中的高光谱和多光谱图像的多尺度特征融合方法。

36、与现有技术相比，本发明的有益效果在于：

37、本发明的高光谱和多光谱图像的多尺度特征融合方法在多个尺度对高光谱图像与多光谱图像进行融合，解决了因尺度差异导致高光谱图像与多光谱图像特征相关性较弱的问题。其次，通过多层次交叉特征融合方法，实现了空间模态和谱模态的跨模态信息融合。此外，本发明采用3d卷积代替传统的2d卷积的方法，充分利用了数据的光谱信息。用本发明的方法获取的高分辨率高光谱图像的图像质量优于其他传统方法所获取的图像质量。