一种极端分辨率比高光谱图像全色锐化方法

本发明涉及遥感图像领域，特别涉及一种极端分辨率比高光谱图像全色锐化方法。

背景技术：

1、遥感图像在资源勘探、地质分析和军事等各领域都有着广泛应用，同时这些应用也要求遥感图像需要有较高空间分辨率和高光谱分辨率。但是由于受到实际传感器物理结构的限制，往往无法获得同时具有高空间分辨率和高光谱分辨率的高光谱图像。为克服该困难，高光谱图像全色锐化技术被提出，其原理是将低空间分辨率的高光谱图像和对应配准高空间分辨率的全色图像相融合，生成令人满意的高空间分辨率高光谱图像。经过全色锐化社区多年的努力，发展出许多种类的高光谱图像全色锐化方法，传统的锐化方法可分为以下几类：成分替代法、多尺度分析法、变分优化法。成分替换法主要通过域变换的方式实现锐化，其代表方法包括主成分分析法和施密特正交变换法；多分辨率分析法则是提取多个尺度下的空间信息再注入，其代表方法包括小波变换法和拉普拉斯金字塔变换法；变分优化法则是利用变分理论建立模型再迭代求解，其代表性的方法主要包括非负矩阵分解算法和贝叶斯算法等。近些年，随着硬件算力的提高，卷积神经网络得到较大发展，在高光谱全色锐化领域也出现了众多基于卷积神经网络的方法，其性能效果远超以往传统方法，成为了人们关注的焦点。

2、极端分辨率比高光谱图像全色锐化是高光谱图像全色锐化的一个分支，其解决的是全色空间分辨率与高光谱空间分辨率比值过大(一般大于8)情况下的锐化问题。在这种情况下，带来了一些新的挑战：一方面，全色图像和高光谱图像空间差异过大，全色图像拥有丰富的空间信息信息，而高光谱图像只包含少量空间信息，导致二者难以融合；另一方面，高光谱图像提供的信息相对较少，意味着需要求解的信息量大，即解空间大，导致每次求解的结果不稳定。面对以上挑战，现存的大多数锐化方法也难以取得令人满意的结果。

技术实现思路

1、为了克服现有技术的上述缺点与不足，本发明的目的在于提供一种极端分辨率比高光谱图像全色锐化方法，尤其涉及基于多阶梯递进卷积神经网络的极端分辨率比高光谱图像全色锐化方法。

2、本发明结合高光谱图像和全色图像的关系，进行多阶段逐步的空谱特征融合，提高全色锐化的效果。在每个阶段的融合中，起主要作用的是全色阶梯卷积模块和高光谱阶梯卷积模块。全色阶梯卷积模块输入两种不同分辨率的全色特征，然后对二者进行特征提取和融合，最后将融合特征分辨率提高至与较高分辨率全色输入一致。高光谱阶梯卷积模块则是以高分辨率全色特征和低分辨率高光谱特征，其将两种输入充分融合，并把融合特征分辨率提高至与输入的全色特征一致。这样做的好处是将分辨率提升分解成多个子问题解决，有效降低子模块的学习难度，同时，在每个阶段中，高光谱特征和全色特征分辨率差异小，能进行更充分的融合。除此之外，由于全色阶梯模块的引入，多种分辨率全色信息被引入，这些额外的信息能进一步约束解空间的大小，使得最后的锐化效果变得稳定。

3、本发明的目的通过以下技术方案实现：

4、一种极端分辨率比高光谱图像全色锐化方法，包括：

5、获取原始高光谱图像数据及与所述原始高光谱图像数据配准的全色图像数据，构建训练集和测试集；

6、构建全色阶梯卷积模块及高光谱阶梯卷积模块，进一步得到多阶梯递进卷积神经网络；

7、设置多阶梯递进卷积神经网络的超参数，并初始化多阶梯递进卷积神经网络所使用的卷积的权重和偏置；

8、将训练集中的低分辨率数据送入多阶梯递进卷积神经网络，网络前向推断，得到预测图像，结合预测图像和数据集中对应的标签图像计算出损失函数值；

9、优化损失函数值，当损失函数值收敛至最小值时，得到的网络权重和偏置作为最优网络参数；

10、加载构建的多阶梯递进卷积神经网络及最优网络参数，将测试集中的低分辨率数据输入至多阶梯递进卷积神经网络，得到预测的高分辨率高光谱图像。

11、进一步，采用自适应矩估计算法优化损失函数值。

12、进一步，以平均绝对误差为所述多阶梯递进卷积神经网络的损失函数。

13、进一步，所述全色阶梯卷积模块的结构为：

14、低分辨率特征提取卷积层conv1_1，该层包括32个3×3大小的卷积核，其以低分辨率特征图为输入，输出特征图

15、低分辨率反卷积层dconv1_2，该层包括32个3×3大小的卷积核，其以特征图为输入，输出特征图

16、高分辨率尺度卷积层conv2_1，该层包括32个3×3大小的卷积核，其以高分辨率特征图为输入，输出特征图

17、高分辨率尺度卷积层conv2_2，该层包括32个5×5大小的卷积核，其以高分辨率特征图为输入，输出特征图

18、高分辨率尺度卷积层conv2_3，该层包括32个7×7大小的卷积核，其以高分辨率特征图为输入，输出特征图

19、高分辨率卷积层conv2_4，该层包括64个3×3大小的卷积核，其以特征图和为输入，输出特征图

20、高分辨率卷积层conv2_5，该层包括32个1×1大小的卷积核，其以特征图为输入，输出特征图

21、融合卷积层conv3_1，该层包括32个3×3大小的卷积核，其以特征图和为输入，输出特征图

22、梯度算子grad，该算子用以求得特征图像的纹理信息，其以高分辨率特征图为输入，输出梯度图d(i)；

23、融合卷积层conv3_2，该层包括32个3×3大小的卷积核，其以特征图和d(i)为输入，输出特征图

24、进一步，所述高光谱阶梯卷积模块，包括：

25、特征提取卷积层conv1，该层包括64个3×3大小的卷积核，其以低分辨率特征图为输入，输出特征图

26、反卷积层dconv2，该层包括64个3×3大小的卷积核，其以特征图为输入，输出特征图

27、通道注意力汇聚层ca，该层用于将输入的特征图各通道之间的信息关系转化为表征各通道显著性的一维注意力向量，其以特征图为输入，输出长度为64的一维注意力向量

28、通道调节层caa，该层将上层获得的注意力向量作用于特征图上，调节各通道之间的信息关系，其输入为一维注意力向量和特征图输出调整后的特征图

29、卷积层conv3，该层包括64个3×3大小的卷积核，其以特征图为输入，输出特征图

30、融合卷积层conv4，该层包括64个3×3大小的卷积核，其以特征图和全色特征图为输入，输出特征图

31、空间注意力汇聚层sa，该层将输入特征图转化为表征各空间像素位置显著程度的注意力掩膜，其以特征图像为输入，输出空间注意力掩膜m(i)；

32、空间增强层saug，该层用于将上层获得的注意力掩膜作用于特征图上，增强特征图上的空间信息，其以特征图和空间注意力掩膜m(i)为输入，输出增强后的特征图

33、融合卷积层conv5，该层包括64个3×3大小的卷积核，其以特征图为输入，输出特征图

34、进一步，所述多阶梯递进卷积神经网络的结构包括三个高光谱阶梯卷积模块、三个全色阶梯卷积模块、光谱重构卷积层及残差补偿层。

35、进一步，所述多阶梯递进卷积神经网络的结构中：

36、三个高光谱阶梯卷积模块依次连接，依次实现对高光谱图像的第一阶段、第二阶段及第三阶段分辨率提升和锐化；

37、三个全色阶梯卷积模块依次连接，依次实现对全色图像不同分辨率信息的第一阶段、第二阶段及第三阶段的提取和融合；

38、光谱重构卷积层，用于将最后一个高光谱阶梯卷积模块的输出特征图作为输入输出特征图

39、残差补偿层，该层以上采样后的低分辨率高光谱图像和特征图为输入，输出高空间分辨率高光谱图像。

40、进一步，所述光谱重构卷积层包括64个1×1大小的卷积核。

41、进一步，所述构建训练集和测试集具体是：

42、在低分辨率高光谱图像数据和与其配准的低分辨率全色图像数据中，选择合适的区域，以固定间隔无重复的形式从该区域裁剪出子块图像和并经随机打乱顺序后构成训练集；同样地，在低分辨率高光谱-全色数据对中挑选另一不重合区域，并在区域内裁剪若干不重合的子块图像构成测试集。

43、进一步，高光谱图像以及与之配准的全色图像的空间大小满足如下数量关系：

44、h2＝h1×r

45、w2＝w1×r

46、其中r表示全色图像与高光谱图像的空间分辨率之比，在极端分辨率比高光谱图像全色锐化问题中，，h1和w1分别表示高光谱图像的高和宽，h2和w2分别表示全色图像的高和宽，b表示的是高光谱图像的光谱通道数。

47、与现有技术相比，本发明具有以下优点和有益效果：

48、(1)本发明设计的基于多阶梯递进卷积神经网络的极端分辨率比高光谱图像全色锐化方法核心模块之一为全色阶梯卷积模块，该模块通过逐步融合低分辨率全色特征的信息和通过多个不同尺寸的卷积提取的多个尺度的高分辨率全色特征信息，再加上梯度算子提取高分辨率全色特征图的梯度信息，能将不同尺度的全色特征信息充分融合，从而有效地挖掘出全色图像的空间细节信息。

49、(2)本发明设计出的基于多阶梯递进卷积神经网络的极端分辨率比高光谱图像全色锐化方法核心模块之一为高光谱阶梯卷积模块，该模块逐步将高光谱特征和高分辨率全色特征进行融合，并且利用空谱注意力对特征进行调整，能应对空谱特征差异进行充分调整，提高模块的鲁棒性。此外，由于每个高光谱阶梯模块只需要提升小比值的空间分辨率，对应的高光谱特征和全色特征差异小，因此融合能够更加充分。

50、(3)本发明设计出的基于多阶梯递进卷积神经网络的极端分辨率比高光谱图像全色锐化方法主要针对于极端分辨率比高光谱图像全色锐化问题，该网络将大比值空间分辨率提升和图像融合切分至多个阶梯卷积模块完成，每个模块只需完成小比值的空间分辨率提升和图像融合，有效提高整体锐化效果。此外，全色特征和高光谱特征的分离式处理能使网络更加有效地处理光谱信息和空间信息，最后，人为引入多个冗余尺度的全色特征能提供额外的信息，能进一步约束解空间的大小，使得锐化结果更加稳定。