基于双路径融合的高光谱图像重建方法

本发明涉及图像处理领域，更具体来说涉及基于双路径融合的高光谱图像重建方法。

背景技术：

1、高光谱图像(hyperspectral images，hsis)通过成像设备测量场景中每个像素的连续光谱进行成像，与rgb图像相比，高光谱图像包含数百个连续的窄光谱波段，存储了丰富的信息，有助于区分不同类型的物质。因此被广泛应用于环境监测、医学疾病检测、食品分析等领域。然而，由于成像传感器的局限性，必须在空间分辨率、光谱分辨率和信噪比之间进行权衡。实际捕获的hsi往往具有较差的空间分辨率，这严重制约了hsi的实际应用。rgb图像非常容易获得，因此从rgb图像中重建高光谱图像成为一种低成本可替代的方法，近年来受到越来越多的关注。这个过程称为光谱超分辨率(ssr)。

2、早期研究主要集中在设计稀疏恢复模型，利用空间或光谱信息的统计分布作为先验，建立完备字典，将重建过程视为rgb图像到hsi的线性转换。然而，这些方法严重依赖于高光谱数据集的先验性能，而且简单的线性映射不足以模拟两个数据之间的相关性。因此，这些模型的泛化能力较差，只能在特定场景下得到满意的结果。近年来，基于深度学习的光谱超分辨率框架通过设计复杂的网络结构，提取丰富的上下文信息，在学习rgb和hsi之间的映射方面取得了相当大的成功。然而，这些模型仍然存在不足：高光谱图像中包含了丰富的空间和光谱特征，大多数重建方法未区分两种信息的特征，设计专门的网络结构。此外非恰当的融合方式导致光谱带无序，使用级联和卷积操作直接融合空间和光谱信息会产生冗余信息，对重建造成影响。因此在一定程度上限制了模型的表达能力。

技术实现思路

1、针对现有技术中的缺陷，本发明旨在提供给一种基于双路径融合的高光谱图像重建方法。

2、本发明解决上述技术问题所采用的技术方案包括以下步骤：

3、步骤s1，构建训练集和测试集：首先将训练集中的rgb图像和对应高光谱图像裁剪为128x128大小，然后对每个裁剪块进行归一化处理，最后进行数据增强构建成训练集，测试集的数据不进行裁剪和增强直接作为测试集；

4、步骤s2，构建重建模型：包括浅层特征提取、双路径深度特征提取、自适应特征融合以及重构四个部分；浅层特征提取使用一个3x3的卷积层提取浅特征，将低维rgb投影到高维空间；双路径深度特征提取包括多个空间残差提取模块和光谱密集提取模块提取深层空间和光谱特征；自适应特征融合模块根据输入特征权重实现自适应融合；重构模块使用一个3x3的卷积层和全局残差连接聚合浅层和深层特征，减小维度重构高光谱图像；

5、步骤s3，训练重建模型：设置模型超参数，选择adam优化器，学习率使用多项式衰减策略，通过最小化损失优化网络参数，并根据评价指标选择最优网络权重保存；

6、步骤s4，重建高光谱图像：输入rgb图像到最优重建模型中，输出并保存生成的高光谱图像。

7、进一步地，步骤s1中，数据增强是指对裁剪后的图像块上/下/左/右翻转或旋转90°/180°/270°处理；所述归一化处理是指将图像像素点的值归到0到1之间。

8、进一步地，步骤s2中，空间残差提取模块级联多个空间卷积组和一个残差连接；所述空间卷积组包括一个3×3卷积层，一个relu激活函数，一个3x3卷积层以及一个残差连接组成；所述光谱密集提取模块级联多个光谱卷积组和密集跳跃连接；所述光谱卷积组由一个3×3卷积层，一个relu激活函数，一个3×3卷积层以及一个1×1残差卷积层组成；所述密集跳跃连接是指在不同光谱卷积组中，使用一个1x1卷积提取低层次光谱特征传入高层次中，进行光谱信息交互。

9、进一步地，步骤s2中，自适应特征融合模块衡量空间信息和光谱信息的重要性，并为像素点选择主导特征，具体包括：

10、将所述空间特征提取模块得到的空间特征与光谱特征提取模块得到的光谱特征进行拼接得到一个候选特征，并经过一个1x1卷积层降低特征维度，得到候选概率集合

11、将所述候选概率集合经过gumble softmax函数得到表示特征重要性的概率分布，通过argmax函数以及onehot编码，将概率分布转化成候选标签；

12、将所述候选标签与候选特征在对应元素位置相乘，为每一个像素点选择空间或光谱特征得到调制特征；

13、将所述候选特征经过两个3x3卷积层，两个leakyrelu激活函数以及两个膨胀卷积层提取图像高频信息，得到高频特征；。

14、将所述调制特征与高频特征进行相加，得到融合特征。

15、进一步地，步骤s3中，损失函数使用平均相对绝对误差(mrae)

16、

17、其中，和代表重建图像和真实图像中第i个像素点的值，n为像素点总数，ε＝1×10-3为常数，防止图像中的零值造成溢出。

18、与现有技术相比，本发明技术方案的有益效果是：

19、(1)本发明设计的基于双路径融合的高光谱图像重建网络，在特征提取和融合阶段解决了空间光谱不同一性问题，实现了更精准的光谱超分辨率重建。

20、(2)本发明设计的双路径深度特征提取模块，分别根据空间局部相似性和光谱自相似性，设计不同的提取模块，提取到丰富的上下文信息辅助后续重建。

21、(3)本发明设计的自适应特征融合模块，能够衡量光谱特征和空间特征的重要性，丢弃多余的空间光谱特征，为每一个像素点选择对重建最有利的主导特征，同时保留更多的图像高频信息。

技术特征：

1.基于双路径融合的高光谱图像重建方法，其特征在于，具体包括以下步骤：

2.根据权利要求1所述的基于双路径融合的高光谱图像重建方法，其特征在于，所述步骤s1中的数据增强是指对裁剪后的图像块上/下/左/右翻转或旋转90°/180°/270°处理；所述归一化处理是指将图像像素点的值归到0到1之间。

3.根据权利要求1所述的基于双路径融合的高光谱图像重建方法，其特征在于，所述步骤s2中，空间残差提取模块级联多个空间卷积组和一个残差连接；所述空间卷积组包括一个3×3卷积层，一个relu激活函数，一个3×3卷积层以及一个残差连接组成；所述光谱密集提取模块级联多个光谱卷积组和密集跳跃连接；所述光谱卷积组由一个3×3卷积层，一个relu激活函数，一个3×3卷积层以及一个1×1残差卷积层组成；所述密集跳跃连接是指在不同光谱卷积组中，使用一个1×1卷积提取低层次光谱特征传入高层次中，进行光谱信息交互。

4.根据权利要求1所述的基于双路径融合的高光谱图像重建方法，其特征在于，所述步骤s2中自适应特征融合模块，衡量空间信息和光谱信息的重要性，并为像素点选择主导特征，具体包括：

5.根据权利要求1所述的基于双路径融合的高光谱图像重建方法，其特征在于，所述步骤s3中损失函数使用平均相对绝对误差（mrae）

技术总结
本发明公开了一种基于双路径融合的高光谱图像重建方法。首先通过对数据集进行预处理，构建训练集和测试集。之后构建具有双路径结构的重构模型，包括浅层特征提取、双路径深度特征提取、自适应特征融合和重构。通过最小化损失来优化网络参数，并保存最优重建模型权重。最后将RGB图像输入到最优重建模型中，输出生成的高光谱图像。本发明的方法根据高光谱图像空间局部相似性和光谱自相似性的特征，在特征提取设计双路径的结构实现针对性提取，使得重建图像更加清晰，纹理更加明显。此外，自适应融合模块能衡量光谱特征和空间特征的重要性，为每一个像素点选择对重建最有利的主导特征，因此能够实现更精准的光谱超分辨率重建。

技术研发人员：董明刚,赵唯肖
受保护的技术使用者：桂林理工大学
技术研发日：
技术公布日：2024/1/14