基于元学习和Transformer的遥感图像任意尺度超分辨率重建方法

本发明涉及模式识别与机器学习，特别涉及一种基于元学习和transformer的遥感图像任意尺度超分辨率重建方法。

背景技术：

1、遥感图像是通过各种传感器获得的包含地物电磁波信息的图片，具有种类多，数据量大，涵盖的时间和空间范围广的特点。空间分辨率是描述遥感图像的一个重要指标，指遥感图像能区分的最小地面单元，即遥感图像的一个像素的长度对应实际地面上的一段距离，该距离决定了遥感图像能包含的最细微的地物信息。提升遥感图像空间分辨率是遥感领域的重要课题，除了在硬件层面直接提高传感器本身的性能外，还可在软件层面设计算法实现遥感图像空间分辨率的提升，这类技术被称为超分辨率重建技术。

2、图像超分辨率重建技术(以下简称超分重建)可以根据不同任务需求，将低分辨率图像(以下简称低分图像)按照一定比例因子恢复到高分辨率图像(以下简称高分图像)，如果是在遥感图像空间尺度进行超分则可以提升其空间分辨率。在超分重建中，按不同比例因子放大图像会生成不同大小的结果，即比例因子的改变会导致低分图像到高分图像间映射规则的变化，因此对超分重建而言，不同的比例因子代表不同的任务。大部分基于单一比例因子的超分重建算法只能按一种比例因子对图像进行超分。而在真实遥感图像的超分处理任务中，通常要对图像进行不同的整数或非整数倍放大。若是对每种可能的比例因子都训练一个模型并存储到计算平台中，会造成极大的算力和空间资源的浪费。因此基于任意比例因子的超分重建算法对遥感图像处理而言更具实用性。

3、遥感图像超分重建可大致分为非深度学习(传统)方法和深度学习方法。传统遥感图像超分重建主要基于插值算法，例如最近邻插值、线性插值、双线性插值和双三次插值等。此外还有基于边缘保持的超分重建，这种方法旨在保持边缘信息的同时提高遥感图像的分辨率。传统方法虽然计算简单，但是对于具有复杂纹理的遥感图像而言存在难以恢复高频细节信息的问题。此外对于整数和小范围内的比例因子，传统方法具有良好的表现并能满足实际应用需求，但对于非整数和更大的比例因子，如3.2、5、20等，传统方法便难以满足要求。

4、随着深度学习技术的发展，各种基于神经网络的遥感图像超分重建技术被提出。其中卷积神经网络是目前最常用的方法之一，另外还有近年来被广泛应用于无监督图像生成的生成对抗网络，也在遥感图像超分重建领域取得了良好表现，实现了更高感知质量的遥感图像重建效果。基于深度网络的超分重建方法相比于传统方法，无论是在模型大小、运算速度还是重建效果方面，都取得了明显提升，但也存在两大问题。第一，现有的基于卷积神经网络和生成对抗网络的模型只能处理一种比例因子下的遥感图像超分辨率重建任务，在多尺度层面上缺少泛化性。第二，基于纯卷积的网络易受遥感图像丰富地物目标和复杂纹理信息的影响，使得重建结果中出现高频噪声和伪影，降低了重建效果。

5、因此，如何提供一种实现多种比例因子下的遥感图像超分辨率重建的同时，提升重建结果的感知质量的遥感图像超分辨率重建方法是本领域技术人员亟待解决的技术问题。

技术实现思路

1、本发明针对上述研究现状和存在的问题，提供了一种基于元学习和transformer的遥感图像任意尺度超分辨率重建方法。采用视觉transformer在超分重建过程中引入遥感图像的全局语义特征，利用元上采样模块获得对应比例因子的上采样滤波器，将低分特征图映射到高分图像的尺寸，得到最终的超分输出。

2、本发明提供的一种基于元学习和transformer的遥感图像任意尺度超分辨率重建方法，基于低分特征提取网络和元上采样模块构建的网络架构；包括如下步骤：

3、s1：对原始遥感图像数据集在给定比例因子范围内按预设步长进行双三次下采样，获得多种比例因子下的低分-高分图像对；所述低分-高分图像对包括同一原始遥感图像对应的低分图像和高分图像；

4、s2：将所述低分图像输入至低分特征提取网络提取低分特征，所述低分特征包括基于卷积的密集残差注意力低分特征和基于视觉transformer网络的低分特征，并将得到的双路低分特征进行融合；

5、s3：将所述高分图像输入至元上采样模块进行元学习预测得到相应比例因子的上采样滤波器，所述上采样滤波器将基于视觉transformer网络的低分特征映射到所述高分图像的尺寸，得到超分图像；

6、s4：基于所述超分图像与所述高分图像计算损失，并优化所述低分特征提取网络和元上采样模块的参数。

7、优选的，所述s2中的低分特征提取网络包括密集残差注意力网络，所述基于卷积的密集残差注意力低分特征的提取过程包括：

8、密集残差注意力块通过点卷积输出低分特征图；

9、所述低分特征图经由全局平均池化提取全局信息，再通过一维卷积获得特征通道间的相关关系；

10、所述相关关系由sigmoid函数非线性化后得到权重向量；权重向量和输入的低分特征图相乘完成对特征图通道的加权，即完成一次对通道施加注意力的过程，得到注意力特征图。

11、优选的，所述s2中的低分特征提取网络包括视觉transformer网络；所述基于视觉transformer网络的低分特征的提取步骤包括：

12、将输入的所述低分图像按通道分离；

13、分别对每个通道提取特征向量vtrans；

14、将来自不同通道的特征向量vtrans展平后再按通道合并，得到基transformer特征图ftrans；

15、基transformer特征图ftrans经过两层卷积后输出用于s3的基于视觉transformer网络的低分特征图flr。

16、优选的，所述s2中将得到的双路低分特征进行融合的步骤包括：

17、flr(i',j')＝ψ(ftrans(i',j'),frdca(i',j'))＝aftrans(i',j')+bfrdca(i',j')

18、式中，ψ(·)表示特征融合函数，a和b分别表示transformer特征图ftrans和密集残差注意力特征图frdca的权重，(i',j')表示低分特征图的像素位置。

19、优选的，所述s3包括：

20、根据高分图像尺寸以及当前输入的比例因子计算偏移矩阵；

21、包含比例因子信息的偏移矩阵经过权重预测全连接网络计算上采样滤波器的卷积核参数，得到相应比例因子的上采样滤波器；

22、所述上采样滤波器将基于视觉transformer网络的低分特征映射到高分图像尺寸，得到超分图像。

23、优选的，所述s4包括：

24、基于所述超分图像与所述高分图像计算l1损失，并采用随机梯度下降法优化所述低分特征提取网络和元上采样模块的参数，l1损失的计算公式如下：

25、l＝σ|isr(i,j)-ihr(i,j)|

26、式中，isr(i,j)表示超分图像isr中位置为(i,j)的像素值；ihr(i,j)表示高分图像isr中位置为(i,j)的像素值。

27、本发明相较现有技术具有以下有益效果：

28、本发明基于低分特征提取网络和元上采样模块构建的网络架构对多种比例因子低分-高分图像对进行有监督训练和有参考质量评估，满足多尺度超分重建任务的需求。并且，本发明基于密集残差注意力网络和视觉transformer网络对输入低分图像提取双路特征，在超分重建过程中同时利用遥感图像的全局语义信息和局部目标信息，提升重建结果的感知质量。结合元上采样方法解决利用单一超分模型解决多尺度超分辨率重建的问题，最终实现了基于任意比例因子的超分重建算法。