基于地面图像辅助的遥感图像超分辨重建方法及装置

本技术涉及计算机视觉，特别涉及一种基于地面图像辅助的遥感图像超分辨重建方法及装置。

背景技术：

1、遥感图像超分辨技术(satellite image super-resolution)是通过遥感图像的超分辨率进行重建，对具有互补信息的低分辨率遥感图像进行处理来获得高分辨率遥感图像的技术。相关技术中，遥感图像超分辨重建方法可以通过对低分辨图像直接提取几何特征并进行复制和扩增，获得高分辨的输出。

2、然而，由于相关技术中获取的原始图像信息不足，导致高分辨输出结果的几何形状细节存在缺失与失真情况，同时会导致边缘模糊和伪影以及语义信息偏差，而通过多曝光或者多时序图像联合提取低分辨遥感图像所缺失的几何特征并扩增，可以辅助遥感图像超分辨重建，但极大增加了遥感图像处理过程的数据采集成本，难以在实际工程中得到应用，无法实现可靠实用的高精度遥感图像超分辨重建，亟待解决。

技术实现思路

1、本技术提供一种基于地面图像辅助的遥感图像超分辨重建方法及装置，以解决由于相关技术中获取的原始图像信息不足，导致高分辨输出结果的几何形状细节存在缺失与失真情况，同时会导致边缘模糊和伪影以及语义信息偏差，而通过多曝光或者多时序图像联合提取低分辨遥感图像所缺失的几何特征并扩增，可以辅助遥感图像超分辨重建，但极大增加了遥感图像处理过程的数据采集成本，难以在实际工程中得到应用，无法实现可靠实用的高精度遥感图像超分辨重建等问题。

2、本技术第一方面实施例提供一种基于地面图像辅助的遥感图像超分辨重建方法，包括以下步骤：获取目标遥感图像对应的地面全景图像，并将所述地面全景图像转换为立方体投影地面全景图像；提取所述立方体投影地面全景图像和所述目标遥感图像的多个特征向量，基于所述多个特征向量预测所述目标遥感图像和所述地面全景图像的地空相对方向；利用所述地空相对方向对所述地面全景图像进行特征转换，得到所述目标遥感图像对应的变分辨率像素生成器，以基于所述变分辨率像素生成器得到所述目标遥感图像的超分辨重建图像。

3、可选地，在本技术的一个实施例中，所述获取目标遥感图像对应的地面全景图像，并将所述地面全景图像转换为立方体投影地面全景图像，包括：获取所述目标遥感图像的地面信息，并根据所述地面信息得到所述目标遥感图像的地理坐标；采集所述地理坐标对应区域的所述地面全景图像，并将所述地面全景图像的圆柱体投影转换为立方体投影，得到所述立方体投影地面全景图像。

4、可选地，在本技术的一个实施例中，所述提取所述立方体投影地面全景图像和所述目标遥感图像的特征向量，基于所述特征向量预测所述目标遥感图像和所述地面全景图像的地空相对方向，包括：串联所述目标遥感图像的特征向量和所述立方体投影地面全景图的特征向量，得到串联特征向量；基于所述串联特征向量构建超图，利用所述超图分别获取所述目标遥感图像的多个方向与所述地面全景图像的目标方向的匹配概率，并基于所述匹配概率确认所述地空相对方向。

5、可选地，在本技术的一个实施例中，所述利用所述地空相对方向对所述地面全景图像进行特征转换，得到所述目标遥感图像对应的变分辨率像素生成器，包括：基于所述地空相对方向，将所述地面全景图像转换为目标尺寸的第一过程图像；构建所述目标尺寸的高度编码矩阵，由所述高度编码矩阵得到第二过程图像；基于所述第一过程图像和所述第二过程图像构建第三过程图像，利用预设损失函数优化所述第三过程图像，直至满足预设优化条件，得到所述变分辨率像素生成器。

6、可选地，在本技术的一个实施例中，所述基于所述变分辨率像素生成器得到所述目标遥感图像的超分辨重建图像，包括：获取所述目标遥感图像的目标超分辨率；根据所述目标超分辨率调整所述第二过程图像中的最大高度参数，由所述变分辨率像素生成器生成所述目标超分辨率条件下的超分辨重建图像。

7、本技术第二方面实施例提供一种基于地面图像辅助的遥感图像超分辨重建装置，包括：获取模块，用于获取目标遥感图像对应的地面全景图像，并将所述地面全景图像转换为立方体投影地面全景图像；预测模块，用于提取所述立方体投影地面全景图像和所述目标遥感图像的多个特征向量，基于所述多个特征向量预测所述目标遥感图像和所述地面全景图像的地空相对方向；重建模块，用于利用所述地空相对方向对所述地面全景图像进行特征转换，得到所述目标遥感图像对应的变分辨率像素生成器，以基于所述变分辨率像素生成器得到所述目标遥感图像的超分辨重建图像。

8、可选地，在本技术的一个实施例中，所述获取模块包括：第一获取单元，用于获取所述目标遥感图像的地面信息，并根据所述地面信息得到所述目标遥感图像的地理坐标；采集单元，用于采集所述地理坐标对应区域的所述地面全景图像，并将所述地面全景图像的圆柱体投影转换为立方体投影，得到所述立方体投影地面全景图像。

9、可选地，在本技术的一个实施例中，所述预测模块包括：串联单元，用于串联所述目标遥感图像的特征向量和所述立方体投影地面全景图的特征向量，得到串联特征向量；匹配单元，用于基于所述串联特征向量构建超图，利用所述超图分别获取所述目标遥感图像的多个方向与所述地面全景图像的目标方向的匹配概率，并基于所述匹配概率确认所述地空相对方向。

10、可选地，在本技术的一个实施例中，所述重建模块包括：转换单元，用于基于所述地空相对方向，将所述地面全景图像转换为目标尺寸的第一过程图像；构建单元，用于构建所述目标尺寸的高度编码矩阵，由所述高度编码矩阵得到第二过程图像；优化单元，用于基于所述第一过程图像和所述第二过程图像构建第三过程图像，利用预设损失函数优化所述第三过程图像，直至满足预设优化条件，得到所述变分辨率像素生成器。

11、可选地，在本技术的一个实施例中，所述重建模块还包括：第二获取单元，用于获取所述目标遥感图像的目标超分辨率；生成单元，用于根据所述目标超分辨率调整所述第二过程图像中的最大高度参数，由所述变分辨率像素生成器生成所述目标超分辨率条件下的超分辨重建图像。

12、本技术第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的基于地面图像辅助的遥感图像超分辨重建方法。

13、本技术第四方面实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，该程序被处理器执行时实现如上的基于地面图像辅助的遥感图像超分辨重建方法。

14、本技术实施例可以基于图像配准和特征提取技术关联地面图像与遥感图像，得到变分辨像素生成器，从而建立高分辨率地面图像与低分辨率遥感图像之间的映射，利用地面图像的细节信息对遥感图像进行超分辨重建，提升了遥感图像超分辨重建的效率与精度，更具实用性。由此，解决了由于相关技术中获取的原始图像信息不足，导致高分辨输出结果的几何形状细节存在缺失与失真情况，同时会导致边缘模糊和伪影以及语义信息偏差，而通过多曝光或者多时序图像联合提取低分辨遥感图像所缺失的几何特征并扩增，可以辅助遥感图像超分辨重建，但极大增加了遥感图像处理过程的数据采集成本，难以在实际工程中得到应用，无法实现可靠实用的高精度遥感图像超分辨重建等问题。

15、本技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。