参考数据非敏感的遥感影像时空融合模型构建方法与流程

本发明属于遥感地理信息领域，特别涉及一种基于条件对抗生成网络的对于输入参考影像非敏感的光学遥感影像时空融合方法。

背景技术：

随着遥感技术精细化程度的提高，实际遥感应用越来越趋向于使用高时间和高空间分辨率遥感影像序列。利用高时空分辨率影像序列在获取地物变化信息的同时也可以获得地表纹理细节特征，细粒度的地表时空信息可以为高层次分析决策提供更加准确的数据支持。然而，由于硬件技术和研发成本的限制，现阶段很难通过单一卫星传感器获得同时具有高时间和高空分辨率的遥感数据，现有卫星观测系统往往会选择性地在两者之间做出平衡。针对遥感数据时空精细度对于遥感应用的制约问题，遥感影像时空融合方法通过结合两种或多种传感器数据源，以多源数据信息互补融合的方式，生成具备其中最高时间与空间分辨率的数据序列，为细粒度高精度遥感应用提出一种可行的解决方案。

一般地，时空融合模型通过从一组给定日期的高时间低空间分辨率数据源(如modis影像，以下简称低空间分辨率影像)和至少一组光谱信息相对应的辅助参考日期的低时间高空间分辨率数据源(如landsat影像，以下简称高空间分辨率影像)进行信息提取。然后从给定预测日期的低空间分辨率数据中获取该时刻的地物光谱信息，从临近预测日期的高空间分辨率参考数据中获取地表纹理细节信息，最后综合光谱和纹理信息重建生成该预测日期的高空间分辨率影像^[1]。

现有时空融合模型建立的基础大都是假设输入数据完全无云雾覆盖，而光学遥感卫星在成像过程中易受云雨天气的影响，在某些研究区域还存在数据缺失的情况。此外，有些高—低空间分辨率的影像数据源日期不完全匹配，所以在实际应用中根据数据质量要求对研究区域的数据进行筛选过滤以后很难找到合适的临近预测日期的无云高质量参考影像进行时空融合^[2][3]。

技术实现要素：

本发明为了降低传统时空融合方法对输入影像的高度敏感性，提出了一种参考数据非敏感的遥感影像时空融合模型构建方法，基于条件对抗生成网络构建深度时空融合模型gan-stfm，减少了模型输入影像个数，降低了模型对参考影像的敏感度。

为实现上述目的，本发明采用如下技术方案，

参考数据非敏感的遥感影像时空融合模型构建方法，基于条件对抗生成网络架构进行模型构建，以预测日期低空间分辨率遥感影像及同一区域不同于预测日期的任意参考日期高空间分辨率影像作为生成器的输入；

在生成器的残差分支网络中使用自适应标准化层从参考日期的高空间分辨率影像中提取样本高频特征，与来自残差主干网络从低空间分辨率遥感影像中提取的低频特征相加，合成预测日期的高空间分辨率影像

在判别器中以预测日期地表真实低空间分辨率观测影像为约束条件对预测的高空间分辨率影像和地表高空间分辨率真实观测影像进行判别。

作为本发明的进一步改进，本发明采用基于图像本身特性的损失和对抗损失形成的复合损失函数进行模型优化求解。

进一步地，采用如下所示的复合损失函数进行模型优化求解：

其中，指基于图像本身特性的损失；指特征损失；指光谱角损失；指视觉损失；指对抗损失，基于最小二乘对抗损失计算(leastsquaresgenerativeadversarialnetworks，lsgan)^[4]；α、β、λ指权重。

进一步地，所述光谱角损失通过计算预测影像和观测影像各个波段余弦相似度得到；视觉损失通过计算预测影像和观测真值影像的多尺度结构相似性得到；特征损失通过计算预测影像和观测真值影像经过预训练的自编码器编码特征的均方差得到。

作为本发明的进一步改进，所述生成器由特征提取子网络和特征重建子网络构成。特征提取子网络分别从预测日期的低空间分辨率影像和参考日期的高空间分辨率影像中提取特征，从高—低空间分辨率数据提取的高维特征张量进行叠加以后输入特征重建子网络，最后经卷积核为1的卷积层处理后输出。

作为本发明的进一步改进，生成器中特征提取子网络由四层gencoder-resblock残差子模块相连组成。gencoder-resblock残差子模块由残差主干网络和卷积核为1的卷积层形成的残差分支网络组成；所述残差主干网络由自适应标准化层(switchablenormalization)^[5]、leakyrelu激活函数、卷积核为3的卷积层、自适应标准化层、leakyrelu激活函数依次连接形成。gencoder-resblock残差子模块的输入为高—低空间分辨率影像或特征，高空间分辨率影像或特征经过残差主干网络，低空间分辨率影像或特征张量经过残差分支网络。自适应标准化层的使用可以有效提取非特定样本的共有高频地物细节信息。gencoder-resblock残差子模块的输出为高—低空间分辨率影像或特征经张量过残差子模块处理以后的特征张量之和作为新的高空间分辨率特征，以及经过残差分支网络处理的低空间分辨率特征。

作为本发明的进一步改进，生成器中特征重建子网络由四层gdecoder-resblock残差子模块相连组成。gdecoder-resblock残差子模块同样由残差主干网络和卷积核为1的卷积层形成的残差分支网络组成；所述残差主干网络由leakyrelu激活函数、卷积核为3的卷积层以及leakyrelu激活函数依次连接而成。gdecoder-resblock残差子模块的输入为上层输出的特征张量，输出为残差主干网络和分支网络输出特征张量结果之和。gdecoder-resblock和gencoder-resblock区别在于残差主干网络中去掉了自适应标准化层，且gencoder-resblock的输出包含高—低空间分辨率两个特征张量，而gencoder-resblock输出为融合的高空间分辨率特征张量。

作为本发明的进一步改进，判别器是由多个结构相同的判别器网络组成的多尺度判别器，使用多尺度判别网络可以在不同尺度的特征上对生成影像进行鉴别^[6]。训练过程中判别器的输入为由预测日期的地表真实低空间分辨率观测影像和地表真实高空间分辨率观测影像叠加的张量，以及预测日期的地表真实低空间分辨率观测影像和生成器生成的高空间分辨率影像叠加的张量，其中预测日期的地表真实低空间分辨率观测影像为条件对抗生成网络中的条件。对于每个判别器子网络分别将输入原始数据在不同尺度进行影像重采样，然后和未重采样的原始数据独立输入到多个多尺度判别网络，判别器最终输出结果为多尺度判别网络输出结果的平均值。

作为本发明的进一步改进，所述多尺度判别器的单个判别网络由若干相连的残差子模块组成，最后依次经卷积核为1的卷积层、分类激活函数sigmoid处理后输出。

作为本发明的进一步改进，多尺度判别器单个判别网络中的残差子模块由残差主干网络和卷积核为1的卷积层形成的残差分支网络组成；所述残差分支网络由批标准化层(batchnormalization)^[7]、激活函数、步长为2卷积核为3的卷积层、批标准化层、激活函数依次相连形成。在训练过程中，卷积层隐含的权重参数使用谱归一化(spectralnormalization)^[8]进行处理，使得网络满足利普希茨连续条件(lipschitzcontinuity)，以提高模型整体的稳定性。

作为本发明的进一步改进，在模型训练阶段，利用批量样本数据集同时对生成器和判别器进行训练，使用adam优化器在反向传播过程中调整网络参数。在有限计算机资源环境下，训练过程中将遥感影像动态切割为大小相同的子块防止数据量过大造成内存或显存溢出。

作为本发明的进一步改进，将低空间分辨率影像进行影像配准并重采样到与高空间分辨率观测影像相同的空间分辨率后输入生成器。

本发明的方法构建的模型通过输入预测日期低分辨率遥感影像，以及同一区域不同于预测日期的任意参考日期高分辨率影像即可重建预测日期的高空间分辨率影像。相比于传统遥感影像时空融合模型，本发明打破了时空融合模型输入至少需要预测日期的低空间分辨率影像以及一组临近预测日期的高—低空间分辨率参考影像的限制，减少了时空融合模型的输入影像个数，降低了对参考影像的敏感度。由于光学遥感易受云雨天气的影响使得部分观测数据不可用，利用gan-stfm模型进行时空融合生产高空间分辨率时序数据，可以显著降低采集模型输入数据的难度。

附图说明

图1是本发明gan-stfm时空融合模型的概念图。

图2是本发明gan-stfm时空融合网络的架构图。

图3是本发明gan-stfm模型中的残差子模块示意图。

图4是用于计算特征损失的自编码器网络架构图。

图5是不同时空融合模型在cia数据集预测2001年11月9日的融合结果对比图。

图6是不同时空融合模型在lgc数据集预测2005年3月2日的融合结果对比图。

图7是不同时空融合模型基于不同参考影像在cia数据集预测2001年11月9日高空间分辨率影像的融合结果定量对比图。

图8是不同时空融合模型基于不同参考影像在lgc数据集预测2005年3月2日高空间分辨率影像的融合结果定量对比图。

具体实施方式

下面结合附图说明和具体实施方式对本发明的技术方案作进一步阐述。

实施例1

本发明方法设计的gan-stfm时空融合模型形式化表示为公式(1)，通过输入预测日期低分辨率遥感影像ct，以及同一区域不同于预测日期的任意参考日期高分辨率影像即可重建预测日期的高空间分辨率影像ft。图1给出了gan-stfm时空融合模型的概念图。

gan-stfm模型基于条件对抗生成网络，模型主体由生成器和判别器构成。生成器用于融合生成预测日期的高空间分辨率影像，由特征提取子网络和特征重建子网络构成。生成器特征提取子网络提取的高—低空间分辨率的特征张量叠加以后，输入到特征重建子网络，如图2所示，其中表示特征叠加操作。判别器用于鉴别生成影像与观测真值的相似度，判别真假。gan-stfm模型中的判别器由三个结构相同的判别器子网络组成，通过输入不同分辨率的数据在不同尺度上进行特征鉴别。

生成器网络和判别器网络都由残差子模块堆叠组成，如图2所示，每个残差子模块依次相连。其中conv1表示卷积核大小为1的卷积层；gencoder-resblock，gdecoder-resblock和d-resblock分别表示在生成器特征提取子网络、生成器特征重建子网络和判别器中使用的结构不同的残差子模块；sigmoid表示用于分类的激活函数。残差子模块由残差主干网络和卷积核为1的卷积层形成的残差分支网络组成；gencoder-resblock残差分支网络由自适应标准化层(switchablenormalization，switchnorm)、leakyrelu激活函数、卷积核大小为3的卷积层conv3以及switchnorm、leakyrelu叠加组成，如图3a所示。gdecoder-resblock残差分支网络由leakyrelu激活函数、卷积核大小为3的卷积层conv3以及leakyrelu叠加组成，如图3b所示。生成器网络接收一张预测日期的低空间分辨率影像和任意参考日期的高空间分辨率影像，在生成器特征提取子网络中，高空间分辨率影像通过残差主干网络的卷积层，低空间分辨率参考影像通过残差分支网络。通过在残差主干网络中引入自适应标准化层用于提取对特定参考影像不敏感的地物高频细节信息，而残差分支网络用于提取预测日期的地物低频近似信息，通过将残差主干网络和分支网络的输出张量进行元素相加得到该残差层的输出。在生成器特征重建子网络中，特征张量同时通过残差主干和分支网络以学习和地面观测真值的差异以得到最终的高空间分辨率预测输出。生成器特征重建子网络中残差子模块的结构完全一致，残差主干网络和分支网络的输入都是上一层残差子块的输出，如图3b所示。

gan-stfm模型基于条件生成网络，将预测日期的地表真实低空间分辨率观测影像作为判别器附带的条件数据，每次训练过程中判别器的输入为由预测日期的地表真实低空间分辨率观测影像和预测日期的地表真实高空间分辨率观测影像(观测真值)叠加的张量，以及预测日期的地表真实低空间分辨率观测影像和生成器生成的高空间分辨率影像叠加的张量。判别器中使用的残差子模块和生成器中的类似，不同点在于：首先，使用批标准化(batchnormalization，batchnorm)替代自适应标准化层以降低模型计算量。其次，残差分支网络使用步长为2卷积核大小为3的卷积层stridedconv3逐层减小特征图尺寸。最后，判别器中的卷积层参数都进行谱归一化(spectralnormalization)使得判别器网络满足lipschitz连续性以提高对抗生成网络的稳定性，如图3c所示。判别器网络层数的设置与输入样本影像的尺寸相关，需要在实验中进行具体设置。此外，gan-stfm模型中的判别器使用多尺度判别器网络，即判别器由三个结构相同的判别器网络组成。对于每个判别器，分别对原始输入数据以其空间分辨率以0.5，0.25倍进行影像重采样，然后和未重采样的原始数据分别独立输入到三个多尺度判别网络，判别器最终输出结果为三个多尺度判别网络输出结果的平均值。

gan-stfm对抗生成网络的损失函数使用一种自定义的复合函数，如公式(2)所示，包括基于图像本身特性的损失以及对抗损失基于图像本身特性的损失由特征损失光谱角损失视觉损失组成。特征损失通过计算预测影像和观测真值影像经过预训练的一个自编码器的编码特征的均方差得到，如公式(3)所示。预训练网络使用经典的“沙漏”型自编码器结构，由顺序连接的编码器和解码器组成，如图4所示。编码器的输入层由卷积核为3的卷积层和激活函数组成，编码器其他层由步长为2卷积核为3的卷积层和激活函数组成；解码器的每层由卷积核为3的卷积层、上采样层和激活函数组成，解码器输出层为卷积核为1的卷积层。编码器的卷积层和对应的解码器卷积层使用跳跃连接进行特征叠加。预训练自编码器需要使用高空间分辨率数据集进行训练，模型的输入为单景高空间分辨率影像，预期的输出也为该高空间分辨率影像。公式(3)中的fencoder表示预训练网络编码器表示的隐含函数，x和y分别表示观测真值和预测结果。光谱角损失通过计算预测影像和观测影像各个波段余弦相似度得到；视觉损失通过计算预测影像和观测真值影像的多尺度结构相似性得到，如公式(4)所示，其中i表示元素全为1的多维张量；视觉损失通过计算预测影像和观测真值影像的多尺度结构相似性(ms-ssim)得到，其中li、ci和si分别表示影像在i尺度的亮度对比、对比度对比、结构对比；αi、βi和γi是相对应的i尺度的权重参数。对抗损失使用最小二乘对抗损失(lsgan)进行计算，因为其在图像重建任务上表现良好，生成图像质量较高。带条件的最小二乘对抗损失的计算如公式(6)所示，其中，x，y和z分别表示观测真值，对抗网络的附加条件数据和输入数据；表示对应数据分布的期望；a，b和c是常数参数，需要满足b-c＝1和b-a＝2的约束。

gan-stfm模型采用监督学习方式进行模型训练。每一组训练数据包含用于模型输入的预测日期的一景低空间分辨率遥感影像和同一区域不同于预测日期的任意参考日期高空间分辨率影像，以及预测日期的地表真实高空间分辨率观测影像。低空间分辨率影像需要在数据预处理阶段进行影像配准并重采样到与高分辨率观测影像相同的空间分辨率。

在模型训练阶段，由于单景遥感影像数据量较大，一般需要将训练数据集动态裁剪为尺寸较小的小块影像输入网络，利用批量小块样本数据同时对生成器和判别器进行训练，使用adam优化器在误差反向传播过程中调整网络参数。生成器和判别器网络在对抗学习中不断提升各自预测和判别精度，直到生成器可以生成接近观测真值的影像，而判别器无法区别生成影像和实际观测影像，达到一种纳什平衡状态，即可完成网络的训练过程。

在模型预测阶段，使用训练好的生成器，输入预测日期的低空间分辨率影像以及尽可能临近预测日期的高空间分辨率影像，可以直接得到预测日期高空间分辨率影像。

实施例2

在开源的时空融合公开数据集cia和lgc上进行训练和测试^[9]，选择经典时空融合模型starfm^[10]、fsdaf^[11]以及深度时空融合模型edcstfn^[12]进行对比。对cia数据集按日期进行影像分组以后，2002年的10组影像作为训练数据，2001年的5组影像用作验证。对lgc数据集按日期进行影像分组以后，2004年的8组影像作为训练数据，2005年的4组影像用作精度验证。在利用不同模型得到预测结果以后，使用平均绝对误差函数(meanabsoluteerror,mae)、均方根误差(rootmeansquarederror，rmse)、光谱角相似度(spectralanglemapper，sam)、图像结构相似性(structuralsimilarity，ssim)四个指标分别从像素误差、光谱相似度、图像结构相似性三方面进行融合结果评价。其中mae，rmse和sam值越小越接近0，表示融合结果越好；ssim值越大越接近1，表示融合结果越好。

表1和表2分别给出了使用不同时空融合模型在cia和lgc数据集上的定量测试结果。

表1使用不同时空融合模型在cia数据集上的定量测试结果

表2使用不同时空融合模型在lgc数据集上的定量测试结果

在cia数据集上，gan-stfm模型在所有的指标上都优于其他模型；在lgc数据集上，在某些测试数据上edcstfn略优，在某些测试数据上gan-stfm略优。

图5和图6分别给出了使用不同融合模型在cia数据集预测2001年11月9日以及在lgc数据集预测2005年3月2日的结果对比图。图中第一行是使用标准假彩色合成的区域一览图；第二行是对应于第一行方框的区域放大图；第三行是预测结果和地面观测真值相减的误差分布图；第四行是计算的遥感应用中经常使用的归一化植被指数(normalizeddifferencevegetationindex，ndvi)。从图中可以看出，基于深度学习的时空融合模型edcstfn和gan-stfm略优于传统时空融合模型starfm、fsdaf。所以gan-stfm在只需要两张输入影像的前提下，可以达到甚至超越其他至少需要三张输入影像的时空融合模型，展现了gan-stfm模型的优越性。

图7和图8是不同时空融合模型基于不同参考影像在cia数据集预测2001年11月9日以及在lgc数据集预测2005年3月2日的定量对比结果。图中矩形的上下边界表示使用不同参考影像进行时空融合的结果在不同评价指标上的最大和最小值，矩形中间横线表示使用不同参考影像进行时空融合的结果指标的均值。从图中可以看出gan-stfm对参考影像最不敏感，预测结果指标具有最小的波动性。综上所述，gan-stfm仅需要最少的输入数据即可获得和其他深度融合模型相当的融合精度，而且对输入高空间分辨率参考数据不敏感，可以大大降低在使用时空融合模型过程中数据收集和准备的难度。

参考文献：

[1]黄波,赵涌泉.多源卫星遥感影像时空融合研究的现状及展望[j].测绘学报,2017,46(10):1492–1499.

[2]wangq,atkinsonpm.spatio-temporalfusionfordailysentinel-2images[j].remotesensingofenvironment,2018,204:31–42.doi:10.1016/j.rse.2017.10.046.

[3]shenh,wuj,chengq,etal.aspatiotemporalfusionbasedcloudremovalmethodforremotesensingimageswithlandcoverchanges[j].ieeejournalofselectedtopicsinappliedearthobservationsandremotesensing,2019,12(3):862–874.doi:10.1109/jstars.2019.2898348.

[4]maox,liq,xieh,etal.leastsquaresgenerativeadversarialnetworks[j/ol].proceedingsoftheieeeinternationalconferenceoncomputervision,2016,2017-october:2813–2821[2020–12–15].http://arxiv.org/abs/1611.04076.

[5]luop,renj,pengz,etal.differentiablelearning-to-normalizeviaswitchablenormalization[j/ol].arxiv:1806.10779,2018[2020–12–15].http://arxiv.org/abs/1806.10779.

[6]karnewara,wango.msg-gan:multi-scalegradientsforgenerativeadversarialnetworks[j/ol].proceedingsoftheieeecomputersocietyconferenceoncomputervisionandpatternrecognition,2019:7796–7805[2020–12–15].http://arxiv.org/abs/1903.06048.

[7]ioffes,szegedyc.batchnormalization:acceleratingdeepnetworktrainingbyreducinginternalcovariateshift[c/ol]//32ndinternationalconferenceonmachinelearning,icml2015.internationalmachinelearningsociety(imls),2015:448–456[2020–12–15].https://arxiv.org/abs/1502.03167v3.

[8]miyatot,kataokat,koyamam,etal.spectralnormalizationforgenerativeadversarialnetworks[j/ol].arxiv:1802.05957,2018[2020–12–15].http://arxiv.org/abs/1802.05957.

[9]emelyanovaiv.,mcvicartr,vannieltg,etal.assessingtheaccuracyofblendinglandsat-modissurfacereflectancesintwolandscapeswithcontrastingspatialandtemporaldynamics:aframeworkforalgorithmselection[j].remotesensingofenvironment,2013,133:193–209.doi:10.1016/j.rse.2013.02.007.

[10]gaof,masekj,schwallerm,etal.ontheblendingofthelandsatandmodissurfacereflectance:predictingdailylandsatsurfacereflectance[j].ieeetransactionsongeoscienceandremotesensing,2006,44(8):2207–2218.doi:10.1109/tgrs.2006.872081.

[11]zhux,helmereh,gaof,etal.aflexiblespatiotemporalmethodforfusingsatelliteimageswithdifferentresolutions[j].remotesensingofenvironment,2016,172:165–177.doi:10.1016/j.rse.2015.11.016.

[12]tanz,dil,zhangm,etal.anenhanceddeepconvolutionalmodelforspatiotemporalimagefusion[j/ol].remotesensing,2019,11(24):2898[2020–12–15].https://www.mdpi.com/2072-4292/11/24/2898.doi:10.3390/rs11242898.