面向机动目标动态监测的天基遥感图像时空融合方法

1.本发明涉及图像处理技术领域，特别是涉及一种面向机动目标动态监测的天基遥感图像时空融合方法。


背景技术：

2.全球地表、大气环境动态监测等领域应用需要高时间-空间分辨率的卫星遥感影像作为数据支撑。然而，由于卫星传感器硬件技术条件、卫星发射成本等因素的限制，卫星传感器时间分辨率和空间分辨率之间存在矛盾，具有高空间分辨率(简称为高分辨率)遥感影像获取能力的卫星通常只能获取具有较低时间分辨率的影像，反之，具有高频率重访周期的卫星往往只具备低空间分辨率(简称为低分辨率)遥感影像获取能力。当前，获取同时具有高时间、高空间分辨率遥感影像的较为便捷高效、低成本的可行手段就是将分别具有高时间和高空间分辨率的多源遥感影像进行时空融合处理。多源遥感图像时空融合处理的核心思想就是通过对高空间-低时间分辨率图像和高时间-低空间分辨率图像进行处理来“预测”目标时刻的高空间分辨率图像，最终生成同时具有高空间与高时间分辨率特征的图像序列。
3.目前，国内外学者针对遥感图像时空融合方法开展了大量研究，根据算法原理的不同，方法主要可分为四大类：
4.(1)基于变换的时空融合方法。该类方法主要基于pca、brovey、ihs、cn变换等图像变换方法实现全色与多光谱数据之间的融合。该类方法也称为传统数据融合方法，早期被提出应用于光谱空间融合领域。该类方法虽然取得了一些研究成果，但是其精度并不理想，而且也不能很好地解决混合像元问题，融合数据“图斑”现象较为明显，因此没有被广泛应用。
5.(2)基于滤波的时空融合方法。该类方法主要通过引入邻域信息对高分辨率图像进行预测。gao等人考虑了像元间时间、空间和光谱的差异，提出了一种时空自适应反射率融合模型(starfm)用于融合landsat图像和modis图像。starfm方法在地表均质性较高的情况下，能够较为精确地预测高分辨率图像的反射率值；在地表异质度较高的情况下，预测精度会降低，且此方法难以预测地表突变的现象。为了提高starfm方法在地表覆盖类型发生变化和产生突变时的预测精度，学者们提出了一系列改进方法，包括时空自适应融合方法(staarch)、时空自适应反射率融合模型(starfm)、增强时空自适应反射率融合模型(estarfm)、时空非局部滤波融合模型(stnlffm)、鲁棒性自适应时空图像融合模型(rastfm)等，实验结果表明该类方法在捕捉地表变化时具有更高的准确度和鲁棒性。
6.(3)基于解混的时空融合方法。该类方法假设在输入图像与预测图像之间没有发生地表覆盖变化，且需要一幅较优的高分辨率图像分类结果图或土地利用现状图作为辅助数据，以对低分辨率图像进行解混。wu等人提出一种时空数据融合方法(stdfa)，该方法假设土地覆盖类型的时相变化属性是恒定的，通过对输入和预测日期的低分辨率图像进行端元分解进而对反射率的变化量进行估计，再叠加到高分辨率图像上得到最终预测结果。学
者们之后又提出了一系列改进方法，包括时空反射率解混模型(strum)、基于解混的starfm(u-starfm)、基于解混的时空反射率融合模型(u-stfm)等。
7.(4)基于学习的时空融合方法。上述无论是基于滤波的还是基于混解的方法都假设高分辨率图像与低分辨率图像像元之间的关系是线性的。为了克服该局限性，huang等人提出了一种基于稀疏表达的时空反射率融合模型(spstfm)，采用非线性的方式通过对两幅高分辨率图像和两幅低分辨率图像进行字典学习，分别对发生物候变化和地表覆盖类型变化的区域进行预测。
8.近年来，深度学习技术发展突飞猛进。深度学习网络中的卷积神经网络(cnn)的卷积层可以自动学习特征，把特征提取也归入学习过程中，将特征学习和网络优化有机结合起来，更快捷有效地对图像进行处理。dong等人于2014/2016年将一个三层cnn引入到单帧图像的超分辨处理领域，提出了经典的超分辨率卷积神经网络-srcnn，开启了超分辨率处理的新篇章。与稀疏表达方法相比，srcnn有结构轻量、各组件优化同步、速度快且准确率高等优点。自此之后，研究者们开展了大量基于cnn的单帧图像超分辨重建研究工作。
9.总之，当前基于深度学习的分辨率增强算法显示出一定处理大批量数据以及捕捉图像中地物细节结构特征的潜力，成为未来分辨率增强新的发展方向。然而，当前基于深度学习的分辨率增强研究主要是基于单帧自然图像的超分辨重建，却鲜有基于多帧遥感图像甚至是天基遥感图像的时空融合。目前典型的基于天基遥感图像的时空融合研究为song等人于2018年构建的基于深度卷积网络的时空融合框架(stfdcnn)，该框架仅采用包含5个卷积层的神经网络，分两步从modis图像恢复landsat图像，最后采用基于高通滤波模型的融合算法将网络学习的过渡图像与已知的前后两帧landsat图像进行融合，得到预测的中间时刻landsat图像。该方法仅将简单的5层cnn模型引入到低分辨率多源图像(250m分辨率的modis图像与30m分辨率的landsat图像)时空融合问题中，并未优化cnn模型以更大程度地提升方法性能。
10.综上所述，目前基于深度学习的天基遥感图像时空融合方法研究匮乏，且主要针对低分辨率多源图像(modis图像与landsat图像)引入简单的基础cnn模型，以满足地表农作物生长监测、洪水变化监测、土地覆盖变化监测等大尺度场景目标动态监测领域应用需要，不能很好的处理复杂场景中小尺度目标的细节结构信息恢复问题以满足重点区域机动目标动态监测需求。


技术实现要素：

11.现有技术存在不能很好地恢复复杂场景天基遥感图像中小尺度目标的细节结构信息的缺陷，本发明的目的在于克服上述现有技术缺陷，提出了面向机动目标动态监测的天基遥感图像时空融合方法。
12.为了实现上述目的，本发明提出了面向机动目标动态监测的天基遥感图像时空融合方法，所述方法包括：
13.接收第一数据源采集的待测目标区域t时刻的低分辨率遥感图像，以及t时刻前后两个时刻的低分辨率遥感图像；
14.当存在第二数据源时，同时接收第二数据源采集的同一目标区域t时刻前后两个时刻的高分辨率遥感图像；将上述五帧遥感图像输入预先建立和训练好的时空融合网络模
型，得到t时刻的目标区域高分辨率预测图像；
15.所述时空融合网络模型，用于通过对多源图像进行非线性映射、结合对第二数据源的下采样，进行图像特征提取和对齐、低分辨率图像特征融合、图像重构和上采样残差叠加处理，以实现高分辨率图像的预测；
16.当不存在第二数据源时，将第一数据源采集的三帧遥感图像输入预先建立和训练好的简化时空融合网络模型，得到t时刻的目标区域高分辨率预测图像；
17.所述简化时空融合网络模型，用于通过对多源图像进行图像特征提取和对齐、低分辨率图像特征融合、图像重构和上采样残差叠加处理，以实现高分辨率图像的预测。
18.作为上述方法的一种改进，所述时空融合网络模型的输入为目标时刻t的低分辨率图像l
t
、以及前后时刻t-i和t+i的高-低分辨率图像对{l
t-i
,h
t-i
}、{l
t+i
，h
t+i
}，输出为目标时刻t的高分辨率图像所述时空融合网络模型包括：多源图像非线性映射模块、高分辨率图像下采样模块、图像特征提取和对齐模块、图像特征融合模块、图像重构模块和上采样残差叠加模块；其中，
19.所述多源图像非线性映射模块，用于将输入的t-i、t和t+i时刻的低分辨率图像{l
t-i
，l
t
，l
t+i
}进行非线性映射，生成对应时刻具有第二数据源特性的转换低分辨率图像
20.所述高分辨率图像下采样模块，用于将输入的t-i和t+i时刻的高分辨率图像{h
t-i
，h
t+i
}进行下采样处理，得到对应时刻的下采样后的高分辨图像
21.所述图像特征提取和对齐模块，用于将多源图像非线性映射模块和高分辨率图像下采样模块处理得到的前后时刻的高-低分辨率图像对与目标时刻t的转换低分辨率图像依次进行图像特征提取，得到相应的图像特征并将前后时刻的高-低分辨率图像的特征与目标时刻的低分辨率图像的特征依次进行对齐，得到相应的对齐图像特征
22.所述图像特征融合模块，用于将5个对齐图像特征所述图像特征融合模块，用于将5个对齐图像特征进行融合处理，得到t目标时刻具有第二数据源特性的融合图像特征
23.所述图像重构模块，用于将低分辨率融合图像特征进行图像重构，得到t目标时刻具有第二数据源特性的重构图像
24.所述上采样残差叠加模块，用于将重构图像以及目标时刻t的转换低分辨率图像分别进行四倍上采样，再相加，得到目标时刻t的高分辨率预测图像
25.作为上述方法的一种改进，所述多源图像非线性映射模块采用基础5层卷积神经网络模型，t-i、t和t+i时刻具有高分辨率特性的转换低分辨率图像满足下式：
[0026][0027]
[0028][0029]
其中，f1(
·
)为由5个卷积层组成的一般函数。
[0030]
作为上述方法的一种改进，所述高分辨率图像下采样模块采用双三次样条下采样方法对输入的t-i和t+i时刻的高分辨率图像{h
t-i
，h
t+i
}进行下采样处理，得到对应时刻下采样后的高分辨图像满足下式：
[0031][0032][0033]
其中，downsampling(.)为双三次样条下采样函数。
[0034]
作为上述方法的一种改进，所述图像特征提取和对齐模块的具体处理过程包括：
[0035]
采用pcd对齐网络，对第t+i帧图像i
t+i
与第t帧图像i
t
进行金字塔特征提取与对齐，得到相邻帧的对齐特征
[0036]
以目标时刻t的低分辨率图像作为参考图像，其余4帧图像作为参考图像，其余4帧图像作为相邻帧图像，针对参考帧图像，采用pcd对齐网络进行金字塔特征提取，得到其金字塔特征针对4帧相邻帧图像，分别采用pcd对齐网络进行金字塔特征提取与对齐，得到它们的对齐特征齐，得到它们的对齐特征
[0037]
作为上述方法的一种改进，所述图像特征融合模块采用tas融合网络，包括依次连接的时间注意力融合单元和空间注意力融合单元，其中，
[0038]
所述时间注意力融合单元，用于将5个对齐图像特征所述时间注意力融合单元，用于将5个对齐图像特征进行融合处理，得到时间注意力融合特征fl
fusion
；
[0039]
所述空间注意力融合单元，用于将时间注意力融合特征fl
fusion
进行融合处理，得到目标时刻t具有第二数据源特性的融合图像特征
[0040]
作为上述方法的一种改进，所述图像重构模块采用10个串联的残差块，对目标时刻t具有第二数据源特性的融合图像特征进行重构，得到重构图像为：
[0041][0042]
其中，表示由10个残差块串联的重构网络。
[0043]
作为上述方法的一种改进，所述上采样残差叠加模块的具体处理过程为：
[0044]
采用pixel shuffle上采样算法，将重构图像进行两次双倍上采样得到双倍上采样图像采用双线性插值bilinear上采样算法，对目标时刻t的转换低分辨率图像进行四倍上采样，得到四倍上采样图像
[0045]
采用残差网络的思路，将和进行相加，得到目标时刻t的高分辨率预测图像
[0046]
作为上述方法的一种改进，所述简化时空融合网络模型的输入为目标时刻t的低分辨率图像l
t
、以及前后时刻t-i和t+i的低分辨率图像{l
t-i
，l
t+i
}，输出为目标时刻t的高分辨率图像所述简化时空融合网络模型包括：图像特征提取和对齐模块、图像特征融
合模块、图像重构模块和上采样残差叠加模块；其中，
[0047]
所述图像特征提取和对齐模块，用于将输入的t-i、t和t+i时刻的低分辨率图像{l
t-i
，l
t
，l
t+i
}依次进行图像特征提取，得到相应的图像特征并将前后时刻的图像特征与目标时刻的低分辨率图像的特征依次进行对齐，得到相应的对齐图像特征
[0048]
所述图像特征融合模块，用于将3个对齐图像特征进行融合处理，得到目标时刻t的融合图像特征
[0049]
所述图像重构模块，用于将低分辨率融合图像特征进行图像重构，得到目标时刻t的重构图像
[0050]
所述上采样残差叠加模块，用于将重构图像以及目标时刻t的低分辨率图像l
t
分别进行四倍上采样，再相加，得到目标时刻t的高分辨率预测图像
[0051]
作为上述方法的一种改进，所述方法还包括简化时空融合网络模型的训练步骤；具体包括：
[0052]
从googleearth上获取来自不同卫星的原始天基遥感图像，空间分辨率范围为0.31～0.6m；
[0053]
对原始天基遥感图像进行预处理，得到若干3帧连续时刻的图像，以真实高分辨率图像作为标签，构成训练集；
[0054]
将训练集输入时空融合网络模型，采用charbonnier损失函数，以adam优化器来对时空融合网络模型进行反向梯度传播，更新网络模型参数，当达到预设的迭代次数时，从中选取最优的网络模型参数，得到训练好的简化时空融合网络模型
[0055]
与现有技术相比，本发明的优势在于：
[0056]
1、本发明提出了一个包含多源图像非线性映射、图像特征提取和对齐、低分辨率图像特征融合、图像重构、上采样残差叠加的天基遥感图像时空融合架构，以满足独特的重点区域小尺度机动目标动态监测需求；
[0057]
2、本发明将自然视频超分辨处理领域的前沿pcd对齐网络模型、tsa融合网络模型、resblock串联网络模型引入天基遥感图像时空融合处理领域，与当前仅采用简单的基础cnn模型的天基遥感图像时空融合方法相比，能更好地处理复杂场景中小尺度目标的细节结构信息恢复问题，最终在空间分辨率提升4倍的情况下仍能实现对小尺度目标细节结构信息良好的恢复能力；
[0058]
3、本发明将pcd网络模型中的可变形卷积(dconv)简化为串联卷积层(sconv)，在保证算法精度损失很小的情况下，提高了处理效率；同时，提高了算法模型训练稳定性，使得自建天基遥感图像时空融合分辨率增强模型训练成为可能。
附图说明
[0059]
图1是为本发明面向机动目标动态监测的天基遥感图像时空融合方法的流程示意图；
[0060]
图2是本发明的时空融合网络模型示意图；
[0061]
图3是本发明的简化时空融合网络模型示意图；
[0062]
图4是基础5层卷积模型的结构图；
[0063]
图5是pcd对齐网络模型的结构图；
[0064]
图6是sconv串联卷积层的结构图；
[0065]
图7是tsa融合网络模型的结构图；
[0066]
图8是残差块(resblock)的结构图；
[0067]
图9是第1组测试验证实验的结果对比图；其中，图9(a)是待超分辨图像(输入三帧图像中的中间帧图像)，图9(b)是超分辨结果，图9(d)、图9(e)、图9(f)分别是图9(a)、9(b)、9(c)目标区域的放大显示；
[0068]
图10是第2组测试验证实验的结果对比图；，图10(a)是待超分辨图像(输入三帧图像中的中间帧图像)，图10(b)是超分辨结果，图10(d)、图10(e)、图10(f)分别是图10(a)、10(b)、10(c)目标区域的放大显示；
[0069]
图11是本发明实施例3采用时空融合网络模型的系统组成图；
[0070]
图12是本发明实施例4采用简化时空融合网络模型的系统组成图。
具体实施方式
[0071]
本发明提供一种面向机动目标动态监测的天基遥感图像时空融合方法，实现空间分辨率提升4倍情况下对小尺度目标细节结构信息良好的恢复能力，以提高现有天基探测系统面向重点区域机动目标动态监测应用的价值。
[0072]
下面结合附图和实施例对本发明的技术方案进行详细的说明。
[0073]
实施例1
[0074]
如图1所示，本发明的实施例1提出了一种面向机动目标动态监测的天基遥感图像时空融合方法。具体包括：接收第一数据源采集的待测目标区域t时刻的低分辨率遥感图像，以及t时刻前后两个时刻的低分辨率遥感图像；同时接收第二数据源采集的同一目标区域t时刻前后两个时刻的高分辨率遥感图像；将上述五帧遥感图像输入预先建立和训练好的时空融合网络模型，得到t时刻的目标区域高分辨率预测图像；
[0075]
所述时空融合网络模型，用于通过对多源图像进行非线性映射、图像特征提取和对齐、低分辨率图像特征融合、图像重构和上采样残差叠加处理，以实现高分辨率图像的预测；
[0076]
在本发明中，所谓高空间分辨率的范围值为0.31～1.0m，低空间分辨率为1.24～4.0m。
[0077]
本实施例包括天基遥感图像时空融合模型建立、样本数据集构建、模型训练以及模型测试验证4个步骤。
[0078]
第一步、模型建立；
[0079]
模型结构如图2所示。在本发明中，旨在根据输入的数据源1目标时刻t的低分辨率图像l
t
、以及前后时刻t-i和t+i的高-低分辨率(对应图中数据源1和2)图像对{l
t-i
，h
t-i
}、{l
t+i
，h
t+i
}，预测数据源2目标时刻t的高分辨率图像首先，进行多源图像非线性映射，将输入的原始数据源1(低空间分辨率，简称低分辨率)图像{l
t-i
，l
t
，l
t+i
}映射生成得到对
应时刻的具有原始数据源2特性的转换图像同时，将原始数据源2(高空间分辨率)图像高分辨率图像{h
t-i
，h
t+i
}进行下采样处理，得到对应时刻的下采样后的高分辨图像其次，采用复杂卷积神经网络进行图像特征提取和对齐，将上述处理得到的前后时刻t-i和t+i的高-低分辨率图像对与目标时刻t的低分辨率图像依次进行图像特征提取，并与目标时刻的低分辨率图像的特征进行对齐，得到相应的对齐图像特征然后，采用卷积神经网络进行低分辨率图像特征融合，将上述处理得到的5个对齐图像特征进行融合处理，得到t目标时刻数据源2的融合图像特征接着，采用图像重建网络对融合图像特征进行图像重构，t目标时刻的数据源2的重构图像最后，采用残差网络的思路，对重构图像进行上采样残差叠加，将重构图像与目标时刻的转换低分辨率数据源1图像分别进行四倍上采样并相加，最终得到t目标时刻数据源2的高分辨率预测图像所述方法具体包括：
[0080]
s1，多源图像非线性映射。将输入的t-i、t和t+i时刻的原始数据源1(低空间分辨率，简称低分辨率)图像{l
t-i
，l
t
，l
t+i
}进行非线性映射，生成对应时刻具有原始数据源2特性的转换低分辨率数据源1图像具体包括：
[0081]
1.1、采用基础5层卷积神经网络模型(如图4所示)作为多源遥感图像非线性映射模型。cnn可以自动学习特征，把特征提取也归入学习过程中，将特征学习和网络优化有机结合起来，在待处理图像对之间建立端对端映射关系。另外，cnn具有良好的多层次非线性特征表达能力，能够更好地刻画出多源图像特征之间复杂的内在映射关联。因此，采用基础5层卷积神经网络模型可在保证模型复杂度的同时，提高多源遥感图像之间的辐射一致性。
[0082][0083]
其中，f1(
·
)是由5个卷积层组成的一般函数。
[0084]
s2，高分辨率图像下采样。将输入的i-i和t+i时刻的原始数据源2(高空间分辨率，简称高分辨率)图像{h
t-i
，h
t+i
}进行下采样处理，得到对应时刻的下采样后的高分辨图像具体包括：
[0085]
2.1、采用双三次样条(bicubic)下采样方法对输入的t-i和t+i时刻的原始数据源2图像{h
t-i
，h
t+i
}进行下采样处理，
[0086][0087]
其中，downsampling(
·
)是双三次样条下采样函数。
[0088]
s3，图像特征提取和对齐。将上述处理得到的前后时刻的高-低分辨率图像对与目标时刻t的低分辨率图像依次进行图像特征提取，得到相应的图像特征并将前后时刻的高-低分辨率图像的特征与目标时刻的低分辨率图像的特征依次进行对齐，得到相应的对齐图像特征
具体包括：
[0089]
采用金字塔、级联、变形(即pcd)对齐网络模型，使用形变卷积以由粗到细的方式在不同尺度的金字塔特征层级进行帧对齐处理，大大提高像素对齐的精确性。pcd对齐网络模型结构如图5所示。该网络模型首先通过图像金字塔提取3级不同尺度的特征；然后，通过形变卷积将较低尺度的特征与粗略估计对齐；接着，将偏移和对齐特征传播到更高的尺度以便于实现精确的运动补偿；最后，在金字塔各层级对齐操作之后级联额外的形变卷积用来提高最终对齐的鲁棒性。
[0090]
3.1如图5所示，采用pcd对齐网络，对第t+i帧(相邻帧)图像i
t+i
与第t帧(参考帧)图像i
t
进行金字塔特征提取与对齐，得到相邻帧的对齐特征方法是：
[0091]
3.1.1、采用5层残差块作为特征提取网络，对第t+i帧图像i
t+i
进行特征提取，得到第t+i帧图像特征即第1层金字塔特征；如图5中黑色虚线所示，我们采用3层金字塔，即l＝3。
[0092]
3.1.2、采用跳跃卷积滤波器(strided convolution filters)，将金字塔l-1层的特征降采样2倍，得到第l层金字塔的特征表示。据此，我们依次得到第t+i帧图像的第2层、第3层金字塔特征(图5中最左边一列深灰色立方体所示)。
[0093]
3.1.3、同上步骤3.1和3.2，针对第t帧图像i
t
可以得到其3层金字塔特征(图5中第二列浅灰色立方体所示)；
[0094]
3.1.4、在金字塔的各个尺度层级l上，将第t+i帧特征与第t帧特征进行级联；根据级联特征，采用2层卷积操作，根据上1层(即l+1层)的
×
2上采样偏移量，计算得到当前层的偏移量(图5中第三列带offset标注中等灰色立方体所示)：
[0095][0096]
其中，f是由2个卷积层组成的一般函数；[
·
，
·
]表示concat串联操作；(
·
)
↑s表示由因素s决定的上采样；采用双线性插值实现
×
2上采样。
[0097]
当l＝3时，上(3)式简化为：
[0098][0099]
3.1.5、在金字塔的各个尺度层级l上，将第t+i帧的特征与偏移量进行可变形卷积(dconv)；采用多层卷积操作，根据上1层(即l+1层)的
×
2上采样对齐特征计算得到当前层的对齐特征(图5中第四列未带offset标注中等灰色立方体所示)：
[0100][0101]
其中，dconv表示可变形卷积，g是一个具有多个卷积层的一般函数。
[0102]
当l＝3时，上(5)式简化为：
[0103][0104]
3.1.6、将第t帧特征与第t+i帧第1层的对齐特征进行级联获得偏移量δp
t+i
；再将与该偏移量δp
t+i
进行可变形卷积(dconv)，最终计算得到第t+i帧的对齐
特征(图5中右上角标注的aligned features)：
[0105][0106][0107]
3.2按照上述3.1步骤描述的方法，以目标时刻t的低分辨率图像作为参考图像，其余4帧图像作为相邻帧图像，首先，针对参考帧图像，采用pcd对齐网络进行金字塔特征提取，得到其金字塔特征针对4帧相邻图像，分别采用pcd对齐网络进行金字塔特征提取与对齐，得到它们的对齐特征
[0108]
在原始pcd对齐网络中，使用可形变卷积帮助对齐，以增强网络适应特征形变的能力。但其导致了edvr超分辨算法模型在训练时及其不稳定，实验成果难以复现，同样自建遥感图像分辨率增强模型训练无法实现。因此本发明通过将pcd网络模型中的复杂可变形卷积(dconv)简化为串联卷积层(series convolution module，sconv)，在保证算法精度损失很小的情况下，提高了处理效率；同时，提高了算法模型训练稳定性，使得自建遥感图像分辨率增强模型训练成为可能。
[0109]
上述将pcd网络模型中的可变形卷积(dconv)简化为串联卷积层(sconv)，方法是：
[0110]
将上述公式(5)、(6)、(8)中的可变形卷积操作dconv(
·
，
·
)替换为串联卷积操作sconv(
·
，
·
)，串联卷积层的结构如图6所示。
[0111]
s4，图像特征融合。将上述处理得到的5个对齐图像特征s4，图像特征融合。将上述处理得到的5个对齐图像特征进行融合处理，得到t目标时刻数据源2的融合图像特征具体包括：
[0112]
传统算法通常基于先验图像对的遥感图像融合主要基于高通滤波调制进行，与该传统算法相比，基于深度学习网络的算法具有良好的非线性表达能力，能够更好地刻画多帧待融合图像特征之间复杂的内在信息映射关系。因此，本发明引入自然图像/视频超分辨领域的时空注意力(tsa)融合网络模型作为图像特征融合模型。
[0113]
tsa融合模型同时引入时间和空间的注意力机制，有利于更好的利用各帧之间的视觉相关信息、及各帧的跨通道和空间信息，大大提高图像融合的精确性。tsa融合网络模型结构如图7所示。首先，通过时间注意力融合模块(图7上部分)在像素级别动态地融合相邻帧，通过计算参考帧和相邻帧之间的元素级相关性为每一帧分配像素级别的融合权重，以融合相邻帧对齐特征；其次，通过空间注意力融合模块(图7下部分)为每一个通道的每一个像素位置分配权重，去更有效的利用跨通道和空间信息。
[0114]
4.1如图7所示，采用时间注意力融合模块(图7上部分)，将上述图像特征提取和对齐处理得到的5个对齐图像特征齐处理得到的5个对齐图像特征进行融合处理，得到时间注意力融合特征fl
fusion
，方法是：
[0115]
4.1.1对于任一个非目标时刻的对齐图像特征，以为例，计算其与的相似距离
[0116][0117]
其中，和是两个嵌入结构，可以通过简单的卷积过滤器实现。利用
sigmoid激活函数将输出限制在[0，1]，稳定梯度反向传播。对于每个空间位置，时间注意都与特定空间有关，即的空间大小与相同。
[0118]
4.1.2同样，以为例，将与原始对齐图像特征与相似距离以像素的方式进行相乘，得到其时间注意力调节特征
[0119][0120]
4.1.3同上步骤4.1.1和4.1.2，将上述图像特征提取和对齐处理得到的4个非目标时刻的对齐图像特征可以分别计算得到其时间注意力调节特征
[0121]
4.1.4采用一个额外的融合卷积层，对上述5个调节特征进行融合处理，得到时间注意力融合特征fl
fusion
：
[0122][0123]
其中，[
…
，
…
，
…
]表示以元素方式串联，cony_fusion(
·
)表示融合卷积。
[0124]
4.2如图7所示，采用空间注意力融合模块(图7下部分)，将上述时间注意力融合特征fl
fusion
进行融合处理，得到t目标时刻数据源2的融合图像特征
[0125]
s5，图像重构。将上述处理得到的低分辨率融合图像特征进行图像重构，得到t目标时刻的数据源2的重构图像即待预测高分辨图像与原始非线性映射图像之间的低分辨差值图像，具体包括：
[0126]
采用10个残差块(resblock)的串联结构作为重构网络，对进行重构，得到重构图像：
[0127][0128]
其中，表示由10个残差块(resblock)串联的重构网络。残差块(resblock)的结构如图8所示
[0129]
s6，上采样残差叠加。将重构图像以及目标时刻的转换低分辨率数据源1图像分别进行四倍上采样，之后相加，最终得到t目标时刻数据源2的高分辨率预测图像具体包括：
[0130]
6.1采用pixel shuffle上采样算法，将重构图像进行两次双倍上采样；采用双线性插值bilinear上采样算法，对目标时刻的转换低分辨率数据源1图像进行四倍上采样，
[0131][0132][0133]
6.2采用残差网络的思路，将上述2个上采样图像进行相加，最终得到t目标时刻数据源2的高分辨率预测图像
[0134]
[0135]
第二步、样本数据集构建(含训练、验证数据集)；
[0136]
本发明选取数据源1和数据源2的n张配准图像作为原始图像以生成分辨率增强样本数据。高分2号卫星获取数据包括高分辨全色数据(分辨率为0.81m)，低分辨多光谱数据(分辨率为3.24m)，以及全色数据融合得到的高分辨融合数据(分辨率为0.81m)，三种数据之间是配准的。以国内高分2号卫星获取的数据为例，本发明选取数据源1为低分辨多光谱数据，数据源2为高分辨融合数据。原始图像大小范围为1000
×
1000～4000
×
4000。
[0137]
针对上述原始图像，针对低分辨率图像(即低分辨多光谱数据)与真实高分辨率图像(即高分辨融合数据)，分别按照时空融合模型的目的：利用数据源1的3帧连续时刻低分辨率图像和数据源2的前后2帧时刻高分辨率图像实现对中间时刻数据源1图像的分辨率增强，即预测数据源2目标时刻的高分辨率图像。
[0138]
针对上述数据源1和2数据，分别在n张大尺寸图像的基础上，每张图像使用按行平移的方式进行裁剪，以模拟生成若干3帧连续时刻图像作为简化时空融合模型的输入样本。本实施例进行裁剪的目的，主要是由于原始的图像尺寸太大，直接输入到网络模型中去训练会造成网络模型计算量过大，减慢训练速度。
[0139]
对原始图像的裁剪方式为：针对低分辨率图像，将其裁剪为a
×
d大小的图像块；对应的高分辨率图像裁剪为ar
×
dr，其中a和d分别代表着图像块的高度和宽度，本实施例中，将其裁剪为320
×
180大小的图像块，对应的高分辨率图像裁剪为320r
×
180r，r为放大因子，本例中取为4。
[0140]
对原始图像裁剪的按行平移方式为：针对低分辨图像，将每张图像分为高度为180个像素的若干行，在每一行上依次平移4个像素裁剪为宽度为320的图像序列；针对真实高分辨率图像，将每张图像分为高度为180r个像素的若干行，在每一行上依次平移4r个像素裁剪为宽度为320r的图像序列。
[0141]
按照上述处理，本实施例最终生成若干个图像序列，每个图像序列由100张连续图像组成。每个样本数据对由5张模型输入图像和1张模型输出的真实图像组成。5张模型输入图像由数据源1的3帧连续低分辨率图像和数据源2的前后2帧高分辨率图像构成；1张模型输出的真实图像由数据源2的中间帧高分辨率图像构成。
[0142]
基于上述构建的天基遥感数据集，划分出60％作为训练集进行模型训练。其余40％数据作为验证集进行模型验证。
[0143]
第三步、模型训练；
[0144]
s1，初始化时空融合网络模型，包括设置网络模型的初始化参数、训练参数，确定损失函数，选取优化器。
[0145]
s2，训练时空融合网络模型
[0146]
为加速模型收敛，增强训练稳定性，将时空融合模型分为三个阶段进行训练，第一阶段训练多源图像非线性映射部分；第二、三阶段训练除多源图像非线性映射之外的所有部分，第二阶段训练不包含tsa融合模块的其余部分；第三阶段选取第二阶段中损失函数较低的模型作为基础模型，加入tsa融合模块，对整个简化时空融合模型继续进行训练，最终得到最优简化时空融合网络模型。
[0147]
本实施例中，采用随机初始化方法，对时空融合网络模型的所有卷积层权值进行初始化；
[0148]
本发明需要设置的时空融合网络模型的训练参数主要包括：指定训练数据集和验证数据集的路径、指定放大因子r、批数据量b、初始学习率lr0、网络模型训练的迭代次数iter、分辨率增强训练样本图像对中低分辨率图像与真实高分辨率图像的大小、分辨率增强训练样本图像对中输入低分辨率图像的数据源种类及数目。本实施例中，训练4倍分辨率增强网络模型，因此放大因子r设为4；批数据量b设为32；初始学习率lr0设为4
×
10e-4；网络模型训练的迭代次数iter设为600000；分辨率增强训练样本图像对中低分辨率图像大小为320
×
180，而高分辨率图像的大小为320r
×
180r；分辨率增强训练样本图像对中输入低分辨率图像的数据源种类为2，输入低分辨率图像的数目为5。
[0149]
本发明采用charbonnier损失函数来优化时空融合网络模型，charbonnier损失函数的定义如下所示：
[0150][0151]
其中，和h
t
分别表示t时刻预测高分辨率图像和真实高分辨率图像；本实施例中，ε取值为1
×
10-3
。
[0152]
本发明采用adam优化器来对时空融合网络模型进行反向梯度传播，更新网络模型参数。本实施例中，adam优化器的参数设置为：β1＝0.9，β2＝0.999。
[0153]
第四步、模型测试验证；
[0154]
针对上述训练得到的时空融合模型，采用上述自建天基遥感数据集中的验证集对模型的性能进行测试验证。验证集中的一组验证数据由5张模型输入图像和1张模型输出的真实图像组成。将一组验证数据中的5张模型输入图像输入上述训练得到的时空融合模型，即可预测输出一张高分辨率图像。
[0155]
当前图像时空融合分辨率增强效果评估通常采用峰值信噪比和结构相似性两种评价指标，然而，这两种指标并不能很好的反映人类的直观视觉感受，不适用于面向目标检测和属性识别的图像质量评价。因此，本测试验证重点对分辨率增强的结果图像进行可视化展示，更能反映人的直观视觉感受，适用于后续面向目标检测和属性识别的图像质量评价。即将模型输出的高分辨率图像与验证数据中的输出的真实图像进行对比显示，通过人工判别二者的相似性来评价时空融合网络模型的可靠性。
[0156]
实施例2
[0157]
本发明的实施例2提出了一种面向机动目标动态监测的天基遥感图像时空融合方法。与实施例1的区别在于，采用简化时空融合网络模型，不需要第二数据源。由于当前实际应用中受卫星发射条件的限制，对于同一区域，很难同时获得不同卫星的图像对(即多源遥感影像对)，于是针对上述本发明时空融合模型，本发明扩展了一种简化处理模式，利用同一卫星平台获取的目标时刻、以及前后时刻低分辨率图像，实现对中间时刻图像的高分辨率图像预测，即分辨率增强。
[0158]
本发明具体包括：
[0159]
接收第一数据源采集的待测目标区域t时刻的低分辨率遥感图像，以及t时刻前后两个时刻的低分辨率遥感图像；
[0160]
将第一数据源采集的三帧遥感图像输入预先建立和训练好的简化时空融合网络模型，得到t时刻的目标区域高分辨率预测图像；
[0161]
所述简化时空融合网络模型，用于通过对多源图像进行图像特征提取和对齐、低分辨率图像特征融合、图像重构和上采样残差叠加处理，以实现高分辨率图像的预测。
[0162]
本实施例包括天基遥感图像时空融合模型建立、样本数据集构建、模型训练以及模型测试验证4个步骤。简化工作模式的网络模型具体如图3所示。
[0163]
另外，样本数据集构建、模型训练以及模型测试验证部分与实际验证数据息息相关，因此按照简化工作模式进行描述。所述简化时空融合网络的输入为目标时刻t的低分辨率图像l
t
、以及前后时刻t-i和t+i的低分辨率图像{l
t-i
,l
t+i
}，输出为目标时刻t的高分辨率图像
[0164]
第一步、模型建立；
[0165]
简化时空融合网络模型结构如图3所示，模型包括图像特征提取和对齐模块、图像特征融合模块、图像重构模块和上采样残差叠加模块。
[0166]
所述方法具体包括：
[0167]
s1，图像特征提取和对齐。将输入的t-i、t和t+i时刻的低分辨率图像{l
t-i
,l
t
,l
t+i
}依次进行图像特征提取，得到相应的图像特征并将前后时刻的图像特征与目标时刻的低分辨率图像的特征依次进行对齐，得到相应的对齐图像特征具体包括：
[0168]
采用金字塔、级联、变形(即pcd)对齐网络模型，使用形变卷积以由粗到细的方式在不同尺度的金字塔特征层级进行帧对齐处理，大大提高像素对齐的精确性。pcd对齐网络模型结构如图5所示。该网络模型首先通过图像金字塔提取3级不同尺度的特征；然后，通过形变卷积将较低尺度的特征与粗略估计对齐；接着，将偏移和对齐特征传播到更高的尺度以便于实现精确的运动补偿；最后，在金字塔各层级对齐操作之后级联额外的形变卷积用来提高最终对齐的鲁棒性。
[0169]
1.1如图5所示，采用pcd对齐网络，对第t+i帧(相邻帧)图像i
t+i
与第t帧(参考帧)图像i
t
进行金字塔特征提取与对齐，得到相邻帧的对齐特征方法是：
[0170]
1.1.1、采用5层残差块作为特征提取网络，对第t+i帧图像i
t+i
进行特征提取，得到第t+i帧图像特征即第1层金字塔特征；如图5中黑色虚线所示，我们采用3层金字塔，即l＝3。
[0171]
1.1.2、采用跳跃卷积滤波器(strided convolution filters)，将金字塔l-1层的特征降采样2倍，得到第l层金字塔的特征表示。据此，我们依次得到第t+i帧图像的第2层、第3层金字塔特征(图5中最左边一列深灰色立方体所示)。
[0172]
1.1.3、同上步骤3.1和3.2，针对第t帧图像i
t
可以得到其3层金字塔特征(图5中第二列浅灰色立方体所示)；
[0173]
1.1.4、在金字塔的各个尺度层级l上，将第t+i帧特征与第t帧特征进行级联；根据级联特征，采用2层卷积操作，根据上1层(即l+1层)的
×
2上采样偏移量，计算得到当前层的偏移量(图5中第三列标注offset的中等灰色立方体所示)：
[0174]
[0175]
其中，f是由2个卷积层组成的一般函数；[
·
，
·
]表示concat串联操作；(
·
)
↑s表示由因素s决定的上采样；采用双线性插值实现
×
2上采样。
[0176]
当l＝3时，上(3)式简化为：
[0177][0178]
1.1.5、在金字塔的各个尺度层级l上，将第t+i帧的特征与偏移量进行可变形卷积(dconv)；采用多层卷积操作，根据上1层(即l+1层)的
×
2上采样对齐特征计算得到当前层的对齐特征(图5中第四列未标注offset的中等灰色立方体所示)：
[0179][0180]
其中，dconv表示可变形卷积，g是一个具有多个卷积层的一般函数。
[0181]
当l＝3时，上(5)式简化为：
[0182][0183]
1.1.6、将第t帧特征与第t+i帧第1层的对齐特征进行级联获得偏移量δp
t+i
；再将与该偏移量δp
t+i
进行可变形卷积(dconv)，最终计算得到第t+i帧的对齐特征(图5中右上角标注的aligned features)：
[0184][0185][0186]
1.2按照上述1.1步骤描述的方法，以目标时刻t的低分辨率图像l
t
作为参考图像，其余2帧图像{l
t-i
，l
t+i
}作为相邻帧图像，首先，针对参考帧图像，采用pcd对齐网络进行金字塔特征提取，得到其金字塔特征针对2帧相邻图像，分别采用pcd对齐网络进行金字塔特征提取与对齐，得到它们的对齐特征
[0187]
在原始pcd对齐网络中，使用可形变卷积帮助对齐，以增强网络适应特征形变的能力。但其导致了edvr超分辨算法模型在训练时及其不稳定，论文成果难以复现，同样自建遥感图像分辨率增强模型训练无法实现。因此本发明通过将pcd网络模型中的复杂可变形卷积(dconv)简化为串联卷积层(series convolution module，sconv)，在保证算法精度损失很小的情况下，提高了处理效率；同时，提高了算法模型训练稳定性，使得自建遥感图像分辨率增强模型训练成为可能。
[0188]
上述将pcd网络模型中的可变形卷积(dconv)简化为串联卷积层(sconv)，方法是：
[0189]
将上述公式(5)、(6)、(8)中的可变形卷积操作dconv(
·
，
·
)替换为串联卷积操作sconv(
·
，
·
)，串联卷积层的结构如图6所示。
[0190]
s2，图像特征融合。将上述处理得到的3个对齐图像特征进行融合处理，得到t目标时刻融合图像特征具体包括：
[0191]
传统基于先验图像对的遥感图像融合主要基于高通滤波调制进行。与该传统算法相比，基于深度学习网络的算法具有良好的非线性表达能力，能够更好地刻画多帧待融合图像特征之间复杂的内在信息映射关系。因此，本发明引入自然图像/视频超分辨领域的时
空注意力(tsa)融合网络模型作为图像特征融合模型。
[0192]
tsa融合模型同时引入时间和空间的注意力机制，有利于更好的利用各帧之间的视觉相关信息、及各帧的跨通道和空间信息，大大提高图像融合的精确性。tsa融合网络模型结构如图7所示。首先，通过时间注意力融合模块(图7上部分)在像素级别动态地融合相邻帧，通过计算参考帧和相邻帧之间的元素级相关性为每一帧分配像素级别的融合权重，以融合相邻帧对齐特征；其次，通过空间注意力融合模块(图7下部分)为每一个通道的每一个像素位置分配权重，去更有效的利用跨通道和空间信息。
[0193]
2.1如图7所示，采用时间注意力融合模块(图7上部分)，将上述图像特征提取和对齐处理得到的3个对齐图像特征进行融合处理，得到时间注意力融合特征fl
fusion
，方法是：
[0194]
2.1.1对于任一个非目标时刻的对齐图像特征，以为例，计算其与的相似距离
[0195][0196]
其中，和是两个嵌入结构，可以通过简单的卷积过滤器实现。利用sigmoid激活函数将输出限制在[0，1]，稳定梯度反向传播。对于每个空间位置，时间注意都与特定空间有关，即的空间大小与相同。
[0197]
2.1.2同样，以为例，将与原始对齐图像特征与相似距离以像素的方式进行相乘，得到其时间注意力调节特征
[0198][0199]
2.1.3同上步骤2.1.1和2.1.2，将上述图像特征提取和对齐处理得到的2个非目标时刻的对齐图像特征可以分别计算得到其时间注意力调节特征
[0200]
2.1.4采用一个额外的融合卷积层，对上述3个调节特征进行融合处理，得到时间注意力融合特征fl
fusion
：
[0201][0202]
其中，[
…
，
…
，
…
]表示以元素方式串联，cony_fusion(
·
)表示融合卷积。
[0203]
2.2如图7所示，采用空间注意力融合模块(图7下部分)，将上述时间注意力融合特征fl
fusion
进行融合处理，得到t目标时刻的融合图像特征
[0204]
s3，图像重构。将上述处理得到的低分辨率融合图像特征进行图像重构，得到t目标时刻的重构图像即待预测高分辨图像与原始图像之间的低分辨差值图像，具体包括：
[0205]
采用10个残差块(resblock)的串联结构作为重构网络，对进行重构，得到重构图像：
[0206][0207]
其中，表示由10个残差块(resblock)串联的重构网络。残差块
(resblock)的结构如图8所示
[0208]
s4，上采样残差叠加。将重构图像以及目标时刻的原始低分辨率图像l
t
分别进行四倍上采样，之后相加，最终得到t目标时刻的高分辨率预测图像具体包括：
[0209]
4.1采用pixel shuffle上采样算法，将重构图像进行两次双倍上采样；采用双线性插值bilinear上采样算法，对目标时刻的原始低分辨率图像l
t
进行四倍上采样，
[0210][0211][0212]
4.2采用残差网络的思路，将上述2个上采样图像进行相加，最终得到t目标时刻的高分辨率预测图像
[0213][0214]
第二步、样本数据集构建(含训练、验证数据集)；
[0215]
如上所述，本实施例的样本数据集构建按照时空融合简化工作模式进行描述。
[0216]
本发明选取481张天基遥感图像作为原始图像以生成分辨率增强样本图像对。原始图像来源于googleearth上的worldview-3、worldview-2、geoeye-1等卫星获取的天基遥感数据；原始图像大小范围为1000
×
1000～4000
×
4000，空间分辨率范围为0.31～0.6m。
[0217]
针对上述原始图像，首先，采用双三次样条4倍下采样处理，得到低分辨率图像(lr)与真实高分辨率图像(hr)构成的分辨率增强样本图像对；其次，针对低分辨率图像与真实高分辨率图像，分别按照简化时空融合模型的目的：利用同一卫星平台获取的3帧连续时刻低分辨率图像实现对中间时刻图像的分辨率增强，在481张大尺寸图像的基础上，每张图像使用按行平移的方式进行裁剪，以模拟生成若干3帧连续时刻图像作为简化时空融合模型的输入样本。本实施例进行裁剪的目的，主要是由于原始的图像尺寸太大，直接输入到网络模型中去训练会造成网络模型计算量过大，减慢训练速度。
[0218]
对原始图像的裁剪方式为：针对低分辨率图像，将其裁剪为a
×
d大小的图像块；对应的高分辨率图像裁剪为ar
×
dr，其中a和d分别代表着图像块的高度和宽度，本实施例中，将其裁剪为320
×
180大小的图像块，对应的高分辨率图像裁剪为320r
×
180r，r为放大因子，本例中取为4。
[0219]
对原始图像裁剪的按行平移方式为：针对低分辨图像，将每张图像分为高度为180个像素的若干行，在每一行上依次平移4个像素裁剪为宽度为320的图像序列；针对真实高分辨率图像，将每张图像分为高度为180r个像素的若干行，在每一行上依次平移4r个像素裁剪为宽度为320r的图像序列。
[0220]
按照上述处理，本实施例最终生成524个图像序列，每个图像序列由100张连续图像组成。
[0221]
基于上述构建的天基遥感数据集，划分出60％作为训练集进行模型训练。其余40％数据作为验证集进行模型验证。
[0222]
第三步、模型训练；
[0223]
如上所述，本实施例的模型训练，采用上述构建的样本数据集，按照时空融合简化工作模式进行描述。
[0224]
s1，初始化简化时空融合网络模型，包括设置网络模型的初始化参数、训练参数，确定损失函数，选取优化器。
[0225]
本实施例中，采用随机初始化方法，对简化时空融合网络模型的所有卷积层权值进行初始化；
[0226]
本发明需要设置的简化时空融合网络模型的训练参数主要包括：指定训练数据集和验证数据集的路径、指定放大因子r、批数据量b、初始学习率lr0、网络模型训练的迭代次数iter、分辨率增强训练样本图像对中低分辨率图像与真实高分辨率图像的大小、分辨率增强训练样本图像对中输入低分辨率图像的数据源种类及数目。本实施例中，训练4倍分辨率增强网络模型，因此放大因子r设为4；批数据量b设为32；初始学习率lr0设为4
×
10e-4；网络模型训练的迭代次数iter设为600000；分辨率增强训练样本图像对中低分辨率图像大小为320
×
180，而高分辨率图像的大小为320r
×
180r；分辨率增强训练样本图像对中输入低分辨率图像的数据源种类为1，输入低分辨率图像的数目为3。
[0227]
本发明采用charbonnier损失函数来优化简化时空融合网络模型，charbonnier损失函数的定义如下所示：
[0228][0229]
其中，和h
t
分别表示t时刻预测高分辨率图像和真实高分辨率图像；本实施例中，ε取值为1
×
10-3
。
[0230]
本发明采用adam优化器来对简化时空融合网络模型进行反向梯度传播，更新网络模型参数。本实施例中，adam优化器的参数设置为：β1＝0.9，β2＝0.999。
[0231]
s2，训练简化时空融合网络模型
[0232]
为加速模型收敛，增强训练稳定性，将简化时空融合模型分为两个阶段进行训练，第一阶段训练不包含tsa融合模块的其余部分。第二阶段选取第一阶段中损失函数较低的模型作为基础模型，加入tsa融合模块，对整个简化时空融合模型继续进行训练，最终得到最优简化时空融合网络模型。
[0233]
第四步、模型测试验证；
[0234]
如上所述，本实施例的模型测试验证，针对上述训练得到的简化时空融合模型，按照时空融合简化工作模式进行描述。
[0235]
针对上述训练得到的最优简化时空融合模型，采用上述自建天基遥感数据集中的验证集对模型的性能进行测试验证。验证集的真实高分辨率数据为worldview-2卫星获取的日本冲绳-嘉手纳空军基地的停机坪区域(主要包含飞机目标)的航天遥感图像。
[0236]
当前图像时空融合分辨率增强效果评估通常采用峰值信噪比和结构相似性两种评价指标，然而，这两种指标并不能很好的反映人类的直观视觉感受，不适用于面向目标检测和属性识别的图像质量评价。因此，本测试验证重点对分辨率增强的结果图像进行可视化展示，更能反映人的直观视觉感受，适用于后续面向目标检测和属性识别的图像质量评价。
[0237]
本实施例从上述验证集中选取2组数据开展了测试验证实验。2组实验的原始输入低分辨率图像的分辨率分别为：1.28m和2.14m，实验结果分别如图9(a)-(f)和图10(a)-(f)所示。图中从左到右依次为：待超分辨图像(输入三帧图像中的中间帧图像)、超分辨结果、
真实值；从上到下为完整图像、目标区域的放大显示。实验结果表明：对于1m～2m分辨的天基遥感数据，4倍超分辨处理可显著还原飞机目标的细节结构信息，显著提升1m～2m级分辨率遥感数据的应用价值。
[0238]
实施例3
[0239]
如图11所示，本发明的实施例3提供了一种面向机动目标动态监测的天基遥感图像时空融合系统，基于实施例1的方法实现，采用时空融合网络模型，该系统包括：
[0240]
接收模块，用于接收第一数据源采集的待测目标区域t时刻的低分辨率遥感图像，以及t时刻前后两个时刻的低分辨率遥感图像；还用于同时接收第二数据源采集的同一目标区域t时刻前后两个时刻的高分辨率遥感图像；将上述五帧遥感图像输入预先建立和训练好的时空融合网络模型；
[0241]
时空融合网络模型，用于通过对多源图像进行非线性映射、结合对第二数据源的下采样，进行图像特征提取和对齐、低分辨率图像特征融合、图像重构和上采样残差叠加处理，以实现高分辨率图像的预测，输出t时刻的目标区域高分辨率预测图像。
[0242]
其中时空融合网络模型具体包括：
[0243]
多源图像非线性映射模块，用于将输入的t-i、t和t+i时刻的原始数据源1图像{l
t-i
，l
t
，l
t+i
}进行非线性映射，生成得到对应时刻的具有原始第二数据源特性的转换低分辨率数据源1图像
[0244]
高分辨率图像下采样模块，用于将输入的t-i和t+i时刻的原始第二数据源(高分辨率)图像{h
t-i
，h
t+i
}进行下采样处理，得到对应时刻的下采样后的高分辨图像
[0245]
图像特征提取和对齐模块，用于将上述处理得到的前后时刻的高-低分辨率图像对与目标时刻t的低分辨率图像依次进行图像特征提取与对齐，得到相应的对齐图像特征
[0246]
图像特征融合模块，用于将上述处理得到的5个对齐图像特征进行融合处理，得到t目标时刻第二数据源的融合图像特征
[0247]
图像重构模块，用于将上述处理得到的低分辨率融合图像特征进行图像重构，得到t目标时刻的第二数据源的重构图像即待预测高分辨图像与原始非线性映射图像之间的低分辨差值图像；
[0248]
上采样残差叠加模块，用于将重构图像以及目标时刻的转换低分辨率数据源1图像分别进行四倍上采样，之后相加，最终得到t目标时刻第二数据源的高分辨率预测图像
[0249]
实施例4
[0250]
如图12所示，本发明的实施例4提供了一种面向机动目标动态监测的天基遥感图像时空融合系统，基于实施例2的方法实现，采用简化时空融合网络模型，该系统包括：
[0251]
接收模块，用于接收第一数据源采集的待测目标区域t时刻的低分辨率遥感图像，
以及t时刻前后两个时刻的低分辨率遥感图像；并将输入预先建立和训练好的简化时空融合网络模型；
[0252]
所述简化时空融合网络模型，用于通过对多源图像进行图像特征提取和对齐、低分辨率图像特征融合、图像重构和上采样残差叠加处理，以实现高分辨率图像的预测，输出t时刻的目标区域高分辨率预测图像。简化时空融合网络模型具体包括：
[0253]
图像特征提取和对齐模块，用于将输入的t-i、t和t+i时刻的低分辨率图像{l
t-i
，l
t
，l
t+i
}依次进行图像特征提取，得到相应的图像特征并将前后时刻的图像特征与目标时刻的低分辨率图像的特征依次进行对齐，得到相应的对齐图像特征
[0254]
图像特征融合模块，用于将3个对齐图像特征进行融合处理，得到目标时刻t的融合图像特征
[0255]
图像重构模块，用于将低分辨率融合图像特征进行图像重构，得到目标时刻t的重构图像
[0256]
上采样残差叠加模块，用于将重构图像以及目标时刻t的低分辨率图像l
t
分别进行四倍上采样，再相加，得到目标时刻t的高分辨率预测图像
[0257]
最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。