一种基于多模态深度学习的多源遥感降雨数据融合方法

1.本发明涉及多源遥感降雨产品融合技术领域，尤其涉及一种基于多模态深度学习的多源遥感降雨数据融合方法。


背景技术：

2.降雨是水循环的重要组成部分，受全球气候变暖和高强度人类活动的影响，降雨时空分布特征发生了显著变化。获取高精度的区域降雨数据，已逐渐成为大气科学、地理学和水文学等领域广泛关注的问题。
3.地面站点实测、天气雷达探测和卫星遥感监测是当前主流的降水观测方式。地面气象站点在点尺度上观测精度较高，观测方式直接，但易受站网密度及其空间分布的制约。天气雷达探测会受外界环境和自身信号干扰产生系统误差。卫星遥感可获取连续时间序列和大空间范围的降雨，能够反映降雨的空间分布特征，具有良好的实时性和覆盖性。由于遥感器、反演模型算法的不同，各种卫星遥感降水产品在同一区域的精度不尽相同，如何融合不同卫星降雨产品的优势，获取高精度的降雨数据，对于水资源管理和水文模拟至关重要。
4.当前，尽管多源遥感降雨数据融合已经取得了一些的进展，但现有方法多针对不同卫星降雨数据中单一模态信息特征进行融合，忽视了不同卫星降雨产品不同模态样本特征的差异。多模态深度学习在多学科交叉领域中有着巨大的应用潜力，当前多模态深度学习已应用到视听语音识别、图文情感分析、协同标注、匹配和分类、对齐表示学习等多个方面。构建一种基于多模态深度学习的多源遥感降雨数据融合方法，有效捕捉不同卫星降雨产品的优势模态特征，利用多模态之间的互补性获取高精度的降雨数据是目前本领域技术人员等亟需解决的问题。


技术实现要素：

5.本发明的目的在于提供一种基于多模态深度学习的多源遥感降雨数据融合方法，旨在通过多模态深度学习方法融合不同降雨产品的多模态信息，利用多模态之间的互补性，有效获取不同卫星降雨产品模态信息的优点，从而学习到更好的信息特征，融合提升降雨数据的精度。
6.为实现上述目的，本发明提供如下技术方案：
7.一种基于多模态深度学习的多源遥感降雨数据融合方法，包括以下几个步骤：
8.步骤一、搜集研究区数据：收集多源遥感降雨数据和地面气象站实测降雨数据；所述多源遥感降雨数据包括gpm遥感降雨数据、cmorph卫星遥感降雨数据、persiann卫星遥感降雨数据以及trmm卫星遥感降雨数据；所述地面气象站降雨数据为日尺度的实测降雨数据；
9.步骤二、数据预处理：包括空间重采样、多模态样本数据提取以及空间关系匹配；所述空间重采样为对所述多源遥感降雨数据进行处理，使得所述多源遥感降雨数据的空间分辨率一致；所述多模态样本数据提取为从所述多源遥感降雨数据中提取图像栅格空间模
态样本数据、数据矩阵模态样本数据以及时间序列模态样本数据；所述空间关系匹配为将提取的多模态样本数据与地面气象站降雨数据通过地理点位坐标相匹配生成多模态样本数据集；
10.步骤三、基于多模态深度学习方法构建多源遥感降雨数据融合模型：包括多模态样本数据特征学习以及多源降雨数据决策融合。
11.所述多模态样本数据特征学习指对步骤二中所述的多模态样本数据集，基于不同深度学习方法学习不同模态的样本数据特征；所述的不同深度学习方法学习不同模态的数据特征包括：利用卷积神经网络模型学习图像栅格空间模态样本数据特征、利用多层感知机学习数据矩阵模态样本数据特征和利用长短期记忆网络模型学习时间序列模态样本数据特征；
12.所述多源降雨数据决策融合指利用多层全连接神经网络将通过所述多模态样本数据特征学习得到的多模态样本数据特征进行融合。
13.步骤四、多源降雨数据融合效果评估：利用精度评估指标对融合后的降雨数据进行精度评估。
14.进一步的是，步骤二中所述的数据空间重采样具体为采用双线性内插方法将空间分辨率为0.25
°
的cmorph卫星遥感降雨数据、persiann卫星遥感降雨数据以及trmm卫星遥感降雨数据处理为空间分辨率为0.1
°
的降雨数据，与所述gpm遥感降雨数据的空间分辨率0.1
°
一致。
15.进一步的是，步骤二中所述的提取图像栅格空间模态样本数据具体为：基于日尺度gpm遥感降雨数据，提取以气象站点为中心的3
×
3的栅格数据集，每个栅格的空间分辨率为0.3
°×
0.3
°
。
16.进一步的是，步骤二中所述的提取矩阵模态样本数据是联合空间重采样后的cmorph卫星遥感降雨数据、persiann卫星遥感降雨数据和trmm卫星遥感降雨数据，以栅格中心点为基准，选择与气象站点所在经纬度最接近的卫星栅格数值作为此站点对应的卫星产品降雨数据，每个气象站点对应的三个不同卫星产品降雨数据可组成1
×
3的矩阵数据。
17.进一步的是，步骤二中所述的提取时间序列模态样本数据具体为基于时间分辨率为0.5小时的gpm遥感降雨数据，提取与气象站点所在经纬度最近的卫星栅格每日降雨时间序列样本数据，组成48
×
1的时间序列。
18.进一步的是，步骤三中所述的卷积神经网络模型包括卷积层、池化层以及flatten层，所述利用卷积神经网络模型学习图像栅格空间模态样本数据特征的具体过程为在所述卷积层进行模态特征提取后，将提取得到的特征图传递到所述池化层进行特征选择，最后所述flatten层将高维的特征向量转换成一维特征向量，具体公式为：
[0019][0020]
式(1)中表示第i层第j个特征图在(x,y)位置的值；relu为每层的激活函数；b
ij
为第i层第j个特征图的偏差；m是第i-1层的特征图的索引；是在位置(x,y)的卷积核，该卷积核连接第i-1层的第m个特征图和第i层的第j个特征图；pi,qi分别为卷积核的高和宽；p,q分别代表卷积的步长。
[0021]
进一步的是，步骤三中所述的利用多层感知机学习矩阵模态样本数据特征的具体公式为：
[0022][0023]
式(2)中featurevetor
t
为第t日矩阵模态样本数据中的特征向量；为从l-1层第k个神经元与l层第z个神经元之间的连接权重；为第l层第z个神经元的偏置；xz为第z输入变量，l为神经网络层数。
[0024]
进一步的是，步骤三中所述的利用长短期记忆模型学习时间序列模态样本数据特征具体过程为将时间序列模态的时间序列样本输入到具有多个隐藏层的长短期记忆模型记忆神经单元中循环连接，然后连接一个全连接层并输出特征值，长短期记忆模型记忆神经单元的具体公式为：
[0025][0026]
式(3)中i
t
为输入门；f
t
为遗忘门；o
t
为输出门；σ为sigmoidal函数；x
t
为时间步长t输入变量；ui,uf,uc,uo,vi,vf,vc,vo为神经网络的权重；ki,kf,kc,ko为神经网络偏偏差向量；c
t
,c
t-1
分别为当前时间步长t和上一时间步长t-1的记忆单元状态；h
t
,h
t-1
分别为当前时间步长t和上一时间步长t-1的隐藏状态；
[0027]
所述连接一个全连接层并输出特征值的具体公式为：
[0028]
featurevector
t
＝f(h
t
,h
t-1
,h
t-2
…
)
ꢀꢀꢀ
(4)
[0029]
式(4)中featurevector
t
为第t日时间序列模态样本数据特征的特征向量。f为全连层函数，h
t
,h
t-1
,h
t-2
分别为长短期记忆网络模型在t、t-1和t-2时刻的隐藏状态。
[0030]
进一步的是，步骤三中所述的多源降雨数据融合具体为采用一个concatenate层对从图像栅格模态、矩阵模态、时间序列模态提取的多个特征向量进行拼接，然后输入到全连接层进行融合并输出融合后的降雨数据，决策融合的形式化公式为：
[0031]
p
i,t
＝f(featuremap(model1),featurevector(model2),featurevector(model3))
ꢀꢀꢀ
(5)
[0032]
式(5)中，p
i,t
为第i个站点、第t日的降雨数据；f为concatenate层函数，featuremap(model1)为model1模态数据提取的特征向量；featurevector(model2)为model2模态数据提取的特征向量；featurevector(model3)为model3模态数据提取的特征向量；model1为图像栅格空间模态；model2为数据矩阵模态；model3为时间序列模态。
[0033]
进一步的是，步骤四中所述的评估指标包括皮尔逊相关系数r、均方根误差rmse、平均绝对误差mae、探测率pod、误报率far和公正先兆评分ets的一个或多个。
[0034]
其中，皮尔逊相关系数r的具体公式为：
[0035][0036]
均方根误差rmse的具体公式为：
[0037][0038]
平均绝对误差mae的具体公式为：
[0039][0040]
探测率pod的具体公式为：
[0041][0042]
误报率far的具体公式为：
[0043][0044]
公正先兆评分ets的具体公式为：
[0045][0046]
其中，n为研究区气象站点个数，gi代表气象站点实测降雨数据，其平均值为yi代表卫星降雨产品对应降雨数据，其平均值为以0.1mm/d，10mm/d，25mm/d和50mm/d分别作为“产生降雨”、“小雨”、“中雨”和“大雨”的阈值ε，h表示观测到降雨并且卫星产品探测到降雨事件，m表示卫星降雨产品未探测到的降雨事件，f表示卫星降雨产品探测到降雨事件，但是没有观测到，z表示卫星降雨产品未探测到且站点未观测到降雨的事件，其中降雨事件指超过阈值的降雨。
[0047]
本发明的有益效果是：
[0048]
本发明提出了一种基于多模态深度学习的多源遥感降雨数据融合方法，可以有效捕捉不同遥感降雨数据的多模态信息特征，包括图像栅格空间模态、数据矩阵模态以及时间序列模态的数据特征，利用多模态之间的互补性，剔除模态间的冗余性，学习到更好的特征表达。同时本发明所述方法基于多种深度学习算法，具有更强的泛化能力，进一步提升了多源降雨数据融合后所得降雨数据的精度，对于我国旱涝灾害预报预警、水资源开发与合理利用具有重要意义。
[0049]
下面结合附图及具体实施方式对本发明作进一步详细说明。
附图说明
[0050]
下面结合附图和实施例对本发明作进一步说明。
[0051]
图1是本发明方法的流程图；
[0052]
图2是本发明方法实施例的技术路线图；
[0053]
图3是本发明实施例中多模态样本数据提取原理图；
[0054]
图4是本发明实施例中多源遥感降雨数据融合示意图。
具体实施方式
[0055]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图和表，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0056]
实施例一
[0057]
本实施例以某流域为具体案例区域，以获取流域高精度的日尺度降雨数据为研究目标，对本发明所述方法的具体应用作进一步说明。
[0058]
本实施例公开一种基于多模态深度学习的多源遥感降雨数据融合方法，包括以下几个步骤(如图1)：
[0059]
步骤一、搜集研究区数据：收集流域多源遥感降雨数据和地面气象站实测降雨数据；如图2所示，所述多源遥感降雨数据包括gpm遥感降雨数据、cmorph卫星遥感降雨数据、persiann卫星遥感降雨数据以及trmm卫星遥感降雨数据；所述地面气象站降雨数据其中gpm遥感降雨数据为gpm imerg final run v06b level 3数据产品，时间分辨率分别为0.5小时和日，空间分辨率为0.1
°
；cmorph卫星遥感降雨数据为cmorph version 1.0降雨数据产品，时间分辨率为日尺度，空间分辨率为0.25
°
；persiann卫星遥感降雨数据为persiann_cdr version 1.0降雨数据产品，时间分辨率为日尺度，空间分辨率为0.25
°
；trmm卫星遥感降雨数据为level 3trmm3b42v7数据产品，时间分辨率日，空间分辨率为0.25
°
。
[0060]
步骤二、数据预处理：包括空间重采样、多模态样本数据提取以及空间关系匹配；所述空间重采样为采用双线性内插方法将空间分辨率为0.25
°
的cmorph卫星遥感降雨数据、persiann卫星遥感降雨数据以及trmm卫星遥感降雨数据处理为空间分辨率为0.1
°
的降雨数据；如图2所示，所述多模态样本数据提取为从所述多源遥感降雨数据中提取图像栅格空间模态(模态1)样本数据、数据矩阵模态(模态2)样本数据以及时间序列模态(模态3)样本数据；所述空间关系匹配为将提取的多模态样本数据与地面气象站降雨数据通过地理点位坐标相匹配获取多模态样本数据集。
[0061]
如图3所示，其中提取图像栅格空间模态样本数据的具体方式为：利用时间分辨率为日尺度的gpm遥感降雨数据，为每一个气象站点提取一个以气象站点为中心的子栅格数据，每个子栅格的空间分辨率为0.3
°×
0.3
°
。
[0062]
提取矩阵模态样本数据的具体方式为：联合空间重采样后的cmorph卫星遥感降雨数据、persiann卫星遥感降雨数据和trmm卫星遥感降雨数据，以栅格中心点为基准，选择与气象站点所在经纬度最接近的卫星栅格数值作为此站点对应的卫星产品降雨数据，每个气象站点对应的三个不同卫星产品降雨数据可组成1
×
3的矩阵数据。
[0063]
提取时间序列模态样本数据具体方式为：基于时间分辨率为0.5小时的gpm遥感降雨数据，提取与气象站点所在经纬度最近的卫星栅格每日降雨时间序列样本数据，组成48
×
1的时间序列。
[0064]
步骤三、基于多模态深度学习方法构建多源遥感降雨数据融合模型，如图4所示：利用卷积神经网络模型(cnn)学习图像栅格模态样本数据特征、利用多层感知机(mlp)学习矩阵模态样本数据特征、利用长短期记忆模型(lstm)学习时间序列模态样本数据特征；
[0065]
具体的，卷积神经网络模型包括卷积层、池化层以及flatten层，所述利用卷积神经网络模型学习图像栅格空间模态样本数据特征的具体过程为在所述卷积层进行模态特征提取后，将提取得到的特征图传递到所述池化层进行特征选择，最后所述flatten层将高维的特征向量转换成一维特征向量，具体公式为：
[0066][0067]
式(1)中表示第i层第j个特征图在(x,y)位置的值；relu为每层的激活函数；b
ij
为第i层第j个特征图的偏差；m是第i-1层的特征图的索引；是在位置(x,y)的卷积核，该卷积核连接第i-1层的第m个特征图和第i层的第j个特征图；pi,qi分别为卷积核的高和宽；p,q分别代表卷积的步长。
[0068]
其中利用多层感知机学习矩阵模态样本数据特征的具体公式为：
[0069][0070]
式(2)中featurevetor
t
为第t日矩阵模态样本数据中的特征向量；为从l-1层第k个神经元与l层第z个神经元之间的连接权重；为第l层第z个神经元的偏置；xz为第z输入变量，l为神经网络层数。
[0071]
利用长短期记忆模型(lstm)学习时间序列模态样本数据特征具体过程为将时间序列模态的时间序列样本输入到具有多个隐藏层的长短期记忆模型记忆神经单元中循环连接，然后连接一个全连接层并输出特征值，长短期记忆模型记忆神经单元的具体公式为：
[0072][0073]
式(3)中i
t
为输入门；f
t
为遗忘门；o
t
为输出门；σ为sigmoidal函数；x
t
为时间步长t输入变量；ui,uf,uc,uo,vi,vf,vc,vo为神经网络的权重；ki,kf,kc,ko为神经网络偏偏差向量；c
t
,c
t-1
分别为当前时间步长t和上一时间步长t-1的记忆单元状态；h
t
,h
t-1
分别为当前时间步长t和上一时间步长t-1的隐藏状态；
[0074]
所述连接一个全连接层并输出特征值的具体公式为：
[0075]
featurevector
t
＝f(h
t
,h
t-1
,h
t-2
…
)
ꢀꢀꢀ
(4)
[0076]
式(4)中featurevector
t
为第t日时间序列模态样本数据特征的特征向量。f为全连层函数，h
t
,h
t-1
,h
t-2
分别为长短期记忆网络模型在t、t-1和t-2时刻的隐藏状态。
[0077]
本实施例的决策融合具体为采用一个concatenate层对从图像栅格模态、矩阵模态、时间序列模态提取的多个特征向量进行拼接，然后输入到全连接层进行融合并输出融合后的降雨数据，决策融合的形式化公式为：
[0078]
p
i,t
＝f(featuremap(model1),featurevector(model2),featurevector(model3))
ꢀꢀꢀ
(5)
[0079]
式(5)中，p
i,t
为第i个站点、第t日的降雨数据；f为concatenate层函数，featuremap(model1)为model1模态数据提取的特征向量；featurevector(model2)为model2模态数据提取的特征向量；featurevector(model3)为model3模态数据提取的特征向量；model1为图像栅格空间模态；model2为数据矩阵模态；model3为时间序列模态。
[0080]
步骤四、多源降雨数据融合效果评估：使用已经训练好的模型对研究区的多源卫星遥感降雨数据进行融合，获取研究区融合后的降雨数据，并通过评估指标对融合的降雨数据进行精度评估。
[0081]
本实施例采用相关系数r、平均绝对误差mae和均方根误差rmse作为评估指标评估本发明方法所得融合后降雨数据的精度，选用统计指标的计算公式如下：
[0082]
皮尔逊相关系数r的具体公式为：
[0083][0084]
平均绝对误差mae的具体公式为：
[0085][0086]
均方根误差rmse的具体公式为：
[0087][0088]
本实施例中流域尺度多源降雨数据融合方法精度评估结果如表1所示。由表1可得，基于本发明提出的多源遥感降雨数据融合方法所得融合后降雨数据与流域内气象站点实测降雨数据的相关系数高于单一的遥感降雨产品，可达0.78，且平均绝对误差和均方根误差低于单一原始遥感降雨产品，表明本发明提出的遥感降雨数据融合方法可获取较高精度的遥感降雨数据，充分考虑了多源卫星降雨数据产品多个不同的模态特征，进而提升了多源降雨数据融合后所得降雨数据的精度。
[0089]
表1 实施例中某流域多源遥感降雨数据融合结果精度评估
[0090]
[0091][0092]
最后应说明的是，以上所述仅用以说明本发明的技术方案而非限制，尽管参照较佳布置方案对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围。