基于深度学习的降水预报订正方法及系统与流程

文档序号:26945764发布日期:2021-10-12 18:20阅读:355来源:国知局
1.本发明实施例涉及数据加密领域,尤其是一种基于深度学习的降水预报订正方法及系统。
背景技术
::2.降水是全球水文循环的主要驱动因素之一,是调节气候系统的关键组成部分。在众多的自然灾害中,极端降水所引起的洪涝灾害是最严重的自然灾害,目前已经成为制约社会经济可持续发展的主要因素之一。高时空分辨率的定量降水估计对于极端天气预警至关重要,评估和减小降水的不确定性,成为极端气象灾害和极端水文灾害预警的重要研究方向。3.由于降水在空间和时间上的变化较大,定量降水估计仍然是一个具有挑战性的问题,其中预报降水的偏差是影响水文预报结果的重要原因。目前常见的降水集合预报订正方法多基于数理统计方法,包括频率匹配、最优百分位、概率匹配平均、多模式动态权重集成、analog历史相似法、逻辑回归法、贝叶斯模型平均法和非齐次回归等。但目前现有的降水订正方法,由于极端降水因样本数量有限和降水订正统计模型结构问题,存在普遍低估大值降水现象,这极大影响了集合预报降水在水文模拟中的应用。技术实现要素:4.本发明实施例提供一种基于深度学习的降水预报订正方法及系统,以解决上述技术问题。5.为解决上述技术问题,本发明创造的实施例采用的一个技术方案是:提供一种基于深度学习的降水预报订正方法,包括:6.对观测降水及模式输出降水预报数据利用时空插值方法进行前处理,以使所述预报数据具有相同的时空分辨率;7.将分别可表征水汽特征和垂直运动特征的卫星数据输入循环神经网络中提取其时序特征;8.将具有相同的时空分辨率的所述预报数据、所述时序特征和dem数据输入卷积神经网络中,并定义卷积神经网络中损失函数的权重因子,经模型训练后订正所述预报数据得到订正降水结果。9.作为本发明的一种优选方案,所述预报数据包括降水误差分布特征和对径流模拟的影响特征。10.作为本发明的一种优选方案,所述定义卷积神经网络中损失函数的权重因子中,所述损失函数lestimation=面雨量相对误差lre+空间相关系统lcc,其中,11.[0012][0013]其中,n为事件的总数,oi和si分别为第i对被检验的观测降水和降水预报量,和分别是观测降水和降水预报量的平均值。[0014]作为本发明的一种优选方案,所述卷积神经网络订正所述预报数据时,还获取降水空间分布信息。[0015]作为本发明的一种优选方案,所述卷积神经网络中设置有涡旋池化模块,所述卷积神经网络获取所述降水空间分布信息时,通过所述涡旋池化模块获取上下文信息。[0016]作为本发明的一种优选方案,所述卷积神经网络订正所述预报数据前,将观测降水作为标签进行模型训练并保留模型训练参数。[0017]作为本发明的一种优选方案,所述对订正降水结果进行数据检验评估具体包括:[0018]通过预定评分策略对订正降水结果的预报能力进行确定性检验评估;[0019]通过概率运算对订正降水结果的预报能力进行概率性检验评估。[0020]作为本发明的一种优选方案,所述预定评分策略包括分别对公正预报率ets、频率偏差frequencybias、命中率pod和假警率far进行计算评估,计算公式具体如下:[0021][0022][0023][0024][0025]其中,h表示正确预报的格点数,m表示漏报格点数,f表示空报格点数,c表示正确预报出未存在降水事件格点数。[0026]作为本发明的一种优选方案,所述通过概率运算对订正降水结果的预报能力进行概率性检验评估具体包括:[0027]比较订正降水结果中的集合成员的集合离散度与集合平均的均方根误差后,分析集合离散度误差关系以检验集合成员的离散状态,其中,[0028]将fi(n)记为第i个样本的第n个集合成员的预报值,其中i=1,2,3,…,m;n=1,2,3,…,n;m为总的样本数,n为集合成员数,将oi记为第i个样本的观测,计算公式具体如下:[0029]采用的集合平均为,[0030]均方根误差为,[0031]集合离散度为,[0032]根据命中率和假警率的计算结果绘制受试者工作特征曲线以判断预报技巧;[0033]基于bs评分结果进行bss评分计算以对预报概率和实际发生概率进行比较,其中,[0034]将pi记为样本i的预报概率,将oi记为样本i实际发生概率,计算公式具体如下:[0035]bs评分为,bs评分为,[0036]bss评分为,[0037]为解决上述技术问题,本发明实施例还提供一种基于深度学习的降水预报订正系统,包括:[0038]预处理单元,用于对观测降水及模式输出降水预报数据进行前处理,以使所述预报数据具有相同的时空分辨率;[0039]循环神经网络,用于接收分别可表征水汽特征和垂直运动特征的卫星数据以提取其时序特征;[0040]卷积神经网络,用于接收具有相同的时空分辨率的所述预报数据、所述时序特征和dem数据,并对损失函数的权重因子进行定义,以在经模型训练后订正所述预报数据得到订正降水结果;以及,[0041]检验评估单元,用于对订正降水结果进行数据检验评估。[0042]作为本发明的一种优选方案,所述预报数据包括降水误差分布特征和对径流模拟的影响特征。[0043]为解决上述技术问题,本发明实施例还提供一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机可读指令,所述计算机可读指令被所述处理器执行时,使得所述处理器执行上述所述降水预报订正方法的步骤。[0044]为解决上述技术问题,本发明实施例还提供一种存储有计算机可读指令的存储介质,所述计算机可读指令被一个或多个处理器执行时,使得一个或多个处理器执行上述所述降水预报订正方法的步骤。[0045]综上所述,本发明实施例的具有如下有益效果:[0046]本发明实施例通过提供一种基于深度学习的降水预报订正方法及系统,结合物理机制,利用循环神经网络模型提取降水形成条件中水汽和垂直运动的中小尺度时序特征,再基于地形对降水的影响,将高程数据一并输入进卷积神经网络模型,其深度结合了天气学原理和人工智能模型,先利用循环神经网络提取物理特征,再输入进卷积神经网络的模型结构,针对性改进暴雨量级降水的精度及降水的空间分布,有效提高估计降水的性能;同时,基于降水误差分布对径流模拟影响等先验信息,面向改进径流模拟,选取适当的深度学习模型,并通过增加上下文信息以及改进权重等着重改进降水空间分布,解决了极端降水预报信息提取不足等问题,并通过调整损失函数和权重因子,着重订正大量级降水,解决普遍低估大值降水问题。附图说明[0047]为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。[0048]图1为本发明实施例中降水预报订正方法的基本流程示意图;[0049]图2为本发明实施例中循环神经网络和卷积神经网络数据处理流程示意图;[0050]图3为本发明实施例中循环神经网络结构的结构示意图。[0051]图4为本发明实施例中涡旋池化模块的示意图。[0052]图5为本发明实施例中深度学习订正前后的预报降水与观测降水的时序图。[0053]图6为本发明实施例中降水预报订正系统的结构示意图。[0054]图7为本发明实施例实施例中计算机设备基本结构框图。具体实施方式[0055]为了使本
技术领域
:的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。[0056]在本发明的说明书和权利要求书及上述附图中的描述的一些流程中,包含了按照特定顺序出现的多个操作,但是应该清楚了解,这些操作可以不按照其在本文中出现的顺序来执行或并行执行,操作的序号如101、102等,仅仅是用于区分开各个不同的操作,序号本身不代表任何的执行顺序。另外,这些流程可以包括更多或更少的操作,并且这些操作可以按顺序执行或并行执行。需要说明的是,本文中的“第一”、“第二”等描述,是用于区分不同的消息、设备、模块等,不代表先后顺序,也不限定“第一”和“第二”是不同的类型。[0057]下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。[0058]具体请参阅图1和图2,图1为本实施例降水预报订正方法的基本流程示意图,图2为本实施例降水预报订正方法中循环神经网络和卷积神经网络数据处理流程示意图。[0059]一种基于深度学习的降水预报订正方法,包括:[0060]s100、对观测降水及模式输出降水预报数据利用时空插值方法进行前处理,以使所述预报数据具有相同的时空分辨率,其中,观测降水通常情况下指地面站点观测的降水量,模式输出降水通常情况下指经降水预报处理系统处理后的降水量,预报数据中通常还包括降水误差分布特征和对径流模拟的影响特征,前处理过程可在现有的降水预报处理系统中进行。[0061]因模式输出降水(1°,6h)和观测降水(0.25°,24h)时空分辨率不匹配,为了能进行深度学习模型的训练和检验评估,需先通过前处理过程使其得到相同的时空分辨率,前处理的具体方法为:在空间上使用双线性插值方法使模式输出降水得到和观测降水相同的分辨率(0.25°),在时间上将模式输出降水的每6小时降水相加得到日累计降水量。[0062]s200、将分别可表征水汽特征和垂直运动特征的卫星数据输入循环神经网络中提取其时序特征。[0063]其中,循环神经网络(recurrentneuralnetwork,rnn)是一种以序列数据为输入来进行建模的深度学习模型。与全连接的神经网络层不同的是,循环神经网络有一个反馈连接,允许过去的信息影响当前的输出,因此,循环神经网络中当前时间的输出是其当前输入的积累和前一刻的输出。通过这种结构,循环神经网络具有记忆过去信息的能力,其凭借有记忆性、参数共享并且图灵完备(turingcompleteness)的特点,在学习序列的非线性特征时占据一定优势。[0064]具体参阅图3,图3为本实施例中循环神经网络结构的结构示意图。循环神经网络通常包括输入层、输出层、隐藏层三部分,在循环神经网络中,参数u、v、w在该循环结构的每一次输入中都会被共享,因为循环神经网络是一个循环系统,使得神经网络中需要学习的参数得到很大程度的降低,隐藏层对于循环神经网络说是最为重要的,主要用于对序列的信息捕获,最为主要的工作都是由它来实现的。其主要的工作原理如下:[0065][0066]ot=fo(woutst)[0067]式中:win、wout都是矩阵,主要起连接作用,分别用在隐藏层节点的自连接,输入层到隐藏层和权值连接以及输出层到隐藏层的权值连接;xt和ot分别表示为第t步的输入和输出,而第t‑1步和第t步隐藏层的输出则分别表示为st‑1和st,fs和fo都为激活函数,分别属于隐藏层和输出层。激活函数是该结构对非线性问题解决的重要部分,在保留特征、去除冗余数据等方面起到很大的作用。[0068]以一个具体实施方式为例,为了减少卫星仪器带来的噪声,以方便后续网络模型的输入,需要对风云2号卫星中相当黑体亮度温度(blackbodytemperature,tbb)和晴空大气可降水(totalprecipitablewater,tpw)做去噪处理和切片处理。[0069]风云2号卫星中相当黑体亮度温度(tbb)每1小时记录一次,晴空大气可降水(tpw)每3个小时记录一次,基于循环神经网络能对相当黑体亮度温度和晴空大气可降水的信息进行长期记忆,从而提取相当黑体亮度温度和晴空大气可降水的时序特征。循环神经网络中每个样本的输入是一个时间序列,并根据前t时刻获取t+1时刻的时序特征。[0070]s300、将具有相同的时空分辨率的所述预报数据、所述时序特征和dem数据输入卷积神经网络中,并定义卷积神经网络中损失函数的权重因子,经模型训练后订正所述预报数据得到订正降水结果。[0071]其中,数字高程模型(digitalelevationmodel),简称dem,是通过有限的地形高程数据实现对地面地形的数字化模拟,即地形表面形态的数字化表达,它是用一组有序数值阵列形式表示地面高程的一种实体地面模型,是数字地形模型(digitalterrainmodel,简称dtm)的一个分支,其它各种地形特征值均可由此派生。[0072]卷积神经网络(convolutionalneuralnetworks,cnn)是通过卷积核的观点和神经元的组合特征,自动提取图像的重要特征信息,因此,在图像识别领域,卷积神经网络可以取得较好的效果。卷积神经网络使用分布在图像不同位置但具有相同权重向量的一组元素来获取图像的特征并形成特征图,在每个位置,来自不同特征映射的单元都会获得各自不同类型的特征,因此,可以提取二维数据的空间特征。在降水场的估计中,每个点的降水信息都与其周围的信息相关,通过卷积神经网络自动学习不同感知域的目标网格与周围区域的空间相关性和获得空间特征信息。[0073]具体的,针对低估极端降水的问题,将设计不同的损失函数,由于极端降水所占比例很小,导致数据不平衡问题,降低网络性能,若使用相同权重,网络模型会低估极端降水数值,因此,针对极端降水信息,通过添加损失函数中的权重因子,以更精确地订正降水量。[0074]本实施例方式中,所述定义卷积神经网络中损失函数的权重因子中,所述损失函数lestimation=面雨量相对误差lre+空间相关系统lcc,其中,[0075][0076][0077]其中,n为事件的总数,oi和si分别为第i对被检验的观测降水和降水预报量,和分别是观测降水和降水预报量的平均值。[0078]进一步的,卷积神经网络订正预报数据前,将观测降水作为标签进行模型训练并保留模型训练参数,在卷积神经网络订正预报数据时,还获取降水空间分布信息,卷积神经网络中设置有涡旋池化模块(vortexpooling),卷积神经网络获取所述降水空间分布信息时,通过涡旋池化模块获取上下文信息,具体参阅图4,图4为本发明实施例中涡旋池化模块的示意图。[0079]上下文是描述对象和其周围环境之间的潜在依赖关系,是识别对象的关键指标。由于目标在不同场景下呈现丰富的分布关系,上下文特征是图像中的重要信息,因此需要网络模型具有有效的感受野,由于卷积神经网络中多次池化操作会导致空间信息损失,所以在提取特征过程中易忽略某些小型目标,而且传统的池化操作是在某个固定大小的池化窗口内下采样,感受野大小固定,提取到的上下文信息有限。而涡旋池化模块使用扩张卷积,增大感受野的同时,参数不变,特征图变小,此外不同扩张率的卷积可以提取不同尺度的上下文信息,有利于对不同尺度目标的提取。并且通过描述相邻地方的局部相互作用来利用上下文信息,提高空间相关性,从而能更好提取降水的空间分布信息。[0080]s400、对订正降水结果进行数据检验评估,其具体包括:[0081]s410、通过预定评分策略对订正降水结果的预报能力进行确定性检验评估。[0082]其中,预定评分策略包括分别对公正预报率(equitablethreatscore,ets)、频率偏差frequencybias、命中率(probabilityofdetection,pod)和假警率(falsealarmratio,far)进行计算评估,公正预报率ets是指评估去掉随机因素的发生的事件被正确预报出的比率,频率偏差frequencybias是指评估预报发生的事件和实际发生的事件的比率(大于1表示高估了事件发生的频率,小于1代表低估),命中率pod是指评估发生的事件被正确预报出的比率,假警率far是指评估实际没发生但预报有的事件的比率,它们的最优值分别是1、1、1、0,变化范围分别为‑1/3~1、0~1、0~1、0~∞,其计算公式具体如下:[0083][0084][0085][0086][0087]其中,h表示正确预报的格点数,m表示漏报格点数,f表示空报格点数,c表示正确预报出未存在降水事件格点数,具体如下表所示。[0088][0089]s420、通过概率运算对订正降水结果的预报能力进行概率性检验评估,其具体包括:[0090]s421、比较订正降水结果中的集合成员的集合离散度与集合平均的均方根误差后,分析集合离散度误差关系以检验集合成员的离散状态,其中,[0091]将fi(n)记为第i个样本的第n个集合成员的预报值,其中i=1,2,3,…,m;n=1,2,3,…,n;m为总的样本数,n为集合成员数,将oi记为第i个样本的观测,计算公式具体如下:[0092]采用的集合平均为,[0093]均方根误差为,[0094]集合离散度为,[0095]对于理想的集合预报系统,其集合离散度和均方根误差量级相同,当集合离散度小于均方根误差时,系统处于欠离散状态,反之,系统处于过离散状态。[0096]s422、根据命中率和假警率的计算结果绘制受试者工作特征曲线以判断预报技巧。[0097]受试者工作特征(relativeoperatingcharacteristic,roc)曲线,以下简称roc曲线,是信号检测理论中一种描述灵敏度的图像,可以用它来衡量预报系统区别二分类事件的能力。首先设定一个概率阈值,大于等于此阈值的预报概率认为此事件发生,否则不发生,从而将概率预报转换成常见的二分类确定性预报,计算相应的命中率和假警率,具体参考上述命中率和假警率的计算公式进行计算。[0098]将二分类确定性预报中的假警率和命中率分别作为横、纵坐标轴建立一平面坐标系,在该平面坐标系上根据假警率和命中率的坐标值绘制一系列点,将这一系列点连接得到的曲线即为roc曲线,其中,roc曲线越接近于上x轴和左y轴,预报技巧越高。相对作用特征曲线下的面积rocarea也是模式检验的重要指标,rocarea越接近于1,预报技巧越高,而当rocarea小于等于0.5时,不具有预报技巧。[0099]s423、基于bs评分结果进行bss评分计算以对预报概率和实际发生概率进行比较,其中,[0100]将pi记为样本i的预报概率,将oi记为样本i实际发生概率,计算公式具体如下:[0101]bs评分为,bs评分为,公式的后三部分分别代表了reliability(可靠性)、resolution(精确性)、uncertainty(不确定性);[0102]bss评分为,[0103]brier技巧评分(bss)是在brier评分(bs)的基础之上,考虑了样本的气候频率,对某一事件预报概率和实际发生概率之间的比较。对于完美的预报,bss=1,bss大于0表示概率预报有技巧,bss小于等于0则不存在技巧。[0104]作为一个具体实施方式,如图5所示,图5示出了深度学习订正前后的预报降水与观测降水的时序图,以针对淮河流域2010年到2012年的6‑8月降水数据时序图来看,在预报时效一天时,深度学习订正的集合平均降水结果精度高于原始预报降水,能有效地进行降水订正。本具体实施方式应用淮河流域2000年2012年6‑8月降水数据进行研究,其中2000‑2009数据用于深度学习模型的训练,2010‑2012数据作为测试集,以检验此深度学习方法的降水订正能力。[0105]深度学习订正的集合平均的均方根误差(rmse)、相对误差(re)及空间相关系数(cc)对比如下表所示:[0106][0107]为解决上述技术问题,本发明实施例还提供一种基于深度学习的降水预报订正系统,如图6所示,包括:[0108]预处理单元,用于对观测降水及模式输出降水预报数据进行前处理,以使所述预报数据具有相同的时空分辨率,其中,预报数据包括降水误差分布特征和对径流模拟的影响特征;[0109]循环神经网络,用于接收分别可表征水汽特征和垂直运动特征的卫星数据以提取其时序特征;[0110]卷积神经网络,用于接收具有相同的时空分辨率的所述预报数据、所述时序特征和dem数据,并对损失函数的权重因子进行定义,以在经模型训练后订正所述预报数据得到订正降水结果;以及,[0111]检验评估单元,用于对订正降水结果进行数据检验评估。[0112]具体的,在卷积神经网络中,损失函数lestimation=面雨量相对误差lre+空间相关系统lcc,其中,[0113][0114][0115]其中,n为事件的总数,oi和si分别为第i对被检验的观测降水和降水预报量,和分别是观测降水和降水预报量的平均值。[0116]进一步的,卷积神经网络订正预报数据前,将观测降水作为标签进行模型训练并保留模型训练参数,在卷积神经网络订正预报数据时,还获取降水空间分布信息,卷积神经网络中设置有涡旋池化模块(vortexpooling),卷积神经网络获取所述降水空间分布信息时,通过涡旋池化模块获取上下文信息。[0117]本发明实施例结合物理机制,利用循环神经网络模型提取降水形成条件中水汽和垂直运动的中小尺度时序特征,再基于地形对降水的影响,将高程数据一并输入进卷积神经网络模型,其深度结合了天气学原理和人工智能模型,先利用循环神经网络提取物理特征,再输入进卷积神经网络的模型结构,针对性改进暴雨量级降水的精度及降水的空间分布,有效提高估计降水的性能;同时,基于降水误差分布对径流模拟影响等先验信息,面向改进径流模拟,选取适当的深度学习模型,并通过增加上下文信息以及改进权重等着重改进降水空间分布,解决了极端降水预报信息提取不足等问题,并通过调整损失函数和权重因子,着重订正大量级降水,解决普遍低估大值降水问题。[0118]为解决上述技术问题,本发明实施例还提供计算机设备。具体请参阅图7,图7为本实施例计算机设备基本结构框图。[0119]如图7所示,计算机设备的内部结构示意图。该计算机设备包括通过系统总线连接的处理器、非易失性存储介质、存储器和网络接口。其中,该计算机设备的非易失性存储介质存储有操作系统、数据库和计算机可读指令,数据库中可存储有控件信息序列,该计算机可读指令被处理器执行时,可使得处理器实现一种降水预报订正方法。该计算机设备的处理器用于提供计算和控制能力,支撑整个计算机设备的运行。该计算机设备的存储器中可存储有计算机可读指令,该计算机可读指令被处理器执行时,可使得处理器执行一种降水预报订正方法。该计算机设备的网络接口用于与终端连接通信。本领域技术人员可以理解,图7中示出的结构,仅仅是与本技术方案相关的部分结构的框图,并不构成对本技术方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。[0120]本实施方式中处理器用于执行图6中预处理单元、循环神经网络、卷积神经网络和检验评估单元的具体功能,存储器存储有执行上述模块所需的程序代码和各类数据。网络接口用于向用户终端或服务器之间的数据传输。本实施方式中的存储器存储有执行所有子模块所需的程序代码及数据,服务器能够调用服务器的程序代码及数据执行所有子模块的功能。[0121]本发明还提供一种存储有计算机可读指令的存储介质,计算机可读指令被一个或多个处理器执行时,使得一个或多个处理器执行上述任一实施例降水预报订正方法的步骤。[0122]本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,该计算机程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,前述的存储介质可为磁碟、光盘、只读存储记忆体(read‑onlymemory,rom)等非易失性存储介质,或随机存储记忆体(randomaccessmemory,ram)等。[0123]应该理解的是,虽然附图的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。当前第1页12当前第1页12
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1