一种基于分区自适应权重的多源降水数据融合方法与流程

文档序号:26141500发布日期:2021-08-03 14:26阅读:164来源:国知局
一种基于分区自适应权重的多源降水数据融合方法与流程

本发明涉及卫星降水反演与融合技术领域,尤其涉及一种基于分区自适应权重的多源降水数据融合方法。



背景技术:

单一的降水数据无法对流域展开精度较高的时空降水估计,因此覆盖范围较广但误差较大的卫星降水数据和分布稀疏但精度更高的地面站点观测数据可以取长补短进行融合。卫星及雨量站降水数据融合的方法通常可以划分为全局校正和局部校正两大类。其中,全局修正方法有平均偏差修正法、线性回归法、双核平滑法等;局部修正方法主要包括协同克里金、地理加权回归、贝叶斯融合等。然而,常见的全局修正方法没有考虑降水在空间分布上以及时间的差异性,传统的局部修正方法则关注降水的空间自相关性,适用于雨量站比较密集的地方,而在雨量站稀疏的区域,由于其空间自相关性被高估,融合结果会产生很大的不确定性。

我国大多数地区地形复杂,难以布设雨量站点,因此缺乏降水数据,由此可见以上方法存在局限性,如何进一步提高融合数据的精度,形成一种适用性较广同时具有高时空分辨率的降水数据成为目前较为关注的问题。此外,卫星降水数据会受到时间尺度的影响,如何在融合校正中充分考虑时间和空间的影响,如何在缺资料区域建立一套方法以此得到精度较高的降水数据成为当前研究有待解决的问题。



技术实现要素:

本发明的目的在于提供一种基于分区自适应权重的多源降水数据融合方法,从而解决现有技术中存在的前述问题。

为了实现上述目的,本发明采用的技术方案如下:

一种基于分区自适应权重的多源降水数据融合方法,包括如下步骤,

s1、对卫星降水数据和地面站点观测降水数据分别进行预处理操作;

s2、对预处理后的卫星降水数据的精度进行评估,筛选出满足精度评定要求的卫星降水数据;

s3、基于分区自适应权重融合方法对满足精度评定要求的卫星降水数据与地面站点观测降水数据进行融合校正,获取各级别卫星降水数据的最优权重;

s4、基于各级别卫星降水数据的最优权重,制作权重自查表。

优选的,步骤s1具体包括如下内容,

卫星降水数据的预处理:运用编程语言批量读取文件中各类卫星降水数据并且进行格式转换,统一各类卫星降水数据的时间和空间分辨率;获取各类卫星降水数据在经度和维度上的逐日降水量;

地面站点观测降水数据的预处理:检查各地面站点数据的缺失情况,若为严重缺失,则移除该地面站点数据;若为轻微缺失,则对该地面点数据进行插补处理。

优选的,步骤s2具体包括如下内容,

s21、基于dem高程数据对卫星降水数据和地面站点观测数据做出时空特征分析,并以此判断各卫星降水数据与地面站点降水数据的分析结果是否相近,两者结果越接近,则表示相应的卫星降水数据的精度越高;

s22、分别采用相关系数、相对偏差、均方根误差、平均绝对误差对各个卫星降水数据进行一致性评定,同时分别运用探测率、误报率和临界确定指数评定各个卫星降水数据的探测能力,以筛选出满足评定要求的卫星降水数据;一致性评定和探测能力评定均包括日尺度、月尺度、季度尺度以及年尺度的评定。

优选的,一致性评定具体为,分别计算各个评价指标,包括相关系数、相对偏差、均方根误差和平均绝对误差,相关系数越接近1、其他三项误差越接近0,则表示一致性评定结果越好;各个评价指标的计算公式分别如下

其中,r为相关系数;bias为相对偏差;rmse为均方根误差;mae为平均绝对误差;si为第i个卫星降水数据,pi为第i个地面站点观测降水数据;i=1,2,3,…,n;n为卫星降水数据的总个数。

优选的,探测能力评定具体为,依次计算探测率、误报率和临界确定指数,计算公式分别如下,

其中,h为卫星降水数据准确探测到的降水事件数;f为误报的降水事件数;m为漏报的降水事件数;pod用于衡量对降水事件的探测能力,取值范围为[0,1],pod的值越大,表示卫星降水数据对降水事件的成功探测程度越高;far用于衡量降水事件被错误预测的概率,取值范围是[0,1],far的值越小,表示卫星降水数据对降水的误报程度越小;csi为卫星降水数据正确检测的降水事件总数占总事件数的比例,能够综合反应卫星降水数据集的特性,取值范围是[0,1],最优值为1,即csi的值越大,探测能力评定效果越好。

优选的,步骤s3具体包括如下内容,

s31、按照气象局规定,对逐日降水数据进行分级归类,包括小雨、中雨、大雨、大暴雨、特大暴雨;

s32、采用遗传算法逐月对各级别降水分别进行最优权重的求解;

s33、判断各个最优权重是否都满足误差要求,若是,则进入步骤s4;否则,返回步骤s32。

优选的,步骤s32具体包括如下内容,

s321、对于逐月各级降水,认定同一月份同一级别的降水在相应的多源数据融合过程中各卫星降水数据的权重为一定值;因此,逐日任一级别地面站点观测降水数据构成空间向量p0,相应的卫星降水数据和地面站点观测降水数据所构成的空间向量分别为p1,p2,…,pn,相应的卫星降水数据的权重分别为β1,β2,…,βn,误差为ε;则空间向量、权重和误差之间满足如下关系,

p0=β1p1+β2p2+…+βnpn+ε

其中,满足权重最优的前提是误差ε趋近为0;

s322、设置目标函数,采用遗传算法求解,寻找各级别卫星降水数据最优权重β′1,β′2,...,β′n;所述目标函数如下,

f=min[p0-(β1p1+β2p2+…+βnpn)]。

优选的,步骤s33具体为,为了避免遗传算法在求解卫星降水数据的最优权重时陷入局部最优解,则需要判断该卫星降水数据的最优权重是否为全局最优解,若是,则进入步骤s4;若否,则返回步骤s32,直到该最优权重为全局最优解。

优选的,步骤s4之后还包括步骤s5,s5为使用权重自查表计算缺测资料的研究区域的降水量,以补充完善研究区域的缺测资料;具体过程为,

s51、以已知地面站点为基点采用泰森多边形法对研究流域进行流域分区;并规定各分区内其他地面站点的降水类别与已知站点相同;

s52、根据研究流域的卫星降水数据逐次提取各卫星降水数据的经纬度坐标,同时排除与已知地面站点位置重合的坐标;

s53、依次判断各坐标的所属分区;

s54、确定各分区的降水级别;

s55、逐次对照权重自查表,根据数据融合公式依次计算研究区域各缺测位置处的降水量,从而补充完善研究区域的缺测资料;所述数据融合公式为,

p0=β′1p1+β′2p2+…+β′npn。

优选的,步骤s53具体为,逐次对比步骤s52中各卫星降水数据的坐标与各分区的边界范围,确定各坐标的所属分区,从而将各卫星降水数据进行准确分区。

本发明的有益效果是:1、综合了卫星降水数据空间分辨率高以及地面站点观测数据精度高的优点,而又适当摒除两者的劣势,通过逆向求解的方式更大限度的对两种数据进行取长补短,从而得到准确度较高、适用性较强的降水数据。2、较好地发挥了数据挖掘技术在处理海量数据时所具备的优势,并且将关联规则分析方法运用在该地区的降水预报中,能够基于数据间的隐藏关系进一步提高预报结果的准确性。

附图说明

图1是本发明实施例中降水数据融合方法的流程示意图;

图2是本发明实施例中数据预处理的流程示意图;

图3是本发明实施例中卫星降水数据精度评估的流程示意图;

图4是本发明实施例中分区自适应权重融合方法对降水数据进行融合校正的流程示意图;

图5是本发明实施例中运用权重自查表计算降水量的流程示意图;

图6是本发明实施例中采用泰森多边形法对澜沧江流域进行流域分区的结果示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施方式仅仅用以解释本发明,并不用于限定本发明。

实施例一

如图1所示,本实施例中,提供了一种基于分区自适应权重的多源降水数据融合方法,包括如下步骤,

s1、对卫星降水数据和地面站点观测降水数据分别进行预处理操作;

s2、对预处理后的卫星降水数据的精度进行评估,筛选出满足精度评定要求的卫星降水数据;

s3、基于分区自适应权重融合方法对满足精度评定要求的卫星降水数据与地面站点观测降水数据进行融合校正,获取各级别卫星降水数据的最优权重;

s4、基于各级别卫星降水数据的最优权重,制作权重自查表。

本实施例中,本发明所提供的融合方法具体包括五个部分,分别为:数据预处理、数据精度评估、最优权重求解、权重自查表形成和权重自查表的应用。下面分别针对这五部分内容进行详细解释。

一、数据预处理

该部分对应步骤s1的内容,如图2所示,步骤s1具体包括如下内容,

卫星降水数据的预处理:运用编程语言批量读取文件中各类卫星降水数据并且进行格式转换,统一各类卫星降水数据的时间和空间分辨率;获取各类卫星降水数据在经度和维度上的逐日降水量;

地面站点观测降水数据的预处理:检查各地面站点数据的缺失情况,若为严重缺失,则移除该地面站点数据;若为轻微缺失,则对该地面点数据进行插补处理。

二、数据精度评估

该部分对应步骤s2的内容,如图3所示,步骤s2具体包括如下内容,

s21、基于dem高程数据对卫星降水数据和地面站点观测数据做出时空特征分析,并以此判断各卫星降水数据与地面站点降水数据的分析结果是否相近,两者结果越接近,则表示相应的卫星降水数据的精度越高;其中,时空特征分析包括降水年内分布特征、年际变化趋势及空间分布特征;

s22、分别采用相关系数r、相对偏差bias、均方根误差rmse、平均绝对误差mae对各个卫星降水数据进行一致性评定,同时分别运用探测率pod、误报率far和临界确定指数csi评定各个卫星降水数据的探测能力,以筛选出满足评定要求的卫星降水数据;一致性评定和探测能力评定均包括日尺度、月尺度、季度尺度以及年尺度的评定。

一致性评定具体为,分别计算各个评价指标,包括相关系数、相对偏差、均方根误差和平均绝对误差,相关系数越接近1、其他三项误差越接近0,则表示一致性评定结果越好;各个评价指标的计算公式分别如下

其中,r为相关系数;bias为相对偏差;rmse为均方根误差;mae为平均绝对误差;si为第i个卫星降水数据,pi为第i个地面站点观测降水数据;i=1,2,3,…,n;n为卫星降水数据的总个数。

探测能力评定具体为,依次计算探测率、误报率和临界确定指数,计算公式分别如下,

其中,h为卫星降水数据准确探测到的降水事件数;f为误报的降水事件数;m为漏报的降水事件数;pod用于衡量对降水事件的探测能力,取值范围为[0,1],pod的值越大,表示卫星降水数据对降水事件的成功探测程度越高;far用于衡量降水事件被错误预测的概率,取值范围是[0,1],far的值越小,表示卫星降水数据对降水的误报程度越小;csi为卫星降水数据正确检测的降水事件总数占总事件数的比例,能够综合反应卫星降水数据集的特性,取值范围是[0,1],最优值为1,即csi的值越大,探测能力评定效果越好。

三、最优权重求解

对于数据集中每一个0.1°×0.1°的网格而言,均有地面站点观测数据和符合精度评定标准的卫星降水数据,卫星降水数据的精度通常会受到降水强度和季节的影响。本发明对研究区域逐日降水量进行分类,逐月求解分级降水中各卫星降水数据的权重。

该部分对应步骤s3的内容,如图4所示,步骤s3具体包括如下内容,

s31、按照气象局规定(根据国家气象局颁布的降水强度等级划分标准),对逐日降水数据进行分级归类,包括小雨、中雨、大雨、大暴雨、特大暴雨;

s32、采用遗传算法逐月对各级别降水分别进行最优权重的求解;

s33、判断各个最优权重是否都满足误差要求,若是,则进入步骤s4;否则,返回步骤s32。

步骤s32具体包括如下内容,

s321、对于逐月各级降水,认定同一月份同一级别的降水在相应的多源数据融合过程中各卫星降水数据的权重为一定值;因此,逐日任一级别地面站点观测降水数据构成空间向量p0,相应的卫星降水数据和地面站点观测降水数据所构成的空间向量分别为p1,p2,…,pn,相应的卫星降水数据的权重分别为β1,β2,…,βn,误差为ε;则空间向量、权重和误差之间满足如下关系,

p0=β1p1+β2p2+…+βnpn+ε

其中,满足权重最优的前提是误差ε趋近为0;

s322、设置目标函数,采用遗传算法求解,寻找各级别卫星降水数据最优权重β′1,β′2,...,β′n;所述目标函数如下,

f=min[p0-(β1p1+β2p2+…+βnpn)]。

遗传算法的基本运算过程包括初始化、个体评价、计算适应度,选择运算,交叉运算,变异运算,终止条件判断。本发明在求解目标函数时充分发挥遗传算法选择、交叉、变异的主要特点,寻找全局最优解。

步骤s33具体为,为了避免遗传算法在求解卫星降水数据的最优权重时陷入局部最优解,则需要判断该卫星降水数据的最优权重是否为全局最优解,若是,则进入步骤s4;若否,则返回步骤s32,直到该最优权重为全局最优解。

四、权重自查表形成

该部分对应步骤s4的内容,步骤s4具体为,根据逐月各类别降水的最优权重制作权重自查表。即将经过步骤s32-s33确定的各卫星降水数据的最优权重,对照各降水级别逐月填写在表格中,形成权重自查表。

五、权重自查表的应用

步骤s4之后还包括步骤s5,该部分对应步骤s5的内容,如图5所述,s5为使用权重自查表计算缺测资料的研究区域的降水量,以补充完善研究区域的缺测资料;具体过程为,

s51、以已知地面站点为基点采用泰森多边形法对研究流域进行流域分区;并规定各分区内其他地面站点的降水类别与已知站点相同;

s52、根据研究流域的卫星降水数据逐次提取各卫星降水数据的经纬度坐标,同时排除与已知地面站点位置重合的坐标;

s53、依次判断各坐标的所属分区;

s54、确定各分区的降水级别;

s55、逐次对照权重自查表,根据数据融合公式依次计算研究区域各缺测位置处的降水量,从而补充完善研究区域的缺测资料;所述数据融合公式为,

p0=β′1p1+β′2p2+…+β′npn。

步骤s53具体为,逐次对比步骤s52中各卫星降水数据的坐标与各分区的边界范围,确定各坐标的所属分区,从而将各卫星降水数据进行准确分区。

实施例二

本实施例中,结合具体实例,详细说明本发明提供的融合方法的执行过程。采用澜沧江流域的藏嘎、苗尾石沙场沟、弥沙、小景谷和基诺山这5个地面观测站点为例进行实例介绍。

一、数据预处理

首先对地面站点数据和卫星降水数据进行数据预处理,目的在于统一数据格式,便于之后的操作。

1、对于地面站点观测数据,检查各站点数据的缺失情况,如果严重缺失则移除该站点,如果轻微缺失则进行插补处理。澜沧江流域的藏嘎、苗尾石沙场沟、弥沙、小景谷和基诺山这5个地面观测站点的经纬度信息如表1所示,2010年1月1日至2015年12月31日的逐日观测降水数据如表2所示。

表1站点经纬度信息

表2地面站点逐日观测降水数据(单位:mm)

2、对于卫星降水数据,运用编程语言批量读取文件中的降水数据并且进行格式转换,统一各类数据的时间和空间分辨率(重采样)。本发明将trmm3b42rt,imergearlyrun,imerglaterun,imergfinalrun降水数据作为实施例,其相关信息如表3所示。通过预处理,得到各卫星降水产品在经度、纬度分别为98.6、29.1,99.2、25.9,99.7、26.3,100.6、23.7以及101.0、22.0处的逐日降水量(降水融合部分选用2010-01-01至2015-12-31数据),依次如表4、表5、表6、表7所示。

表3卫星降水数据信息

表4trmm3b42降水数据(单位:mm)

表5gpmimergearlyrun降水数据(单位:mm)

表6gpmimerglaterun降水数据(单位:mm)

表7gpmimergfinalrun降水数据(单位:mm)

二、数据精度评估

基于dem高程数据对地面站点观测数据及卫星降水数据分别进行时空变化特征分析(降水年内分布特征、年际变化趋势、空间分布特征),从而对比各卫星数据与地面站点观测数据的分析结果,越接近地面站点的分析结果,则表示该卫星降水数据的精度越高。此外,开展精度评估工作,主要包括一致性评定和探测能力评定工作,具体步骤如下:

1、一致性评定。分别采用相关系数r、相对偏差bias、均方根误差rmsr、平均绝对误差mae进行计算,相关系数越接近1,而其他三项指标越接近0则表明一致性评定结果越好。其中,各参数计算公式如下:

式中,si代表卫星降水数据,pi代表地面站点观测降水数据。

2、探测能力评定。依次运用探测率pod、误报率far、临界确定指数csi进行计算,以上评定工作均包括日尺度、月尺度、季度尺度以及年尺度。其中,各评定指标计算公式如下所示:

式中:h为卫星降水产品准确探测到的降水事件数;f为误报的降水事件数;m为漏报的降水事件数;pod用于衡量对降水事件的探测能力,取值范围为[0,1],值越大,说明卫星降水产品对降水事件的成功探测程度越高;far用于衡量降水事件被错误预测的概率,取值范围是[0,1],值越小,说明卫星降水产品对降水的误报程度越小;csi代表卫星降水产品正确检测的降水事件总数占总事件数的比例,可以综合反应卫星降水数据集的特性,取值范围是[0,1],最优值为1,即值越大,评定效果越好。

三、最优权重求解

将通过第二部分内容筛选出的满足精度评定要求的卫星降水数据与地面站点观测降水数据,基于分区自适应权重融合方法进行校正。

1、按照国家气象局颁布的降水强度等级划分标准(如表8所示)对逐日降水数据进行分级。

表8降水强度等级划分标准(内陆部分)

2、逐月按照降水的等级分别采用遗传算法求解权重。

对于数据集中每一个0.1°×0.1°的网格而言,均有地面站点观测数据和符合评定标准的卫星降水数据,卫星降水数据的精度通常会受到降水强度和季节的影响。本专利对研究区域逐日降水量进行分类,逐月求解分级降水中各卫星降水数据的权重。

对于逐月各级降水,可认为同一月份同一级别的降水在相应的多源数据融合过程中各卫星降水数据的权重为一定值。因此,逐日任一级别地面站点观测降水数据构成空间向量p0,相应的卫星降水数据所构成的空间向量分别为p1,p2,…,pn,权重分别为β1,β2,…,βn,误差为ε,则满足如下公式:

p0=β1p1+β2p2+…+βnpn+ε

由上式可知,满足权重最优的前提是误差ε趋近为0。因此,可以采用数值法求解,目标函数如下所示:

f=min[p0-(β1p1+β2p2+…+βnpn)]

针对目标函数,采用遗传算法求解,寻找最优权重β′1,β′2,...,β′n。其中,遗传算法的基本运算过程包括初始化,个体评价、计算适应度,选择运算,交叉运算,变异运算,终止条件判断。本专利在求解目标函数时充分发挥遗传算法选择、交叉、变异的主要特点,寻找全局最优解。

3、通过遗传算法得到各卫星降水数据最优权重β′1,β′2,...,β′n后,为避免遗传算法陷入局部最优解,则进一步判断其是否为全局最优解,如果是,则计算得到融合校正结果,并进入第四部分;否则返回第2步,直至满足要求,进行数据融合。

四、权重自查表形成

基于分级最优权重制作权重自查表。通过卫星降水数据精度评估方法得到3个符合本实施例要求的降水数据,分别为gpmimergearlyrun、laterun和finalrun,其对应的最优权重依次记为β′1,β′2,β′3,所得权重自查表如表9所示。

表9权重自查表

五、权重自查表的应用

运用权重自查表求解缺测地区降水量,具体步骤如下:

1、采用泰森多边形法基于已知地面观测站点进行分区,并且规定各分区内其他地点的降水类别与已知站相同。本实施例以藏嘎(a)、苗尾石沙场沟(b)、弥沙(c)、小景谷(d)、基诺山(e)5个地面观测站点为基点对澜沧江流域进行泰森多边形划分,划分结果如图6所示。

2、采用澜沧江流域gpmimergearlyrun、laterun和finalrun2020年9月30日的卫星降水数据,分别如表10、表11和表12所示,而表13为当日藏嘎(a)、苗尾石沙场沟(b)、弥沙(c)、小景谷(d)、基诺山(e)的地面站点观测降水量。基于各卫星降水数据逐次提取经纬度坐标,同时排除与已知地面观测站点位置重合的坐标,排除后剩余的坐标则进入下一步。

表10gpmimergearlyrun卫星降水数据(单位:mm)

表11gpmimerglaterun卫星降水数据(单位:mm)

表12gpmimergfinalrun卫星降水数据(单位:mm)

表13地面站点降水数据

3、运用编程语言逐次对比筛选的坐标与各分区(本实施例具有a、b、c、d、e共计5个区域)边界范围。

首先判断坐标是否属于区域a,如果是,则进行下一步5,如果否,则判断坐标是否属于区域b,依次对比坐标与a,b,c,d,e的边界范围,直至确定该坐标所属区域,再进入步骤4。

4、确定该坐标处的降水类别,本专利规定各分区内每一位置处的降水级别均与本区域已知地面站点的情况保持一致。

5、对照权重自查表,按照下式计算所选坐标处的降水量。

p0=β′1p1+β′2p2+…+β′npn)

对于提取出的每一个坐标均进行如上步骤(2)-(6)的操作,直至计算出研究区域各缺测位置的降水量。以2020年9月30日gpmimergearlyrun、laterun和finalrun日降水数据为例进行分区计算,结果如表14所示。

表14分区自适应权重法计算降水量结果(单位:mm)

通过采用本发明公开的上述技术方案,得到了如下有益的效果:

本发明公开了一种基于分区自适应权重的多源降水数据融合方法,综合了卫星降水数据空间分辨率高以及地面站点观测数据精度高的优点,而又适当摒除两者的劣势,通过逆向求解的方式更大限度的对两种数据进行取长补短,从而得到准确度较高、适用性较强的降水数据。较好地发挥了数据挖掘技术在处理海量数据时所具备的优势,并且将关联规则分析方法运用在该地区的降水预报中,能够基于数据间的隐藏关系进一步提高预报结果的准确性。

以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视本发明的保护范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1