一种电网近实时降雨量估测方法、系统、装置及存储介质与流程

1.本发明涉及一种电网近实时降雨量估测方法、系统、装置及存储介质，属于电网安全技术领域。


背景技术：

2.由于众多电网输电线和变压站处于边远的野外和山区，既没有临近的雨量计也没有气象雷达覆盖，因此通过静止气象卫星的光谱信息来反演降雨，以实现这些站点的降雨量监测服务是行之有效的。
3.目前通过随机森林、人工神经网络和支持向量机等人工智能方法，能够有效地实现卫星降雨反演。但是目前大多数方法都对强降雨存在明显低估，没有关注这种对电网运行影响最大的情况。因此，需要对现有的方法进行改进，以实现野外电网输电线和变压站降雨监测服务的同时，重点关注强降雨的监测，为电网的安全运行做出保障。


技术实现要素：

4.本发明的目的在于克服现有技术中的不足，提供一种电网近实时降雨量估测方法、系统、装置及存储介质，能够重点关注强降雨的监测，为电网的安全运行做出保障。
5.为达到上述目的，本发明是采用下述技术方案实现的：
6.第一方面，本发明提供了一种电网近实时降雨量估测方法，包括：
7.获取静止卫星的实时光谱信息并进行预处理生成实时特征数据；
8.将实时特征数据输入预构建的降雨量估测模型获取近实时降雨量的估测值；
9.其中，所述降雨量估测模型的构建包括：
10.获取静止卫星和各气象站在预设时段内各时刻的历史光谱信息和历史气象数据；
11.将各时刻的历史光谱信息进行预处理生成各时刻的历史特征数据；
12.将各时刻的历史特征数据与历史气象数据进行时空匹配获取数据对集；
13.按照预设比例对数据对集进行划分生成训练集、验证集和测试集；
14.构建自定义损失函数的lightgbm模型；
15.使用训练集训练lightgbm模型，并在验证集上验证其性能，通过网格搜索法寻找最优超参数组合；
16.将采用最优超参数组合的lightgbm模型作为降雨量估测模型，在测试集上测试降雨量估测模型获取估测效果。
17.可选的，所述历史光谱信息包括静止卫星各水汽通道和各长波红外通道的历史光谱图像，所述历史光谱图像包括各像元的经纬度以及各像元的光谱观测值；所述历史气象数据包括气象站的经纬度和累计降雨量。
18.可选的，所述将各时刻的历史光谱信息进行预处理生成各时刻的历史特征数据包括：
19.从各水汽通道和各长波红外通道中多次抽取两个预设通道的相同时刻的历史光
谱图像，对每次抽取的历史光谱图像的相同经纬度像元的光谱观测值做差，获取多个历史差值图像；
20.将各历史差值图像、各水汽通道和各长波红外通道的历史光谱图像汇总生成历史特征数据。
21.可选的，所述将各时刻的历史特征数据与历史气象数据进行时空匹配获取数据对集包括：
22.对每个气象站，获取时刻t的历史气象数据，确定气象站的经纬度和累计降雨量；
23.获取时刻t-δt的历史特征数据，确定各历史差值图像、各水汽通道和各长波红外通道的历史光谱图像，δt为预设时间差；
24.根据气象站的经纬度寻找气象站在各历史差值图像、各水汽通道和各长波红外通道的历史光谱图像上最近邻的四个像元；
25.通过反向距离权重法将四个像元的光谱观测值插值到气象站，完成时刻t的历史气象数据的时空匹配；
26.将各历史差值图像、各水汽通道和各长波红外通道的历史光谱图像对气象站的插值数据和气象站的累计降雨量分别组成数据对；
27.重复上述步骤，完成每个时刻的历史气象数据的时空匹配，将相应的数据对汇总生成数据对集。
28.可选的，所述通过反向距离权重法将四个像元的光谱观测值插值到气象站包括：
29.计算四个像元到气象站的距离，记为d1、d2、d3、d4；
30.计算四个像元的插值权重wi：
[0031][0032]
计算气象站的插值数据obs：
[0033][0034]
式中，xi为像元i的光谱观测值。
[0035]
可选的，所述自定义损失函数loss为：
[0036]
loss＝a*kl+b*wmse
[0037]
式中，a、b为预设超参数，kl、wmse分别为kl散度和加权mse；
[0038]
kl散度为：
[0039][0040]
式中，x、y为数据对的插值数据和累计降雨量，p(y|x)为累计降雨量对插值数据的概率分布，q(y|x)为累计降雨量对插值数据的lightgbm模型拟合分布；
[0041]
加权mse为：
[0042]
[0043]
式中，n为数据对的样本总数，xj、yj为第j个数据对的插值数据和累计降雨量，p(yj)为yj的概率分布，f(xj)为以xj为输入的lightgbm模型输出。
[0044]
可选的，所述在验证集上验证其性能包括统计以验证集作为lightgbm模型的输入，其输出的所有累积降雨量的估测值的rmse以及8mm以上累积降雨量的估测值的rmse作为其性能；所述在测试集上测试降雨量估测模型获取估测效果包括统计以测试集作为降雨量估测模型的输入，其输出的所有累积降雨量的估测值的rmse以及8mm以上累积降雨量的估测值的rmse作为估测效果。
[0045]
第二方面，本发明提供了一种电网近实时降雨量估测系统，所述系统包括：
[0046]
实时采集模块，用于获取静止卫星的实时光谱信息并进行预处理生成实时特征数据；
[0047]
实时估测模块，用于将实时特征数据输入预构建的降雨量估测模型获取近实时降雨量的估测值；
[0048]
其中，所述降雨量估测模型的构建包括：
[0049]
历史采集模块，用于获取静止卫星和各气象站在预设时段内各时刻的历史光谱信息和历史气象数据；
[0050]
特征生成模块，用于将各时刻的历史光谱信息进行预处理生成各时刻的历史特征数据；
[0051]
数据对生成模块，用于将各时刻的历史特征数据与历史气象数据进行时空匹配获取数据对集；
[0052]
数据对划分模块，用于按照预设比例对数据对集进行划分生成训练集、验证集和测试集；
[0053]
模型构建模块，用于构建自定义损失函数的lightgbm模型；
[0054]
训练验证模块，用于使用训练集训练lightgbm模型，并在验证集上验证其性能，通过网格搜索法寻找最优超参数组合；
[0055]
构建测试模块，用于将采用最优超参数组合的lightgbm模型作为降雨量估测模型，在测试集上测试降雨量估测模型获取估测效果。
[0056]
第三方面，本发明提供了一种电网近实时降雨量估测装置，包括处理器及存储介质；
[0057]
所述存储介质用于存储指令；
[0058]
所述处理器用于根据所述指令进行操作以执行根据上述方法的步骤。
[0059]
第四方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。
[0060]
与现有技术相比，本发明所达到的有益效果：
[0061]
本发明提供的一种电网近实时降雨量估测方法、系统、装置及存储介质，以静止卫星的通道光谱信息及通道光谱信息差作为特征，以气象站的逐小时降雨量作为标签，通过训练人工智能算法lightgbm，实现野外电网输电线和变压站的逐小时降水近实时监测，通过构造新的损失函数增进强降水监测能力。
附图说明
[0062]
图1是本发明实施例一提供的一种电网近实时降雨量估测方法的流程图。
具体实施方式
[0063]
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
[0064]
实施例一：
[0065]
如图1所示，本发明实施例提供了一种电网近实时降雨量估测方法，包括以下步骤：
[0066]
1、获取静止卫星的实时光谱信息并进行预处理生成实时特征数据；
[0067]
2、将实时特征数据输入预构建的降雨量估测模型获取近实时降雨量的估测值；
[0068]
其中，降雨量估测模型的构建包括：
[0069]
s1、获取静止卫星和各气象站在预设时段内各时刻的历史光谱信息和历史气象数据；
[0070]
历史光谱信息包括静止卫星各水汽通道和各长波红外通道的历史光谱图像，历史光谱图像包括各像元的经纬度以及各像元的光谱观测值；历史气象数据包括气象站的经纬度和累计降雨量。
[0071]
s2、将各时刻的历史光谱信息进行预处理生成各时刻的历史特征数据；具体包括：
[0072]
s201、从各水汽通道和各长波红外通道中多次抽取两个预设通道的相同时刻的历史光谱图像，对每次抽取的历史光谱图像的相同经纬度像元的光谱观测值做差，获取多个历史差值图像；
[0073]
s202、将各历史差值图像、各水汽通道和各长波红外通道的历史光谱图像汇总生成历史特征数据。
[0074]
s3、将各时刻的历史特征数据与历史气象数据进行时空匹配获取数据对集；具体包括：
[0075]
s301、对每个气象站，获取时刻t的历史气象数据，确定气象站的经纬度和累计降雨量；
[0076]
s302、获取时刻t-δt的历史特征数据，确定各历史差值图像、各水汽通道和各长波红外通道的历史光谱图像，δt为预设时间差；
[0077]
s303、根据气象站的经纬度寻找气象站在各历史差值图像、各水汽通道和各长波红外通道的历史光谱图像上最近邻的四个像元；
[0078]
s304、通过反向距离权重法将四个像元的光谱观测值插值到气象站，完成时刻t的历史气象数据的时空匹配；
[0079]
其中，通过反向距离权重法将四个像元的光谱观测值插值到气象站包括：
[0080]
计算四个像元到气象站的距离，记为d1、d2、d3、d4；
[0081]
计算四个像元的插值权重wi：
[0082][0083]
计算气象站的插值数据obs：
[0084][0085]
式中，xi为像元i的光谱观测值。
[0086]
s305、将各历史差值图像、各水汽通道和各长波红外通道的历史光谱图像对气象站的插值数据和气象站的累计降雨量分别组成数据对；
[0087]
s306、重复上述步骤，完成每个时刻的历史气象数据的时空匹配，将相应的数据对汇总生成数据对集。
[0088]
s4、按照预设比例对数据对集进行划分生成训练集、验证集和测试集；
[0089]
s5、构建自定义损失函数的lightgbm模型；
[0090]
自定义损失函数loss为：
[0091]
loss＝a*kl+b*wmse
[0092]
式中，a、b为预设超参数，kl、wmse分别为kl散度和加权mse；
[0093]
kl散度为：
[0094][0095]
式中，x、y为数据对的插值数据和累计降雨量，p(y|x)为累计降雨量对插值数据的概率分布，q(y|x)为累计降雨量对插值数据的lightgbm模型拟合分布；
[0096]
加权mse为：
[0097][0098]
式中，n为数据对的样本总数，xj、yj为第j个数据对的插值数据和累计降雨量，p(yj)为yj的概率分布，f(xj)为以xj为输入的lightgbm模型输出。
[0099]
s6、使用训练集训练lightgbm模型，并在验证集上验证其性能，通过网格搜索法寻找最优超参数组合；
[0100]
s7、将采用最优超参数组合的lightgbm模型作为降雨量估测模型，在测试集上测试降雨量估测模型获取估测效果。
[0101]
其中，在验证集上验证其性能包括统计以验证集作为lightgbm模型的输入，其输出的所有累积降雨量的估测值的rmse以及8mm以上累积降雨量的估测值的rmse作为其性能；在测试集上测试降雨量估测模型获取估测效果包括统计以测试集作为降雨量估测模型的输入，其输出的所有累积降雨量的估测值的rmse以及8mm以上累积降雨量的估测值的rmse作为估测效果。
[0102]
以葵花8卫星为例：
[0103]
(1)首先收集1年的葵花8卫星的光谱信息，制作特征数据。
[0104]
葵花8卫星共有16个通道，1-6号为可见光和近红外通道，7号为短波红外通道，8-10号为水汽通道，11-16号为长波红外通道。选取8-16号的水汽通道和长波红外通道的光谱图像，在构造10、16号通道的差值图像，11、13号通道的差值图像，13、15号通道的差值图像，8、9号通道的差值图像，9、10号通道的差值图像，将上述9个光谱图像和5个差值图像的数据合并，组成特征数据。将特征数据按照时间和经纬度进行组织存储；另外，由于葵花8卫星的
时间分辨率为10分钟，只选取半点的数据。
[0105]
(2)收集对应上一步收集的葵花8卫星数据时段的气象站逐小时累计降雨量，将累计降雨量按照时间和气象站经纬度进行组织存储。
[0106]
(3)将第一步获得的特征数据与累计降雨量进行时空匹配。根据降雨观测，匹配上1小时半点的特征数据，例如对某个测站2020年11月20日8时的降雨观测，匹配2020年11月20日7时30分的特征数据。根据测站的经纬度，寻找测站最近邻的四个像元，通过反距离权重法，将四个像元的特征数据插值到气象站，获得此站点这一时刻的插值数据。具体地，记某气象站整点观测的降雨量为y，记半小时前的第一步收集到的特征数据中的1个水汽通道的光谱图像为x1，该图像x1当中每个像元均有中心经纬度；在图像x1中，寻找距离该气象站最近的四个像元，分别记为x1、x2、x3、x4，以几个像元的中心经纬度和对应气象站的经纬度，分别计算几个像元到气象站的距离d1、d2、d3、d4。再计算各个像元的插值权重再根据公式求得气象站点所在处的水汽通道的观测值；其他时刻的，其他气象站点的，其他种类的插值数据可仿此建立。逐站点逐小时地对数据进行匹配，最终获得各气象站各时刻的特征数据和累计降雨量的数据对，按照时间和气象站两个维度存储数据形成机器学习数据集。
[0107]
(4)根据时间维度，将上一步获得的机器学习数据集排序，前80％时段的数据作为训练集，后20％的数据均分为验证集与测试集。
[0108]
(5)构造加权mse和kl散度的组合作为损失函数：loss＝a*kl+b*wmse。
[0109]
(6)以在训练集上训练lightgbm算法，在验证集上通过评估整体降水估测的rmse，同时评估8mm以上大雨估测的rmse，通过网格搜索法寻找最优超参数，最终反复训练和验证获得最优模型。在测试集上，通过通过评估整体降水估测的rmse，同时评估8mm以上大雨估测的rmse以明确最优模型的效果。
[0110]
(7)将获得的模型用于电网气象预报业务。通过ftp.ptree.jaxa.jp网站下载近实时的葵花8产品，提取目标输电线沿线或者特高压变电站的原始光谱信息，如第一步构造特征类似，构造输入特征给获得的最优模型，模型运算输出降水率，对目标区域进行近实时降水监测，并且实现了强降水监测的能力增进。
[0111]
实施例二：
[0112]
本发明实施例提供了一种电网近实时降雨量估测系统，系统包括：
[0113]
实时采集模块，用于获取静止卫星的实时光谱信息并进行预处理生成实时特征数据；
[0114]
实时估测模块，用于将实时特征数据输入预构建的降雨量估测模型获取近实时降雨量的估测值；
[0115]
其中，所述降雨量估测模型的构建包括：
[0116]
历史采集模块，用于获取静止卫星和各气象站在预设时段内各时刻的历史光谱信息和历史气象数据；
[0117]
特征生成模块，用于将各时刻的历史光谱信息进行预处理生成各时刻的历史特征数据；
[0118]
数据对生成模块，用于将各时刻的历史特征数据与历史气象数据进行时空匹配获
取数据对集；
[0119]
数据对划分模块，用于按照预设比例对数据对集进行划分生成训练集、验证集和测试集；
[0120]
模型构建模块，用于构建自定义损失函数的lightgbm模型；
[0121]
训练验证模块，用于使用训练集训练lightgbm模型，并在验证集上验证其性能，通过网格搜索法寻找最优超参数组合；
[0122]
构建测试模块，用于将采用最优超参数组合的lightgbm模型作为降雨量估测模型，在测试集上测试降雨量估测模型获取估测效果。
[0123]
实施例三：
[0124]
基于实施例一，本发明实施例提供了一种电网近实时降雨量估测装置，包括处理器及存储介质；
[0125]
存储介质用于存储指令；
[0126]
处理器用于根据指令进行操作以执行根据上述方法的步骤。
[0127]
实施例四：
[0128]
基于实施例一，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。
[0129]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0130]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0131]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0132]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0133]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。