一种基于大数据的雷电参数统计分析方法及系统与流程
本发明涉及属于输电线路雷电分析领域，具体涉及一种基于大数据的雷电参数统计分析方法及系统。
背景技术：
随着电网规模、电压等级飞速发展、国民经济水平的提高、各种智能、弱电设备如雨后春笋般的涌现，雷电对全国造成了巨大的经济损失、人畜伤害。为了减小雷电损失、降低雷击风险，需要的雷电参数越来越多，也越来越细。目前使用雷电数据分析系统进行雷电数据统计分析，绘制区域地闪密度图等，为防雷设计、评估提供了有力的支持，但该系统开发平台已过于老旧，在应对长时间、大跨度的特高压输电通道雷电信息综合分析处理任务时，雷电数据处理能力和分析速度已无法满足运维需要，亟需应用新的数据处理技术，开展新一代雷电信息数据分析系统的研究，为研究重要输电通道和关键电力设施雷电活动规律提供有力的分析工具。
技术实现要素：
为解决上述背景技术中提出的问题，本发明提供一种基于大数据的雷电参数统计分析方法及系统，通过大数据平台将多年存储的海量雷电监测数据移植到大数据数据库中平台中，为有效的雷电参数统计提供了更为准确及稳定的数据来源，为海量雷电数据的分析计算提供有力的基础数据保障。
本发明第一方面提供一种基于大数据的雷电参数分析方法，所述方法包括以下步骤：
采集获取第一雷电数据；并通过雷电大数据平台获取第二雷电数据；
根据所述第一雷电数据和第二雷电数据获取雷电参数。
作为一种可选方案，所述方法还包括：对所述雷电数据进行区域网格预处理和线路网格预处理；所述区域预处理包括对区域分析对象进行不同网格划分，网格大小包括10km*10km、5km*5km、2km*2km、1km*1km。
作为一种可选方案，所述方法还包括，将雷电分析结果在web端进行展示；所述将雷电分析结果在web端进行展示具体为：
web端将区域网格内落雷数通过插值的方法在web端进行展示，其中区域雷害分析图需先计算区域雷电流幅值后计算动态分级标准，线路分析结果通过分段后以不同颜色在web端展示。
作为一种可选方案，所述方法还包括，将雷电分析结果在web端进行展示；所述将雷电分析结果在web端进行展示具体为：
2.1读取指定目录下的网格落雷数文本，获取每个网格下的落雷数量，并将其转为栅格数据，得到的效果图显示每个网格划分及各网格内落雷数量，并根据雷电地闪密度图绘制标准以不同颜色在web端显示；
2.2采用多阈值idw反距离权值法，调整各网格内落雷数量，使步骤2.1效果图显示平滑；
2.3将步骤2.2调整后的效果图与待分析区域进行相交处理，通过调用图层服务供前端web展示。
作为一种可选方案，所述方法还包括，将雷电分析结果在web端进行展示；所述将雷电分析结果在web端进行展示具体为：
a.读取指定目录下的网格落雷数文本，获取每个网格下的落雷数量，并将其转为栅格数据，得到的效果图显示每个网格划分及各网格内落雷数量，并根据雷电地闪密度图绘制标准以不同颜色在web端显示；
b.采用pi＝1/(1+(i/a)b)标准式对区域对象各年及平均年雷电流幅值累积概率曲线进行拟合，得到对象的中值电流a以及陡度b值；
c.根据步骤b计算的中值电流a以及陡度b值，如若计算区域绕击雷害图则带入公式：
本发明第二方面提供一种基于大数据的雷电参数统计分析系统，所述系统包括：
雷电数据获取模块，用于收集获取第一雷电数据；雷电数据存储模块，用于与雷电大数据平台连接，获取第二雷电数据，并存储雷电数据获取模块收集的所述第一雷电数据；雷电参数分析模块，用于所述第一雷电数据和第二雷电获取雷电参数。
作为一种可选方案，所述雷电参数包括落雷数，所述雷电参数分析模块包括：
网格预处理单元，用于对所述第一雷电数据和第二雷电数据进行区域网格预处理和线路网格预处理，所述区域预处理包括对区域分析对象进行不同网格划分，网格大小包括10km*10km、5km*5km、2km*2km、1km*1k。作为一种可选方案，所述雷电参数分析模块还包括：web展示单元，用于展示雷电参数分析模块的分析结果；所述web展示单元将区域网格内落雷数通过插值的方法在web端进行展示，其中区域雷害分析图需先计算区域雷电流幅值后计算动态分级标准，线路分析结果通过分段后以不同颜色在web端展示。
作为一种可选方案，所述雷电参数分析模块还包括：web展示单元，用于展示雷电参数分析模块的分析结果；所述web展示单元进一步包括：
效果图生成子模块，用于读取指定目录下的网格落雷数文本，获取每个网格下的落雷数量，并将其转为栅格数据，得到的效果图显示每个网格划分及各网格内落雷数量，并根据雷电地闪密度图绘制标准以不同颜色在web端显示；
效果图调整子模块，采用多阈值idw反距离权值法，用于调整效果图生成子模块生成的效果图中各网格内落雷数量，使效果图显示平滑；
前端web展示子模块，用于将效果图调整子模块调整后的效果图与待分析区域进行相交处理，通过调用图层服务供前端web展示。
作为一种可选方案，所述雷电参数分析模块还包括：
web展示单元，用于展示雷电参数分析模块的分析结果；所述web展示单元进一步包括：
效果图生成子模块，用于读取指定目录下的网格落雷数文本，获取每个网格下的落雷数量，并将其转为栅格数据，得到的效果图显示每个网格划分及各网格内落雷数量，并根据雷电地闪密度图绘制标准以不同颜色在web端显示；
区域雷害图生成子模块，采用pi＝1/(1+(i/a)b)标准式对区域对象各年及平均年雷电流幅值累积概率曲线进行拟合，得到对象的中值电流a以及陡度b值；根据计算的中值电流a以及陡度b值，如若计算区域绕击雷害图则带入公式：
作为一种可选方案，所述雷电参数分析模块包括：
区域雷电参数分析单元，用于通过统计所述落雷数，获取不同雷电大小的概率分布曲线；线路雷电参数分析单元，用于通过统计不同缓冲区内雷电数量，根据国网雷电分级标准将线路分为若干区段，并在界面进行区分展示；区域雷电流幅值分析计算单元，用于划分分析对象；区域雷害图分析单元，用于绘制区域雷害风险图；nosql分布式存储计算单元，用于将所有雷电数据根据属性存储；雷电活动分析报告单元，根据区域及时间对分析对象生成雷电分析报告；web展示单元，用于展示雷电分析结果。
作为一种可选方案，所述雷电数据获取模块包括雷电定位单元；
所述雷电定位单元的输出端与所述雷电参数分析模块的输入端以及所述雷电存储模块的输入端连接，所述雷电参数分析模块的输出端与web展示单元的输入端连接。
作为一种可选方案，所述雷电大数据平台包括基于hadoop的雷电数据库，所述基于hadoop的雷电数据库的输出端与所述雷电参数分析模块的输入端以及所述雷电存储模块的输入端连接，所述雷电定位单元的输出端与所述基于hadoop的大数据数据库的输入端连接，所述基于hadoop的雷电数据库使用hdfs文件存储和hbase数据库存储。
作为一种可选方案，所述根据第二雷电数据获取的雷电参数包括网格落雷数、网格经度、网格纬度。
作为一种可选方案，所述雷电定位单元获取的雷电参数包括雷击时间、微秒、雷击经度、雷击维度、主机号、雷击电流大小、定位站数、时间符合数、综合符合度、电流回击次数、定位站值或平均角度误差。
本发明的优点在于：通过大数据平台将多年存储的海量雷电监测数据移植到大数据数据库中平台中，为有效的雷电参数统计提供了更为准确及稳定的数据来源。
同时发明建立了基于区域及线路的网格预处理数据库，将各类数据按规定大小预先计算，并据此建立了区域及线路地形数据库，为海量雷电数据的分析计算提供有力的基础数据保障。
此外，本发明提供了根据雷电参数进行地闪密度图绘制及雷害图绘制的方法。其中地闪密度图分为线路地闪密度图绘制及区域地闪密度图绘制，实现对区域/线路落雷密度的高效分析计算；雷害图绘制方法根据统计时间、网格大小、雷电流幅值、分级公式等自适应计算出雷害图分级标准并绘制相应的雷害分布图。
附图说明
图1为本发明实施例提供的一种基于大数据的雷电参数统计分析方法的流程图；
图2为本发明实施例二提供的一种基于大数据的雷电参数统计分析系统框图；
图3为本发明实施例三提供的一种基于大数据的雷电参数统计分析系统框图。
具体实施方式
下面参照附图并结合具体的实施例，对本发明作进一步的详细说明。
实施例一
如图1所示，本发明实施例提供的一种基于大数据的雷电参数统计分析方法，所述方法包括以下步骤：
采集获取第一雷电数据，并通过雷电大数据平台获取第二雷电数据；
根据所述第一雷电数据和第二雷电数据获取雷电参数。
可选的，所述方法还包括：对所述雷电数据进行区域网格预处理和线路网格预处理；所述区域预处理包括对区域分析对象进行不同网格划分，网格大小包括10km*10km、5km*5km、2km*2km、1km*1km。
可选的，所述方法还包括：将雷电分析结果在web端进行展示，具体为：
web端将区域网格内落雷数通过插值的方法在web端进行展示，其中区域雷害分析图需先计算区域雷电流幅值后计算动态分级标准，线路分析结果通过分段后以不同颜色在web端展示。
可选的，所述方法还包括：将雷电分析结果在web端进行展示，具体为：
2.1读取指定目录下的网格落雷数文本，获取每个网格下的落雷个数，并将其转为栅格数据；
2.2采用多阈值idw反距离权值法，调整各网格内落雷数量大小；
2.3将调整后的效果图与待分析区域进行相交处理，通过调用图层服务供前端web展示。
可选的，所述将雷电分析结果在web端进行展示具体为：
a.读取指定目录下的网格落雷数文本，获取每个网格下的落雷个数，并将其转为栅格数据；
b.采用pi＝1/(1+(i/a)b)标准式对区域对象各年及平均年雷电流幅值累积概率曲线进行拟合，得到对象的中值电流a以及陡度b值；
c.通过步骤a计算的雷电流幅值ab，如若计算区域绕击雷害图则带入公式：
具体的，
所述的基于大数据的雷电参数分析方法，
步骤(1.1)：通过部署大数据存储模块并与雷电定位系统数据库相连，并将雷电定位单元中有用的数据比如雷电时间、雷电位置等导入至大数据存储模块中以建立相应的数据库，并进行管理和调用。数据库中包含区域网格预处理、线路网格预处理等。
步骤(1.2)：当需要分析雷电参数时，通过调用页面前端与大数据分析模块接口，查询所述分基于hadoop的大数据计算模块，大数据计算模块获得指令后，根据所给的起始时间、分析对象(一般对象为省市县区域或者输电线路)、网格大小及标志位，经雷电参数计算模块处理，得到分析对象指定网格大小的雷电数统计结果，以每个网格内的雷电个数为结果返回。
步骤(1.3)：将所述雷电分析结果通过文本形式保存在工作站指定目录下，通过不断调用该接口返回的计算进度值，可获取大数据模块计算进度，当返回100％时可知当前计算已完成。同时读取该文本文档结果并保存至sde中，通过arcgis转换为空间数据。
步骤(1.4)：通过不同雷电统计分析结果，web端将区域网格内落雷数通过插值的方法在web端进行展示，其中区域雷害分析图需先计算区域雷电流幅值后计算动态分级标准，线路分析结果通过分段后以不同颜色在web端展示。
步骤(1.2)所述的雷电参数计算模块，其实现过程如下：
预先将区域分析对象进行不同网格划分，网格大小为10km*10km、5km*5km、2km*2km、1km*1km，并将该数据保存至空间数据库中。在需计算某一区域雷电数据时，预算提取该区域网格经纬度数据与大数据雷电数据进行对比查询，即可获取每个网格内的落雷数量，当查询完成后以特定的格式保存至文本文档。
步骤(1.4)所述区域网格web端展示，包含以下步骤：
(2.1)读取指定目录下的网格落雷数文本，获取每个网格下的落雷个数，并将其转为栅格数据，这样得到的图形是每个网格划分及各网格内落雷数量并根据国网雷电地闪密度图绘制标准以不同颜色在web端显示；
(2.2)采用多阈值idw反距离权值法，根据各网格内落雷数量大小，网格内数量越大则对该网格周围影响越大，即会改变周围网格内落雷数量，起到平滑的效果，由于采用多阈值idw法会根据地图显示的比例尺不同，不同放大级别使用不同的阈值进行插值计算，小比例尺下只显示整个区域分布的大概情况，大比例尺下显示某个区域分布的详细情况；
(2.3)最后将平滑后的效果图与待分析区域进行相交处理，保证图形颜色绘制在分析区域内，通过调用图层服务供前端web展示；
步骤(1.4)所述区域雷害分析图web端展示，包含以下步骤：
a.读取指定目录下的网格落雷数文本，获取每个网格下的落雷个数，并将其转为栅格数据，这样得到的图形是每个网格划分及各网格内落雷数量并根据国家电网雷电地闪密度图绘制标准以不同颜色在web端显示；
b.根据已有的研究结果表明采用ieee推荐的表达形式回归雷电定位系统测量的雷电流幅值累积概率曲线拟合性最好，因此采用pi＝1/(1+(i/a)b)标准式对区域对象各年及平均年雷电流幅值累积概率曲线进行拟合，得到对象的中值电流a以及陡度b值；
c.通过步骤b计算的雷电流幅值ab，如若计算区域绕击雷害图则带入公式：
d.重复步骤b、c，最后以图层服务的形式以供前端web调用；
所述的线路分析方法，所述分析结果，将所分析对象根据线路走向扩展缓冲区，然后根据线路长度将其缓冲区分割为长度相等区间段，根据区段内网格落雷数量得到该区段地闪密度值，最后根据国国家电网雷电地闪密度图绘制标准以不同颜色在web端展示。
所述的网格落雷数，所述网格大小即对应地形实际面积。所述时间即所述有效区段开始到结束的时间，所述落雷总数为所述有效区段的该网格内统计落雷数相加。
所述的区域雷害分析方法，步骤c中所述概率p值，根据不同时间、不同区域进行统计得出不同的概率值p。
所述的线路分析方法中所述线路分段模块，将所述线路通过不同电压等级给予不同缓冲区大小用以统计不同大小缓冲区内落雷数量，所述线路分段特征在于根据线路长度、电压等级、缓存半径综合考虑进行线路分段划分。
本发明通过大数据平台将多年存储的海量雷电监测数据移植到大数据数据库中平台中，为有效的雷电参数统计提供了更为准确及稳定的数据来源；同时发明建立了基于区域及线路的网格预处理数据库，将各类数据按规定大小预先计算，并据此建立了区域及线路地形数据库，为海量雷电数据的分析计算提供有力的基础数据保障。
本发明提供了根据雷电参数进行地闪密度图绘制及雷害图绘制的方法。其中地闪密度图分为线路地闪密度图绘制及区域地闪密度图绘制，实现对区域/线路落雷密度的高效分析计算；雷害图绘制方法根据统计时间、网格大小、雷电流幅值、分级公式等自适应计算出雷害图分级标准并绘制相应的雷害分布图。
实施例二
请参照图2，本发明实施例提供一种基于大数据的雷电参数统计分析系统，所述系统包括：
雷电数据获取模块，用于收集获取第一雷电数据；雷电数据存储模块，用于与雷电大数据平台连接，获取第二雷电数据，并存储雷电数据获取模块收集的所述第一雷电数据；雷电参数分析模块，用于所述第一雷电数据和第二雷电获取雷电参数。
作为一种可选方案，所述雷电参数包括落雷数，所述雷电参数分析模块包括：
网格预处理单元，用于对所述第一雷电数据和第二雷电数据进行区域网格预处理和线路网格预处理，所述区域预处理包括对区域分析对象进行不同网格划分，网格大小包括10km*10km、5km*5km、2km*2km、1km*1k。作为一种可选方案，所述雷电参数分析模块还包括：web展示单元，用于展示雷电参数分析模块的分析结果；所述web展示单元将区域网格内落雷数通过插值的方法在web端进行展示，其中区域雷害分析图需先计算区域雷电流幅值后计算动态分级标准，线路分析结果通过分段后以不同颜色在web端展示。
作为一种可选方案，所述雷电参数分析模块还包括：web展示单元，用于展示雷电参数分析模块的分析结果；所述web展示单元进一步包括：
效果图生成子模块，用于读取指定目录下的网格落雷数文本，获取每个网格下的落雷数量，并将其转为栅格数据，得到的效果图显示每个网格划分及各网格内落雷数量，并根据雷电地闪密度图绘制标准以不同颜色在web端显示；
效果图调整子模块，采用多阈值idw反距离权值法，用于调整效果图生成子模块生成的效果图中各网格内落雷数量，使效果图显示平滑；
前端web展示子模块，用于将效果图调整子模块调整后的效果图与待分析区域进行相交处理，通过调用图层服务供前端web展示。
作为一种可选方案，所述雷电参数分析模块还包括：
web展示单元，用于展示雷电参数分析模块的分析结果；所述web展示单元进一步包括：
效果图生成子模块，用于读取指定目录下的网格落雷数文本，获取每个网格下的落雷数量，并将其转为栅格数据，得到的效果图显示每个网格划分及各网格内落雷数量，并根据雷电地闪密度图绘制标准以不同颜色在web端显示；
区域雷害图生成子模块，采用pi＝1/(1+(i/a)b)标准式对区域对象各年及平均年雷电流幅值累积概率曲线进行拟合，得到对象的中值电流a以及陡度b值；根据计算的中值电流a以及陡度b值，如若计算区域绕击雷害图则带入公式：
实施例三
请参照图3，本发明实施例提供的一种基于大数据的雷电参数统计分析系统，所述系统包括：
雷电数据获取模块，用于收集获取第一雷电数据；雷电数据存储模块，用于与雷电大数据平台连接，获取第二雷电数据，并存储雷电数据获取模块收集的所述第一雷电数据；雷电参数分析模块，用于所述第一雷电数据和第二雷电获取雷电参数。
作为一种可选方案，所述雷电参数包括落雷数，所述雷电参数分析模块包括：区域雷电参数分析单元，用于通过统计所述落雷数，获取不同雷电大小的概率分布曲线；线路雷电参数分析单元，用于通过统计不同缓冲区内雷电数量，根据国网雷电分级标准将线路分为若干区段，，并在界面进行区分展示；区域雷电流幅值分析计算单元，用于划分分析对象；区域雷害图分析单元，用于绘制区域雷害风险图；nosql分布式存储计算单元，用于将雷电数据根据属性存储；雷电活动分析报告单元，根据区域及时间对分析对象生成雷电分析报告；web展示单元，用于展示雷电分析结果。
具体的，区域雷电参数分析单元通过统计0-200ka落雷数，根据最小二次拟合非线性方法对该区间端内的电流进行分析，得出其中值及陡度以及不同雷电大小的概率分布曲线。
线路雷电参数分析单元通过统计不同缓冲区内雷电数量，根据国网雷电分级标准将线路分为若干区段，并最终以不同颜色在界面展示。
区域雷电流幅值分析计算单元通过事先划分四个不同尺度大小，将区域分为四种不同尺度分析对象，在统计该区域内雷电数，通过平滑、插值、分割等方法以平滑的分级色绘制最终图形。
区域雷害图分析单元通过删选出指定范围内的电流数，并根据区域雷电流幅值计算出分级标准，最后以四种不同颜色绘制区域雷害风险图。
nosql分布式存储计算单元将所有雷电数据根据时间等属性存储。
可选的，所述雷电数据获取模块包括雷电定位单元；
所述雷电定位单元的输出端与所述雷电参数分析模块的输入端以及所述雷电存储模块的输入端连接，所述雷电参数分析模块的输出端与web展示单元的输入端连接。
可选的，所述雷电大数据平台包括基于hadoop的雷电数据库，所述基于hadoop的雷电数据库的输出端与所述雷电参数分析模块的输入端以及所述雷电存储模块的输入端连接，所述雷电定位单元的输出端与所述基于hadoop的大数据数据库的输入端连接；所述基于hadoop的雷电数据库使用hdfs文件存储和hbase数据库存储。
可选的，所述雷电参数包括落雷数、网格分布。
可选的，所述根据第二雷电数据获取的雷电参数包括网格落雷数、网格经度、网格纬度。
可选的，所述雷电定位单元获取的雷电参数包括雷击时间、微秒、雷击经度、雷击维度、主机号、雷击电流大小、定位站数、时间符合数、综合符合度、电流回击次数、定位站值或平均角度误差。
本发明的优点在于：通过大数据平台将多年存储的海量雷电监测数据移植到大数据数据库中平台中，为有效的雷电参数统计提供了更为准确及稳定的数据来源；同时发明建立了基于区域及线路的网格预处理数据库，将各类数据按规定大小预先计算，并据此建立了区域及线路地形数据库，为海量雷电数据的分析计算提供有力的基础数据保障。
本发明实施例提供的上述技术方案及附图，用于对本发明的进一步说明而非限制，另外应当说明的是，本领域普通技术人员应当知晓，依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或全部技术特征进行等同替换，而这些修改或者替换，并不使相应技术方案的本质脱离本发明技术方案的范围。
以上仅为本发明的实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均包含在申请待批的本发明的权利要求范围之内。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
- 还没有人留言评论。精彩留言会获得点赞！