专利名称：基于gis的海量雷电数据时空分析方法
技术领域：
本发明属于GIS与气象信息技术交叉领域。地理信息系统(GIS)强大之处是能将 空间地理分布状况及所具有的属性进行数字存储，建立数据管理系统，同时开发各种分析 和处理功能，以便快速获取信息，并将处理结果以地图、图元及数据的形式表示出来。因此， 处理海量且庞杂的实时雷电数据信息，可以通过GIS的强大的空间查询分析和图形可视化 功能为雷电防护的分析和决策提供科学手段，大大提高了以多种形式对雷电数据资料的统 计效率。
背景技术：
自然界雷电的发生具有很强的随机性、瞬时性和危险性，它与大气强对流系统密 切相关。雷电监测网络主要由地面大气电场监测网、闪电定位监测网、地面自动观测站组 成。本网络包含3-5个电场仪，覆盖9个闪电定位观测点，以及1-2个自动气象观测站。在 当天雷电事件发生后，每个仪器都能即时地监测到每次雷电的原始数据信息(包括序号、 时间、经纬度、强度等信息)，并且以文本信息即时地更新传到服务器中，有时每天的雷电次 数少则几条，而梅雨天的次数可能多达数万条。因此，当雷电的原始数据资料以文本记录形 式存放时，空间庞大且信息冗杂，而且其灾害分布形势不具有直观性和鲜明性。地理信息系统(GIQ是20世纪60年代中期兴起的一门交叉边缘学科。GIS利用 计算机建立地理数据库，将空间地理分布状况及所具有的属性进行数字存储，建立数据管 理系统，同时开发各种分析和处理功能，以便快速获取信息，并将处理结果以地图、图元及 数据的形式表示出来。因此，结合雷电监测网络的实时雷电数据信息，并通过GIS的强大的 空间查询分析和图形可视化功能为雷电防护的分析和决策提供了科学手段。一方面能够 利用GIS的地图及图层加载功能，实现雷电精确定位及资料回放显示效果；另一方面能够 利用GIS的空间查询分析及专题图制作功能，实现雷电资料查询显示以及闪电密度分析功 能，大大提高了以多种形式对雷电数据资料的统计效率。参考文献[1]闫飞，张海燕，毛云志.基于DSP的雷电定位系统设计[J].微计算机信息， 2010,26 128[2]冯民学，焦雪等.江苏省雷电分布特征分析[J].气象科学，2009，29(2) 246-250[3]刘岩，王振会，张慧良等.2007年浙江地区梅雨期闪电特征的分析[J].气象科 学，2009，29 (2) :225-228.[4]陈家宏，樊灵孟.雷电定位系统和雷电参数[C]. The 3rd Asian LightningProtection Forum, Taisei Corp, Tokyo, Japan,2005.[5]吴璞三.雷电定向定位与时差定位[J]·高电压技术，1995，21 (9) :3_6·[6]国网武汉高压研究院.福建省雷电参数研究[R].武汉国网武汉高压研究 院，2006.
[7]Rajesh Chawla, Vivek Chopra, Gary Damschen, et al. Professional XML WebServices[Μ], Wrox Press,2002.[8]Krider Ε,Pifer A Ε,Vance D L. Lightuing direction finding system for forest firedetection. Ball Amer Metor SoC,1980,61 :980-986.
发明内容
本发明目的是针对现有技术存在的缺陷提供一种本发明为实现上述目的，采用如下技术方案本发明基于GIS的海量雷电数据时空分析方法包括以下几个步骤①采用服务端数据监控模块将闪电定位监测网数据采集至本地服务器监测站中， 通过实时监测算法更新本地数据，通过消躁和预处理方法将原始雷电数据导入闪电资料 GIS数据库中，形成闪电数据资源层；实时监测算法是开启间隔时间为1秒的实时监测线 程，读取以当年时间为名称的文本文件记录总行数m，并与数据库当天表中的记录总数η作 比较，若数量相同，则无更新；若文本文件记录总行数m小于文本中记录数n，则更新最后 m-n条记录，其中m和η都为大于1的自然数；②数据服务接口层提供服务端资源层和客户端业务层之间的数据交互，通过提供 统一的数据服务接口，客户端业务层访问数据库并得到相应的数据；数据接口层使用基于 XML和Wfeb Service传输协议；将实时及历史闪电数据通过W^ebService传输到相应的防雷 部门客户端；③客户端业务层中通过主控线程加载GIS地图及其他空间数据，实时监测闪电数 据更新情况，将最近的闪电形成地图元素并显示，纳入统计分析模块中；统计分析模块通过 时间和空间分布分析算法，根据用户选择的条件，将闪电的分布特征图及其相关数据形成
气象广品。优选地，所述实时监测算法如下所示A. DotNetFramework中的文件系统监测接口 FileSystemWatcher用来监控指定文 件夹中数据文件的10操作；FileSystemWatcher既可以监控本地文件夹，也可以监控监控 网络共享文件夹。B. FileSystemWatcher监测到文件有修改情况后，读取该文件名name和文件中的 行数m，再到数据库中读取以name命名的表中的记录数n，若m和η数量相同，则无更新；C.原始文件中的行文本是有规则的数据，包括行号、时间、经纬度、强度、陡度、省、 市、县信息，也包括冗余和噪声数据；需要消除冗余和噪声数据形成规整的记录型数据；D.形成规整的记录型数据后，导入闪电资料数据库中。优选地，所述数据服务接口层为a.接口主要用于客户端请求闪电数据和地理元素数据，包括插入、更新、删除操 作；b.根据客户端的请求，将数据库中的闪电资料封装成业务实体，再将关系型数据 模型转成XML数据模型；c.数据服务接口与客户端通信通过使用XML消息处理启用数据交换和应用程序 逻辑远程调用，使数据能够通过防火墙并在异类系统之间传输数据。
优选地，所述客户端业务层，其特征是1)客户端以主控监测线程向上层请求数据、向下显示数据，使用基于XML的SOAP 协议来调用和传输远程数据服务；2)请求数据完成后，需要加载地图资源和闪电资料，主要是GIS中点、线、面等基 本要素，根据闪电的资料的字段进行分级渲染；3)监测线程实时地向上层请求数据，查看是否有数据更新，若有更新，则将XML数 据转换成GIS要素，叠加到地图上显示；4)利用GIS专题图方法对闪电资料进行空间分布，以柱状、饼状图形式直观显示 闪电的分布特征，以及统计闪电的强度分布情况；5)将一定地区条件的闪电资料进行时、日、月统计，对闪电进行时间特征分析；6)最终将闪电的时空分布特征等资料形成气象产品。本发明提供的技术方案的有益效果是基于GIS的海量雷电数据时空分析方法是利用最新计算机科学技术和手段，结合 地理信息系统(GIS)，通过建立雷电实时监测网络系统来获取雷电发生的信息源，研究信息 源的数据质量控制技术和方法，构建和维护数据库，采用数据挖掘方法来处理和分析数据， 形成集雷电查询、闪电数据时空分析、雷电业务处理等功能于一体的分析方法，最后通过共 享网络来发布雷电共享产品，实现雷电业务服务的根本目标。
图1是基于GIS的海量雷电数据时空分析系统总体架构图；图2是基于GIS的海量雷电数据时空分析方法的服务端工作流程；图3是数据服务接口层工作流程；图4是基于GIS的海量雷电数据时空分析方法的客户端工作流程；图5是闪电数据监测工作流程；图6是闪电资料空间查询流程图；图7是闪电时域分析的工作流程图；图8是基于GIS的海量雷电数据时空分析原理图。
具体实施例方式如图8所示，本发明为解决闪电的数据监控、存储及显示问题，结合雷电数据处理 的实际情况，主要包括四个模块服务端数据监控模块、客户端配置模块、GIS操作功能模 块、闪电定位显示、闪电资料查询模块等。①服务端数据监控模块主要实现将闪电定位监测网数据采集至本地服务器监测站中，通过实时监测算法 更新本地数据，通过消躁和预处理方法将原始数据导入闪电资料GIS数据库中，形成闪电 数据资源层。实现对闪电资料数据库的插入、删除、修改等操作，并且数据服务接口与客户 端通信通过使用XML消息处理启用数据交换和应用程序逻辑远程调用，使数据能够通过防 火墙，并在异类系统之间传输数据。②客户端配置模块
主要实现以主控监测线程为核心，向上层请求数据，向下显示数据，使用基于XML 的SOAP协议来调用和传输远程数据服务。配置服务器IP、端口、用户名、密码等必要信息， 通过参数进行远程访问并获取数据。③GIS操作功能模块实现基于Arc Engine 9. 2的COM组件技术的GIS的基本地图操作功能。主要是地图的放大、缩小、漫游、测距、图层的显示，在地图上能够标注检测单位，并且加入相应类 型的图层中。④闪电定位显示模块主要实现实时地检查雷电资料数据库是否有最新的闪电记录，在GIS地图上实时 显示当天的闪电(用不同符号标注正闪、负闪)。并且可以显示当天的闪电、临近三小时之 内的闪电，以及发生闪电的具体经纬度、时间、省份、地区县市等。⑤闪电资料查询模块主要实现闪电资料按时间段、电流强度、粗略圆圈地域内进行检索，统计计算出区 域内闪电总次数、平均电流强度及闪电密度，并能在地图显示/清除检索出的雷电记录。以下是本系统中的5个具体系统模块的具体实现方法1.在所述服务端数据监控模块中实现。其步骤包括A.闪电定位监测网将当日的闪电数据实时地传输到本地服务器磁盘中。存储的文 件夹中包含大量原始数据文件(*.txt)，文件名为当天的日期。例如，2010年10月13日的 数据文件名为2010_10_13. txt ；B. DotNetFramework中的文件系统监测接口(FileSystemWatcher)可以用来监控 指定文件夹中数据文件的IO操作，包括文件创建、修改、删除等常见操作；C. FileSystemffatcher监测到文件有修改情况后，读取该文件名name和文件中的 行数m，再到数据库中读取以name命名的表中的记录数n，若m和η数量相同，则无更新；若 小于文本中记录数，则需更新最后m-n条记录；D.原始文件中的行文本是有规则的数据，包括行号、时间、经纬度、强度、陡度、省、 市、县等信息，也包括冗余和噪声数据，需要消除冗余和噪声数据形成规整的记录型数据。 将形成的规整记录型数据封装成业务实体，导入闪电资料数据库中。E.鉴于雷电资料处理系统的实际情况，决定对每天的闪电数据独立建表(DAY+日 期)，同时每年建一张闪电数据资料表(YEAR+年份)。新进入的数据同时进入两张表以满 足不同的查询统计分析需求。F.数据服务接口用于客户端请求闪电数据和地理元素数据，包括插入、更新、删除 等操作，主要通过.net的web service实现功能。Web Service是一种建立在XML基础之 上的使软件组件能通过互联网相互通信的规范。G.根据客户端的请求，将数据库中的闪电资料封装成业务实体，再将关系型数据 模型转成XML数据模型。H.数据服务接口与客户端通信通过使用XML消息处理启用数据交换和应用程序 逻辑远程调用，使数据能够通过防火墙，并在异类系统之间传输数据。2.在所述的客户端配置模块中实现。其步骤包括A.客户端启动时，为了设置整个系统运行的参数，主要包括远程参数和本地参数。远程参数主要包括服务器IP、端口、数据库、用户名以及密码。B.设置本地参数主要是为了方便客户端程序运行，主要包括监测线程数、地图目 录、初始位置等参数；C.从ini配置文件中保存并加载程序参数，保存程序正常运行。3.所述的GIS操作功能模块中实现。其步骤包括A. GIS操作主要功能是对点、线、面图层的控制，用户可以控制行政区域和闪电符 号图层的显示与隐藏，主要是基于Arc Engine 9. 2组件式开发；B.另外还包括地图的放大、缩小、漫游、测距等基本GIS功能。4.所述的闪电定位显示模块中实现。其步骤包括A.进入该模块能实时的检查雷电资料数据库是否有最新的闪电记录，创建当日闪 电数据点图层，在GIS地图上实时显示当天的闪电(用不同符号标注正闪、负闪)。B.根据闪电的正负强度，将闪电分类渲染成不同颜色的符号，并且可以显示当天 的闪电，以列表形式展示闪电的具体经纬度、时间、省份、地区县市等。C.监测主线程在当日M点时，将当日闪电数据点图层删除，然后重复监测下一日 的数据。5.所述的闪电资料查询模块中实现。其步骤包括A.基于Arc Engine 9. 2组件，开发交互式图形查询。主要实现输入起始时间和结 束时间，选择要查询的电流强度等级，选择进行圆形、矩形还是任意图形进行查询，并对相 应区域的闪电进行时域分析。B.经纬度查询主要实现输入起始时间和结束时间，输入中心点经纬度，选择要查 询的电流强度等级，选择进行圆形还是矩形图形进行查询，并对相应区域的闪电进行时域 分析。C. GIS专题图查询主要实现以市或县为单位，以点密度图、柱状或饼状图的形式分 析闪电空间分布特征。具体内容包括(1)基于Arc Engine 9. 2组件式开发。GIS专题图是根据字段信息进行分级符号 渲染，点密度图模块实现对图层的点密度图渲染。能设定所选的图层整体背景颜色和区域 边界线的颜色及线宽；应能选择色带、选择点符号、设定点符号的尺寸及颜色、设定一个点 符号所代表的数目。(2)图表图模块可以饼状图、柱状图渲染图层。渲染前，先将各个市或县行政区域 与闪电点图层作空间交集操作，求出相应区域i的闪电总数mi，并总数mi添加到各个市或 县Count字段中。(3)渲染时，再需要选择图层、设定符号尺寸、选择色带及渲染字段；(4)最后将专题渲染图形成气象产品，供气象工作人员共享和查看。D.行政区域查询主要实现在地图上选择某个行政区域，突出其边界区域，并以同 样的方式查询该区域内的闪电资料信息，并对相应区域的闪电进行时域分析。具体内容包 括(1)查询相应条件的闪电数据，根据其地理位置信息形成临时所有点图层，作为被 比较图层。(2)遍历行政区域中市或县图层，以相应行政区域作为要素创建临时条件图层。
(3)将临时所有点图层与条件图层作空间相交运算，得出的点图层，则是相应行政 区域的闪电信息。再将闪电要素根据正负强度进行渲染，得出最终美观结果。 (4)闪电点图层中的所有图元都包含时间、经纬度、强度等字段信息，所以再对 闪电进行时、日、月等时域统计分析。另外，还包括强度概率分布统计分析，跨度可分为 0-20KA, 20-40KA, 40-80KA, 80-100KA, 100KA 以上 5 级。为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施 方式作进一步地详细描述本实施例提供了一种基于GIS的海量雷电数据时空分析方法，结合地理信息系统 (GIS)技术，研究雷电信息源的数据质量控制方法，构建和维护雷电空间数据库，并建立雷 电实时定位监测系统来获取雷电发生的信息源，以空间要素形式实时地呈现闪电的定位分 布，预测雷电的最新趋势。另外，仅依靠实时定位监测的空间表现方式是不够的，必须采用 更加交互式方法来统计和分析历史闪电数据，包括任意形状空间分析、闪电密度分析、专题 图分析等方法。该发明对于海量雷电数据具有很好的监控和统计分析能力。图1为系统总 体架构图。如图2所示，提供了基于GIS的海量雷电数据时空分析方法的服务端工作流程，包 括以下步骤步骤10地面高精度监测网把经过预处理的闪电数据实时地通过通讯系统送到中 心数据处理站实时进行交汇处理，可全天候、长期、连续运行并记录雷电发生的时间、位置、 强度、极性和定位算法等指标数据。如表1，雷电监测网中数据格式；表1高精度雷电监测定位系统探测参量与指标
回击发生回击位置Ζ3ΓΓ~~随度值
参数的精确时(经纬 强度放电量 峰值功率
_间度)_f^_
单位~~0 · 1μ S SKA 0 · 1μ S~~KA/μ S W^ Wk~
^r 精度优于N内精度相对误差精度优于相对误差相对误差相对误差 10-7秒优于3OO 优于15% 10-7秒优于15% 优于30% 优于30%
山步骤20DotNetFramework 中的文件系统监测接口(FileSystemWatcher)可 以用来监控指定文件夹中数据文件的IO操作，包括文件创建、修改、删除等常见操作。 FileSystemffatcher既可以监控本地文件夹，也可以监控监控网络共享文件夹。通过它可以 实时地监控气象部门服务器中原始数据文件(*. txt)，重点监测以当天时间命名的文件的 操作情况，例如，2010年10月13日的数据文件名为2010_10_13. txt ；步骤30FileSyStemWatCher监测到文件有修改情况后，读取该文件名name和文件 中的行数m，再到数据库中读取以name命名的表中的记录数n，若m和η数量相同，则无更 新；若小于文本中记录数，则需更新最后m-n条记录；步骤40原始文件中的行文本是有规则的数据，包括行号、时间、经纬度、强度、陡 度、省、市、县等信息，当然也包括冗余和噪声数据，需要消除冗余和噪声数据形成规整的记 录型数据。如表2所示，闪电资料数据库字段设计；
表2闪电资料数据库字段
权利要求
1.一种基于GIS的海量雷电数据时空分析方法，其特征在于包括以下几个步骤①采用服务端数据监控模块将闪电定位监测网数据采集至本地服务器监测站中，通过 实时监测算法更新本地数据，通过消躁和预处理方法将原始雷电数据导入闪电资料GIS数 据库中，形成闪电数据资源层；实时监测算法是开启间隔时间为1秒的实时监测线程，读取 以当年时间为名称的文本文件记录总行数m，并与数据库当天表中的记录总数η作比较，若 数量相同，则无更新；若文本文件记录总行数m小于文本中记录数n，则更新最后m-n条记 录，其中m和η都为大于1的自然数；②数据服务接口层提供服务端资源层和客户端业务层之间的数据交互，通过提供统一 的数据服务接口，客户端业务层访问数据库并得到相应的数据；数据接口层使用基于XML 和^^吐Service传输协议；将实时及历史闪电数据通a^bService传输到相应的防雷部门 客户端；③客户端业务层中通过主控线程加载GIS地图及其他空间数据，实时监测闪电数据更 新情况，将最近的闪电形成地图元素并显示，纳入统计分析模块中；统计分析模块通过时间 和空间分布分析算法，根据用户选择的条件，将闪电的分布特征图及其相关数据形成气象产品。
2.如权利要求1所述的基于GIS的海量雷电数据时空分析方法，其特征在于所述实时 监测算法如下所示A.DotNetFramework中的文件系统监测接口 FileSystemWatcher用来监控指定文件夹 中数据文件的IO操作；FileSystemWatcher既可以监控本地文件夹，也可以监控监控网络共享文件夹。B.FileSystemWatcher监测到文件有修改情况后，读取该文件名name和文件中的行数 m,再到数据库中读取以name命名的表中的记录数n，若m和η数量相同，则无更新；C.原始文件中的行文本是有规则的数据，包括行号、时间、经纬度、强度、陡度、省、市、 县信息，也包括冗余和噪声数据；需要消除冗余和噪声数据形成规整的记录型数据；D.形成规整的记录型数据后，导入闪电资料数据库中。
3.如权利要求1所述的基于GIS的海量雷电数据时空分析方法，其特征在于所述数据 服务接口层为a.接口主要用于客户端请求闪电数据和地理元素数据，包括插入、更新、删除操作；b.根据客户端的请求，将数据库中的闪电资料封装成业务实体，再将关系型数据模型 转成XML数据模型；c.数据服务接口与客户端通信通过使用XML消息处理启用数据交换和应用程序逻辑 远程调用，使数据能够通过防火墙并在异类系统之间传输数据。
4.如权利要求1所述的基于GIS的海量雷电数据时空分析方法，其特征在于所述客户 端业务层，其特征是1)客户端以主控监测线程向上层请求数据、向下显示数据，使用基于XML的SOAP协议 来调用和传输远程数据服务；2)请求数据完成后，需要加载地图资源和闪电资料，主要是GIS中点、线、面等基本要 素，根据闪电的资料的字段进行分级渲染；3)监测线程实时地向上层请求数据，查看是否有数据更新，若有更新，则将XML数据转换成GIS要素，叠加到地图上显示；4)利用GIS专题图方法对闪电资料进行空间分布，以柱状、饼状图形式直观显示闪电 的分布特征，以及统计闪电的强度分布情况；5)将一定地区条件的闪电资料进行时、日、月统计，对闪电进行时间特征分析；6)最终将闪电的时空分布特征等资料形成气象产品。
全文摘要
本发明公布了一种基于GIS的海量雷电数据时空分析方法。本发明方法主要实现①结合地理信息系统(GIS)技术，研究雷电信息源的数据质量控制方法，构建和维护雷电空间数据库，并建立雷电实时定位监测系统来获取雷电发生的信息源。以空间要素形式实时地呈现闪电的定位分布，预测雷电的最新趋势。②采用更加交互式方法统计和分析历史闪电数据，包括任意形状空间分析、闪电密度分析、专题图分析等方法,形成气象产品。最后通过共享网络来发布和共享雷电资料分析产品，通过以上闪电数据空间分析方法实现雷电业务服务的根本目标。
文档编号G06F17/30GK102147807SQ20111005753
公开日2011年8月10日 申请日期2011年3月10日 优先权日2011年3月10日
发明者侯荣涛, 史鑫明, 朱斌 申请人:南京信息工程大学