一种图库一体的铁路10kV配电网海量监控信息HBase转存方法
【技术领域】
[0001]本发明涉及配电网监控技术领域，具体是一种图库一体的铁路10kV配电网海量监控信息HBase转存方法。
【背景技术】
[0002]随着我国电气化铁路的快速发展和建设，提速铁路的牵引供电监控增加了大量AT所，拟将上网隔离开关全面纳入监控，同时铁路电力监控也将通信、信号、光纤直放站箱变、环网柜、所有10/0.4kV低压变电所纳入监控，即将所有高、低压回路纳入铁路配电网监控中。又由于监控线路不再为针对单一铁路线路的监控，而是多条线路统一调度监控。因此，监控容量较传统普速铁路监控系统容量有数十倍剧增。面对这种大数据存储，传统存储方式越来越不能适应铁路配电网监控的需要。
[0003]图库一体化，是指把图元与数据作为一个整体来进行处理。目前，国内开发的图形绘制平台都存在着提供绘图工具定制设备图元，大多数以位图方式存放，在图元绘制时载入相应的位图图元，但在进行缩放操作时图元存在变形和失真的现象，而且用户定制图元操作复杂、工作量大。为此，利用图库一体化技术，不但可以降低开发难度，而且还可以保证图元的质量。
[0004]云计算是一种新兴计算模式，为下一代网络应用平台的核心技术，提供安全、可靠的信息存储，方便快捷的网络服务和强大数据处理能力。在铁路配电监控方面，云计算的可靠性高、数据处理量巨大、灵活可扩展及设备利用率高等优势突显，将计算任务分布在大量计算机构成的资源池上，按需获取计算存储空间和信息服务。使用HBase云计算技术处理数据，可实现海量数据存储，且数据存储量越大，读取数据的平均速率相比传统数据存储方式越快。
[0005]利用组态软件ForceControl开发具备图库一体功能的配电网监控系统，采集的数据只能存储在自带数据库或典型关系数据库中，但最新高铁动车段供电自动化采集的数据断面已达到秒级，监测数据量剧增，数据量的增长速度远大于关系数据库存储能力的增长速度。因此，传统数据存储方式在存储容量和计算能力方面，已不能满足这种海量数据存取处理的工程需求，为此提出了一种把海量的铁路配电网次秒级监测数据，通过HBase的云计算集群进行NoSQL转存的分布式数据存取新方法。
【发明内容】
[0006]本发明的目的在于提供一种图库一体的铁路10kV配电网海量监控信息HBase转存方法，以解决上述【背景技术】中提出的问题。
[0007]为实现上述目的，本发明提供如下技术方案:
一种图库一体的铁路10kV配电网海量监控信息HBase转存方法，包括以下步骤:
(1)配电网图库一体监控系统开发使用ForceControl软件开发铁路lOkV配电网监控系统，对电气化铁道配电网电气设备的监督和控制，在开发图形系统时，采用图库一体化技术，把图元通过编码和序列化的方式存到实时数据库中，使图元与数据作为一个整体进行存储和管理；
(2)实时关系数据库同步
在该Windows操作系统的计算机中安装用于存储铁路供电监控系统数据源的0DBCRouter3.0组件、用于实现从数据源转存至MySQL数据库的MySQL ODBC驱动程序及用于转存储数据源的My SQL数据库；在MySQL数据库中建立相应的存储表，以存储对应设备采集的实时数据，便于转存和历史调阅；将监控系统采集的实时数据通过SQLite交互的操作方式，经一次转存存储到对应的MySQL工作数据库空间；
(3)关系数据库转存至NoSQL非关系数据库
配置Linux系统的计算机集群，搭建Hadoop云计算的集群平台，并在该集群平台基础上，架构HBase分布式数据库，在云计算集群平台上安装Sqoop数据处理工具，并于安装Sqoop软件的计算机载入MySQL的JDBC驱动程序，通过网络和Sqoop指令，将转存后的MySQL数据库进行二次转存，存储至HBase的NoSQL数据库中；
(4)分布式列族存储
建立面向列族的可无限扩张的HBase数据存储表，在表的精简结构形式中，设计行键为Value属性，再设计两个列族，其中一个列族为Deviceld属性，另一个列族为DeviceName属性，其中Value为设备采集的实时值，Device Id为设备名称号，DeviceName为设备名称。通过把MySQL数据库转存至HBase数据库中，利用多台数据库服务器进行数据存储，实现使用云计算进行配电监控系统大数据的分布式列族存储。
[0008]作为本发明进一步的方案:所述步骤(1)中，在Windows操作系统中安装ForceControl力控软件，并使用组态软件开发铁路10kV配电网监控系统，实现对设备的监控，在开发图形系统时，采用图库一体化技术，把图元通过编码和序列化的方式存到实时数据库中，使图元与数据作为一个整体进行存储和管理。
[0009]作为本发明再进一步的方案:所述步骤(2)中，为了加速实时数据的转储速度，对监控实时数据的属性进行了划分，提取得到了转存储所需的高实时性属性域的一个真子集，所述建立的存储表的结构属性精简为(Id，Time，Deviceld，Device Name，Value)，其中Id设置为主键并自增，Time为采集的时间，DeviceId为采集的设备名称号，Device Name为采集的设备名称，Value为采集的设备实时值。
[0010]与现有技术相比，本发明的有益效果是:本发明方法采用HBase云计算技术处理数据，实现海量数据存储。通过HBase的云计算集群和实时数据的精简子集，对监控数据进行NoSQL转存，实现了配电网监控系统海量数据的云计算存储，且数据存储量越大，数据存取效率越高。
【附图说明】
[0011 ]图1为本发明方法的转存示意图。
【具体实施方式】
[0012]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0013]请参阅图1，本发明实施例中，对于本发明方法的转存进行详细描述。
[0014](1)配电网图库一体监控系统开发阶段
在Windows系统中用ForceControl力控软件开发铁路10kV配电网监控系统，实现对电气化铁道配电网高压电气设备的监督和控制，在开发图形系统时，采用图库一体化技术，把图元通过编码和序列化的方式存到实时数据库中，使图元与数据作为一个整体进行存储和管理。
[0015](2)实时关系数据库同步阶段
完成这一工作，需要在该Windows系统中安装力控ForceC