ontrol软件、MySQL ODBC驱动程序、0DBCRouter3.0组件及My SQL数据库;My SQL ODBC驱动程序主要用于配置My SQL数据库的数据源，ODBCRouterf.0组件中的数据源主要是铁路供电监控系统的采集数据库，MySQL数据库用于存储0DBCRouter3.0组件中的数据源转存数据。
[0016]在MySQL数据库中设计相应的存储表，建立的表的结构属性为(Id，Time，DevicelcUDeviceName，Value)，其中Id设置为主键并自增，Time为采集的时间，DeviceId为采集的设备名称号，DeviceName为采集的设备名称，Value为采集的设备实时值。
[0017]MySQL数据库表按这种结构形式设计，存储了特定设备采集的实时数据，便于转存和历史调阅。然后，将监控系统采集的实时数据通过SQLite交互的操作方式，经一次转存存储到对应的MySQL工作数据库空间。
[0018](3)关系数据库转存至NoSQL非关系数据库阶段
配置Linux系统的计算机集群，搭建Hadoop云计算的集群平台，并在该集群平台基础上，架构HBase分布式实时数据库，然后在云计算集群平台上安装Sqoop数据处理工具，并于安装好Sqoop软件的计算机中载入MySQL的JDBC驱动程序，通过网络和Sqoop指令，将Windows系统中转存后的MySQL数据库进行二次转存，存储至HBase的NoSQL数据库中。
[0019](4)分布式列族存储阶段
建立面向列族的可无限扩张的HBase数据存储表，在表的精简结构形式中，设计行键为Value属性，再设计两个列族，其中一个列族为Deviceld属性，另一个列族为DeviceName属性，其中Value为设备采集的实时值，Device Id为设备名称号，DeviceName为设备名称。通过把MySQL数据库转存至HBase数据库中，使用多台存储服务器分担存储负荷，同时可以使用位置服务器定位存储信息，提高系统的可靠性和存取效率，以分布式计算机集群存储的方式实现铁道配电网海量监控数据的持续转存储。
[0020]对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
【主权项】
1.一种图库一体的铁路lOkV配电网海量监控信息HBase转存方法，其特征在于，具体转存方法如下: (1)配电网图库一体监控系统开发 使用ForceControl软件开发铁路10kV配电网监控系统，对电气化铁道配电网电气设备的监督和控制，在开发图形系统时，采用图库一体化技术，把图元通过编码和序列化的方式存到实时数据库中，使图元与数据作为一个整体进行存储和管理； (2)实时关系数据库同步 在该Windows操作系统的计算机中安装用于存储铁路供电监控系统数据源的0DBCRouter3.0组件、用于实现从数据源转存至MySQL数据库的MySQL ODBC驱动程序及用于转存储数据源的My SQL数据库；在MySQL数据库中建立相应的存储表，以存储对应设备采集的实时数据，便于转存和历史调阅；将配电监控系统采集的实时数据通过SQLite交互的操作方式，经一次转存存储到对应的MySQL工作数据库空间； (3)关系数据库转存至NoSQL非关系数据库 配置Linux系统的计算机集群，搭建Hadoop云计算的集群平台，并在该集群平台基础上，架构HBase分布式数据库，在云计算集群平台上安装Sqoop数据处理工具，并于安装Sqoop软件的计算机载入MySQL的JDBC驱动程序，通过网络和Sqoop指令，将转存后的MySQL数据库进行二次转存，存储至HBase的NoSQL数据库中； (4)分布式列族存储 建立面向列族的可无限扩张的HBase数据存储表，在表的精简结构形式中，设计行键为Value属性，再设计两个列族，其中一个列族为Deviceld属性，另一个列族为DeviceName属性，其中Value为设备采集的实时值，Deviceld为设备名称号，DeviceName为设备名称。2.通过把MySQL数据库转存至HBase数据库中，利用多台数据库服务器进行数据存储，实现使用云计算进行配电监控系统大数据的分布式列族存储。3.根据权利要求1所述的图库一体的铁路10kV配电网海量监控信息HBase转存方法，其特征在于，所述步骤(1)中，在Windows操作系统中安装ForceControl力控软件，并使用组态软件开发10kV配电网监控系统，实现对设备的监控，在开发图形系统时，采用图库一体化技术，把图元通过编码和序列化的方式存到实时数据库中，使图元与数据作为一个整体进行存储和管理。4.根据权利要求1所述的图库一体的铁路10kV配电网海量监控信息HBase转存方法，其特征在于，所述步骤(2)中，为了加速实时数据的转储速度，对监控实时数据的属性进行了划分，提取得到了转存储所需的高实时性属性域的一个真子集，所述建立的存储表的结构属性精简为(Id，Time，Device Id，Device Name，Value)，其中Id设置为主键并自增，Time为采集的时间，Deviceld为采集的设备名称号，Device Name为采集的设备名称，Value为采集的设备实时值。
【专利摘要】本发明公开了一种图库一体的铁路10kV配电网海量监控信息HBase转存方法，包括在Windows系统的计算机中利用ForceControl组态软件开发配电网监控系统，在图形系统开发中，把图元通过编码和序列化的方式存到实时数据库中，在Linux操作系统的计算机中安装Hadoop软件，搭建云计算平台，架构HBase数据库存储系统，将配电监控系统采集的实时数据通过SQLite交互操作方式经一次转存存储到MySQL数据库，通过Sqoop相关指令，将转存后的MySQL数据库进行再次转存，存储至HBase的NoSQL数据库中。本发明方法使用Hadoop和HBase相结合的云计算技术处理数据，实现配电网监控系统海量数据的云计算存储，存储过程中不仅可实现海量数据存储，而且数据存储量越大，数据读取效率更高。
【IPC分类】G06Q50/06, G06F17/30
【公开号】CN105426482
【申请号】CN201510803839
【发明人】屈志坚, 李立帆, 徐振清, 赵亮
【申请人】华东交通大学
【公开日】2016年3月23日
【申请日】2015年11月20日