一种基于列数据库反向索引的铁路供电调度集群监测系统可视化方法与流程

本发明涉及铁路供电调度监测技术领域，具体是一种基于列数据库反向索引的铁路供电调度集群监测系统可视化方法。

背景技术：

近年来，可视化技术飞速发展，读取文字形式的数据与将数据绘制成图像来显示相比，图像能更加清楚全面地表达数据的特点与波动趋势。现在数据库系统可以高效地实现数据的收录、读取、统计等，但当海量文字数据直接呈现在用户面前时，用户很难直接读取出其中包含的信息，将数据进行可视化处理绘制成动态简单易懂的图像之后，可以更加清楚地表达其中的信息，对用户体验更好。

svg(scalablevectorgraphics)可缩放矢量图形是基于可扩展标记语言，用于描述二维矢量图形的一种图形格式，可以很好的与数据库配合运用。虽然svg文件是图片，但是是以代码编写每一个图元的位置、形状和颜色。铁路供电调度监测系统数据库中可以存放各个电气设备的运行参数，也可以直接用0或是1来表示开关设备的开闭，当调度监测系统读取数据库中各个元件的状态之后，可以直接画出一副svg格式的铁路供电系统实况图。当查询到铁路供电调度监测数据中电气设备的运行参数发生改变，可对svg文件中的相应的代码进行改写，就可以将电气设备的运行状态实时地显示在svg图片上，直观的显示铁路供电系统的工作状态。

但随着我国铁路网规模不断发展，铁路供电系统的智能监测水平也随之提升，高速铁路网的供电系统中的大部分重要线路都装有原用于监测铁路四电设备的综合调度监测系统，铁路供电调度监测系统中的测控终端数量剧增。并且高速铁路系统中的列车车速比普通列车高出许多，铁路供电系统的中电气设备的运行状态变化频繁且幅度大，因此这些电气设备的测控终端的监测数据采样频率也随之提高，使铁路供电调度监测系统数据库中存储的监测数据呈指数级增长。面对体量剧增的监测数据信息，若使用传统的查询技术对svg图中的图元对应设备的状态信息进行查询，响应速度慢，易造成svg图像发生卡顿，影响监测界面显示的实时性，严重时会导致重要监测信息的延误甚至丢失，威胁铁路系统安全。

目前铁路供电监测的海量数据快速可视化显示问题的研究方法主要分为三大类：第一类是基于分布式磁盘数据库技术，通过将不同主机的磁盘组成数据库来存储海量数据，但磁盘的读取速度有限，无法做到快速可视化；第二类使用内存数据库技术，由于将数据存储在内存中，所以可以进行快速读取，但内存容量较小，难以存储大体量的铁路供电调度综合监测数据；第三类使用数据预处理技术，将数据映射为表，再将查询操作转化为mapreduce批处理，但mapreduce操作启动较慢，难以满足铁路供电调度监测系统中的快速显示的响应需求。随着我国铁路系统的快速发展，铁路供电调度监测系统中的监测数据体量剧增，现有的上述三类方法已不能满足铁路供电综合调度监测海量数据的快速可视化显示的需求，对实时在线监测造成了极大挑战。

技术实现要素：

为了解决上述问题，本发明提出了一种基于列数据库反向索引的铁路供电调度集群监测系统可视化新方法，具有较大的工程应用价值。使用高扩展性且成本低的非关系型列式数据库hbase，存储铁路供电调度监测系统中的海量监测数据，在数据库集群中设计反向索引数据结构，可实现海量监测数据任意数据项的快速请求和响应，并以svg图元描述铁路供电调度监测界面设备状态，将各电气设备的运行状态以亚秒级的低延时方式，实时显示在铁路供电调度监测系统的电气接线图中。

为达到以上目的，本发明提供如下技术方案：

一种基于列数据库反向索引的铁路供电调度集群监测系统可视化方法，包括以下步骤：

（1）分布式非关系型数据库hbase存储数据

在linux系统计算机集群中配置安装hbase数据库，由于数据库集群的各组件版本和兼容性需一致，易出现不兼容的情况，故选择集成大部分hbase相关组件的cdh（(cloudera’sdistributionincludingapachehadoop，cdh）平台进行安装，cdh版本兼容性好，易于安装操作，是目前生产环境中使用最广泛的版本。

（2）生成铁路供电调度监测系统数据反向索引

通过hbase的复制机制监听铁路供电综合调度监测系统数据库的预登记文件，生成铁路供电调度监测系统数据反向索引。hbase会将从客户端收到的各类更新请求写入预登记文件中，再根据预登记文件中的记录对hbase数据库中的数据进行更新操作。因此通过监听铁路供电调度监测系统数据库的预登记文件数据库中所有监测数据的更新操作，对反向索引进行同样的更新处理，使铁路供电调度监测系统数据反向索引与数据库中数据同步更新。

（3）根据反向索引完成数据项查询操作

设计铁路供电调度监测系统的反向索引查询架构，写入数据时：监测数据写入铁路供电调度监测系统中，先将监测数据信息写入铁路供电调度监测系统集群的hbase数据库，更新hbase数据库的监测数据记录，并同时将写入的监测数据信息结构重新编写生成反向索引，写入反向索引库完成索引更新。读取数据时：在铁路供电调度监测系统的调度客户端查询界面中输入需要查找的数据数据项，根据数据项在反向索引库中找出相应数据的反向索引，然后根据所得反向索引在hbase数据库中反向检索出相应数据返回至调度客户端的查询界面。

（4）实现铁路供电调度监测系统svg图元监控界面

在铁路供电调度监测系统中，将svg的程序代码载入铁路供电调度监测系统的java代码中，绘制以图元的形式描述铁路供电系统基础状态的svg文件。设计通过“设备编号”、“监测时间”、“所属站所”、“设备对象地址”、“设备描述”、“动作事件”和“测量值”及其“单位”等数据项查询函数，使铁路供电系统中某电力设备的运行状态发生变化时，便可快速触发相应的svg图元，刷新显示变化的状态。根据设备运行状态变化的不同，svg文件中相应图元对应的属性就会发生改变，进而使图元的颜色或是描述文字可视化，以同步可视化显示铁路供电系统的实时运行状态。

由于采用了上述的技术方案，本发明具有以下有益效果：

1、本发明提供一种基于列数据库反向索引的铁路供电调度集群监测系统可视化新方法，可满足铁路供电调度监测系统海量数据以图像形式直观显示的需求。

2、本发明采用linux系统作为集群系统，具有系统安全性高并且稳定的优点，可长时间待机，符合铁路供电调度监测系统的工程应用需求。

3、本发明使用的分布式集群hbase数据库具有高扩展性且成本低的优点，可使用多台性能较低的计算机组成数据库集群，轻松存储海量铁路供电调度监测系统数据记录。

4、本发明设计的方法中的反向索引技术，弥补了hbase数据库对非键值查询支持的不足，可在hbase数据库中根据任意组合的数据项快速反向检索到相应数据，提供可视化的数据源。

5、本发明设计的技术，不仅可以用于铁路供电调度监测信息的查询，还可用于其他铁路信息系统，具有较好的泛化能力。

附图说明

图1为本发明一种基于列数据库反向索引的铁路供电调度集群监测系统可视化方法的反向索引的设计实例。

图2为本发明一种基于列数据库反向索引的铁路供电调度集群监测系统可视化方法的反向索引的构建流程。

图3为本发明一种基于列数据库反向索引的铁路供电调度集群监测系统可视化方法的hbase数据库预登记文件的监听流程。

图4为本发明一种基于列数据库反向索引的铁路供电调度集群监测系统可视化方法的集群中进行反向检索的流程。

图5为本发明一种基于列数据库反向索引的铁路供电调度集群监测系统可视化方法的并发执行的铁路调度设备数据图元刷新线程和可视化显示线程。

具体实施方式

以下结合附图所示的实施例对本发明进一步加以详细说明。

如图1所示为本发明一种基于列数据库反向索引的铁路供电调度集群监测系统可视化方法的反向索引的设计实例。铁路供电调度监测系统中存放了海量监控数据，若按照正常的数据记录结构生成正向索引，进行数据项检索时要按查询的数据项逐条对比，效率不高。而反向索引结构将监测数据记录中的数据项为作为索引文件的核心，由数据项及所在数据记录位置组成，由非主键值数据项反向定位数据项位置以及数据键值。反向索引的在查询时可直接根据非主键值数据项定位，避免在正向索引中逐条检索数据项。经过重新构建索引结构生成反向索引后，铁路供电调度监测系统可以快速地根据数据项检索到其所属数据记录的位置，从而迅速定位需要检索的数据记录。

如图2所示为本发明一种基于列数据库反向索引的铁路供电调度集群监测系统可视化方法的反向索引的构建流程。反向索引的生成过程就是根据普通监测数据结构构建反向索引表，首先对铁路供电调度监测系统数据库中的监测数据进行分析，将普通的监测数据拆分为单独的数据项形式，再对同类的数据项反向索引进行合并排序操作，组成反向索引表。反向索引表是由单个数据项和数据项出现频率和位置组成的。

如图3所示为本发明一种基于列数据库反向索引的铁路供电调度集群监测系统可视化方法的hbase数据库预登记文件的监听流程，当预登记文件中出现监测数据的更新时就会开始同步更新到反向索引库中。当数据库收到监测数据更新操作指令后，预登记文件中会先生成相应的更新记录，更新监听器监听到后会处理分析预登记文件中的更新操作记录，将更新记录封装至更新储存器中暂时储存，当储存的更新操作记录达到一定数量或监测数据更新事件结束时，更新储存器将数据更新记录提交至更新执行器，由更新执行器在反向索引库中执行相应的反向索引记录更新操作。

如图4所示为本发明一种基于列数据库反向索引的铁路供电调度集群监测系统可视化方法的集群中进行反向检索的流程。

在调度主机查询界面输入所需查找数据的数据项，如“终端343”；集群数据库收到查询请求后，把查询任务分发给集群各节点反向索引库。反向索引库根据数据项“终端343”检索相应反向索引“id:1-rtu”，并返回集群数据库管理节点；管理节点根据接收的反向索引中的键值“id:1”发出键值查询任务给集群各节点hbase数据库中进行搜索。数据库按收到键值“id:1”进行检索，找到对应数据，完成反向检索返回铁路供电监测集群和调度主机。

如图5为本发明一种基于列数据库反向索引的铁路供电调度集群监测系统可视化方法的并发执行的铁路调度设备数据图元刷新线程和可视化显示线程。首先绘制铁路供电系统基本运行状态的svg文档，通过文件地址将其导入铁路供电调度监测系统的svg画布中。再通过svg解析器对svg文件中的图元进行解析，得到每个图元的“位置”、“填充”、“标注”等信息。然后定时对铁路供电调度监测系统集群数据库中存放的监测数据发出请求进行数据项查询，当查询到某电气设备的运行状态发生变化时，将查询结果传递到svg图元编辑器，对该电气设备对应的图元属性进行更新操作，在铁路供电调度监测可视化显示界面中实时监控铁路供电系统运行状态。