一种轨道交通监测数据的查询方法
【专利摘要】本发明公开了一种轨道交通监测数据的查询方法。本方法为：1）数据存储系统实时检查新存储的监测数据文件，并将其转换为二进制形式进行存储；其中，数据存储系统采用云计算平台，其包括一分布式存储系统和一索引查询系统；2）数据存储系统对所述监测数据文件进行并行处理，对每一检测数据文件创建一索引，并将每个监测数据文件对应的索引数据插入到所述索引查询系统中；3）所述索引查询系统根据输入的检测查询请求，查询得到监测数据文件列表，然后根据该检测数据文件列表从所述分布式存储系统的监测数据文件中读取监测数据记录。本发明大大提高了索引的创建速度和查询的效率。
【专利说明】一种轨道交通监测数据的查询方法
【技术领域】
[0001]本发明提供一种轨道交通监测数据的查询方法，属于云计算【技术领域】。
【背景技术】
[0002]随着我国铁路包括国有铁路、企业铁路和城市轨道交通系统的大规模建设，铁路设备，特别是铁路通信信号设备的技术越来越先进，但铁路电务维修维护技术并没有伴随铁路的大规模建设而同步发展，导致铁路电务维修维护技术成为铁路领域的技术薄弱环节。铁路电务的两个市场主体:铁路电务部门(铁路总公司、铁路局、电务段、电务车间、电务工区)和铁路通信信号设备厂商，在承担着巨大上线压力的同时，又承担着日益繁重的已上线设备的运维压力，他们对于提高铁路电务维修维护技术水平和安全生产能力的信息化生产工具有着亟待满足的市场需求。
[0003]目前针对铁路通信信号设备已存在多种监测系统，包括高铁信号监测的车载计算机(ATP)、铁路无线网络(GSM-R)、无线闭塞中心(RBC)、临时限速(TSRS)和既有信号监测(CSM):联锁(CBI)、调度集中(CTC)和列控中心(TCC)以及其它基础信号监测，包括道岔、轨道电路、信号机和电源屏等，除了这些设备监测系统之外，在车站、电务段、城轨集中站\车辆段以及城轨线路中心也都部署了 CSM系统，用来集中管理各种设备的监测数据和告警信息，并根据这些信息通知电务人员进行维修维护。
[0004]目前，铁路电务部门存在的主要问题是在电务生产过程中沿用传统的计划修和故障修的电务生产方式，维护着众多先进的通信信号设备，不可避免地照成了设备隐患的盲区、盲点，电务生产领域普遍存在着过剩修和失修现象。过剩修，带来的是人财物力的巨大浪费；而失修，则可能带来车毁人亡的行车事故。广大铁路电务人员，在沉重的心理压力和劳动强度负荷下、以人力维护着通信信号设备的正常运行，不堪重负。他们迫切需要一套能够解放电务生产力的生产工具一综合化、智能化的电务监测运维系统，从而将当前以故障修、计划修为导向的传统的电务安全生产运维模式，逐步转变为以状态修为导向的信息化的电务安全生产运维模式，从而实现查隐患、治隐患，将设备隐患消除在萌芽状态、实现保障行车安全的电务安全生产目标。
[0005]铁路通信信号设备厂商目前存在的主要问题在于，监测信息的相对分散和孤立，使得监测信息的利用非常不方便，利用率不高。部分监测系统产生的监测信息之间彼此是相对独立的信息孤岛，还没有完全实现集中监测；现有的轨道交通监测数据的管理方法是将所用的数据都采用关系数据库，如Oracle数据库，进行存储和管理。为了应对海量的数据，通常采用由多个数据库服务器所组成的集群，如Oracle RAC。在关系数据库中，数据是高度独立的，随着监测和存储数据量的逐渐增加，关系数据库集群的数据存储和管理方式具有以下的不足:
[0006]对于海量数据库进行存储当前最主要的方法是使用3级存储器进行存储和并行存储和查询技术。但是这些方法对于数据的存储最大的不足之处在于对于硬件的开销比较大，而且需要开发专门的数据库系统对其进行管理，而且他们最本质的思路就是以扩充硬件设备来获取大的存储空间，加大存储容量的同时大大增加的查询的处理时间。
[0007]并行数据库技术虽然利用多个处理机获取的高速的处理速度，但代价是增加硬件开销，而且处理的增长速度要低于硬件设备的处理速度。当数据量很大时，数据查询和分析等操作需要花费的时间开销很大，无法满足快速数据浏览和分析处理的需要。
【发明内容】
[0008]针对上述问题，本发明的目的是提供一种轨道交通监测数据的查询方法，通过云平台、云存储技术提高各种资源和轨道交通监测数据的查询效率。
[0009]为实现上述目的，本发明采用的技术方案如下:
[0010]一种轨道交通监测数据的查询方法，其步骤为:
[0011]I)数据存储系统实时检查新存储的数值型监测数据文件，并将其转换为二进制形式进行存储；其中，数据存储系统采用云计算平台，其包括一分布式存储系统和一索引查询系统；
[0012]2)数据存储系统对所述监测数据文件进行并行处理，对每一检测数据文件创建一索引，并将每个监测数据文件对应的索引数据插入到所述索引查询系统中；
[0013]3)所述索引查询系统根据输入的检测查询请求，查询得到监测数据文件列表，然后根据该检测数据文件列表从所述分布式存储系统的监测数据文件中读取监测数据记录。
[0014]进一步的，所述分布式存储系统为HDFS存储系统，所述索引查询系统为Hbase索引查询系统。
[0015]进一步的，所述云计算平台设置有主节点和若干子节点；利用主节点检查分布式HDFS存储系统中新存储的监测数据文件，并创建该检测数据文件的索引数据；所述云计算平台将所述监测数据文件分发给不同的子节点进行索引的并行创建。
[0016]进一步的，所述分布式存储系统包括一元数据文件，所述分布式存储系统提取监测数据文件的元数据，将其作为一条数据记录存储在该元数据文件中。
[0017]进一步的，所述元数据包括文件名、监测数据文件中的字段在该监测数据文件中的偏移量、监测文件大小。
[0018]进一步的，所述对每一检测数据文件创建一索引的方法为:
[0019]I)子节点对所分配的每一监测数据文件索引创建任务新建一数据流，同时记录下该监测数据文件的文件名；
[0020]2)子节点根据该文件名从所述元数据文件中提取元数据，并根据该元数据记录对该监测文件数据进行解析，利用所述偏移量提取设定的索引字段将其添加到索引数据列表中；
[0021]3)子节点对索引数据列表中每一索引字段建立一索引表；所述索引表中的信息包括:索引字段、数据采集时间、监测数据记录的存储地址。
[0022]进一步的，所述索引表的行键按照字节序顺序排列。
[0023]进一步的,所述云计算平台采用Zookeeper设置主节点和子节点，并对所述云计算平台进行负载均衡。
[0024]进一步的，所述监测数据文件包括若干采集的设备状态记录；所述设备状态记录包括数据采集的时间，以及该时间下所对应的设备监测信号的若干开关量和模拟量的值。[0025]进一步的，所述监测查询请求包括监测数据的时间范围和监测参数。
[0026]轨道交通监测数据是以设备监测信号的开关量和模拟量的形式产生和保存的。然后数据采集系统将某一时刻的开关量和模拟量数据合并成一条设备状态记录，存储于各电务段的集中监测系统。该设备状态记录包括了数据采集的时间，以及该时间下所对应的设备监测信号的若干开关量和模拟量的值。综合运维平台对各电务段的监测数据进行收集并集中存储于数据存储系统。本发明中的数据存储系统采用云计算平台，利用众多X86架构计算机，建立具有良好可靠性和可扩展性的分布式云计算平台，能够对高达PB级的监测数据进行实时监测处理，提供监测数据的实时查询分析等多种业务支持，图1所示是设备数据监测系统中监测数据采集和查询系统的框架。
[0027]如图1所示，监测数据源源不断地从设备信号采集系统采集出来，然后这些原始数据将经过合成系统处理，以生成监测数据记录。合成的监测数据记录是以接近于文本数据的形式表示的，每个记录中包含数十个数据字段，如轨道电路电压、轨道电路相位角等信息。监测数据通常以一个固定的时间(如一分钟)为单位保持在数据采集系统的数据库中。因此，每分钟都会有监测数据产生，而根据设备采集频率的不同，每天的监测数据库中可包含很多的监测数据记录。集中存储这些数据的存储系统更需要维护多个电务段中存储的监测数据。
[0028]为了能对这些监测数据记录进行查询，需要将其转换为二进制形式。采用二进制存储的优点是可以节省存储空间，而且可以以固定字节长度来存储数据。由于二进制形式的记录之间偏移量是固定值，因此便于创建索引和进行相关的查询。表1是原始记录结构化存储的一种具体形式，将其转换为二进制形式。对于这些结构化数据的存储和管理，本发明的解决方案是:将监测数据以每天为单位合成一个数据文件，存储在HDFS系统中，同时为了提供快速查询处理能力，将针对监测数据记录建立查询索引，并将这些查询索引存放在HBase中。
[0029]表1为原始记录结构化存储的具体形式
[0030]`
【权利要求】
1.一种轨道交通监测数据的查询方法，其步骤为: 1)数据存储系统实时检查新存储的数值型监测数据文件，并将其转换为二进制形式进行存储；其中，数据存储系统采用云计算平台，其包括一分布式存储系统和一索引查询系统； 2)数据存储系统对所述监测数据文件进行并行处理，对每一检测数据文件创建一索弓丨，并将每个监测数据文件对应的索引数据插入到所述索引查询系统中； 3)所述索引查询系统根据输入的检测查询请求，查询得到监测数据文件列表，然后根据该检测数据文件列表从所述分布式存储系统的监测数据文件中读取监测数据记录。
2.如权利要求1所述的方法，其特征在于所述分布式存储系统为HDFS存储系统，所述索引查询系统为ffiase索引查询系统。
3.如权利要求2所述的方法，其特征在于所述云计算平台设置有主节点和若干子节点；利用主节点检查分布式HDFS存储系统中新存储的监测数据文件，并创建该检测数据文件的索引数据；所述云计算平台将所述监测数据文件分发给不同的子节点进行索引的并行创建。
4.如权利要求1或3所述的方法，其特征在于所述分布式存储系统包括一元数据文件，所述分布式存储系统提取监测数据文件的元数据，将其作为一条数据记录存储在该元数据文件中。
5.如权利要求4所述的方法，其特征在于所述元数据包括文件名、监测数据文件中的字段在该监测数据文件中的偏移量、监测文件大小。
6.如权利要求5所述的方法，其特征在于所述对每一检测数据文件创建一索引的方法为: 1)子节点对所分配的每一监测数据文件索引创建任务新建一数据流，同时记录下该监测数据文件的文件名； 2)子节点根据该文件名从所述元数据文件中提取元数据，并根据该元数据记录对该监测文件数据进行解析，利用所述偏移量提取设定的索引字段将其添加到索引数据列表中； 3)子节点对索引数据列表中每一索引字段建立一索引表；所述索引表中的信息包括:索引字段、数据采集时间、监测数据记录的存储地址。
7.如权利要求6所述的方法，其特征在于所述索引表的行键按照字节序顺序排列。
8.如权利要求3所述的方法，其特征在于所述云计算平台采用Zookeeper设置主节点和子节点，并对所述云计算平台进行负载均衡。
9.如权利要求1或2或3所述的方法，其特征在于所述监测数据文件包括若干采集的设备状态记录；所述设备状态记录包括数据采集的时间，以及该时间下所对应的设备监测信号的若干开关量和模拟量的值。
10.如权利要求1或2或3所述的方法，其特征在于所述监测查询请求包括监测数据的时间范围和监测参数。
【文档编号】G06F17/30GK103500173SQ201310395393
【公开日】2014年1月8日 申请日期:2013年9月3日 优先权日:2013年9月3日
【发明者】鲍侠 申请人:北京泰乐德信息技术有限公司