一种面向高速列车实时监控的海量数据管理方法
【技术领域】
[0001]本发明属于海量异构感知数据高性能存储管理研究与应用领域，具体涉及一种面向高速列车实时监控与综合分析的海量数据管理方法。针对高速列车实时监控采集数据以及其领域特点，本发明基于松耦合的信息组织模型，以分布式文件系统以及关系数据库构成两层结合的存储结构。通过关系数据库建立面向里程触发的窗口缓存；同时，利用分布式文件数据库，基于key-value的模式实现海量、异构数据的高性能存储与组织，并利用属性传递实现动态耦合下对象基于累计里程的数据窗口管理。通过本发明提出的数据管理技术可以有效实现海量、异构实时数据的存储管理以及基于KV-RDB高性能查询。这一方法在大型复杂装备监控、交通、物流、智慧城市以及环境保护等方面同样具有积极的应用价值。
【背景技术】
[0002]近年来，随着铁路建设的推进，高速列车逐渐在我国国民经济发展中发挥着越来越重要作用。以CRH380III型车为例，其是一个由多专业构成的复杂系统，组成部分涵盖机械、电气电路、控制网络、信号等。在日常运营中，高速列车根据调度，在特定线路上承担高速客运的任务。因此，安全性成为高速列车建设与发展的重点之一。围绕列车，在运营过程中实时采集各种子系统的状态数据，针对这些增量数据开展高性能存储管理成为高铁运营保障的重要需求。在这一基础上可以为实时监控、列车健康分析评估、故障数据挖掘等工作提供数据资源以及分析决策的依据。
[0003]高速列车是一个由多种子系统构成并高速运行的复杂系统。在日常运营中，列车通常根据调度安排在固定的线路行驶。这一线路跨越较大区域范围。列车在行驶过程中其负载情况变化较为复杂，受到外部天气环境、铁路沉降以及轨道状态、地形地貌、周边电磁信号以及承载乘客数量等多种因素的影响。因此，为实现对列车整体、实时、全面的监控通常需要针对不同子系统的特点布设大量传感器，采集不同专业的设备状态数据。由于列车行驶高速性，通常这些传感器采用相对较高的频率采集数据。另一方面，由于列车行驶的空间范围较为广阔，不同地区线路状态、气象条件、电磁环境差异较大。同时，也是导致累积性健康劳损的主要原因之一。因此地域位置就构成列车监控数据组织与管理的主要属性之一。在这一基础上，针对列车开展各种分析挖掘活动。
[0004]如上所述，与其他复杂系统的监控相比，高速列车监控数据具有以下特点:
[0005]1.数据海量性与时序性:列车是一个综合整体，针对其中不同子系统\设备布设大量传感器，由于列车高速性，这些传感器需要以相对较高频率采集数据。因此，在增量过程中形成较大规模的数据集。以转向架振动传感器为例，其单点数据日增量达到10M以上，整列日增量达到500M ;全网整体增量达到5GB ;同时，这些数据具有明确的时序性。在数据组织过程中，需要根据时序先后顺序组织，同时也为各种分析处理活动的查询业务提供组织基础；
[0006]2.列车数据管理空间与里程相关性:如前所述，列车沿着固定路线行驶；所覆盖空间范围较为广阔。一方面，列车行驶路线的不同分段的外部环境对于列车健康以及故障发展具有不同的程度的影响；这一情况导致列车空间位置属性对于列车的采集数据的查询具有重要意义。因此，在列车数据组织过程中，需要将列车空间属性与采样数据之间建立关联关系；另一方面，根据管理规定，列车在行驶固定里程数后开展各种检修、分析工作，判断列车的健康状态，排除各种故障与潜在风险；因此列车数据管理活动中，需要在空间属性累积增量的基础上，依据里程对列车各种采集数据完整提取，开展综合分析；
[0007]3.列车对象关系动态性:列车由一组车厢构成。子系统\设备安装、附着在不同车厢中。各种传感器围绕子系统\设备开展数据采集与监控工作；列车由于其特点，在实际运营中其车厢编组具有一定的动态性，在不同时期根据运管要求加入或离开列车编组。这一情况导致采集数据与列车空间属性之间的关系具有动态性；在列车累积里程数据提取过程中，不能简单以车厢当前所属编组的列车里程作为车厢真实行驶里程；
[0008]4.数据提取复杂性:列车数据管理系统一方面承担各种采集数据存储管理的任务。另一方面，面向实时监控、综合分析等业务系统提供数据查询、提取的接口 ；在这些业务支撑过程中，一方面提供数据多值查询的接口 ；另一个方面往往针对传感器，提供单点数据查询的接口。因此，数据管理系统在组织结构上需要同时满足关系-键值查询结合的存储管理模型；
[0009]5.数据增量多样性:列车在行驶过程中，路况以及通信情况较为复杂。同时，各种传感器在采集数据的过程中，受网络、工况以及能量等方面的约束，不能全部以实时网络传输的方式，实现全部数据上报；部分数据通过本地缓存、阶段性上报的方式实现数据的接入增量；
[0010]高速列车是一个高速运行的复杂系统。由于其上述特点导致传统的数据存储管理系统在应对海量时序数据高性能存储、动态编组对象数据建模、面向列车的时空组织与复杂数据查询与提取等方面存在较大的不足，无法适应未来高速列车全网、全域范围内综合监控网络建设与发展的需求；针对上述问题，本发明提出一种面向高速列车实时监控数据海量数据管理技术。这一技术底层以分布式文件系统为基础，结合关系数据库构成基础数据存储管理支撑环境；在数据接入过程中，结合流式数据窗口管理、列车数据存储模型等手段满足高速列车海量监控数据管理的需求。
【发明内容】
[0011]针对目前高速列车实时监控工作采集的海量、异构感知数据高性能存储管理的需求，结合高速列车里程触发、动态编组等业务特点，本发明提出了一种面向高速列车实时监控的海量数据管理技术。这一技术以分布式文件系统和关系数据库构成二级存储架构。其上层基于关系数据库建立面向里程触发的窗口数据管理机制，实现监控数据的组织；利用底层分布式文件系统实现海量数据的平衡存储管理。在这一基础上，结合对象动态耦合的存储模型实现数据的有序组织。同时，利用全局-局部属性传递管理的方式，针对列车建立里程累积触发。满足列车监控、分析的需求。
[0012]本发明的一种面向高速列车实时监控的海量数据管理方法，其步骤包括:
[0013]1)基于关系数据库与分布式文件存储系统建立一体化流数据存储架构。
[0014]1-1)这一存储架构针对海量流数据存储以及高性能查询的需求，以分布式文件系统实现底层10存储，利用文件的方式，实现单点传感器数据记录的存储；
[0015]1-2)在上述分布式文件存储系统存储传感器采集的数据的过程中，全部存储节点参与传感器数据的存储，在节点中建立与传感器标识对应的数据文件目录，通过目录的名字实现传感器数据文件的快速索引与定位；
[0016]1-3)在利用上述分布式文件系统存储单点传感器的数据记录的过程中，在存储节点与采样数据对应时段之间建立映射关系，根据传感器采集数据的时间所对应的时段位置绑定存储节点，实现定向存储，降低单点存储与查询瓶颈的限制；
[0017]1-4)在利用上述分布式文件存储系统存储采集的数据记录的过程中，在节点存储文件的内部以时间增量的顺序排序，便于基于时间约束的感知数据快速检索；
[0018]1-5)在上述存储架构中，以关系数据库构建存储缓存；这一缓存用于存储里程窗口内的感知数据；同时，这一关系数据库也为窗口内数据的基于关系代数的查询提供基础；
[0019]1-7)利用上述关系数据库的存储缓存实现窗口数据管理以及累计里程触发响应操作；
[0020]1-8)在采样数据增量过程中，关系数据库中的数据与分布式文件系统中的数据同步。
[0021]2)围绕高速列车的对象组织以及数据管理的特点，提出一种数据存储模型。这一模型通过松耦合的方式在不同层次的对象之间建立动态的组织关系。同时，基于这一动态组织关系，在全局时空属性以及局部时空属性之间建立传导。
[0022]2-1)在这一存储模型中，根据动态分组、传感器布设信息构造独立的组织模型。利用组织模型实现列车-车厢-传感器信息的动态聚合，解耦不同层次对象的信息组织关系，适应列车实际运行需要；
[0023]2-2)在这一模型中针对不同层次的对象建立全局属性(时空\里程)以及局部(时空\里程)信息组织模型，分别记录列车、车厢等级别对象的属性动态信息；
[0024]2-3)在数据增量的过程中，基于上述存储模型，利用对象之间的组织模型实现耦合期间不同层次对象之间全局属性(时空\里程)对局部属性(时空\里程)的传导。
[0025]3)在列车行驶过程中，传感器采样数据增量，基于上述存储架构以及存储模型的基础上，开展列车海量监控数据的存储管理。
[0026]3-1)列车传感器采样数据增量过程中，根据当前采样数据时间对应时段进行哈希处理，形成哈希值；
[0027]3-2)将底层分布式文件系统的全部存储节点首尾相接构成“环”，将其中的节点标识进行哈希处理，获得节点的哈希值；
[0028]3-3)将3-1与3-2所述的哈希值对应，为当前数据存储绑定节点；
[0029]3-4)在绑定节点中检索与当前传感器标识一致的目录，如果不存在则创建对应的目录；
[0030]3-5)在当前存储节点的对应目录下检索与当前时间段一致名称的数据文件，如果不存在则创建该文件；
[0031]3-6)将当前数据记录存储在上述文件中，存储过程中，依据采样时间排序；
[0032]3-7)将当前数据缓存在关系数据库的采样数据表中。
[0033]4)在列车行驶过程中，列车GPS数据增量(GPS是指全局属性)，根据上述存储模型实现里程窗口的管理以及阈值触发操作。
[0034]4-1)在上述过程中，将列车GPS数据的最新增量，插入全局属性(时空\里程)表中；
[0035]4-2)根据组织模型，获取当前列车