据集打包推送。
[0138]列车行驶过程中需要采集大量数据。这些数据以多种方式实现上报与汇总。总体而言，包括以下两种主要的方式:
[0139]实时增量触发管理:这一增量触发管理主要针对通过网络实时传输的采样数据。
[0140]续传增量触发管理:这一增量触发管理主要针对通过文件交换的方式实现增量存储的采样数据。
[0141]由于存在非实时的数据增量过程。因此，在一定情况，列车的累积里程触发时会出现数据增量与里程累积不同步的情况，需要针对不同的增量方式区别建立触发数据提取操作，满足列车数据管理的要求。
[0142]图6中展示了实时增量管理的基本流程。这一基本流程如下:
[0143]1.车厢累积里程达到触发阈值，触发操作；
[0144]2.获取当前车厢全部传感器安装部署信息；
[0145]3.获取全部传感器信息；
[0146]4.当前传感器为实时增量触发管理传感器则执行步骤7，构造执行步骤5 ;
[0147]5.执行续传增量触发管理模式；
[0148]6.传感器增量触发操作，执行步骤11 ;
[0149]7.从缓存数据库中提取当前timestamp对应的全部数据记录
[0150]8.从缓存数据库中删除上述提取的数据记录；
[0151]9.将数据记录转存在中间缓存中；
[0152]10.提取下一个传感器，完成全部传感器提取则执行步骤11，否则执行步骤4 ;
[0153]11.当前车厢中间缓存中全部传感器数据收集完毕则执行步骤12，否则等待；
[0154]12.提取当前车厢全部数据，删除中间缓存，开展后续疲劳分析；
[0155]13.结束。
[0156]非实时续传增量触发传感器的流程如图7所示，包括如下步骤:
[0157]1、非实时数据接入处理流程启动；
[0158]2、上传并获取数据文件；
[0159]3、查看当前传感器所部署的车厢是否处于触发状态，如果否则执行步骤4，否则执行步骤5 ;
[0160]4、数据存储入库，结束；
[0161]5、提取增量数据中累积里程区间中的采样数据子集；
[0162]6、将子集中的数据存入缓存，并通知检查当前车厢是否完成全部数据集的提取；
[0163]7、子集数据文件更新；
[0164]8、非子集中的数据正常入库；
[0165]9、结束。
[0166]通过以上的方式，实现实时与非实时数据的触发同步，满足多种模式下列车累积里程自动数据处理与分析的要求。
[0167]以上实施例仅用以说明本发明的技术方案而非对其进行限制，本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明的精神和范围，本发明的保护范围应以权利要求书所述为准。
【主权项】
1.一种面向高速列车实时监控的海量数据管理方法，其步骤包括: 第一步:基于分布式文件系统与关系数据库构建存储架构，利用关系数据库实现窗口数据的缓存管理，称为窗口缓存；利用分布式文件系统实现海量传感器采样数据的高性能存储，该分布式文件系统由一组存储节点{dataNode^ dataNode2，....dataNodeJ构成；第二步:在分布式文件系统中，将一个传感器的全部数据分储在不同的存储节点dataNode中，每个dataNode的根目录下建立与传感器标识对应的目录，该目录下以文件的形式存储特定时段内该传感器的采样数据； 第三步:对列车-车厢-传感器建立层次化的存储模型，不同层级对象之间建立动态组织信息模型以及全局与局部时空属性数据模型； 第四步:在单点传感器数据增量过程中，接收传感器上报的采样数据data ={value，time}，该采样数据作为新增数据存储在关系数据库构造的缓存中，同时将其作为基础数据同步存储在分布式文件系统中； 第五步:在第四步所描述的过程中，根据采样数据的时间time，获取其所对应的时间段，并进行哈希处理，获得该数据的时间分段标识timeKey:timeKey = HASH(getTimeSpan (time)), time e data ;其中 getTimeSpan 为获取时间分段标识操作； 第六步:在第四步所描述的过程中，将分布式系统中的全部存储节点dataNode构成首尾相接的环，并将其做哈希处理，将获取的哈希值与第五步中所述的timeKey建立映射，以得到当前数据选择存储的节点dataNode ； 第七步:判断第六步得到的当前数据选择存储的节点dataNode中是否存在与当前传感器标识对应的目录，如果不存在则创建与该传感器标识对应的目录； 第八步:在当前dataNode中传感器对应目录下寻找与当天timeKey名称一致的存储文件，如果不存在则创建该文件； 第九步:将当前数据写入与timeKey对应的文件中，在写入的过程中按照时间排序； 第十步:完成数据的文件存储同步，结束当前传感器采集数据的写入； 第十一步:在列车GPS数据更新时，系统接收当前列车的GPS数据，并根据最后一次GPS数据计算增量时段内的累计里程数，完成其在全局属性表中的存储； 第十二步:通过动态组织信息表获取当前列车编组信息，获取参与列车当前编组的全部车厢对象{carry:，carry2，——carryj ;将当前列车GPS数据与这些车厢对象的局部时空属性表进行GPS数据更新，同时根据其加入编组时间以及最近一次属性GPS设计记录更新累计里程； 第十三步:如果车厢carryi的累计里程达到触发阈值，则将该车厢的窗口状态设置为触发状态，提取其全部传感器{sensor^ sensor2，.....sensorj在缓存中的数据打包，并清空缓存中的数据记录； 第十四步:在第十三步中，如果sensor,是实时增量触发管理类型传感器，则从窗口缓存中提取其在当前里程窗口中的全部数据记录，并放置在中间缓存中，清除窗口缓存中该传感器的全部数据记录； 第十五步:在第十三步中，如果sensor,是续传增量触发管理类型传感器，则将缓存中现有的数据记录打包；同时，将后续上传的数据进行分集处理，将后续上传数据中采样时间在当前里程窗口中的数据子集作为窗口数据与前述打包数据合并，放置在中间缓存中，其他数据作为新增量数据在窗口缓存中存储；同时，上述新增数据在分布式文件系统中同步； 第十六步:当当前传感器车厢carryj^全部传感器数据完成窗口触发操作响应后，将打包的数据推送给业务分析系统，从而完成里程窗口触发操作。2.如权利要求1所述的方法，其特征在于，所述分布式文件系统以传感器标识作为存储节点中的对象存储目录，以时间段作为特定时期采样数据集的存储文件。3.如权利要求2所述的方法，其特征在于，所述分布式文件系统在数据文件存储过程中，将传感器采样时间对应的特定分段作为文件名标识timeKey，将这一标识哈希处理后形成全局唯一的哈希码，将其与分布式文件系统存储节点的哈希值映射实现一对一的10定向绑定。4.如权利要求2所述的方法，其特征在于，所述分布式文件系统在文件存储的过程中，文件内部根据采样数据的时间time先后顺序排序，形成有序的数据流组织。5.如权利要求1所述的方法，其特征在于，将增量数据在关系数据库与分布式文件系统中同步存储；窗口缓存中的数据根据当前列车行驶里程设置触发阈值，当对象属性累计到一定阈值时，从缓存中提取这一时期对象的全部传感器采样数据集，开展后续处理与分析。6.如权利要求1所述的方法，其特征在于，第三步建立面向列车对象组织关系动态耦合以及属性传导的存储模型，该存储模型将对象之间组织关系以一个独立的信息模型存储，记录上级对象组织下级对象分组的加入与撤销过程信息，同时对不同级别对象建立对应的属性存储模型，记录其时空数据。7.如权利要求6所述的方法，其特征在于，在上级对象属性更新过程中根据列车存储模型识别当前上下级对象的构成关系；根据下级对象加入上级对象分组的时间计算上级对象属性对其属性的传导，获得正确的累计里程。8.如权利要求7所述的方法，其特征在于，在属性数据增量过程中，根据属性传导实现下级对象属性的累计更新；当累计达到窗口阈值设置时，设置当前对象窗口触发状态，从窗口缓存中获取该对象的全部传感器采样数据集打包推送。9.如权利要求8所述的方法，其特征在于，如果传感器为实时增量触发管理类型传感器，则在完成所述打包推送后清空窗口缓存；如果传感器为续传增量触发管理类型传感器，则在上传新的数据时，从数据集中获取当前窗口所覆盖时期的数据并与窗口缓存中的已有数据合并，形成窗口数据集打包推送，完成上述操作后清空窗口缓存，并将新增数据缓存。10.如权利要求1或9所述的方法，其特征在于，当一个对象的全部传感器窗口中数据完成提取后，形成完整数据集，打包推动给其他业务系统，完成一个对象累计窗口触发操作管理。
【专利摘要】本发明提出了一种面向高速列车实时监控的海量数据管理方法。该方法以分布式文件系统和关系数据库构成二级存储架构，其上层基于关系数据库建立面向里程触发的窗口数据管理机制，实现监控数据的组织；利用底层分布式文件系统实现海量数据的平衡存储管理。在这一基础上，结合对象动态耦合的存储模型实现数据的有序组织；同时，利用全局-局部属性传递管理的方式，针对列车建立里程累积触发，满足列车监控、分析的需求。本发明针对高速列车实时监控，提供了大数据背景下海量、跨专业数据管理的核心技术，在交通、物流、智慧城市等领域具有积极的应用价值。
【IPC分类】G06F17/30
【公开号】CN105243140
【申请号】CN201510652571
【发明人】郭皓明, 魏闫艳, 郭黎敏, 徐怀野, 王之欣, 田霂
【申请人】中国科学院软件研究所
【公开日】2016年1月13日
【申请日】2015年10月10日