基于云计算和大数据的轨道状态静态检控系统及方法
【技术领域】
[0001]本发明涉及云计算和大数据信息系统，具体是一种基于云计算和大数据的轨道状态静态检控系统及方法。
【背景技术】
[0002]为了保证铁路线路正常运营，轨道状态静态检测、调控是一项必不可少的工作。传统的单机式轨道静态检测设备检测到的数据只能暂时存储在检测设备中，待到完成整个静态检测过程，这些数据才能上传至服务器进行数据的处理，无法在检测现场传递实时检测数据;无法保证数据的实时传输，检测人员是否篡改、伪造、盗用检测数据，检测活动是否真正进行都无从知晓。随着铁路静态检测、修补、调控日益频繁，静态检测、调控数据日益庞大，传统的轨道状态静态检控系统根本无法集中统一科学地存储、管理、分析长时间大范围海量静态检测数据，无法进行各种具体的数据挖掘处理，也不具备良好的冗错能力，且需要专人进行维护管理存储设备，不支持多用户并行访问，整个静态检控系统容易崩溃、瘫痪。这些不利因素使得铁路轨道检测、修补、调控工作停滞不前，失去了原有的意义。
【发明内容】
[0003]本发明所解决的技术问题是，针对现有技术中存在的上述不足，提供了一种基于云计算和大数据的轨道状态静态检控系统及方法，能实时传输现场检测数据，数据处理速度快，存储容量大;经过数据信息对比分析，制定相应的维修计划，保证轨道正常状态和线路相对平顺性。
[0004]本发明是通过以下技术方案实现的:
[0005]—种基于云计算和大数据的轨道状态静态检控系统，包括轨道状态静态检测设备、数据信息管理中心以及显示系统;轨道状态静态检测设备与数据信息管理中心通过网络相连;数据信息管理中心与显示系统通过网络相连；
[0006]轨道状态静态检测设备，用于现场检测静态状态下的轨道几何参数，并将得到的检测数据通过网络传输给数据信息管理中心;所述轨道几何参数包括轨距、水平(超高)、高低、轨向和二角坑;还包括轨向偏差、正矢、正矢偏差、轨距变化率、检测里程、基本弦轨向、基本弦高低、高低偏差、特征点、特征值、数据检测时间、温度、经玮度、工务段、推行速度、线路里程等；
[0007]数据信息管理中心，用于接收轨道状态静态检测设备发送的检测数据，并基于大数据存储和处理技术实现检测数据和台账数据的存储、处理和分析，得到不同级别的维修计划以及轨道几何参数的变化趋势；
[0008]显示系统，用于从数据信息管理中心接收现场轨道状态静态检测设备发来的检测数据、维修计划以及轨道几何参数的变化趋势，并在显示终端上予以显示；
[0009]所述数据信息管理中心包括原始数据单元、数据处理单元、数据存储单元和系统管理单元；
[0010]所述原始数据单元接收轨道状态静态检测设备发送的检测数据，存储台帐数据、实时检测数据和历史检测数据；台帐数据是铁路线路建设之初，为了保证线路平顺性所设计的标准数据;历史检测数据是同一线路以前的静态检测数据；
[0011 ]所述数据处理单元按以下步骤进行数据处理:
[0012]I)在分布式文件系统HDFS和分布式编程模型MapReduce的基础之上采用数据清洗、数据集成的数据预处理技术初步抽取出完整的检测数据，舍弃残缺的检测数据;其中完整的数据是指轨道状态静态检测设备预先设定的所有检测项目都有检测结果的数据，残缺的数据是指轨道状态静态检测设备预先设定的某些检测项目没有检测结果的数据；
[0013]2)利用Avro技术将数据进行序列化处理，得到固定格式的序列化数据和ETL并行技术加载各项序列化数据；
[0014]3)采用Kmeans技术进行聚类分析，具体步骤如下:首先选定完整的静态检测数据，然后利用Kmeans技术将检测得到的轨道几何参数的具体数值划定出特定的集合;最后得到依据各轨道状态参数相似程度不同而进行聚合的数据;聚类是指根据“物以类聚”原理，将本身没有类别的样本聚集成不同的组，这样的一组数据对象的集合叫做簇，并且对每一个这样的簇进行描述的过程。它的目的是使得属于同一个簇的样本之间应该彼此相似，而不同簇的样本应该足够不相似。与分类规则不同，进行聚类前并不知道将要划分成几个组和什么样的组，也不知道根据哪些空间区分规则来定义组。其目的旨在发现空间实体的属性间的函数关系，挖掘的知识用以属性名为变量的数学方程来表示。
[0015]4)采用Mahout技术进行分类分析，具体步骤如下:首先根据轨道静态几何尺寸容许偏差管理值，构造出分类器，得到各个类的静态数据范围值;然后将聚类分析得到的数据作为分类器的输入，最后从分类器得到分类结果;分类是事先定义好类别，类别数不变。分类器需要由人工标注的分类训练语料训练得到，属于有指导学习范畴。在此基础之上，结合台帐数据以及轨道静几何尺寸容许偏差管理值，得到超限参数和超限等级，以制定各种不同级别的维修计划，包括作业验收、经常保养和临时补修；
[0016]所述数据存储单元采用Hadoop框架常用的Hive数据仓库和Hbase非关系型数据库来存储所述数据处理单元的处理结果，同时采用数据库转移工具Sqoop、集群监控工具Ambar1、集群协同服务Zookeper来保证数据处理单元的处理结果能够快速准确存入所述数据存储单元；
[0017]所述系统管理单元采用Flume系统，用于记录所述数据信息管理中心所发生的事件，包括系统访问、功能修改、系统设置。
[0018]进一步地，所述数据处理单元还包括以下数据处理步骤:
[0019]5)采用Spss技术进行回归分析，具体步骤如下:将各轨道几何参数(包括轨距、水平、高低、轨向和三角坑)作为Spss的输入，选择各轨道几何参数之间线性和非线性关系，然后输出得到任意两个轨道几何参数之间的依赖关系，据此判断各个轨道几何参数之间的相互影响大小;在此基础之上，结合步骤4)制定的各种不同类型的维修计划，充分利用Spss回归分析的结果，在进行维修时，考虑其中某个轨道几何参数对其他几何参数的影响，必须要避免修改某个轨道几何参数而使得其他参数的情况变得更坏。
[0020]进一步地，所述数据信息管理中心还包括结果分析单元；
[0021]所述结果分析单元对数据处理单元的处理结果利用模式识别技术进行进一步的分析，具体地，设已经进行了 m次检测活动，每次检测活动均进行η次测量，第i次测量结果记为g(i) (I < i < η)，第k次检测活动经过前述数据处理单元得到的结果记为h(k) (I <k<m),该结果包括聚类分析、分类分析和回归分析的所有结果;将h(k)(l<k Sm)进行预处理，得到h(j)(l Sk Sm)提取和选择同一线路的各轨道几何参数【包括轨距、水平、高低、轨向、三角坑和正矢】的特征向量，根据上述特征向量设计分类器为f(h(j))(l Sm)，最后输入第m+1次检测活动经过数据处理单元得到的结果h(m+l)，由f(h(m+l))得到该线路轨道几何参数的变化趋势。
[0022]进一步地，所述轨道状态静态检测设备包括轨检仪和轨检小车。
[0023]进一步地，所述轨道状态静态检测设备依次通过移动基站、移动网络管理中心和互联网或直接通过互联网与数据信息管理中心相连。
[0024]进一步地，所述显示终端包括电脑、平板和手机。
[0025]一种基于云计算和大数据的轨道状态静态检控信息方法，采用上述的基于云计算和大数据的轨道状态静态检控系统；
[0026]轨道状态静态检测设备实时检测静态状态下的轨道状态参数，并将得到的检测数据通过网络传输给数据信息管理中心；
[0027]数据信息管理中心接收轨道状态静态检测设备发送的检测数据，并基于大数据存储和处理技术实现检测数据和台账数据的存储、处理和分析，得到不同级别的维修计划以及轨道几何参数的变化趋势；
[0028]显示系统从数据信息管理中心接收检测数据和维修计划，并在显示终端上予以显示；
[0029]所述数据信息管理中心包括原始数据单元、数据处理单元、数据存储单元和系统管理单元；
[0030]所述原始数据单元接收轨道状态静态检测设备发送的检测数据，存储台帐数据、实时检测数据和历史检测数据;历史检测数据是同一线路以前的静态检测数据，用于所述数据处理单元对同一检测线路数据处理，实时检测数据是某一次的检测数据；
[0031 ]所述数据处理单元按以下步骤进行数据处理:
[0032]I)在分布式文件系统HDFS和分布式编程模型MapReduce的基础之上采用数据清洗、数据集成的数据预处理技术初步抽取出完整的检测数据，舍弃残缺的检测数据;其中完整的数据是指轨道状态静态检测设备预先设定的所有检测项目都有检测结果的数据，残缺的数据是指轨道状态静态检测设备预先设定的某些检测项目没有检测结果的数据；
[0033]2)利用Avro技术将数据进行序列化处理，得到固定格式的序列化数据和ETL并行技术加载各项序列化数据；
[0034]3)采用Kmeans技术进行聚