一种基于ELK的CBTC信号系统车载日志分析系统和方法与流程

本发明属于车载日志处理领域，具体涉及一种基于elk的cbtc信号系统车载日志分析系统和方法。

背景技术：

1、在城市轨道交通中，信号系统是保证行车安全、提高运输效率的关键系统，车载设备主要包括atp列车自动防护子系统和ato列车自动运行子系统。车载设备的日志数据中记录了列车行车全过程中车载设备的运行状态及报警等关键信息，对车载设备的使用和维护有着重要作用。

2、现有技术中，如公开号为cn114590294a，公开时间为2022-06-07，公开了一种车载设备日志智能分析方法，包括以下步骤：s1，信号综合运维系统通过车场ats系统获取出/入段线上及停车线上的车辆信息，检测列车下线收车的状态，判断是否满足触发车载日志自动下载任务的条件；若是，则进入步骤s2；s2，将日志下载前置机通过cbtc系统的区域控制器网络接入下线回库列车的车载设备，然后启动日志下载前置机获取车载设备的运行日志；s3，提取运行日志中记录的车载运行数据，将提取的车载运行数据传送至信号综合运维系统；s4，信号综合运维系统对车载设备的运行数据进行分析，提供设备健康度评价。与现有技术相比，本发明具有对非结构化车载日志数据快速检索、对海量车载日志数据的统计分析、诊断及关联分析等优点。

3、如公开号为cn108123834a，公开时间为2018年6月5日，公开了一种基于分布式数据库的日志分析系统，使用hive、hbase、sqoop等框架，包括文件上传、数据清洗、数据分析、数据导出、数据展现等模块；主要流程包括：(1)数据经由分布式实时数据传输通道传送；网络数据采集器负责采集网络设备上的网络数据包，经过分布式实时数据传输通道将数据包实时队列化发送给分布式日志处理平台；(2)分布式日志处理平台对数据包进行实时处理；分布式日志处理平台对网络数据包进行实时数据解析，并通过网络数据协议特征库进行数据特征匹配，将匹配确认为异常的网络日志数据发送给分布式数据库进行存储；(3)分布式数据库对网络日志数据进行聚类分析、分类训练并动态更新网络数据协议特征库。与现有技术相比，本发明能够对非结构化的车载日志数据进行分析，且对海量的车载日志数据的处理比现有的方案的数据检索时间、数据处理过程更加高效、便捷，且为海量的非结构化车载日志的分析提供了一种高效且扩展性良好的解决方案。

4、在既有的车载日志分析方案中，没有基于elk技术的信号系统车载日志分析方法的应用和研究。

5、由于信号系统的实时性要求高，车载atp和车载ato子系统的每个控制端(车头位置)都会产生非结构化的车载日志。按1条线拥有40列列车，每列列车有2端，随着时间积累，会达到海量的数据规模。而现有技术方案采用的传统关系型数据库由于单机存储空间和运算能力有限，已经完全无法满足用户对海量车载日志数据的分析与处理的需求。

6、当城市轨道交通中车载设备或系统模块发生故障时，需要通过车载日志对发生的故障进行分析定位，目前地铁公司还存在通过人工方式对非结构化的车载日志进行拷贝、分析检查，而现有技术方案的车载日志处理的整个过程存在效率低下、过程繁琐的问题。

7、目前信号设备监测系统仅能显示车载设备发生的报警与故障信息，并未对车载设备发生的报警与故障信息进行诊断与分析，无法满足地铁公司对车载设备的运用和维护向着智能化运维方向发展的需求。现有的日志分析系统的日志处理需要去大数据平台中的数据库集群获取日志文件流，读取日志数据，顺序扫描所有的日志内容，然后进行识别、分析，存在着检索时间长，数据处理过程繁琐的问题。

8、目前已开通和在建的城市轨道交通项目中，由于信号系统的厂家不同，往往各个线路单独设置一个维护支撑系统(mss)，存在着严重的“信息孤岛”问题，不同线路、不同厂家的车载日志等资源不能共享。

9、针对以上缺点，本发明引入elk技术栈，利用elk技术的统一日志收集、管理，分布式检索引擎，索引自动分片、索引副本机制及基于倒排索引的快速检索等特性，可以实现海量车载日志数据的分析和诊断，提升车载日志检索过程的时间效率，简化车载日志数据的处理过程，满足高效性、便捷性的要求。为海量的列车信号系统中非结构化的车载日志的分析提供了一种高效且扩展性良好的解决方案。

技术实现思路

1、(一)要解决的技术问题

2、本发明要解决的技术问题是如何提供一种基于elk的cbtc信号系统车载日志分析系统和方法，以解决海量列车信号系统车载日志运维过程中存在的问题。

3、(二)技术方案

4、为了解决上述技术问题，本发明提出一种基于elk的cbtc信号系统车载日志分析系统，该车载日志分析系统包括日志采集模块、日志清洗模块、日志存储模块、日志检索模块和日志分析模块，所述车载日志分析系统基于elk技术栈和springboot框架；

5、elk技术栈，包括elasticsearch、kibana和logstach，用于安全可靠的收集任何来源、任何格式的数据，然后实时地对数据进行搜索、分析和可视化；logstach为日志采集组件，kibana为数据可视化分析工具，elast icsearch是一个建立在lucene基础之上的分布式搜索引擎，基于restful web接口，用于全文搜索及分析，采用elasticsearch集群实现；

6、springboot框架用于简便、快捷的开发应用服务，提供稳定、健壮的接口服务；

7、日志采集模块：定时扫描车载设备上的车载日志数据的文件夹；检测到车载日志有更新时，则创建ftp下载任务从车载设备采集车载日志数据到本地节点，日志采集模块包括logstach组件，logstach组件用于日志收集，分布于多台机器，将车载日志进行统一存储、管理；

8、日志清洗模块：将非结构化的车载日志按照对车载日志解析时的关键字段合并规则进行日志数据原有字段的拆分、清洗加工、数据格式转换，将处理后的列车信号系统的车载日志传输到日志存储模块；

9、日志存储模块：基于elasticsearch服务，用于对日志清洗模块加工处理后的车载日志录入到elast icsearch分布式集群服务中，创建索引及分配分片，形成索引文档集；

10、日志检索模块：对不同类型的车载日志分别创建倒排索引，并更新维护索引，将不同类型的车载日志存储到不同的索引中；

11、日志分析模块：针对日志检索模块搜索出的日志信息，基于模式识别、关联分析进行列车特定运营事件分析、统计，运营事件包括紧急制动、设备故障、车地无线通信故障。

12、本发明还提供一种基于elk的cbtc信号系统车载日志分析方法，该方法包括如下步骤：

13、步骤s1、日志采集模块监测车载设备上车载日志的更新情况，若有更新则将日志文件进行压缩并传输到本地节点；

14、步骤s2、本地节点的日志清洗模块将接收的车载日志进行解压缩处理，利用logstach服务对非结构化的车载日志文件依照指定规则拆分成独立的日志记录、加工处理提取关键信息和数值转换；数据加工、转换需要规范atp、ato日志文件的名称格式；

15、步骤s3、日志存储模块将日志清洗模块输出的数据作为数据源，利用elasticsearch分布式集群服务对车载日志数据进行创建索引及分配分片，并进行持久化，形成document索引文档集；

16、步骤s4、日志检索模块对索引文档集的索引进行更新维护，创建倒排索引，elasticsearch对车载日志提供全文检索服务，返回命中的document对象集合，包含命中次数、命中的document；

17、步骤s5：日志分析模块对搜索到的车载日志根据业务规则特征库进行模式识别，提取关键信息进行组装，并根据关联字段去hbas大数据集群数据库中查询关键信息进行分析、提取，进而组装分析结果。

18、(三)有益效果

19、本发明提出一种基于elk的cbtc信号系统车载日志分析系统和方法，本发明的关键点和欲保护点：

20、基于elk的非结构化车载日志的处理方法和流程，实现对非结构化车载日志的分析，分析快速、处理流程便捷；

21、使用elk技术栈简化日志处理过程，通过倒排索引能够快速、便捷检索到相关车载日志，提供关键日志查询及日志统计分析。

22、结合elasticsearch检索、模式识别和关联分析，根据结构化和非结构化车载日志综合分析检查轨道交通运营现场出现的运营事件等。

23、本发明的有益效果：

24、1、现有的车载日志分析方法无法处理海量的非结构化车载日志数据及日志分析，或车载日志分析的时间耗时长，处理过程繁琐等，本发明提升车载日志分析的时间性能，简化数据处理过程，解决海量数据存储和计算问题、人工分析问题。

25、2、对于工作经验较少、知识贮备不足的维护人员，本发明可以提高他们的车载日志的分析能力和水平。