本发明涉及一种基于记录仪平台的日志检索系统及方法，属于记录仪日志管理领域。
背景技术：
航天科技记录仪管理平台每天有超过1w辆车辆在线，每天会产生大量的操作日志，日志存储到多台服务器上，用户在使用平台过程中遇到的问题，都可以通过分析日志找到问题原因，所以每天要频繁的从多台服务器上检索日志信息进行分析。现有技术的日志检索分析用时较慢，处理速度较低。
技术实现要素：
本发明的目的是为了解决现有的日志检索分析系统用时较慢，处理速度较低的缺点，而提出一种基于记录仪平台的日志检索系统及方法。
一种于记录仪平台的日志检索系统及系统，包括：
服务器日志检索模块，用于根据检索条件读取日志文件，并发送给检索后日志处理模块；
检索后日志处理模块，用于对接收到的日志文件进行数据清洗，并按照系统时间进行排序；
日志处理后存储模块，用于汇总所有经过排序的日志文件并批量保存至数据库中。
本发明还提供一种基于记录仪平台的日志检索方法，包括：
步骤一、根据检索条件读取日志文件；
步骤二、对接收到的日志文件进行数据清洗，并按照系统时间进行排序；
步骤三、汇总所有经过排序的日志文件并批量保存至数据库中。
本发明的有益效果为：
1、系统采用springintegration作为系统框架，多线程、定时器、消息通道等易出错误部分，都是使用框架内固有的成熟稳定模块，通过xml配置文件进行调用使用，该方式将研发人员从复杂的技术问题中解脱出来，集中精力关注具体的业务逻辑的实现，大大提高了研发速度和整个系统的稳定性。
2、系统的主要运算、缓存部分，主要集中在检索后日志处理模块中，该模块可以根据任务量，进行灵活扩充，从而提升系统的整体运算性能。
3、检索后日志处理模块提供了清洗、分片缓存策略，在整个数据处理过程中，能够减少接收、发送的数据量，提升系统整体的运算性能。处理速度相比于传统方法至少提升了10％。
附图说明
图1为本发明一个实施例的基于记录仪平台的日志检索系统的结构图；
图2为本发明一个实施例的基于记录仪平台的日志检索方法的流程图。
具体实施方式
具体实施方式一：本实施方式的基于记录仪平台的日志检索系统，如图1所示，包括：
服务器日志检索模块100，用于根据检索条件读取日志文件，并发送给检索后日志处理模块200；
检索后日志处理模块200，用于对接收到的日志文件进行数据清洗，并按照系统时间进行排序；
日志处理后存储模块300，用于汇总所有经过排序的日志文件并批量保存至数据库400中。
具体实施方式二：本实施方式与具体实施方式一不同的是：服务器日志检索模块100包括：
读取器120，用于按照时间戳循环从服务器中根据检索条件读取日志文件，并将读取到的日志文件数据发送至第一消息通道110中进行缓存；第一消息通道110，用于缓存日志文件数据；分发器130，用于从第一消息通道中读取日志文件数据，并发送至检索后日志处理模块200。
其它步骤及参数与具体实施方式一相同。
具体实施方式三：本实施方式与具体实施方式一或二不同的是：检索后日志处理模块200包括：
接收单元220，用于接收日志文件数据，并缓存至第二消息通道210中；
第二消息通道210，用于缓存日志文件数据；
处理单元230，用于从第二消息通道210中读取日志文件数据，并清洗掉文件内容为空以及时间异常的数据，并将清洗后的数据按照系统时间进行排序；
分片缓存单元240，用于缓存排序后的数据进行缓存，当缓存的日志文件数据的数量大于一定数量时，将日志文件数据存入第二消息通道并发送至日志处理后存储模块300中。
其它步骤及参数与具体实施方式一或二相同。
具体实施方式四：本实施方式与具体实施方式一至三之一不同的是：日志处理后存储模块300包括：
第三消息通道310，用于接收并汇总来自检索后日志处理模块200的日志文件数据；
存储单元320，用于将第三消息通道310中的日志文件数据批量存储至数据库中400。
其它步骤及参数与具体实施方式一至三之一相同。
具体实施方式五：本实施方式与具体实施方式一至四之一不同的是：服务器日志检索模块100、检索后日志处理模块200、日志处理后存储模块300均通过springintegration框架进行实现。
其它步骤及参数与具体实施方式一至四之一相同。
具体实施方式六：本实施方式提供一种基于记录仪平台的日志检索方法，如图2所示，包括：
步骤一、根据检索条件读取日志文件；
步骤二、对接收到的日志文件进行数据清洗，并按照系统时间进行排序；
步骤三、汇总所有经过排序的日志文件并批量保存至数据库中。
具体实施方式七：本实施方式与具体实施方式六不同的是：步骤二具体为：
按照时间戳循环从服务器中根据检索条件读取日志文件，并将读取到的日志文件数据发送至第一消息通道中进行缓存；
从第一消息通道中读取日志文件数据。
其它步骤及参数与具体实施方式六相同。
具体实施方式八：本实施方式与具体实施方式六或七不同的是：步骤三具体为：
接收日志文件数据，并缓存至第二消息通道中；
从第二消息通道中读取日志文件数据，并清洗掉文件内容为空以及时间异常的数据，并将清洗后的数据按照系统时间进行排序；
缓存排序后的数据进行缓存，当缓存的日志文件数据的数量大于一定数量时，将日志文件数据存入第二消息通道。
其它步骤及参数与具体实施方式六或七相同。
具体实施方式九：本实施方式与具体实施方式六至八之一不同的是：步骤三具体为：
接收并汇总来自检索后日志处理模块的日志文件数据，存入第三消息通道中；
将第三消息通道中的日志文件数据批量存储至数据库中。
其它步骤及参数与具体实施方式六至八之一相同。
具体实施方式十：本实施方式与具体实施方式六至八之一不同的是：步骤一、步骤二、步骤三均通过springintegration框架实现。
其它步骤及参数与具体实施方式六至九之一相同。
具体实施方式十一：本实施方式中，系统主要包括3部分：服务器日志检索(datasch)、检索后日志处理(handledate)、日志处理后存储(datasaver)。服务器日志检索负责从已经配置好的各个服务器中，按照日志检索条件(时间、关键字)检索日志，时间用于检索文件，关键字用于检索文件内容，并将检索后的日志发送给handledate,等待处理。
handlenode接收到数据后，对数据进行清洗、转换、整理、合并等运算，并将处理结果发送给datasaver。datasaver接收到handlenode发送来的处理结果，批量保存进数据库中。
datasch由读取器(reader)、消息通道(messagechannel)、分发器(sender)组成。reader按时间戳，循环从各个服务器中按照检索条件读取日志文件，并将数据发送到messagechannel中进行缓存。sender发送messagechannel中的日志文件数据，通道中的数据是字符串类型数据，并且每条数据都带有系统时间。通过远程调用函数(rpc)发送到handledate。
handledate由消息通道messagechannel、接收、清洗、排序、分片缓存及部分组成。当handledate接收到datasch传入的消息后，缓存至messagechannel中，由接收程序接收到messagechannel中的数据后，清洗掉文件内容为空、时间异常等的无效数据，将有效数据的时间按照系统时间进行排序。通过缓存程序，当缓存区日志条数到100条时，将日志放入messagechannel并发送至datasaver，并清空
datasaver接收到所有handledate传入的汇总结果，缓存至messagechannel中，并由saver将messagechannel中的数据，批量保存至数据库中。
本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。