一种高性能服务器海量日志增量收集方法及装置与流程

本发明涉及日志收集领域，具体涉及一种高性能服务器海量日志增量收集方法及装置。

背景技术：

高性能服务器的系统日志及应用程序日志记录了系统硬件及软件相关运行信息，日志数据的收集获取能够帮助开发者了解系统运行状态，以便对系统及应用异常信息及时作出应对。

现有技术中，对增量日志的收集方法多数是基于数据库下的日志分析器实现，对日志的分类及日志数据冗余处理多数依靠日志服务器或上层应用服务器分析处理完成，这样会增加日志服务器或上层应用服务器的压力。

技术实现要素：

为解决上述问题，本发明提供一种高性能服务器海量日志增量收集方法及装置，以减少日志服务器或上层应用服务器的冗余过滤压力。

本发明的技术方案为：一种高性能服务器海量日志增量收集方法，包括以下步骤：

高性能服务器接收到收集日志指令后，根据不同日志类型对日志进行收集；

将收集的日志进行保存并存放到网络文件系统共享目录上；

日志服务器或上层应用服务器访问网络文件系统共享目录，读取对应收集的增量日志信息，并将其追加或覆盖到各个日志的历史记录文件中。

进一步地，根据不同日志类型对日志进行收集包括对系统日志的收集、对工具固定日志的收集和对工具历史记录日志的收集。

进一步地，对系统日志的收集包括以下步骤：

获取当前文件索引信息；

若当前文件索引信息与已保存的索引信息不一致时，提取日志全部信息，更新索引信息和偏移量；

若当前文件索引信息与已保存的索引信息一致时，获取当前文件偏移量；

若当前文件偏移量小于已保存的偏移量，则提取日志全部信息，更新偏移量；

若当前文件偏移量大于已保存的偏移量，则提取上次偏移量到本次偏移量的数据。

进一步地，对工具固定日志的收集具体为：调用对应工具命令获取工具固定日志。

进一步地，对工具历史记录日志的收集包括以下步骤：

调用对应工具命令生成全量日志信息到临时目录；

根据日志结尾信息，倒序读取临时目录的日志，直至与已保存的日志结尾信息完全匹配，提取匹配之后的日志信息，并更新保存的日志结尾信息。

本发明的技术方案还包括一种高性能服务器海量日志增量收集装置，包括，

日志收集模块：高性能服务器接收到收集日志指令后，根据不同日志类型对日志进行收集；

日志存储模块：将收集的日志进行保存并存放到网络文件系统共享目录上；

日志分析合并模块：日志服务器或上层应用服务器访问网络文件系统共享目录，读取对应收集的增量日志信息，并将其追加或覆盖到各个日志的历史记录文件中。

进一步地，日志收集模块包括，

第一日志收集单元：对系统日志收集；

第二日志收集单元：对工具固定日志收集；

第三日志收集单元：对工具历史记录日志收集。

进一步地，第一日志收集单元对系统日志收集具体为：

获取当前文件索引信息；

若当前文件索引信息与已保存的索引信息不一致时，提取日志全部信息，更新索引信息和偏移量；

若当前文件索引信息与已保存的索引信息一致时，获取当前文件偏移量；

若当前文件偏移量小于已保存的偏移量，则提取日志全部信息，更新偏移量；

若当前文件偏移量大于已保存的偏移量，则提取上次偏移量到本次偏移量的数据。

进一步地，第二日志收集单元对工具固定日志收集具体为：

调用对应工具命令获取工具固定日志。

进一步地，第三日志收集单元对工具历史记录日志收集具体为：

调用对应工具命令生成全量日志信息到临时目录；

根据日志结尾信息，倒序读取临时目录的日志，直至与已保存的日志结尾信息完全匹配，提取匹配之后的日志信息，并更新保存的日志结尾信息。

本发明提供的一种高性能服务器海量日志增量收集方法及装置，通过对带内系统日志分类及检测，记录收集信息，对各类日志进行增量获取，从而减少日志服务器或上层应用服务器的冗余过滤压力，且采用共享存储，降低网络流量及日志服务器或上层服务器资源开销。

附图说明

图1是本发明具体实施例一方法流程示意图；

图2是本发明具体实施例二结构示意框图。

具体实施方式

下面结合附图并通过具体实施例对本发明进行详细阐述，以下实施例是对本发明的解释，而本发明并不局限于以下实施方式。

实施例一

如图1所示，本实施例提供一种高性能服务器海量日志增量收集方法，包括以下步骤：

s1，高性能服务器接收到收集日志指令后，根据不同日志类型对日志进行收集；

s2，将收集的日志进行保存并存放到网络文件系统共享目录上；

s3，日志服务器或上层应用服务器访问网络文件系统共享目录，读取对应收集的增量日志信息，并将其追加或覆盖到各个日志的历史记录文件中。

该方法对带内系统日志进行分类，不同类别的日志根据不同的日志增量算法进行收集（具体为：系统日志通过两次偏移量收集，工具固定日志按全量日志收集更新，工具历史记录则需记录上次日志最后记录信息来增量收集），从而减少日志服务器或上层应用服务器的冗余过滤压力，且采用共享存储，降低网络开销，简化增量日志上传流程。

本实施例中，将日志分为三类：系统日志，工具固定日志，工具历史记录日志。根据不同日志类型对日志进行收集即包括对系统日志的收集、对工具固定日志的收集和对工具历史记录日志的收集。

系统日志是操作系统内本身或自带的模块产生的日志，比如系统messages日志、内存相关的mcelog日志、定时器相关cron日志，这些日志是系统产生，存放在系统固定目录下，按时间增量存放。工具固定日志则是由系统安装的硬件相关的配置日志信息，比如raid卡的相关配置信息，硬盘的smart信息，系统bios信息，该信息获取需要通过对应的工具执行相应的命令来获取。工具历史记录日志则是系统安装的硬件产生的历史记录信息，该信息会不断进行更新，更新到一定程度会覆盖原有的信息，比如raid卡event日志，该信息的获取每次需要调用工具执行命令获取全部信息。

根据不同的日志分类，需要制定不同的增量采集方法。针对系统日志，该日志文件路径名称及格式较为固定，每次采集都记录该日志文件的偏移量，通过上次偏移量及本次偏移量位置，获取日志增量部分；针对工具固定日志，由于信息较为固定，每次更新只是内部信息发生变化，并非为增量更新，因此作为全量日志收集；针对工具历史记录日志则是每次调用工具生成，需要每次对对工具产生的日志进行分析处理来获取日志增量信息。

对系统日志的收集具体包括以下步骤：

s101，获取当前文件索引信息；

s102，若当前文件索引信息与已保存的索引信息不一致时，提取日志全部信息，更新索引信息和偏移量；

s103，若当前文件索引信息与已保存的索引信息一致时，获取当前文件偏移量；

s104，若当前文件偏移量小于已保存的偏移量，则提取日志全部信息，更新偏移量；

s105，若当前文件偏移量大于已保存的偏移量，则提取上次偏移量到本次偏移量的数据。

对工具固定日志的收集具体为：调用对应工具命令获取工具固定日志。

对工具历史记录日志的收集具体包括以下步骤：

s201，调用对应工具命令生成全量日志信息到临时目录；

s202，根据日志结尾信息，倒序读取临时目录的日志，直至与已保存的日志结尾信息完全匹配，提取匹配之后的日志信息，并更新保存的日志结尾信息。

需要说明的是，日志结尾信息包括id号、时间序列、日志内容等信息。

具体实施时，高性能服务器上部署日志收集程序，日志收集程序启动后进行日志初始化，将系统上需要收集的日志分为三类：系统日志，工具固定日志，工具历史记录日志，设置日志文件路径及日志文件名。当日志收集程序接收到日志服务器或上次应用服务器发出的收集日志指令时，开始运行各类日志收集算法，对各类日志进行收集。收集的日志以原有日志文件的方式进行保存，并将其存放在nfs（networkfilesystem，网络文件系统）共享目录上，每次收集都更新该共享目录，并通知日志服务器或上层应用服务器进行日志合并处理。日志服务器或上层应用服务器通过访问nfs日志共享目录，读取对应收集的增量日志信息，并将其追加或覆盖到各个日志的历史记录文件中，以便后续日志分析处理。

实施例二

如图2所示，在实施例一基础上，本实施例提供一种高性能服务器海量日志增量收集装置，包括以下功能模块。

日志收集模块101：高性能服务器接收到收集日志指令后，根据不同日志类型对日志进行收集；

日志存储模块102：将收集的日志进行保存并存放到网络文件系统共享目录上；

日志分析合并模块103：日志服务器或上层应用服务器访问网络文件系统共享目录，读取对应收集的增量日志信息，并将其追加或覆盖到各个日志的历史记录文件中。

日志分类为系统日志，工具固定日志，工具历史记录日志。相应地，日志收集模块101包括以下功能单元：

第一日志收集单元：对系统日志收集；

第二日志收集单元：对工具固定日志收集；

第三日志收集单元：对工具历史记录日志收集。

其中，第一日志收集单元对系统日志收集具体为：

获取当前文件索引信息；

若当前文件索引信息与已保存的索引信息不一致时，提取日志全部信息，更新索引信息和偏移量；

若当前文件索引信息与已保存的索引信息一致时，获取当前文件偏移量；

若当前文件偏移量小于已保存的偏移量，则提取日志全部信息，更新偏移量；

若当前文件偏移量大于已保存的偏移量，则提取上次偏移量到本次偏移量的数据。

第二日志收集单元对工具固定日志收集具体为：调用对应工具命令获取工具固定日志。

第三日志收集单元对工具历史记录日志收集具体为：

调用对应工具命令生成全量日志信息到临时目录；

根据日志结尾信息，倒序读取临时目录的日志，直至与已保存的日志结尾信息完全匹配，提取匹配之后的日志信息，并更新保存的日志结尾信息。

以上公开的仅为本发明的优选实施方式，但本发明并非局限于此，任何本领域的技术人员能思之的没有创造性的变化，以及在不脱离本发明原理前提下所作的若干改进和润饰，都应落在本发明的保护范围内。