一种日志信息管理方法及日志抽取服务器的制造方法
【技术领域】
[0001]本发明属于日志信息管理领域，尤其涉及一种日志信息管理方法及日志抽取服务器。
【背景技术】
[0002]随着互联网技术的高速发展和硬件技术的飞速提升，越来越多公司、部门、组织购买大批硬件，并在此基础上构建符合本公司、部门、组织的各类信息化系统；得益于大数据技术的普及，越来越多的互联网公司、公安、电信、水利、交通、医疗部门都开始搭建自己私有云平台，并在此平台上运行各类公共服务；相比之下某些在财力、物力相对紧缺的公司比较倾向于使用阿里云等公有云平台。上述提及的各类信息化系统和云平台的搭建必然用到众多的硬件，如:服务器、交换机、路由器、存储器等；并且上述设备都存在潜在的运行故障，因此，做好对这些设备和信息系统的监控是亟需解决的技术问题。
[0003]现有技术中对服务器的监控依赖于网管使用ipmitool命令查看网络设备日志即BMC日志来进行排查；对存储器的监控依赖于专业人员采用snmp协议从存储器获取日志数据进行排查；对网络设备(例如:路由器、交换机)的监控依赖于网络管理员使用网络管理命令查看日志进行逐一排查；对信息系统的监控则使用log4j等日志工具，查询日志进行排查。
[0004]但是，上述做法需要依赖大量的专业技术人员，增加了成本并且效率低下；因此，迫切需要一种成熟、轻便、高效、统一的集中式日志处理平台。
[0005]现有技术提供了一种集中式日志处理平台Logstash，Logstash是ELK公司开发，其中 ELK 为 ElasticSearch、Logstash、Kibana 的首字母缩写，Logstash 作为统一日志处理平台最为重要的一部分，主要负责各类日志数据的抽取工作，Logstash把抽取的日志发送到ElasticSearch做索引，Kibana提供了一套友好的web界面供用户检索、分析ElasticSearch中的日志记录。
[0006]如图1所示，Logstash抽取日志的工作流程如下:
[0007]步骤一、Input插件从不同日志源中分别抽取对应类型的日志；其中，所述日志源包括存储器、服务器、网络设备(例如:路由器、交换机)；所述Input插件支持多种类型日志，例如:文件类型日志即file日志、操作系统类型日志即syslog日志、网络设备日志即BMC日志；
[0008]步骤二、Input插件将抽取的日志发送至Filter插件并由所述Filter插件进行过滤后，发送至Output插件并由所述Output插件进行输出。
[0009]但是Input插件从日志源中抽取的日志(例如:BMC日志)都是全量日志，这样就会造成索引库中日志记录重复。
【发明内容】
[0010]本发明提供一种日志信息管理方法及日志抽取服务器，以解决上述问题。
[0011]本发明提供一种日志信息管理方法。上述方法包括以下步骤:
[0012]日志抽取服务器从不同日志源中分别抽取对应类型的日志；
[0013]所述日志抽取服务器将获取的日志存储至对应的临时文件并从所述临时文件中获取对应的增量日志并对所述增量日志进行存储。
[0014]本发明还提供一种日志抽取服务器，包括日志抽取模块、增量日志获取模块；其中，所述日志抽取模块与所述增量日志获取模块相连；
[0015]所述日志抽取模块，用于从不同日志源中分别抽取对应类型的日志并将所述日志发送至所述增量日志获取模块；
[0016]所述增量日志获取模块，用于将获取的日志存储至对应的临时文件并从所述临时文件中获取对应的增量日志并对所述增量日志进行存储。
[0017]通过以下方案:日志抽取服务器从不同日志源中分别抽取对应类型的日志；所述日志抽取服务器将获取的日志存储至对应的临时文件并从所述临时文件中获取对应的增量日志并对所述增量日志进行存储；避免了日志记录重复，实现了对增量日志存储。
[0018]通过以下方案:所述日志抽取服务器将获取的日志存储至对应的临时文件并从所述临时文件中获取对应的增量日志的过程为:所述日志抽取服务器将获取的日志存储至对应的临时文件并对所述临时文件进行时间标记；所述日志抽取服务器按照时间标记先后顺序依次对不同临时文件中的日志信息进行比较并根据比较结果获取对应的增量日志；通过时间标记，可以准确获取增量日志。
[0019]通过以下方案:还可以将比较后的临时文件进行删除，释放存储空间，节约系统资源。
【附图说明】
[0020]此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中:
[0021]图1所示为现有技术中使用logstash抽取BMC日志处理流程图；
[0022]图2所示为本发明实施例2的日志信息管理方法处理流程图；
[0023]图3所示为本发明实施例3的日志抽取服务器结构图。
【具体实施方式】
[0024]下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
[0025]图2所示为本发明实施例2的日志信息管理方法处理流程图，包括以下步骤:
[0026]步骤201:日志抽取服务器从不同日志源中分别抽取对应类型的日志；
[0027]进一步地，日志抽取服务器从不同日志源中分别抽取对应类型的日志之前，还包括:
[0028]日志抽取服务器中的定时模块触发时，所述日志抽取服务器从不同日志源中分别抽取对应类型的日志。
[0029]进一步地，所述日志源包括存储器、流媒体服务器、网络设备；其中，所述网络设备包括:路由器、交换机。
[0030]进一步地，日志类型包括文件类型日志、操作系统类型日志、网络设备日志；其中，文件类型日志即file日志、操作系统类型日志即syslog日志、网络设备日志即BMC日志。
[0031]进一步地，日志抽取服务器采用ipmitool命令，从不同日志源中分别抽取对应类型的日志。
[0032]步骤202:所述日志抽取服务器将获取的日志存储至对应的临时文件并从所述临时文件中获取对应的增量日志；
[0033]进一步地，所述日志抽取服务器将获取的日志存储至对应的临时文件并从所述临时文件中获取对应的增量日志的过程为:
[0034]所述日志抽取服务器将获取的日志存储至对应的临时文件并对所述临时文件进行时间标记；
[0035]所述日志抽取服务器按照时间标记先后顺序依次对不同临时文件中的日志信息进行比较并根据比较结果获取对应的增量日志。
[0036]例如:日志抽取服务器中的定时模块每隔10分钟触发I次，若首次为9点，则达到9点时，所述日志抽取服务器中的抽取模块从流媒体服务器中获取BMC日志并将获取的BMC日志存储至临时文件A并对临时文件A进行时间标记，例如:临时文件A的时间标记为9点。
[0037