日志管理系统的制作方法

本发明涉及计算机技术领域，尤其涉及一种日志管理系统。

背景技术：

所谓日志(log)是指系统所指定对象的某些操作和其操作结果按时间有序的集合。每个日志文件由日志记录组成，每条日志记录描述了一次单独的系统事件。通常情况下，系统日志是用户可以直接阅读的文本文件，其中包含了一个时间戳和一个信息或者子系统所特有的其他信息。

日志文件为服务器、工作站、防火墙和应用软件等it资源相关活动记录必要的、有价值的信息，这对系统监控、查询、报表和安全审计是十分重要的。日志文件中的记录可提供监控系统资源；审计用户行为；对可疑行为进行告警；确定入侵行为的范围；为恢复系统提供帮助；生成调查报告；为打击计算机犯罪提供证据来源等用途。

一个日志文件一天产生的容量少则几十兆、几百兆，多则有几个g，几十个g，均是直接按照时间顺序进行存储，没有进行有效处理，所以冗余量很大，对查找与分析有用信息造成了很大困难，因此当前对计算机日志文件的利用率较低。

技术实现要素：

本发明提供的日志管理系统，主要解决的技术问题是：如何便于计算机日志文件/记录的查找和分析使用。

为解决上述技术问题，本发明提供一种日志管理系统，包括：

日志获取模块、日志归档模块、日志清理模块和日志导出模块，其中，

所述日志获取模块包括n个获取子模块，一个所述获取子模块用于对应获取一种类型的日志文件/记录，所述n大于等于2；

所述日志归档模块包括第一处理子模块、缓存单元、第一配置子模块、打包子模块以及存储单元；所述缓存单元中设有n个缓存队列；所述第一处理子模块用于将获取到的日志文件/记录放入到对应的缓存队列中，一种类型的日志文件/记录对应设有一个缓存队列；所述第一配置子模块用于接收外部第一设置指令，以设置打包周期；所述打包子模块用于判定时间到达所述打包周期时，对缓存队列中的日志文件/记录进行压缩打包，得到该日志文件/记录的压缩包，并清空该缓存队列；所述存储单元用于对所述压缩包进行存储；

所述日志清理模块包括第二处理子模块、第二配置子模块以及第三配置子模块；所述第二配置子模块用于接收外部第二设置指令，以设置日志清理大小阈值；所述第三配置子模块用于接收外部第三设置指令，以设置日志清理时间阈值；所述第二处理子模块用于在判定所述存储单元中存储的日志文件/记录大小超过所述日志清理大小阈值，或日志生成时间超过所述日志清理时间阈值时，按照日志生成时间的先后顺序依次选择至少部分日志文件/记录的压缩包进行删除；

所述日志导出模块包括第一指令接收子模块、第二指令接收子模块以及第三指令接收子模块以及导出子模块；所述第一指令接收子模块用于接收导出日志的类型；所述第二指令接收子模块用于接收导出日志的生成时间段；所述第三指令接收子模块用于接收导出日志的存储路径；所述导出子模块用于根据所述导出日志的类型和/或所述生成时间段，在所述存储单元查找匹配的目标压缩包，并导出至所述存储路径中。

进一步的，所述日志文件/记录的类型包括用户管理日志、系统日志、配置修改日志、命令下行日志、数据上行日志、性能监控日志和安全日志。

本发明的有益效果是：

根据本发明提供的日志管理系统，包括日志获取模块、日志归档模块、日志清理模块和日志导出模块，本系统通过日志归档模块，按照日志类型进行日志分类，并按时间进行压缩打包，提供了更加细腻的归档方法，便于日志的精准定位和快速查找；本系统还提供日志自动清理功能，用户可自定义日志清理大小阈值和日志清理时间阈值，在日志数据量过大或者存储时间过长的情况下，自动清理不必要的日志，减少空间占用，提升存储空间的利用率，保证计算机系统的稳定性；另外，本系统还可基于日志类型、日志生成时间段自动查找并导出日志到指定路径，为用户提供一种简便、快速的日志获取方式，有利于提供日志的利用率。

附图说明

图1为本发明的一种日志管理系统结构示意图；

图2为本发明的一种日志归档流程示意图；

图3为本发明的一种日志自动清理流程示意图；

图4为本发明的一种日志导出流程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，下面通过具体实施方式结合附图对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

请参见图1，图1为本发明的一种日志管理系统结构示意图，本系统包括日志获取模块10、日志归档模块20、日志清理模块30和日志导出模块40，其中：

日志获取模块10包括n个获取子模块11，一个获取子模块11用于对应获取一种类型的日志文件/记录，n大于等于2。日志类型可以根据业务类型进行划分，一种业务类型对应一种日志类型。本实施例中，日志类型具体包括如下几种：用户管理日志、系统日志、配置修改日志、命令下行日志、数据上行日志、性能监控日志和安全日志。应当理解的是，上述日志类型仅仅是本发明可选的实施例，本发明并不限于上述几种日志类型，也不限于上述划分方式。本发明针对日志进行分类获取、归档、导出，是为了便于日志的管理和分析使用，提供日志的有效利用率。因此可能包括各种不同的日志类型，或者根据不同的划分方式(例如业务类型)划分得到的不同的日志类型。

日志归档模块20包括第一处理子模块21、缓存单元22、第一配置子模块23、打包子模块24以及存储单元25；其中，缓存单元22中设有n个缓存队列；第一处理子模块21用于将获取到的日志文件/记录放入到对应的缓存队列中，一种类型的日志文件/记录对应设有一个缓存队列；第一配置子模块23用于接收外部第一设置指令，以设置打包周期；打包子模块24用于判定时间到达该打包周期时，对缓存队列中的日志文件/记录进行压缩打包，得到该日志文件/记录的压缩包，并清空该缓存队列；存储单元25用于对打包子模块24压缩打包处理得到的压缩包进行存储。提供了更加细腻的归档方法，便于日志的精准定位和快速查找。

日志归档模块20的日志归档流程请参见图2所示，包括：

s201、将获取到的日志文件/记录放入到对应的缓存队列中；

s202、判断时间是否超过打包周期；如是，转至步骤s203；如否，监测新的获取到的日志文件/记录；

s203、压缩打包，得到压缩包。

一个获取子模块11用于对应获取一种类型的日志文件/记录，一种类型的日志文件/记录对应设有一个缓存队列，并通过第一处理子模块21将获取到的日志文件/记录放入到对应的缓存队列中，从而实现自动归档。无需设置日志类型识别模块或者识别算法，只需要建立获取子模块11、日志类型以及缓存队列之间的映射关系，即可达到自动识别日志类型的目的。

作为本发明的一种优选方式，打包子模块24还可用于在判定时间到达该打包周期后，在对缓存队列中的日志文件/记录进行压缩打包之前，还需要判断该缓存队列是否为空，如是，则可不进行打包处理，避免产生空的压缩包；相反，如果判定缓存队列不为空，也即存在日志文件/记录，则进行压缩打包处理。

日志清理模块30包括第二处理子模块31、第二配置子模块32以及第三配置子模块33；其中，第二配置子模块32用于接收外部第二设置指令，以设置日志清理大小阈值；第三配置子模块33用于接收外部第三设置指令，以设置日志清理时间阈值；第二处理子模块31用于在判定存储单元25中存储的日志文件/记录的大小超过该日志清理大小阈值，或日志生成时间超过该日志清理时间阈值时，按照日志生成时间的先后顺序依次选择至少部分日志文件/记录的压缩包进行删除；以减少空间占用，提升存储空间的利用率，保证计算机系统的稳定性。

日志清理模块30的日志清理流程请参见图3，包括：

s301、判断存储单元中存储的日志文件/记录的大小超过该日志清理大小阈值；如是，转至步骤s303；如否，转至步骤s302；

s302、判断日志生成时间是否超过该日志清理时间阈值；如是，转至步骤s303；如否，结束；

应当理解的是，在本发明可选的实施例中，可先执行步骤s302，再执行步骤s301，本发明对此不作限制，可灵活处理。

s303、按照日志生成时间的先后顺序依次选择至少部分日志文件/记录的压缩包进行删除。

应当理解的是，日志清理大小阈值可以根据计算机存储空间的大小或对日志文件的实际需求灵活设置，本方案并不限制具体的日志清理大小阈值；同理，日志清理时间阈值同样可以根据计算机存储空间的大小或对日志文件的实际需求灵活设置，日志清理时间阈值设置越大，就能存储更久远的日志文件/记录，相反，日志清理时间阈值设置越小，就只能存储近段时间生成的日志文件/记录。日志清理时间阈值例如设置为3个月，也即系统可以保存近3个月的日志文件/记录。

本实施例中，当判定存储单元25中存储的日志文件/记录的大小超过该日志清理大小阈值，且日志生成时间超过该日志清理时间阈值时，可以按照如下方式选择至少部分日志文件/记录的压缩包进行删除：

1.根据设定数据量大小进行删除。例如，日志清理大小阈值为100g，设定数据量应小于该日志清理大小阈值，例如设定数据量设置为日志清理大小阈值的10％，即10g；按照日志生成时间的先后顺序依次选择时间靠前的日志文件/记录，且数据量约为10g的压缩包进行删除，保留时间靠后的90g的日志文件/记录。

2.根据设定时间天数进行删除。例如，日志清理时间阈值设定为90天，设定时间天数应小于该日志清理时间阈值，例如这里设置为10天；当判定存储单元25中存储的日志文件/记录的大小超过该日志清理大小阈值，且日志生成时间超过该日志清理时间阈值时，按照日志生成时间的先后顺序，选择时间最靠前的10天内的日志文件/记录进行删除，保留后90天的日志文件/记录。

3.首先删除已经导出的日志文件/记录，在采用上述方式1或方式2进行删除。通常已经导出的日志文件/记录，用户进行了备份，故这里首先删除已经导出的日志文件/记录，一方面不会影响用户对日志文件/记录的获取使用，另一方面可以使得系统保存更多的日志文件/记录，提高数据追溯能力。

日志导出模块40包括第一指令接收子模块41、第二指令接收子模块42以及第三指令接收子模块43以及导出子模块44；其中，第一指令接收子模块41用于接收导出日志的类型；第二指令接收子模块42用于接收导出日志的生成时间段；第三指令接收子模块43用于接收导出日志的存储路径；导出子模块44用于根据导出日志的类型和/或生成时间段，在存储单元25中查找匹配的目标压缩包，并导出至该存储路径中。为用户提供了一种简便、快速的日志获取方式，有利于提供日志的利用率。

日志导出模块40的日志导出流程请参见图4所示，包括：

s401、获取所需导出日志的类型；

s402、获取所需导出日志的生成时间段；

s403、获取导出路径；

s404、根据导出日志的类型和/或生成时间段，在存储单元25中查找匹配的目标压缩包，并导出至该存储路径中。

应当理解的是，若用户未输入导出日志的类型，系统则可以按照所需导出日志的生成时间段在存储单元25中查找匹配的目标压缩包，并导出；若用户未输入导出日志的生成时间段，系统则可以按照所需导出日志的类型在存储单元25中查找匹配的目标压缩包，并导出。

显然，本领域的技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在计算机存储介质(rom/ram、磁碟、光盘)中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。所以，本发明不限制于任何特定的硬件和软件结合。

以上内容是结合具体的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。