一种日志文件自动分析方法
【技术领域】
[0001 ] 本发明涉及一种日志文件自动分析方法。
[0002]
【背景技术】
[0003]随着互联网技术的发展，服务端程序越来越庞大，也越来越复杂，一个应用往往会有很多的服务在后台运行，这些后台服务运行时会产生大量的日志文件(Log)信息，Log通常是一种以文本形式存在的文件，其中记录了程序运行时所产生的事件信息，这些信息包括:时间、事件类型、位置和输出值等，事件类型又包括:严重错误、一般错误、警告和提示信息。当系统发生故障时，这些log是分析和定位问题最有效的证据。
[0004]现在分析log普遍都是靠技术人员手动去分析，通过文本工具的编辑和查找功能来定位出想要的信息。面对大量的log信息，手动分析是比较繁琐的，效率比较低。
[0005]
【发明内容】
[0006]本发明提供一种日志文件自动分析方法，可以对大量日志文件进行自动分析，提高了分析效率，节省了人力。
[0007]为了达到上述目的，本发明提供一种日志文件自动分析方法，包含以下步骤:
步骤S1、编译日志文件自动分析脚本；
步骤S2、日志文件自动分析脚本装载待分析的日志文件；
步骤S3、将需要分析的参数输入日志文件自动分析脚本并设置对应的参数阈值；
步骤S4、日志文件自动分析脚本根据输入的参数，从待分析的日志文件中过滤出匹配信息；
步骤S5、日志文件自动分析脚本根据设置的参数阈值，对匹配信息进行分析判断，得到分析结果。
[0008]所述的待分析的日志文件包含:单个服务端的日志文件，或者，多个服务端的多个相关联的日志文件；所述的相关联是指:一个服务端产生一个或多个事件，会引起另一个服务端产生一个或多个事件。
[0009]所述的参数输入包含:输入单个日志文件的待分析参数、以及输入多个相关联的日志文件的待联合分析的参数。
[0010]所述的单个日志文件的待分析参数包含:
严重错误关键字；
一般错误关键字；
告警信息；
提不?目息。
[0011]所述的输入多个相关联的日志文件的待联合分析的参数包含: 分别输入每个日志文件中的所有事件类型和该事件类型对应的关键字；
所述的关键字包含:
严重错误；
一般错误；
告警信息；
提不?目息。
[0012]所述的设置对应的参数阈值包含:设置单个日志文件的参数阈值、以及设置多个相关联的日志文件的参数阈值。
[0013]所述的单个日志文件的参数阈值包含:告警信息的阈值范围和提示信息的阈值范围。
[0014]所述的多个相关联的日志文件的参数阈值包含:分别发生在两个服务端中的两个相关联事件的发生时间之间的最大时延值Τ。
[0015]针对单个日志文件，如果告警信息的输出值和提示信息的输出值落入阈值范围内，则将告警信息的输出值和提示信息的输出值反馈给用户；
针对多个相关联的日志文件，如果在最大时延值T内发生了相关联的两个事件，则认为正常，如果在最大时延值T内发生的事件个数不对，或者没有发生任何事件，则认为异常。
[0016]日志文件自动分析脚本将分析结果以文本的形式输出给用户。
[0017]本发明可以对大量日志文件进行自动分析，提高了分析效率，节省了人力。
[0018]
【附图说明】
[0019]图1是本发明的流程图。
[0020]
【具体实施方式】
[0021]以下根据图1具体说明本发明的较佳实施例。
[0022]本发明提出的一种日志文件自动分析方法，可以将需要分析的日志文件的信息参数预先输入自动分析脚本中，然后自动分析脚本开始自动分析log文件，最终将用户需要的分析结果输出给用户。该自动分析方法还支持多个log文件同时分析，因为多服务端程序同时运行的情况下，它们之间的运行往往是互相配合的，多个服务端程序之间的事件往往都是联系在一起的，一台服务端产生一个或数个事件必然会使得另一台服务端产生一个或数个事件，比如服务端I有事件A发生，服务端2应该会有事件B发生，而且发生的前后时间也应该是有限定的，如果这两台服务端的事件不是一一对应的，缺少了或者增多了，都是异常情况，自动分析脚本能同时分析这些log文件。
[0023]如图1所示，本发明提供一种日志文件自动分析方法，包含以下步骤:
步骤S1、编译log文件自动分析脚本；本实施例中，采用Java语言编译log文件自动分析脚本；
步骤S2、log文件自动分析脚本装载待分析的log文件； 所述的待分析的log文件可以包含单个服务端的log文件(例如，文件logfile)，也可以包含多个服务端的多个相关联的log文件(例如，文件1gfile I和1gfile 2)；
步骤S3、log文件自动分析脚本判断待分析的log文件的数量，如果数量等于1，进行步骤S4，如果数量大于I，进行步骤S5 ;
步骤S4、将单个log文件的待分析参数输入log文件自动分析脚本并设置单个log文件的参数阈值，进行步骤S6;
所述的单个log文件的待分析参数包含:
严重错误关键字(Ser1us fault)；
一般错误关键字(Common fault)；
告警信息(Waring)；
提不?目息(Tips)；
所述的单个log文件的参数阈值包含:告警信息的阈值范围和提示信息的阈值范围(例如，将告警信息的阈值范围和提示信息的阈值范围都设置为大于等于20且小于等于30)；
步骤S5、将多个相关联的log文件的待联合分析的参数输入log文件自动分析脚本并设置多个相关联的log文件的参数阈值，进行步骤S6 ;
所述的输入多个相关联的log文件的待联合分析的参数包含:分别输入每个log文件中的所有事件类型和该事件类型对应的关键字；
例如:在文件1gfile I中增加事件类型1，事件类型I对应的关键字Al，增加事件类型2，事件类型2对应的关键字A2，如果有更多以此类推；
在文件1gfile 2中增加事件类型2，事件类型2对应的关键字BI，增加事件类型2，事件类型2对应的关键字B2，如果有更多也以此类推；
所述的关键字包含:
严重错误(A Error)；
一般错误(B Error)；
告警信息(C Info)；
提示信息(D Message)；
所述的多个相关联的log文件的参数阈值包含:
分别发生在两个服务端中的两个相关联事件的发生时间之间的最大时延值T ;
步骤S6、log文件自动分析脚本根据输入的参数，从待分析的log文件中过滤出匹配信息;
步骤S7、log文件自动分析脚本根据设置的参数阈值，对匹配信息进行分析判断，得到分析结果；
针对单个log文件，由于某些告警信息和提示信息往往不是最重要的信息，应该将每条告警信息和提示信息的输出值与阈值范围进行比较，如果告警信息的输出值和提示信息的输出值落入阈值范围内，则将告警信息的输出值和提示信息的输出值反馈给用户；
针对多个相关联的log文件，同时分析两个不同的log文件中，不同的事件，如果在最大时延值T内发生了相关联的两个事件，则认为正常，如果在最大时延值T内发生的事件个数不对，或者没有发生任何事件，则认为异常，将结果反馈给用户； 步骤S8、log文件自动分析脚本将分析结果以文本的形式输出给用户。
[0024]本发明可以对大量日志文件进行自动分析，提高了分析效率，节省了人力。
[0025]尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。
【主权项】
1.一种日志文件自动分析方法，其特征在于，包含以下步骤: 编译日志文件自动分析脚本； 日志文件自动分析脚本装载待分析的日志文件； 将需要分析的参数输入日志文件自动分析脚本并设置对应的参数阈值； 日志文件自动分析脚本根据输入的参数，从待分析的日志文件中过滤出匹配信息； 日志文件自动分析脚本根据设置的参数阈值，对匹配信息进行分析判断，得到分析结果O
2.如权利要求1所述的日志文件自动分析方法，其特征在于，所述的待分析的日志文件包含:单个服务端的日志文件，或者，多个服务端的多个相关联的日志文件；所述的相关联是指:一个服务端产生一个或多个事件，会引起另一个服务端产生一个或多个事件。
3.如权利要求2所述的日志文件自动分析方法，其特征在于，所述的参数输入包含:输入单个日志文件的待分析参数、以及输入多个相关联的日志文件的待联合分析的参数。
4.如权利要求3所述的日志文件自动分析方法，其特征在于，所述的单个日志文件的待分析参数包含: 严重错误关键字； 一般错误关键字； 告警信息； 提不?目息。
5.如权利要求3所述的日志文件自动分析方法，其特征在于，所述的输入多个相关联的日志文件的待联合分析的参数包含:分别输入每个日志文件中的所有事件类型和该事件类型对应的关键字； 所述的关键字包含: 严重错误； 一般错误； 告警信息； 提不?目息。
6.如权利要求4或5所述的日志文件自动分析方法，其特征在于，所述的设置对应的参数阈值包含:设置单个日志文件的参数阈值、以及设置多个相关联的日志文件的参数阈值。
7.如权利要求6所述的日志文件自动分析方法，其特征在于，所述的单个日志文件的参数阈值包含:告警信息的阈值范围和提示信息的阈值范围。
8.如权利要求6所述的日志文件自动分析方法，其特征在于，所述的多个相关联的日志文件的参数阈值包含:分别发生在两个服务端中的两个相关联事件的发生时间之间的最大时延值T。
9.如权利要求7或8所述的日志文件自动分析方法，其特征在于， 针对单个日志文件，如果告警信息的输出值和提示信息的输出值落入阈值范围内，则将告警信息的输出值和提示信息的输出值反馈给用户； 针对多个相关联的日志文件，如果在最大时延值T内发生了相关联的两个事件，则认为正常，如果在最大时延值T内发生的事件个数不对，或者没有发生任何事件，则认为异常。
10.如权利要求9所述的日志文件自动分析方法，其特征在于，日志文件自动分析脚本将分析结果以文本的形式输出给用户。
【专利摘要】一种日志文件自动分析方法，首先编译日志文件自动分析脚本，然后日志文件自动分析脚本装载待分析的日志文件，将需要分析的参数输入日志文件自动分析脚本并设置对应的参数阈值，接着日志文件自动分析脚本根据输入的参数，从待分析的日志文件中过滤出匹配信息，再根据设置的参数阈值，对匹配信息进行分析判断，得到分析结果。本发明可以对大量日志文件进行自动分析，提高了分析效率，节省了人力。
【IPC分类】G06F17-30
【公开号】CN104850666
【申请号】CN201510327645
【发明人】张伟
【申请人】上海斐讯数据通信技术有限公司
【公开日】2015年8月19日
【申请日】2015年6月15日