一种快速满足临时性日志分析系统及其方法与流程

本发明涉及计算机技术领域，具体涉及一种快速满足临时性日志分析系统及其方法。

背景技术：

随着互联网的发展，系统变得越来越庞大复杂，各种日志越来越多，业务特性分析、系统运营情况、故障定位等都需要分析日志，类似这种触发式日志分析的需求越来越多，对于云厂商更是如此。有时可能需要查询日志记录，有时又可能需要对某个范围的日志进行分析汇总。

此类需求的特点之一是临时性，短期内需要，甚至可能是一次性的；特点之二是突发性，无法像常规需求那样事先提取规则并实现；特点之三是变化性，搜索和计算要求多样化，很难有统一的脚本可用。目前一般是通过临时脚本的编写来达到分析的目的，这种方式有如下3个主要缺点：脚本基本都是一次性的，复用性不强，耗费较多人力资源；无法快速响应这类需求，对于异常定位、排除故障、业务分析等都非常不利；分析的门槛较高，需要此类分析的人员都对脚本较为熟悉。

技术实现要素：

有鉴于此，本发明的目的在于提供一种快速满足临时性日志分析系统，可以快速满足用户各种各样的分析需求，提高这类需求的普适性和灵活性。

为实现上述目的，本发明采用如下技术方案：

一种快速满足临时性日志分析系统，包括若干个服务器、日志处理中心集群和web服务端；所述日志处理中心集群包括日志预处理模块和日志通用计算模块；所述日志处理中心集群收集各服务器的日志，并进行分析；所述web服务端用于提供可视化操作页面给用户，并将日志处理中心集群的处理结果以图表方式呈现。

进一步的，所述预处理模块包括日志收集模块、日志解析模块、日志存储模块；所述日志收集模块定时收集各台服务器上产生的原始日志；所述日志解析模块对原始日志解析出日志原有字段并扩展出用户常用字段，并按预设的字段顺序，将日志以文件或压缩文件的形式存储于日志存储模块。

进一步的，所述日志通用计算模块包括通用搜索引擎和通用计算引擎；所述通用搜索引擎实现按字段进行搜索；所述通用计算引擎实现灵活的多维度计算，用户可以指定统计维度和统计操作。

一种快速满足临时性日志分析系统的控制方法，包括以下步骤：

步骤s1:用户通过web可视化模块发起临时性分析请求；

步骤s2:通过触发通用搜索引擎进行过滤，并判断是否涉及统计分析；若涉及统计分析，则触发通用计算引擎进行统计，并返回统计数据给web可视化模块；否则直接返回日志记录给web可视化模块；

步骤s3:web可视化模块将结果以图表方式呈现给用户。

本发明与现有技术相比具有以下有益效果：

1、本发明可以指定过滤条件，搜索满足条件的日志，也可以对满足条件的日志进行多维度的汇总分析。

2、本发明可以快速满足用户各种各样的分析需求，提高这类需求的普适性和灵活性；

3、本发明可以大大降低日志分析的门槛，用户无须知晓日志格式、日志存储和统计方法等相关内容。

附图说明

图1是本发明系统结构图；

图2是本发明实施例中用户调用日志示意图；

图3是本发明实施例中用户请求处理流程图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

请参照图1，本发明提供一种快速满足临时性日志分析系统，包括若干个服务器、日志处理中心集群和web服务端；所述日志处理中心集群包括日志预处理模块和日志通用计算模块；所述日志处理中心集群收集各服务器的日志，并进行分析；所述web服务端用于提供可视化操作页面给用户，并将日志处理中心集群的处理结果以图表方式呈现。

本实施例中，所述预处理模块包括日志收集模块、日志解析模块、日志存储模块；所述日志收集模块定时收集各台服务器上产生的原始日志；所述日志解析模块对原始日志解析出日志原有字段并扩展出用户常用字段，并按预设的字段顺序，将日志以文件或压缩文件的形式存储于日志存储模块。

本实施例中，所述日志通用计算模块是基于hadoop框架，采用mapreduce的计算模型来实现日志通用计算包括通用搜索引擎和通用计算引擎；所述通用搜索引擎抽象一些常用的过滤规则作为通用搜索引擎的规则，并实现按字段进行搜索；所述通用计算引擎抽象一些常用的统计因子，如求和、计数、平均值、去重等，同时实现灵活的多维度计算，用户可以指定统计维度和统计操作。

本实施例中，web可视化模块具体为：用户操作入口，傻瓜式可视化操作界面，提供按字段过滤与统计操作，每个字段都用中文名称标识，同时都配有字段说明。过滤规则和统计操作以直观的方式呈现供用户选择，用户既可以指定过滤条件查询日志记录，也可以指定统计行为对满足条件的日志进行汇总分析，系统返回可视化图表结果给用户。

本实施例中，一种快速满足临时性日志分析系统的控制方法，包括以下步骤：

步骤s1:用户通过web可视化模块发起临时性分析请求；

步骤s2:通过触发通用搜索引擎进行过滤，并判断是否涉及统计分析；若涉及统计分析，则触发通用计算引擎进行统计，并返回统计数据给web可视化模块；否则直接返回日志记录给web可视化模块；

步骤s3:web可视化模块将结果以图表方式呈现给用户。

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

技术特征：

技术总结
本发明涉及一种快速满足临时性日志分析系统，包括若干个服务器、日志处理中心集群和Web服务端；所述日志处理中心集群包括日志预处理模块和日志通用计算模块；所述日志处理中心集群收集各服务器的日志，并进行分析；所述Web服务端用于提供可视化操作页面给用户，并将日志处理中心集群的处理结果以图表方式呈现。本发明既可以指定过滤条件，搜索满足条件的日志，也可以对满足条件的日志进行多维度的汇总分析。

技术研发人员：王淑贞
受保护的技术使用者：厦门大学嘉庚学院
技术研发日：2019.04.18
技术公布日：2019.07.19