一种基于大数据流式计算的日志管理方法与流程

本发明涉及运维管理
技术领域：
，尤其涉及一种基于大数据流式计算的日志管理方法。
背景技术：
：大数据的计算模式可以分为批量计算(batchcomputing)和流式计算(streamcomputing)两种形态，两者需求及性能指标对比如下：性能指标大数据流式计算大数据批量计算计算方式实时批量常驻空间内存硬盘时效性短长有序性无有数据量无限有限数据速率突发稳定是否可重现难易移动对象数据移动程序移动数据精确度较低较高目前市面上主流的日志分析系统，如splunk，elk，均使用了大数据批量计算的模式，强调大数据的存储，索引，结构化分析等特性。此种计算模式可以满足部分客户的日志分析要求，但是实际推广时发现覆盖面并不高，主要原因分析如下：1.此类日志分析系统部署的硬件要求高，一般要求专门的存储设备，索引服务器等。2.日志分析系统的开销随着时间的增长不断提高，因为涉及到硬件，需要定期维护更换。3.此类日志分析系统无法与主流的it运维系统有效集成，造成客户运维负担增大。综上，大数据批量计算模式下的日志分析对于中小企业的客户并不友好。技术实现要素：鉴于目前存在的上述不足，本发明提供一种基于大数据流式计算的日志管理方法，在日志分析系统中应用大数据流式计算，解决了传统日志分析系统成本高昂的问题。为达到上述目的，本发明的实施例采用如下技术方案：一种基于大数据流式计算的日志管理方法，所述日志管理方法包括以下步骤：将待管理的日志kpi化，形成日志模板文件，作为大数据流式计算所需的处理触发逻辑单元，所有的接收日志均通过该单元进行处理。依照本发明的一个方面，所述处理触发逻辑单元包括决定该日志或忽略或触发告警或保存为历史记录的处理逻辑。依照本发明的一个方面，所述处理触发逻辑单元包括：接收发送到本机的日志项；根据日志接收规则进行过滤筛选；筛选后的日志项根据日志模板解析提取指标，计算统计指标；根据it运维系统的日志告警规则及日志智维规则，对提取指标和统计指标值进行告警触发或智维历史记录。一种基于大数据流式计算的日志管理方法，所述日志管理方法包括以下步骤：预设有将日志kpi化形成的日志模板文件；收集待监控的日志文件类型，整理日志监控需求；将日志监控需求与预置的日志模板进行比对，确认是否符合需求；如果不符合需求则重新获取符合要求的日志模板；如果符合需求，则通过符合要求的日志模板对所有接收的日志进行处理。依照本发明的一个方面，所述重新获取符合要求的日志模板包括：开发或下载相应类型的日志模板后导入。依照本发明的一个方面，所述日志管理方法包括以下步骤：设置日志接收规则。依照本发明的一个方面，所述日志接收规则包含如下要素：源ip和/或源文件，日志模板，日志编码。依照本发明的一个方面，所述源ip用于syslog日志接收规则和trap日志接收规则；源文件用于文件日志接收规则；日志模板包含如下要素：模板类型，适用范围，提取指标，统计指标，源日志样例；日志模板内容取决于日志监控需求调研结果。其中统计指标支持对同一类型日志的发生频度进行历史记录或告警触发。依照本发明的一个方面，所述日志管理方法包括以下步骤：在被管对象安装日志监控探针监控文件日志。依照本发明的一个方面，所述日志管理方法包括以下步骤：设置被管对象的日志告警规则和日志智维规则。依照本发明的一个方面，所述日志管理方法包括以下步骤：日志接收处理流可在显示界面进行显示。本发明实施的优点：本发明所述的基于大数据流式计算的日志管理方法，包括以下步骤：将待管理的日志kpi化，形成日志模板文件，作为大数据流式计算所需的处理触发逻辑单元，所有的接收日志均通过该单元进行处理；通过在日志分析系统中应用大数据流式计算，不但解决了传统日志分析系统成本高昂的问题，同时与主流it运维系统有效集成，应用其告警，报表，智维策略，自定义面板等组件，实现客户日志无序，突发，无限数据量场景下的有效监控及分析，进一步提高企业的运维水平。附图说明为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本发明所述的一种基于大数据流式计算的日志管理方法示意图。具体实施方式下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。实施例一一种基于大数据流式计算的日志管理方法，所述日志管理方法的核心是：将待管理的日志kpi化，形成日志模板文件，作为大数据流式计算所需的处理触发逻辑单元，所有的接收日志均通过该单元进行处理，所述处理触发逻辑单元包括决定该日志或忽略或触发告警或保存为历史记录的处理逻辑。在实际应用中，所述处理触发逻辑单元包括如下功能：接收发送到本机的日志项；根据日志接收规则进行过滤筛选；筛选后的日志项根据日志模板解析提取指标，计算统计指标；根据it运维系统的日志告警规则及日志智维规则，对提取指标和统计指标值进行告警触发或智维历史记录。通过该日志模板，可以应用于任何运维管理系统，以实现其日志管理功能，通过在日志分析系统中应用大数据流式计算，不但解决了传统日志分析系统成本高昂的问题，同时与主流it运维系统有效集成，应用其告警，报表，智维策略，自定义面板等组件，实现客户日志无序，突发，无限数据量场景下的有效监控及分析，进一步提高企业的运维水平。实施例二一种基于大数据流式计算的日志管理方法，所述日志管理方法包括以下步骤：步骤s1：预设有将日志kpi化形成的日志模板文件；将待管理的日志kpi化，形成日志模板文件，作为大数据流式计算所需的处理触发逻辑单元，所有的接收日志均通过该单元进行处理，所述处理触发逻辑单元包括决定该日志或忽略或触发告警或保存为历史记录的处理逻辑。在实际应用中，所述处理触发逻辑单元包括如下功能：接收发送到本机的日志项；根据日志接收规则进行过滤筛选；筛选后的日志项根据日志模板解析提取指标，计算统计指标；根据it运维系统的日志告警规则及日志智维规则，对提取指标和统计指标值进行告警触发或智维历史记录。步骤s2：收集待监控的日志文件类型，整理日志监控需求；在实际应用中，可进行如下步骤：设置日志接收规则。在实际应用中，所述日志接收规则包含如下要素：源ip和/或源文件，日志模板，日志编码。在实际应用中，所述源ip用于syslog日志接收规则和trap日志接收规则；源文件用于文件日志接收规则；日志模板包含如下要素：模板类型，适用范围，提取指标，统计指标，源日志样例；日志模板内容取决于日志监控需求调研结果。其中统计指标支持对同一类型日志的发生频度进行历史记录或告警触发。步骤s3：将日志监控需求与预置的日志模板进行比对，确认是否符合需求；步骤s4：如果不符合需求则重新获取符合要求的日志模板；所述重新获取符合要求的日志模板包括：开发或下载相应类型的日志模板后导入。步骤s5：如果符合需求，则通过符合要求的日志模板对所有接收的日志进行处理。在实际应用中，所述日志管理方法还可包括以下步骤：设置日志接收规则。在实际应用中，所述日志管理方法还可包括以下步骤：在被管对象安装日志监控探针监控文件日志。在实际应用中，所述日志管理方法还可包括以下步骤：设置被管对象的日志告警规则和日志智维规则。所述告警规则可包括以下要素：管理等级、管理对象类别、管理对象范围、管理指标和判断标准。在实际应用中，所述管理等级具体可为：规则适用的管理对象的等级，可以按照管理重要性设置为不同的等级，如“一级”，“二级”等等，同一管理对象仅可指定一个等级。在实际应用中，所述管理对象类别具体可为：将具备相同特征的管理对象定义为一个类别，如“路由器”，“windows”，“oracle”等等，同一管理对象仅可指定一个类别。在实际应用中，所述管理对象范围具体可为：针对管理对象类别，规则所适用的管理对象的范围，所述范围具体可以是某个网段，如“192.168.1.1-192.168.1.10”，也可以是某个类别下具体的某些管理对象。在实际应用中，所述管理指标具体可为：监测的管理对象范围的指标，如“cpu使用率”，“磁盘使用率”等，仅可为每一个范围的管理对象指定一个指标。在实际应用中，所述判断标准具体可为：指标异常(越界)的条件，如监测“cpu使用率”指标，判断标准可以设置为“大于90％”，也就是说当cpu使用率大于90％的条件下认为这个管理对象的这个指标可能出现了异常。在实际应用中，所述管理指标和判断标准可具体是根据管理等级、管理对象类别和管理对象范围来进行设置的。所述智维规则是一类管理对象的指标记录规则，可包含以下要素：管理等级、管理对象类别、管理对象范围、管理指标；各要素的含义如告警规则一致。在实际应用中，所述日志管理方法还可包括以下步骤：日志接收处理流可在显示界面进行显示。具体实施如下：a)用户收集待监控的日志文件类型，整理日志监控需求；b)用户将收集的日志监控需求与预置的日志模板以及北塔公司网站的增值服务-日志模板进行比对，确认是否符合需求；c)如果不符合需求则反馈给北塔公司开发相应类型的日志模板，否则下载所需的日志模板，并通过增值服务加载入口导入非预置日志模板；d)用户如需监控文件日志，则需要在被管对象安装北塔的日志监控探针；e)用户进入btso系统(北塔公司的一款it运维系统)设置日志接收规则，包括文件日志接收规则，syslog接收规则和trap日志接收规则；f)用户新增被管对象的日志告警规则和日志智维规则，前者触发告警，后者对特定kpi进行历史记录；g)用户也可以直接打开btso的页面查看当前接收到的日志流。实施例三oracle的alter日志模板—闪回区超限：1.用户下载oracle的alter日志模板，并加载入系统；2.创建日志接收规则，将oracle的alter日志设置为被管对象；3.用户设置告警规则，通过flash_area_used_radio指标监控闪回区超限异常；4.oracle的alter日志产生日志信息，其中包括案例：ora-19815:warning:db_recovery_file_dest_sizeof2147483648bytesis87.41％used,andhas270457856remainingbytesavailable.5.btso的日志管理根据模板中定义的kpi解析日志如下：a)errorcode:19815类型：intb)errortype：闪回区空间不足类型：stringc)flash_area_used_radio(％):87.41类型：int通过btso系统触发告警提示用户。6.用户根据告警信息，删除oracle冗余数据或增大oracle的db_recovery_file_dest_size的参数值。该案例可以通过闪回区超限告警预防oracle出现服务异常，避免关键业务中断。本发明实施的优点：本发明所述的基于大数据流式计算的日志管理方法，包括以下步骤：将待管理的日志kpi化，形成日志模板文件，作为大数据流式计算所需的处理触发逻辑单元，所有的接收日志均通过该单元进行处理；通过在日志分析系统中应用大数据流式计算，不但解决了传统日志分析系统成本高昂的问题，同时与主流it运维系统有效集成，应用其告警，报表，智维策略，自定义面板等组件，实现客户日志无序，突发，无限数据量场景下的有效监控及分析，进一步提高企业的运维水平。以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本领域技术的技术人员在本发明公开的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。当前第1页12