日志实时监控预警方法及其装置与流程

文档序号:13288491阅读:881来源:国知局
技术领域本发明涉及服务器日志领域,特别涉及一种日志实时监控预警方法及装置。

背景技术:
随着互联网规模的不断扩大,应用不断增多,网络已经深入到我们生活的各方面,给我们的日常生活带来极大的方便。许多企业为了保护系统服务器的安全性,采用了防火墙、入侵检测和病毒保护系统等行之有效的安全措施。但是,随着计算机技术的发展,入侵攻击手段日趋高明,再好的安全措施也不能确保服务器系统的绝对安全。因此为了在服务器被攻击时能方便而快速地发现攻击行为并采取措施,可以利用各种系统记录所发生的事件的日志。因此分析服务器日志并及时预警已经成为系统管理员评估系统运行状况和及时发现入侵者的入侵行为的重要手段之一。图1示出了以往的一个服务器日志的预警模型。如图1所示,在网页访问的同时,访问过的信息和内容都记录在服务器日志中,展开日志分析工作,并在必要情况时预警。这种以往的服务器日志分析预警的普遍做法如图2所示,首先从集群服务器中采集日志,然后按照业务重新汇总,最后将每个时间切片的数据与时间切片阈值进行比较,如果时间切片的实际值超过阈值,则进行预警。这种预警方法的时效性依赖于时间切片的时间大小,例如监控1个小时的流入量,只能在每个小时完成后,在固定的时间进行数据切片计算,然后判断这个时间切片的值是否超过阈值范围。这种方法存在着以下缺点:(1)因为是固定切片,所以必须在每个自然小时后,进行一次计算,阈值判断并预警,时效性差,如果这一个自然小时的前10分钟就已经超过了一个小时的阈值设定,也必须等到1个小时候后预警,(2)当连续的两个时间切片组成的一个区域内,例如4点、5点两个小时时间切片,4点30到5点30之间的服务量超过了一个小时的阈值设定,但是二者各自所有的服务数据并没有超过各自时间切片的阈值范围设定,也不会预警,这就导致预警准确性差,会漏掉异常事件,(c)如果通过每秒计算来解决上述两个问题,由于其计算成本太高,无法在实际的应用场景中大面积推广使用,实用性不高。

技术实现要素:
本发明的目的在于提供一种日志实时监控预警方法及其装置,通过连续的实时增量的计算方式,实现了时效性高、准确度高、计算成本低的监控预警。为解决上述技术问题,本发明的实施方式公开了一种日志实时监控预警方法,以增量计算的方式控制了计算复杂度,该方法包括以下步骤:对服务器日志进行采集;将采集到的服务器日志按照预定时间和业务进行聚合汇总;每隔预定时间按照聚合汇总后的服务器日志进行增量计算;以及参照预先设置的阈值,根据增量计算的结果判断是否进行预警。本发明的实施方式还公开了一种日志实时监控预警装置,包括:采集单元,用于对服务器日志进行采集;汇总单元,用于将将采集到的服务器日志按照预定时间和业务进行聚合汇总;计算单元,用于每隔预定时间按照聚合汇总后的服务器日志进行增量计算;以及预警单元,用于参照预先设置的阈值,根据增量计算的结果判断是否进行预警。本发明实施方式与现有技术相比,主要区别及其效果在于:增量计算的方式相对于以往所采用的时间切片的方式来说,将计算复杂度控制在了O(3),使得计算复杂度与时间切片的大小无关,成本极低,实用性极强。进一步地,预定时间为一秒,通过每秒进行连续的计算与阈值比较,无论时间切片的大小为多少,都可以做到秒级监控,将时效性提升到了实时级别。进一步地,增量计算采用固定长度的时间段的流式增量计算,解决了自然时间切片带来的不均匀的服务流量所导致的预警误差大的问题,提升了预警精度。附图说明图1是以往的服务器日志的预警模型的示意图。图2是以往的服务器日志分析预警方式的示意图。图3是本发明第一实施方式中一种日志实时监控预警方法的流程示意图。图4是本发明第二实施方式中一种日志实时监控预警装置的结构示意图。具体实施方式在以下的叙述中,为了使读者更好地理解本申请而提出了许多技术细节。但是,本领域的普通技术人员可以理解,即使没有这些技术细节和基于以下各实施方式的种种变化和修改,也可以实现本申请各权利要求所要求保护的技术方案。为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明的实施方式作进一步地详细描述。本发明第一实施方式涉及一种日志实时监控预警方法。图3是该日志实时监控预警方法的流程示意图。具体地说,该日志实时监控预警方法以增量计算的方式控制了计算复杂度,降低了计算成本。如图3所示,该日志实时监控预警方法包括以下步骤:在步骤S101中,对服务器日志进行采集。例如应用(App)服务器来对日志源服务器集群进行采集,由数据采集引擎从多个应用(App)获取日志。采集的日志的格式例如可以是“{timestamp
当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1