一种云计算环境下应用系统日志监控管理的方法

文档序号:9826191阅读:429来源:国知局
一种云计算环境下应用系统日志监控管理的方法
【技术领域】
[0001 ]本发明涉及一种云计算环境下应用系统日志监控管理的方法。
【背景技术】
[0002]随着实际生产环境部署的应用系统逐渐增多,面对越来越多的业务系统,服务器数量从初期的几台服务器发展到庞大的数据中心,当系统出现问题时,需要各方面排查日志发现问题,因此将所有服务器、网络设备日志集中收集存储,便于更加快捷地分析和排错,也为以后的风险预警搭建基础信息环境。
[0003]操作系统、应用服务和业务逻辑,都在不停的产生日志数据,最初日志数据基本都存在单机磁盘上,只用来做临时的事后分析和审计;有了Hadoop以后,大家渐渐习惯收集日志到HDFS中,然后每天运行MapReduce任务做统计报表。但是面对诸如“新上线的版本过去几分钟在各地反馈如何”,“昨天23:40左右这个投诉用户有没有异常”这种即时的开放性问题,传统的日志处理方案显得非常的笨拙和低效,因为解答没有唯一套路,答案需要尝试下钻挖掘才能得出。复杂多变的实时数据分析需求,需要的是灵活快捷的响应处理。如何将灵活性和大数据结合,正是本发明研究的重点。

【发明内容】

[0004]针对上述问题,本发明提供一种云计算环境下应用系统日志监控管理的方法,在电力系统发生问题时,能将日志在第一时间进行记录,并且方便各系统运维人员在统一的平台上进行查询日志,为系统运维人员提供重要信息,定位故障问题,便于他们迅速采取措施,保证电网信息系统的安全运行。
[0005]名词解释:
1、agent:代表一个应用程序处理查询并返回结果的软件。
[0006]2、Keepalived: Keepalived的作用是检测web服务器的状态,如果有一台web服务器死机,或工作出现故障,Keepalived将检测到,并将有故障的web服务器从系统中剔除,当web服务器工作正常后Keepalived自动将web服务器加入到服务器群中,这些工作全部自动完成,不需要人工干涉,需要人工做的只是修复故障的web服务器。
[0007]3、Redis:Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库,并提供多种语言的API。
[0008]4、SHIPPER:日志处理工具。
[0009]为实现上述技术目的,达到上述技术效果,本发明通过以下技术方案实现:
一种云计算环境下应用系统日志监控管理的方法,其特征在于,包括如下步骤:
步骤1、在各服务器上对每个需要监控的日志进行日志采集AGENT配置,日志采集AGENT实时对每个日志进行扫描直到发现增量;
步骤2、日志采集AGENT将获得的日志数据发送至Redis,若干个Redis部署成集群且采取keepalived方式进行协同工作; 步骤3、Redi s将数据发送至日志处理工具SHIPPER进行处理;
步骤4、采取分布式存储方式对处理后的日志数据进行存储;
步骤5、采取图表及EXCEL下载相结合的方式进行日志输出。
[0010]优选,步骤I中,对日志进行级别划分,日志采集AGENT根据配置把某一级别以上的日志筛选出来并进行发送。
[0011]优选,日志按照级别由低到高分别为:INFO,WARNING,DEBUG,ERROR。
[0012]优选,配置多个日志处理工具SHIPPER。
[0013]本发明的有益效果是:
使用本发明方法可建立信息系统运行状态联动监测和提前预判模型,通过对已有日志数据的分析和建模,动态传输和分析日志数据,及时或预见性地发现信息系统运行中的小概率事件,进而实现对信息系统运行缺陷和信息安全事件的及时预警。当电力系统服务器及应用发生故障时,能够及时记录日志,方便运维人员后续排查,避免应用系统故障造成系统崩溃给电网造成重大损失。
【附图说明】
[0014]图1是本发明一种云计算环境下应用系统日志监控管理的方法的示意图。
【具体实施方式】
[0015]下面结合附图和具体的实施例对本发明技术方案作进一步的详细描述,以使本领域的技术人员可以更好的理解本发明并能予以实施,但所举实施例不作为对本发明的限定。
[0016]日志记录了信息系统中发生的各种主要事件,也蕴含了系统的性能状态、安全状况等信息,进行日志分析是信息系统运检工作的基础内容。但是,由于日志记录具有滞后性的特点,传统的日志分析方法主要应用于事后的审计跟踪。
[0017]随着深入推进主动运维、主动防护的战略构想,有必要建立信息系统运行状态联动监测和提前预判模型,通过对已有日志数据的分析和建模,动态传输和分析日志数据,及时或预见性地发现信息系统运行中的小概率事件,进而实现对信息系统运行缺陷和信息安全事件的及时预警。具体方案如下:
一种云计算环境下应用系统日志监控管理的方法,如图1所示,包括如下步骤:
步骤1、在各服务器上对每个需要监控的日志进行日志采集AGENT配置,日志采集AGENT实时对每个日志进行扫描直到发现增量;日志可以是应用系统日志,也可以是操作系统的日志。这样来源于各种系统的日志,其格式很难维护,为此本方案的采集端可以配置简单规贝IJ,便于管理的方便性和灵活性。
[0018]比如,可以对日志进行级别划分,日志按照级别由低到高分别为:INF0,WARNING,DEBUG,ERROR。日志采集AGENT根据配置把某一级别以上的日志筛选出来并进行发送。即如果规则中对于某一级别以上的日志需要发送给消息队列,则AGENT会把相应的日志筛选出来并发送。
[0019]步骤2、日志采集AGENT将获得的日志数据发送至RediS,若干个Redis部署成集群且采取keepalived方式进行协同工作;日志的传输重点在于日志内容在日志系统中的中转过程。在数据量大的情况下,为保证数据不丢失,本方案将日志暂存消息队列,本发明采用了 Redis。消息队列的目的主要是让数据本地化,不会因为存储端的故障导致数据丢失。但是随着接入的AGENT越来越多,Redis的压力也会随之增大。Redis作为消息队列,一般独立部署,但是随着AGENT部署越来越多,一个Redis服务的压力会非常大,一旦宕机,会造成数据丢失,产生的影响无疑是巨大的。此处为了不让消息队列成为整个平台的瓶颈,考虑将Redis部署成集群。本方案采取的方式是keepalived+Redis。
[0020]步骤3、Redis将数据发送至日志处理工具SHIPPER进行处理;SHIPPER工具是一个搬运工的角色,将日志从消息队列搬运到最终存储。而这个SHIPPER也可以配置多个,相当于集群的功能,避免单点故障。数据采集端AGENT与数据处理工具SHIPPER中间加了一道消息队列,保证数据完整性。
[0021]步骤4、采取分布式存储方式对处理后的日志数据进行存储;最终的存储采用分布式一方面也是考虑到数据量的问题,还有一方面也同样是为了避免单点故障,一旦出现问题,可以无缝在主从间切换,对于平台管理员和用户的维护和使用完全不会影响。
[0022]步骤5、采取图表及EXCEL下载相结合的方式进行日志输出。展示界面除了传统的详细表格显示外,还可以增加柱状图,让运维人员可以看到整个时间段内的系统故障高发期,从而方便排查原因。而在表格方面,此平台也有所不同,对于各个级别的日志进行了分类,并且可以以EXCEL形式输出。
[0023]使用本发明方法可建立信息系统运行状态联动监测和提前预判模型,通过对已有日志数据的分析和建模,动态传输和分析日志数据,及时或预见性地发现信息系统运行中的小概率事件,进而实现对信息系统运行缺陷和信息安全事件的及时预警。当电力系统服务器及应用发生故障时,能够及时记录日志,方便运维人员后续排查,避免应用系统故障造成系统崩溃给电网造成重大损失。
[0024]以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或者等效流程变换,或者直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
【主权项】
1.一种云计算环境下应用系统日志监控管理的方法,其特征在于,包括如下步骤: 步骤1、在各服务器上对每个需要监控的日志进行日志采集AGENT配置,日志采集AGENT实时对每个日志进行扫描直到发现增量; 步骤2、日志采集AGENT将获得的日志数据发送至Redis,若干个Redis部署成集群且采取keepalived方式进行协同工作; 步骤3、Redi s将数据发送至日志处理工具SHIPPER进行处理; 步骤4、采取分布式存储方式对处理后的日志数据进行存储; 步骤5、采取图表及EXCEL下载相结合的方式进行日志输出。2.根据权利要求1所述的一种云计算环境下应用系统日志监控管理的方法,其特征在于,步骤I中,对日志进行级别划分,日志采集AGENT根据配置把某一级别以上的日志筛选出来并进行发送。3.根据权利要求2所述的一种云计算环境下应用系统日志监控管理的方法,其特征在于,日志按照级别由低到高分别为:INFO,WARNING,DEBUG,ERROR。4.根据权利要求1所述的一种云计算环境下应用系统日志监控管理的方法,其特征在于,配置多个日志处理工具SHIPPER。
【专利摘要】本发明公开了一种云计算环境下应用系统日志监控管理的方法,其特征在于,包括如下步骤:步骤1、在各服务器上对每个需要监控的日志进行日志采集AGENT配置,日志采集AGENT实时对每个日志进行扫描直到发现增量;步骤2、日志采集AGENT将获得的日志数据发送至Redis,若干个Redis部署成集群且采取keepalived方式进行协同工作;步骤3、Redis将数据发送至日志处理工具SHIPPER进行处理;步骤4、采取分布式存储方式对处理后的日志数据进行存储;步骤5、采取图表及EXCEL下载相结合的方式进行日志输出。在电力系统发生问题时,能将日志在第一时间进行记录,并且方便各系统运维人员在统一的平台上进行查询日志,为系统运维人员提供重要信息,保证电网信息系统的安全运行。
【IPC分类】G06F11/07, G06F11/30
【公开号】CN105589791
【申请号】CN201511004870
【发明人】张明明, 官国飞, 李叶飞, 王松云
【申请人】江苏省电力公司信息通信分公司, 江苏方天电力技术有限公司, 国家电网公司
【公开日】2016年5月18日
【申请日】2015年12月28日
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1