专利名称：一种基于精简策略的集群系统的日志管理优化方法
技术领域：
本发明涉及一种集群存储管理领域，具体地说是一种基于精简策略的集群系统的日志管理优化方法。
背景技术：
在信息爆炸式增长的时代，文件大小和数据规模迈向TB级甚至PB级已成现实，集群系统节点数已达到64节点集群数目，管理如此庞大的集群系统已经成为数据中心所面临的严峻挑战。及时跟踪集群节点运行状态，精确定位节点出错信息变得尤为重要。但是 随着集群节点数的增多，对集群系统管理变得越来越复杂，精确定位集群节点的错误日志信息变得越来越困难。集群存储是通过将数据分布到集群中各节点的存储方式，提供单一的使用接口与界面，使用户可以方便地对所有数据进行统一使用与管理。集群存储管理是对构成集群系统的集群节点进行软件部署配置和环境监测，使其达到集群系统的部署需求，当集群节点出现故障，集群系统必须迅速做出反应，将分布在本节点的存储空间转移到其他节点。检测节点故障异常信息，检测集群系统资源转移情况变得尤为重要。传统的日志管理方法是定时或实时发送系统日志，实现了日志的集中传输，但是没有对日志进行分析和整理，随着节点数增多，应用模块增多，日志信息量庞大，不能全局的了解整个集群系统的运行情况，不能快速的定位到错误信息。
发明内容
本发明的技术任务是提供一种对分散在各集群节点的日志进行集中、分析汇总，优化日志存储方法，提供日志查看策略使系统管理者能快速定位集群系统的错误日志信息，查看集群存储的某应用的整体日志信息的一种基于精简策略的集群系统的日志管理优化方法。本发明的技术任务是按以下方式实现的，包括日志集中策略、日志精简策略、日志存储策略和日志显示策略，首先通过日志集中策略将分散在各集群节点的日志集中到日志服务器，在日志服务器上运用日志精简策略对收集的日志信息进行分类提取，删除冗余信息减少日志空间，运用日志存储策略对日志分析结果进行存储，建立日志存储文件和相应的日志数据库索引表，最后通过日志查看策略提取日志数据库索引表内容，查看日志文件信息。日志集中策略是把集群节点的日志发送到日志服务器上进行集中管理，该模块发送日志时沿用传统方法，集群节点实时地将系统日志发送到日志服务器，日志服务器接受日志，并对接受的日志进行日志分析处理。日志精简策略是将集群节点的日志进行分析处理，根据设定的应用模块(文件系统，高可用，监控，网络等)标识进行过滤处理，使日志可以分类存储；对集群节点相同的日志进行过滤，以防止相同日志信息占用日志空间；提取日志时间，节点信息，方便日志存储和索引。日志存储策略分为日志文件存储和日志记录数据库存储，日志文件存储是在集群日志服务中分类存储各集群节点日志文件，日志记录数据库存储是将日志精简策略得到的各分类日志以时间和节点名为索弓丨，引用日志存储文件，建立日志索引表，以方便用户查看；日志存储策略还对日志进行压缩，以减少日志文件占用空间；日志文件有效期是有限的，过期日志不需要保存，故对过期日志文件轮询删除。 日志查看策略是在web系统上设置日志查看器，查看器按日志类型进行分类查看，对应数据库中的日志索引表，并根据索引表中日志URL引用，获得实时的日志信息，从而实现对日志信息的分类与汇总；用户选择相应的时间，日志类型，就能查看集群存储应用模块所有集群节点的日志信息。本发明的一种基于精简策略的集群系统的日志管理优化方法具有以下优点对分散在各集群节点的日志进行集中、分析汇总，优化日志存储方法，提供日志查看策略使系统管理者能快速定位集群系统的错误日志信息，查看集群存储的某应用的整体日志信息，因而，具有很好的推广使用价值。
下面结合附图对本发明进一步说明。附图I为一种基于精简策略的集群系统的日志管理优化方法的集群系统日志管理架构附图2为一种基于精简策略的集群系统的日志管理优化方法的日志信息管理结构图。
具体实施例方式参照说明书附图和具体实施例对本发明的一种基于精简策略的集群系统的日志管理优化方法作以下详细地说明。实施例
本发明的一种基于精简策略的集群系统的日志管理优化方法，其结构包括日志集中策略、日志精简策略、日志存储策略和日志显示策略，首先通过日志集中策略将分散在各集群节点的日志集中到日志服务器，在日志服务器上运用日志精简策略对收集的日志信息进行分类提取，删除冗余信息减少日志空间，运用日志存储策略对日志分析结果进行存储，建立日志存储文件和相应的日志数据库索引表，最后通过日志查看策略提取日志数据库索引表内容，查看日志文件信息。日志集中策略是把集群节点的日志发送到日志服务器上进行集中管理，该模块发送日志时沿用传统方法，集群节点实时地将系统日志发送到日志服务器，日志服务器接受日志，并对接受的日志进行日志分析处理。日志精简策略是将集群节点的日志进行分析处理，根据设定的应用模块(文件系统，高可用，监控，网络等)标识进行过滤处理，使日志可以分类存储；对集群节点相同的日志进行过滤，以防止相同日志信息占用日志空间；提取日志时间，节点信息，方便日志存储和索引。日志存储策略分为日志文件存储和日志记录数据库存储，日志文件存储是在集群日志服务中分类存储各集群节点日志文件，日志记录数据库存储是将日志精简策略得到的各分类日志以时间和节点名为索弓丨，引用日志存储文件，建立日志索引表，以方便用户查看；日志存储策略还对日志进行压缩，以减少日志文件占用空间；日志文件有效期是有限的，过期日志不需要保存，故对过期日志文件轮询删除。日志查看策略是在web系统上设置日志查看器，查看器按日志类型进行分类查看，对应数据库中的日志索引表，并根据索引表中日志URL引用，获得实时的日志信息，从而实现对日志信息的分类与汇总；用户选择相应的时间，日志类型，就能查看集群存储应用模块所有集群节点的日志信息。编写日志集中函数，可采用传统的SYSLOG技术，实现集群节点日志发送；
编写日志分析函数，确定应用模块关键字，对各应用模块日志进行分析提取，采用正则·表达式搜索方法实现。编写日志存储数据库函数，建立日志索引表，可采用mysql等数据库实现，将提取信息按索引格式存放到数据库中；
编写日志文件存储函数，根据日志分析函数，将日志集中的文件按日志类型分类；
编写日志查看函数，建立web页面，根据日志应用模块分类建立查询机制，连接到数据库索引表，根据索引表快速的获得所要查询日志信息。本发明的一种基于精简策略的集群系统的日志管理优化方法，除说明书所述的技术特征外，均为本专业技术人员的已知技术。
权利要求
1.一种基于精简策略的集群系统的日志管理优化方法，其特征在于包括日志集中策略、日志精简策略、日志存储策略和日志显示策略，首先通过日志集中策略将分散在各集群节点的日志集中到日志服务器，在日志服务器上运用日志精简策略对收集的日志信息进行分类提取，删除冗余信息减少日志空间，运用日志存储策略对日志分析结果进行存储，建立日志存储文件和相应的日志数据库索引表，最后通过日志查看策略提取日志数据库索引表内容，查看日志文件信息。
2.根据权利要求I所述的一种基于精简策略的集群系统的日志管理优化方法，其特征在于日志集中策略是把集群节点的日志发送到日志服务器上进行集中管理，该模块发送日志时沿用传统方法，集群节点实时地将系统日志发送到日志服务器，日志服务器接受日志，并对接受的日志进行日志分析处理。
3.根据权利要求I所述的一种基于精简策略的集群系统的日志管理优化方法，其特征在于日志精简策略是将集群节点的日志进行分析处理，根据设定的应用模块标识进行过滤处理，使日志可以分类存储；对集群节点相同的日志进行过滤，以防止相同日志信息占用日志空间；提取日志时间，节点信息，方便日志存储和索引。
4.根据权利要求I所述的一种基于精简策略的集群系统的日志管理优化方法，其特征在于日志存储策略分为日志文件存储和日志记录数据库存储，日志文件存储是在集群日志服务中分类存储各集群节点日志文件，日志记录数据库存储是将日志精简策略得到的各分类日志以时间和节点名为索引，引用日志存储文件，建立日志索引表，以方便用户查看；日志存储策略还对日志进行压缩，以减少日志文件占用空间；日志文件有效期是有限的，过期日志不需要保存，故对过期日志文件轮询删除。
5.根据权利要求I所述的一种基于精简策略的集群系统的日志管理优化方法，其特征在于日志查看策略是在web系统上设置日志查看器，查看器按日志类型进行分类查看，对应数据库中的日志索引表，并根据索引表中日志URL引用，获得实时的日志信息，从而实现对日志信息的分类与汇总；用户选择相应的时间，日志类型，就能查看集群存储应用模块所有集群节点的日志信息。
全文摘要
本发明公开了一种基于精简策略的集群系统的日志管理优化方法，属于集群存储管理领域，包括日志集中策略、日志精简策略、日志存储策略和日志显示策略，首先通过日志集中策略将分散在各集群节点的日志集中到日志服务器，在日志服务器上运用日志精简策略对收集的日志进行分类提取，删除冗余信息减少日志空间，运用日志存储策略对日志分析结果进行存储，建立日志存储文件和相应的日志数据库索引表，最后通过日志查看策略提取日志数据库索引表内容，查看日志文件信息。本发明对分散在各集群节点的日志进行集中、分析汇总，优化日志存储方法，提供日志查看策略，使系统管理者能快速定位集群系统的错误日志信息，查看集群存储的某应用的整体日志信息。
文档编号G06F17/30GK102750326SQ20121017217
公开日2012年10月24日 申请日期2012年5月30日 优先权日2012年5月30日
发明者张敬海 申请人:浪潮电子信息产业股份有限公司