一种日志信息分布式存储方法及系统的制作方法

文档序号:9219657阅读:345来源:国知局
一种日志信息分布式存储方法及系统的制作方法
【技术领域】
[0001] 本发明属于日志信息管理领域,尤其涉及一种日志信息分布式存储方法及系统。
【背景技术】
[0002] 现有技术公开了一种日志存储及处理的方法及日志服务器,先将日志数据存储成 文件,并对文件进行压缩后上传至分布式文件系统,该方法先压缩后存储,减少了存储空间 的占用;分布式存储使得日志的存储容量可以动态扩展;副本备份上传,保证了数据能够 安全存储;分布式处理数据时,能够对多个数据块进行同步处理,提高了大数据处理的能 力,提尚了系统性能。
[0003] 上述方案仅仅揭示了日志数据的分布式存储,但是在分布式架构中,由于日志信 息是分布在不同机器上,所以获取不同机器上的相关联的日志信息,分析系统整体运行情 况及每个组件的运行情况就显得尤为重要。
[0004]目前,在获取不同机器上的相关联的日志信息时,需要到不同的机器上进行获取 并且不同机器上存储日志的位置也很随机,这大大增加了用户操作复杂度,影响了用户体 验。
[0005] 因此,迫切需要一种有效的获取不同机器上相关联的日志信息的方案。

【发明内容】

[0006] 本发明提供一种日志信息分布式存储方法及系统,以解决上述问题。
[0007] 本发明提供一种日志信息分布式存储方法。上述方法包括以下步骤:日志收集终 端获取与业务类型对应业务行为的日志记录文件;
[0008] 所述日志收集终端确定与所述日志记录文件对应的分布式存储区域并将所述日 志记录文件发送至与所述分布式存储区域位于的日志存储终端并由所述日志存储终端进 行存储。
[0009] 本发明还提供一种日志信息分布式存储系统,包括日志收集终端、日志存储终端; 其中,所述日志收集终端与所述日志存储终端相连;
[0010] 所述日志收集终端,用于获取与业务类型对应业务行为的日志记录文件;还用于 确定与所述日志记录文件对应的分布式存储区域并将所述日志记录文件发送至与所述分 布式存储区域位于的日志存储终端;
[0011] 所述日志存储终端,用于对所述日志收集终端发送的日志记录信息进行存储。
[0012] 通过以下方案:日志收集终端获取与业务类型对应业务行为的日志记录文件;所 述日志收集终端确定与所述日志记录文件对应的分布式存储区域并将所述日志记录文件 发送至与所述分布式存储区域位于的日志存储终端并由所述日志存储终端进行存储;实现 了有效的获取不同机器上相关联的日志信息,方便用户及管理员对日志进行整体的查询或 分析,大大提升了用户体验。
[0013] 通过以下方案:所述日志存储终端为一个或多个,这样防止了日志信息的激增导 致磁盘容量不足的问题。
[0014] 通过以下方案:所述第一存储区域安全级别大于所述第二存储区域安全级别;所 述第二存储区域安全级别大于所述第三存储区域安全级别;这样实现了根据日志记录信息 重要性,进行区别化的安全存储,大大提升了系统数据安全性。
【附图说明】
[0015] 此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发 明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
[0016] 图1所示为本发明实施例1的日志信息分布式存储方法处理流程图;
[0017] 图2所示为本发明实施例2的日志信息分布式存储系统结构图;
[0018] 图3所示为本发明实施例3的日志信息分布式存储系统又一结构图。
【具体实施方式】
[0019] 下文中将参考附图并结合实施例来详细说明本发明。需要说明的是,在不冲突的 情况下,本申请中的实施例及实施例中的特征可以相互组合。
[0020] 图1所示为本发明实施例1的日志信息分布式存储方法处理流程图,包括以下步 骤:
[0021] 步骤101 :日志收集终端获取与业务类型对应业务行为的日志记录文件;
[0022] 进一步地,所述业务类型包括数据库操作、计费管理、系统管理。
[0023] 进一步地,所述数据库操作对应的业务行为包括:数据库数据查看、数据库数据删 除、数据库数据添加、数据库数据更新。
[0024] 进一步地,所述计费管理对应的业务行为包括:在线计费、离线计费、计费报警。
[0025] 进一步地,所述系统管理对应的业务行为包括:系统数据统计分析、系统软件优化 更新、系统故障报警。
[0026]上述业务类型、业务行为列举,仅仅是举例说明,在此不用于限定本实施例的保护 范围。
[0027] 步骤102 :所述日志收集终端确定与所述日志记录文件对应的分布式存储区域并 将所述日志记录文件发送至与所述分布式存储区域位于的日志存储终端并由所述日志存 储终端进行存储。
[0028] 进一步地,所述日志存储终端为一个或多个。
[0029] 进一步地,所述日志收集终端存储业务类型、业务行为、日志记录文件及分布式存 储区域对照表,如表1所示:
[0030] 业务类型、业务行为、日志记录文件及分布式存储区域对照表
[0031]
[0032]表1
[0033] 进一步地,所述分布式存储区域包括第一存储区域、第二存储区域、第三存储区 域。
[0034] 进一步地,所述第一存储区域位于一个或多个日志存储终端;所述第二存储区域 位于一个或多个日志存储终端;所述第三存储区域位于一个或多个日志存储终端。
[0035] 进一步地,所述第一存储区域安全级别大于所述第二存储区域安全级别;所述第 二存储区域安全级别大于所述第三存储区域安全级别。
[0036] 其中,安全级别越高,说明采用的加密算法越复杂;安全级别越低,说明采用的加 密算法越简单。
[0037] 步骤103 :所述日志存储终端进行存储后,将对应的存储区域地址发送至日志管 理终端并由所述日志管理终端对所述存储区域地址进行日志链表管理。
[0
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1