日志存储优化方法和设备与流程

文档序号:19589301发布日期:2020-01-03 10:03阅读:来源:国知局

技术特征:

1.一种日志存储优化方法,包括:

接收日志数据;

使用解析规则将所述日志数据转换为结构化数据;以及

对所述结构化数据进行编码,以减少日志数据的存储空间,

其中使用解析规则将所述日志数据转换为结构化数据包括:

在使用所述解析规则将所述日志数据转换为所述结构化数据之后,设定基准时间;

确定每条日志的时间戳与所述基准时间之间的时间差;以及

利用所述时间差来替代所述结构化数据中的所述时间戳,

并且其中所述方法还包括:

遍历结构化日志简档储存库,所述结构化日志简档储存库用于以向量的形式存储经转换的所述结构化数据;

确定所述结构化日志简档储存库中是否包括对应于所述日志数据的结构化日志简档;

响应于所述结构化日志简档储存库包括对应于所述日志数据的结构化日志简档,根据对应的所述结构化日志简档来生成对应的解析规则;以及

响应于所述结构化日志简档储存库不包括对应于所述日志数据的结构化日志简档,通过自适应学习过程来获得对应于所述日志数据的所述结构化日志简档和所述解析规则,所述自适应学习过程基于历史的日志记录和日志简档而被训练。

2.根据权利要求1所述的方法,进一步包括:

在遍历所述日志简档储存库之前,当用于生成所述日志数据的日志配置可访问时,根据所述日志配置来直接生成结构化日志简档和相应的解析规则。

3.根据权利要求1所述的方法,其中所述结构化日志简档至少包括日志的时间戳和内容数据。

4.根据权利要求1所述的方法,其中所述解析规则是正则表达式或者字符串模板。

5.根据权利要求1所述的方法,其中所述基准时间是第一条日志的时间戳或者是基于周期性的时间。

6.根据权利要求1所述的方法,其中对所述结构化数据进行编码包括:

对于所述结构化数据中的各种类型的值,计算相同类型的值中的每个值的出现概率,以生成所述编码规则。

7.根据权利要求6所述的方法,其中生成所述编码规则包括:

将所述出现概率较大的值编码为长度较短的值,其中所述出现概率与出现次数成正比。

8.根据权利要求7所述的方法,其中将所述出现概率较大的值编码为长度较短的值包括:

将所述出现概率最大的值编码为值“1”。

9.根据权利要求6所述的方法,其中生成所述编码规则包括:

根据编码规则自适应学习过程来自动生成所述编码规则。

10.根据权利要求6-9中任一项所述的方法,其中所述编码规则是哈夫曼编码。

11.根据权利要求1所述的方法,进一步包括:

在使用编码规则对所述结构化数据进行编码之后,以日志向量的形式存储经编码的所述结构化数据。

12.一种日志存储优化设备,包括:

接收装置,用于接收日志数据;

转换装置,用于使用解析规则将所述日志数据转换为结构化数据;以及

编码装置,用于对所述结构化数据进行编码,以减少日志数据的存储空间,

其中所述转换装置包括:

时间戳编码装置,用于在使用所述解析规则将所述日志数据转换为所述结构化数据之后,设定基准时间,确定每条日志的时间戳与所述基准时间之间的时间差,以及利用所述时间差来替代所述结构化数据中的所述时间戳,

并且其中所述设备还包括:

遍历装置,用于遍历结构化日志简档储存库,所述结构化日志简档储存库用于以向量的形式存储经转换的所述结构化数据;

确定装置,用于确定所述结构化日志简档储存库是否包括对应于所述日志数据的结构化日志简档;响应于所述结构化日志简档储存库包括对应于所述日志数据的结构化日志简档,根据对应的所述结构化日志简档来生成对应的解析规则;以及响应于所述结构化日志简档储存库不包括对应于所述日志数据的结构化日志简档,通过自适应学习过程来获得对应于所述日志数据的所述结构化日志简档和所述解析规则,所述自适应学习过程基于历史的日志记录和日志简档而被训练。

13.根据权利要求12所述的设备,进一步包括:

日志配置检测装置,用于在遍历所述日志简档储存库之前,当用于生成所述日志数据的日志配置可访问时,根据所述日志配置来直接生成结构化日志简档和相应的解析规则。

14.根据权利要求12所述的设备,其中所述结构化日志简档至少包括日志的时间戳和内容数据。

15.根据权利要求12所述的设备,其中所述解析规则是正则表达式或者字符串模板。

16.根据权利要求12所述的设备,其中所述基准时间是第一条日志的时间戳或者是基于周期性的时间。

17.根据权利要求12所述的设备,其中所述编码装置进一步用于:

对于所述结构化数据中的各种类型的值,计算相同类型的值中的每个值的出现概率,以生成所述编码规则。

18.根据权利要求17所述的设备,其中所述编码装置进一步用于

将所述出现概率较大的值编码为长度较短的值,其中所述出现概率与出现次数成正比。

19.根据权利要求18所述的设备,其中所述编码装置进一步用于:

将所述出现概率最大的值编码为值“1”。

20.根据权利要求17所述的设备,其中所述编码装置进一步用于:

根据编码规则自适应学习过程来自动生成所述编码规则。

21.根据权利要求17-20中任一项所述的设备,其中所述编码规则是哈夫曼编码。

22.根据权利要求12所述的设备,进一步包括:

存储装置,用于在使用编码规则对所述结构化数据进行编码之后,以日志向量的形式存储经编码的所述结构化数据。

23.一种计算机程序产品,包括具体化于其中的计算机可读程序指令,所述计算机可读程序指令在由处理器执行时,引起所述处理器执行根据权利要求1至11中任一项所述的方法。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1