一种日志信息的存储方法、装置以及介质与流程

1.本技术涉及存储技术领域，特别是涉及一种日志信息的存储方法、装置以及介质。


背景技术：

2.日志管理包括管理系统日志、应用程序日志、安全日志、日志审核和网络日志等。路由器、交换机、防火墙、服务器等日常企业使用的设备，以及数据库和服务器等业务上运行的应用程序，都需要日志管理。所有这些组件都会生成大量日志信息。用户行为异常、违反策略、内部威胁、外部攻击、数据盗窃等安全日志文件是用于记录系统操作事件的记录文件或文件集合，可分为事件日志和消息日志，具有处理历史数据、诊断问题的追踪以及理解系统的活动等重要作用。随着存储系统业务场景的不断增多，存储系统的功能也在不断完善，为了方便定位和分析问题，往往需要在存储系统中记录大量的日志信息。而为了解决由于日志文件过大而造成的空间浪费和定位问题困难的问题，目前往往是从优化数据库存储方式出发，进行数据库扩容以保存日志文件。
3.但这种方式并没有从根本上解决日志文件过大的问题，不仅增加了成本，且仍然存在大量的重复日志、占用大量空间的情况。
4.由此可见，如何减少日志文件的占用空间，是本领域技术人员亟待解决的问题。


技术实现要素：

5.本技术的目的是提供一种日志信息的存储方法、装置以及介质，以减少日志文件的占用空间。
6.为解决上述技术问题，本技术提供一种日志信息的存储方法，包括：
7.获取输出的日志信息；
8.根据所述日志信息的类型对应的提取方案提取所述日志信息的key值和变量值；
9.将提取的信息以key-value形式保存至文本文件的日志信息匹配模板中；其中，所述日志信息匹配模板为预先在所述文本文件中生成的key-value形式的模板。
10.优选地，所述将提取的信息以key-value形式保存至文本文件的日志信息匹配模板中包括：
11.若所述日志信息包括所述变量值，则将所述key值和所述变量值对应保存在所述日志信息匹配模板中；
12.若所述日志信息不包括所述变量值，则将所述key值保存在所述日志信息匹配模板中。
13.优选地，所述将提取的信息以key-value形式保存至文本文件的日志信息匹配模板中之前，还包括：
14.获取所述日志信息的输出时间；
15.所述将提取的信息以key-value形式保存至文本文件的日志信息匹配模板中包括：
16.根据所述日志信息的输出时间将提取的信息以key-value形式保存至所述文本文件的所述日志信息匹配模板中。
17.优选地，所述将提取的信息以key-value形式保存至文本文件的日志信息匹配模板中之后，还包括：
18.在请求方查看目标日志信息时，根据查看请求从所述日志信息匹配模板中获取相应的所述目标日志信息；
19.若所述目标日志信息包括所述变量值，则在日志展示模板中填充所述key值和所述变量值后将所述日志展示模板返回至所述请求方；
20.若所述目标日志信息不包括所述变量值，则在所述日志展示模板中填充所述key值后将所述日志展示模板返回至所述请求方。
21.优选地，所述查看请求中包括所述目标日志信息的输出时间；
22.所述根据查看请求从所述日志信息匹配模板中获取相应的所述目标日志信息包括：
23.根据所述查看请求中所述目标日志信息的输出时间从所述日志信息匹配模板中获取相应的所述目标日志信息。
24.优选地，所述将提取的信息以key-value形式保存至文本文件的日志信息匹配模板中之后，还包括：
25.在满足预设要求时，删除对应的所述日志信息。
26.优选地，所述预设要求包括以下至少之一：
27.每隔预设时间；
28.接收到所述日志信息的删除指令。
29.为解决上述技术问题，本技术还提供一种日志信息的存储装置，包括：
30.第一获取模块，用于获取输出的日志信息；
31.提取模块，用于根据所述日志信息的类型对应的提取方案提取所述日志信息的key值和变量值；
32.保存模块，用于将提取的信息以key-value形式保存至文本文件的日志信息匹配模板中；其中，所述日志信息匹配模板为预先在所述文本文件中生成的key-value形式的模板。
33.优选地，所述日志信息的存储装置还包括：第二获取模块，用于在将提取的信息以key-value形式保存至文本文件的日志信息匹配模板中之前，获取所述日志信息的输出时间；所述将提取的信息以key-value形式保存至文本文件的日志信息匹配模板中包括：根据所述日志信息的输出时间将提取的信息以key-value形式保存至所述文本文件的所述日志信息匹配模板中。
34.优选地，所述日志信息的存储装置还包括：第三获取模块，用于在将提取的信息以key-value形式保存至文本文件的日志信息匹配模板中之后，在请求方查看目标日志信息时，根据查看请求从所述日志信息匹配模板中获取相应的所述目标日志信息；
35.填充模块，用于若所述目标日志信息包括所述变量值，则在日志展示模板中填充所述key值和所述变量值后将所述日志展示模板返回至所述请求方；若所述目标日志信息不包括所述变量值，则在所述日志展示模板中填充所述key值后将所述日志展示模板返回
至所述请求方。
36.优选地，所述日志信息的存储装置还包括：删除模块，用于在将提取的信息以key-value形式保存至文本文件的日志信息匹配模板中之后，在满足预设要求时，删除对应的所述日志信息。
37.为解决上述技术问题，本技术还提供一种日志信息的存储装置，包括：存储器，用于存储计算机程序；
38.处理器，用于执行计算机程序时实现上述日志信息的存储方法的步骤。
39.为解决上述技术问题，本技术还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述日志信息的存储方法的步骤。
40.本技术所提供的日志信息的存储方法，预先在文本文件中生成key-value形式的日志信息匹配模板以便于对日志信息进行存储。然后获取输出的日志信息并根据日志信息的类型对应的提取方案提取日志信息的key值和变量值，然后将提取的信息以key-value形式保存至文本文件的日志信息匹配模板中。本技术提供的方案仅需记录日志信息对应于日志信息匹配模板的key值以及本条日志信息的变量值，实现了对相同或相似日志信息的复用，解决了由于重复数据，而造成的空间浪费的问题，通过去除大量重复的、可复用的日志信息，大大减少了日志文件的大小，即减少日志文件的占用空间，达到了节省空间的目的。
41.本技术还提供了一种日志信息的存储装置和计算机可读存储介质，与上述方法对应，故具有与上述方法相同的有益效果。
附图说明
42.为了更清楚地说明本技术实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
43.图1为本技术实施例提供的一种日志信息的存储方法的流程图；
44.图2为本技术实施例提供的一种日志信息的key值和变量值的存储方法的流程图；
45.图3为本技术实施例提供的一种日志信息的展示方法的流程图；
46.图4为本技术实施例提供的日志信息的存储装置的结构图；
47.图5为本技术另一实施例提供的日志信息的存储装置的结构图。
具体实施方式
48.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本技术保护范围。
49.本技术的核心是提供一种日志信息的存储方法、装置以及介质，以减少日志文件的占用空间。
50.为了使本技术领域的人员更好地理解本技术方案，下面结合附图和具体实施方式对本技术作进一步的详细说明。
51.工作日志可以用来检查系统发生错误的原因，并查找攻击者在受到攻击时留下的痕迹。日志管理包括管理系统日志、应用程序日志、安全日志、日志审核和网络日志等。路由器、交换机、防火墙、服务器等日常企业使用的设备，以及数据库和服务器等业务上运行的应用程序，都需要日志管理。所有这些组件都会生成大量日志信息，管理员可以手动过滤所有这些源的日志，以实现用户访问。用户行为异常、违反策略、内部威胁、外部攻击、数据盗窃等安全日志文件是用于记录系统操作事件的记录文件或文件集合，可分为事件日志和消息日志，具有处理历史数据、诊断问题的追踪以及理解系统的活动等重要作用。
52.基于日志文件占用空间过大的问题，本技术实施例提出一种日志信息的存储方法，可通过提取日志信息的共有信息，在文本文件生成日志信息匹配模板；然后在文本文件中记录日志信息的输出时间(打印时间)、日志信息的key值、以及日志信息的变量值。最后还可通过日志信息匹配机制，实现相似日志信息的查找以及变量的自动填充；最后通过日志生成工具，生成便于查看日志信息的日志格式。实现对相同或相似日志信息的复用，解决了由于重复数据，而造成的空间浪费的问题。图1为本技术实施例提供的一种日志信息的存储方法的流程图；如图1所示，该方法包括如下步骤：
53.s10：获取输出的日志信息。
54.s11：根据日志信息的类型对应的提取方案提取日志信息的key值和变量值。
55.s12：将提取的信息以key-value形式保存至文本文件的日志信息匹配模板中。
56.日志信息匹配模板为预先在文本文件中生成的key-value形式的模板，然后获取输出的日志信息，一般是获取当前输出的日志信息并进行保存，即输出一次日志信息就进行一次保存。获取日志信息之后需根据日志信息的类型对应的提取方案提取日志信息的key值和变量值，因为不同类型的日志信息对应的变量值的类型、数量均不相同，且变量处于日志信息中的位置也不同，例如基本卷包括name、size、unit三个变量，因此，可根据日志信息的类型确定对应的提取方案。另外，部分日志信息还可能不存在变量值，若日志信息包括变量值，则将key值和变量值对应保存在日志信息匹配模板中；若日志信息不包括变量值，则只需要将key值保存在日志信息匹配模板中。生成日志信息匹配模板后需要对输出的日志信息进行获取以便于将日志信息的key值和变量值以key-value形式保存至文本文件的日志信息匹配模板中。
57.本技术实施例通过日志信息匹配模板、日志匹配机制实现对海量日志信息的存储功能。日志信息匹配模板是通过文本文件记录日志信息，采用key-value的形式进行存储。并针对日志信息的参数，使用变量进行表示，方便后续进行动态替换。这里以基本卷为例，基本卷的key值为mkvdisk，原有的日志信息记录方案中，针对创建基本卷的日志信息在文本文件中可记为“mkvdisk”：“localhost ip cli《mcsop mkvdisk
–
gui
–
mdiskgrp${name}
–
size${size}
–
unit${unit}》；”。其中“${name}”“${size}”“${unit}”即代表创建基本卷的三个参数，其具体值即为变量值。通过在文本文件中记录日志信息的输出时间、对应于日志信息匹配模板的key值、以及日志信息的变量值来记录日志信息，使用key值和变量值替换日志描述，大大减少了日志文件大小。日志匹配机制则是记录日志信息对应于文本文件中的key值，以及从日志信息中获取的记录日志的时间，以及name、size、unit三个变量，当需要读取日志信息时，直接找到key值对应的变量值，并在日志展示模板中进行变量填充，生成可读日志文件。
58.实际应用时，以key-value形式保存的日志信息无法直接提供给请求方查看，需要从文本文件中提取出key值和变量值，并将key值和变量值填充至预先生成的日志展示模板以便于请求方进行查看。则在将提取的信息以key-value形式保存至文本文件的日志信息匹配模板中之后，在请求方查看目标日志信息时，可根据查看请求从日志信息匹配模板中获取相应的目标日志信息；若目标日志信息包括变量值，则在日志展示模板中填充key值和变量值后将日志展示模板返回至请求方；若目标日志信息不包括变量值，则在日志展示模板中填充key值后将日志展示模板返回至请求方。另外，可根据日志信息的输出时间将提取的信息以key-value形式保存至文本文件的日志信息匹配模板中，则请求方可在查看请求中加入目标日志信息的输出时间。根据查看请求从日志信息匹配模板中获取相应的目标日志信息包括：根据查看请求中目标日志信息的输出时间从日志信息匹配模板中获取相应的目标日志信息。通过本技术实施例提供的方案，请求方可快速根据输出时间找到想要的日志信息。在一些情况下，文本文件的存储空间有限，需要将一些不重要的日志信息进行删除，则在将提取的信息以key-value形式保存至文本文件的日志信息匹配模板中之后，可在满足预设要求时删除对应的日志信息。预设要求可包括：每隔预设时间和接收到日志信息的删除指令等，这里不作限定。即每隔预设时间或接收到日志信息的删除指令可对保存的日志信息进行一次删除，具体的删除方式不作限定，可以删除一些保存时间过长的日志信息，而保留新存入的日志信息。
59.本技术是采用key-value的理念对日志信息进行保存，key-value数据库是一种以键值对存储数据的一种数据库，每个键都会对应一个唯一的值，key是关键字、value是值，本技术的多个变量值即为value。key-value分布式存储系统查询速度快、存放数据量大、支持高并发，非常适合通过主键进行查询，但不能进行复杂的条件查询。
60.本技术实施例所提供的日志信息的存储方法，预先在文本文件中生成key-value形式的日志信息匹配模板以便于对日志信息进行存储。然后获取输出的日志信息并根据日志信息的类型对应的提取方案提取日志信息的key值和变量值，然后将提取的信息以key-value形式保存至文本文件的日志信息匹配模板中。本技术实施例提供的方案仅需记录日志信息对应于日志信息匹配模板的key值以及本条日志信息的变量值，实现了对相同或相似日志信息的复用，解决了由于重复数据，而造成的空间浪费的问题，通过去除大量重复的、可复用的日志信息，大大减少了日志文件的大小，即减少日志文件的占用空间，达到了节省空间的目的。
61.在实际应用时，日志信息中可能并不包括变量值，则只需要将日志信息的key值进行保存即可。具体的，将提取的信息以key-value形式保存至文本文件的日志信息匹配模板中包括：若日志信息包括变量值，则将key值和变量值对应保存在日志信息匹配模板中；若日志信息不包括变量值，则将key值保存在日志信息匹配模板中。另外，在一般情况下，文本文件中保存有海量的日志信息，而请求方查看日志信息时，可能只需要查看小部分有用的日志信息，则将提取的信息以key-value形式保存至文本文件的日志信息匹配模板中之前，还可获取日志信息的输出时间；对应的，将提取的信息以key-value形式保存至文本文件的日志信息匹配模板中包括：根据日志信息的输出时间将提取的信息以key-value形式保存至文本文件的日志信息匹配模板中。图2为本技术实施例提供的一种日志信息的key值和变量值的存储方法的流程图；需要注意的是，图2所示的方案只是本技术实施例提供的其中一
种示例，并不对本技术的其他方案造成限定。如图2所示，该方法包括如下步骤：
62.s20：获取当前输出的日志信息。
63.s21：检索文本文件找到当前日志信息对应的key值。
64.s22：判断当前日志信息是否有变量；若是，则进入步骤s23，若否，则进入步骤s24。
65.s23：获取当前的日志信息的变量值，在文本文件中记录日志信息的输出时间、对应于日志信息匹配模板的key值、以及日志信息的变量值。
66.s24：在文本文件中记录日志信息的输出时间、对应于日志信息匹配模板的key值。
67.本技术实施例提供的方案中，对当前日志信息是否存在变量进行了判断，描述了不同情况下保存何种信息，且同时保存了日志信息的输出时间，以便于快速找到所需的日志信息。
68.实际应用时，以key-value形式保存的日志信息无法直接提供给请求方查看，需要从文本文件中提取出key值和变量值，并将key值和变量值填充至预先生成的日志展示模板以便于请求方进行查看。当请求方需要查看日志时，可通过日志匹配机制，根据日志文件中的key值，获取日志信息的详情内容，并根据变量值，进行对日志展示模板进行变量内容的填充，以生成可读日志文件。具体的，将提取的信息以key-value形式保存至文本文件的日志信息匹配模板中之后，还包括：在请求方查看目标日志信息时，根据查看请求从日志信息匹配模板中获取相应的目标日志信息；若目标日志信息包括变量值，则在日志展示模板中填充key值和变量值后将日志展示模板返回至请求方；若目标日志信息不包括变量值，则在日志展示模板中填充key值后将日志展示模板返回至请求方。图3为本技术实施例提供的一种日志信息的展示方法的流程图；如图3所示，该方法包括如下步骤：
69.s30：在文本文件中获取输出时间对应的目标日志信息。
70.s31：根据目标日志信息中记录的key值查找对应的目标日志信息的详情内容。
71.s32：判断目标日志信息中是否包含变量值；若是，则进入步骤s33，若否，则进入步骤s34。
72.s33：按照规则进行变量值的填充，补充完整目标日志信息。
73.s34：返回目标日志信息。
74.本技术实施例增加日志匹配机制和日志生成工具，当请求方需要查看日志信息时，能很快展现给请求方想要的效果。
75.上述实施例中提到，在实际应用时，可根据日志信息的输出时间将提取的信息以key-value形式保存至文本文件的日志信息匹配模板中，则请求方可在查看请求中加入目标日志信息的输出时间。根据查看请求从日志信息匹配模板中获取相应的目标日志信息包括：根据查看请求中目标日志信息的输出时间从日志信息匹配模板中获取相应的目标日志信息。通过本技术实施例提供的方案，请求方可快速根据输出时间找到想要的日志信息。
76.本技术通过日志信息匹配模板，将所有日志信息都记录在文本文件中，在日志文件中也不同于目前的每条日志信息都需要记录，仅需记录日志打印时间，对应于日志信息匹配模板的key值，以及本条日志信息的变量值。采用这种方式去除大量重复的、可复用的日志信息，大大减少了日志文件的大小，达到了节省空间的目的。而在实际应用时，文本文件的存储空间有限，需要将一些不重要的日志信息进行删除，具体的，在将提取的信息以key-value形式保存至文本文件的日志信息匹配模板中之后，还包括：在满足预设要求时，
删除对应的日志信息。预设要求可包括：每隔预设时间和接收到日志信息的删除指令。即每隔预设时间或接收到日志信息的删除指令可对保存的日志信息进行一次删除，具体的删除方式不作限定，可以删除一些保存时间过长的日志信息，而保留新存入的日志信息。
77.在上述实施例中，对于日志信息的存储方法进行了详细描述，本技术还提供日志信息的存储装置对应的实施例。需要说明的是，本技术从两个角度对装置部分的实施例进行描述，一种是基于功能模块的角度，另一种是基于硬件的角度。
78.基于功能模块的角度，本实施例提供一种日志信息的存储装置，图4为本技术实施例提供的日志信息的存储装置的结构图，如图4所示，该装置包括：
79.第一获取模块10，用于获取输出的日志信息；
80.提取模块11，用于根据日志信息的类型对应的提取方案提取日志信息的key值和变量值；
81.保存模块12，用于将提取的信息以key-value形式保存至文本文件的日志信息匹配模板中；其中，日志信息匹配模板为预先在文本文件中生成的key-value形式的模板。
82.由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。
83.作为优选的实施方式，日志信息的存储装置还包括：第二获取模块，用于在将提取的信息以key-value形式保存至文本文件的日志信息匹配模板中之前，获取日志信息的输出时间；将提取的信息以key-value形式保存至文本文件的日志信息匹配模板中包括：根据日志信息的输出时间将提取的信息以key-value形式保存至文本文件的日志信息匹配模板中。
84.第三获取模块，用于在将提取的信息以key-value形式保存至文本文件的日志信息匹配模板中之后，在请求方查看目标日志信息时，根据查看请求从日志信息匹配模板中获取相应的目标日志信息；
85.填充模块，用于若目标日志信息包括变量值，则在日志展示模板中填充key值和变量值后将日志展示模板返回至请求方；若目标日志信息不包括变量值，则在日志展示模板中填充key值后将日志展示模板返回至请求方。
86.删除模块，用于在将提取的信息以key-value形式保存至文本文件的日志信息匹配模板中之后，在满足预设要求时，删除对应的日志信息。本实施例提供的日志信息的存储装置，与上述方法对应，故具有与上述方法相同的有益效果。
87.基于硬件的角度，本实施例提供了另一种日志信息的存储装置，图5为本技术另一实施例提供的日志信息的存储装置的结构图，如图5所示，日志信息的存储装置包括：存储器20，用于存储计算机程序；
88.处理器21，用于执行计算机程序时实现如上述实施例中所提到的日志信息的存储方法的步骤。
89.其中，处理器21可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器21可以采用数字信号处理器(digitalsignalprocessor，dsp)、现场可编程门阵列(field－programmable gate array，fpga)、可编程逻辑阵列(programmable logic array，pla)中的至少一种硬件形式来实现。处理器21也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称中央处理器
(centralprocessing unit，cpu)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器21可以集成有图像处理器(graphics processing unit，gpu)，gpu用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器21还可以包括人工智能(artificial intelligence，ai)处理器，该ai处理器用于处理有关机器学习的计算操作。
90.存储器20可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器20还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。本实施例中，存储器20至少用于存储以下计算机程序201，其中，该计算机程序被处理器21加载并执行之后，能够实现前述任一实施例公开的日志信息的存储方法的相关步骤。另外，存储器20所存储的资源还可以包括操作系统202和数据203等，存储方式可以是短暂存储或者永久存储。其中，操作系统202可以包括windows、unix、linux等。数据203可以包括但不限于日志信息的存储方法涉及到的数据等。
91.在一些实施例中，日志信息的存储装置还可包括有显示屏22、输入输出接口23、通信接口24、电源25以及通信总线26。
92.本领域技术人员可以理解，图中示出的结构并不构成对日志信息的存储装置的限定，可以包括比图示更多或更少的组件。
93.本技术实施例提供的日志信息的存储装置，包括存储器和处理器，处理器在执行存储器存储的程序时，能够实现如下方法：日志信息的存储方法。
94.本实施例提供的日志信息的存储装置，与上述方法对应，故具有与上述方法相同的有益效果。
95.最后，本技术还提供一种计算机可读存储介质对应的实施例。计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述方法实施例中记载的步骤。
96.可以理解的是，如果上述实施例中的方法以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，执行本技术各个实施例描述的方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
97.本实施例提供的计算机可读存储介质，与上述方法对应，故具有与上述方法相同的有益效果。
98.以上对本技术所提供的日志信息的存储方法、装置以及介质进行了详细介绍。说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本技术原理的前提下，还可以对本技术进行若干改进和修饰，这些改进和修饰也落入本技术权利要求的保护范围内。
99.还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将
一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括上述要素的过程、方法、物品或者设备中还存在另外的相同要素。