一种日志预处理方法、装置、设备及可读存储介质与流程

本发明涉及计算机应用技术领域，特别是涉及一种日志预处理方法、装置、设备及可读存储介质。

背景技术：

存储系统的日志收集主要是采用人工操作方式，费时又费力。特别是当存储集群规模比较大、存储组件比较多的时候，存储系统产生的日志数量巨大，日志种类繁多，日志格式不一致，采用传统方式的日志搜集及分析方式，已经满足不了存储系统日常功能维护，系统故障、性能异常等问题定位的要求。

目前，专门用于日志集中管理的日志管理平台有很多，如vmware虚拟化日志管理平台(vmwarevrealizeloginsight)，具有强大托管功能的日志管理工具(splunk)，均可以提供高度可扩展的异构日志管理功能，并且具有直观的数据仪表盘、完善的分析功能和友好的第三方延展性等优点。由于存储系统产生的日志是海量的，且多样的，日志管理平台处理存储系统的日志时，仍然存在处理效率低，有用日志筛选困难等问题。

综上所述，如何有效地降低日志管理平台的日志处理效率等问题，是目前本领域技术人员急需解决的技术问题。

技术实现要素：

本发明的目的是提供一种日志预处理方法、装置、设备及可读存储介质，以提高日志管理平台的处理效率。

为解决上述技术问题，本发明提供如下技术方案：

一种日志预处理方法，包括：

在时间戳指针指向最后一条已获取日志的情况下，获取存储系统新产生的初始日志；

对所述初始日志进行编辑处理，得到符合推送条件的目标日志；

发送所述目标日志给日志管理平台，并更新所述时间戳指针。

优选地，发送所述目标日志给日志管理平台，包括：

按照预设推送时间，利用表述性状态传递接口发送所述目标日志给所述日志管理平台。

优选地，所述推送条件为格式化日志，相应地，对所述初始日志进行编辑处理，得到符合推送条件的目标日志，包括：

对所述初始日志进行字段提取；

格式化字段提取结果，得到所述目标日志。

优选地，所述推送条件为字段筛选，相应地，格式化字段提取结果，得到所述目标日志，包括：

从所述字段提取结果中筛选出推送字段对应的日志信息；

组合所述日志信息，得到所述目标日志。

优选地，所述推送条件为推送指定模块日志，相应地，对所述初始日志进行编辑处理，得到符合推送条件的目标日志，包括：

从所述初始日志中筛选出所述指定模块对应的所述目标日志。

优选地，所述推送条件为推送指定类型的日志，相应地，对所述初始日志进行编辑处理，得到符合推送条件的目标日志，包括：

从所述初始日志中筛选出所述指定类型对应的所述目标日志；所述指定类型包括提示、严重和错误中的至少一种。

优选地，所述在时间戳指针指向最后一条已获取日志的情况下，获取存储系统新产生的初始日志，包括：

在所述时间戳指针指向最后一条已获取日志的情况下，判断所述存储系统是否繁忙；

如果否，则在定制时间段，利用命令行接口或表述性状态传递接口获取所述存储系统新产生的所述初始日志。

一种日志预处理装置，包括：

日志获取模块，用于在时间戳指针指向最后一条已获取日志的情况下，获取存储系统新产生的初始日志；

日志预处理模块，用于对所述初始日志进行编辑处理，得到符合推送条件的目标日志；

日志推送模块，用于发送所述目标日志给日志管理平台，并更新所述时间戳指针。

一种日志预处理设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现上述日志预处理方法的步骤。

一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述日志预处理方法的步骤。

应用本发明实施例所提供的方法，在时间戳指针指向最后一条已获取日志的情况下，获取存储系统新产生的初始日志；对初始日志进行编辑处理，得到符合推送条件的目标日志；发送目标日志给日志管理平台，并更新时间戳指针。

在本方法中，考虑到直接将存储系统产生的海量日志直接推送给日志管理平台，会导致日志管理平台效率低的问题。在日志管理平台和存储系统之间设置一个日志预处理环节。具体的，通过时间戳指针来定位当前已推送的日志，在时间戳指针指向最后一条已获取日志的情况下，则可确定当前已完成已获取日志的预处理和推送任务，可以从存储系统中获取新产生的初始日志。为了提高日志管理平台的处理效率，在本方法中，对初始日志进行编辑处理，能够得到符合推送条件的目标日志。然后，将目标日志发送给日志管理平台，并更新时间戳指针以避免出现日志漏处理和重复处理。如此，日志管理平台所得到的目标日志即为符合推送条件的日志。也就是说，通过设置相应的推送条件，在无需对存储系统和日志管理平台进行调整的情况下，能够对存储系统产生的初始日志进行编辑处理，能够使得日志管理平台得到更加便于处理的目标日志，能够有效提高日志管理平台的处理效率。

相应地，本发明实施例还提供了与上述日志预处理方法相对应的日志预处理装置、设备和可读存储介质，具有上述技术效果，在此不再赘述。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中一种日志预处理方法的实施流程图；

图2为本发明实施例中一种面向存储系统的日志预处理插件通信示意图；

图3为本发明实施例中一种日志预处理装置的结构示意图；

图4为本发明实施例中一种日志预处理设备的结构示意图；

图5为本发明实施例中一种日志预处理设备的具体结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明实施例所提供的日志预处理方法，其通过在存储系统和日志管理平台之间增加一个日志预处理环节，以提高日志管理平台的处理效率。具体的，该方法可以应用于区别于日志管理平台和存储系统之外的其他对象中，如设备、系统、器件和插件(plug-in)。请参考图2，图2为本发明实施例中一种面向存储系统的日志预处理插件通信示意图。具体的，该插件可通过cli(command-lineinterface，命令行接口)或rest(representationalstatetransfer，表述性状态传递)接口与存储系统进行通信，并通过该接口实现获取存储系统日志功能；插件通过rest等标准接口与日志管理平台进行通信，并通过该接口向日志管理平台推送最新且经过预处理的日志。

下面以具体应用于一个插件为例对该方法进行详细说明，对于应用于其他对象中的具体实现可参照于此。

请参考图1，图1为本发明实施例中一种日志预处理方法的流程图，该方法包括以下步骤：

s101、在时间戳指针指向最后一条已获取日志的情况下，获取存储系统新产生的初始日志。

其中，存储系统可以具体为能够产生海量日志的诸如块存储、文件存储、对象存储、分布式存储的系统。

其中，时间戳指针用于确定当前向日志管理平台推送的最后一条已获取日志。时间戳指针指向最后一条已获取日志，即表明当前时刻，已经完成了已获取的全部日志的推送任务，在此情况下，便可获取存储系统新产生的初始日志。

初始日志即指存储系统中正常产生的日志，这里为了便于区别于经过插件处理后的日志，将其称之为初始日志。

优选地，考虑到在实际应用中，若在存储系统非常繁忙的情况下，仍然读取其产生的初始日志，会导致存储系统的处理性能下降。基于此，可在存储系统繁忙的情况下，避免读取初始日志。具体的，初始日志的获取过程，包括：

步骤一、在时间戳指针指向最后一条已获取日志的情况下，判断存储系统是否繁忙；

步骤二、如果否，则在定制时间段，利用命令行接口或表述性状态传递接口获取存储系统新产生的初始日志。

为便于描述，下面将上述两个步骤结合起来进行说明。

在本发明实施例中，可以通过获取存储系统中的访问量来确定存储系统是否繁忙，当然也可以获取存储系统中的各个设备的运行情况来确定存储系统是否繁忙。

若存储系统处于繁忙情况，则可暂停获取初始日志；若存储系统未处于繁忙情况，则可在定制时间段或时间周期内，利用命令行接口或表述性状态传递接口或其他能够与存储系统实现通信的接口，获取存储系统新产生的初始日志。如此，便可避免因读取初始日志，加重本就处于繁忙情况的存储系统的繁忙程度。

通过读取获取存储系统的初始日志时，也可通过时间戳指针确定当前的存储系统是否有产生新的初始日志。具体的，判断时间戳指针是否指向存储系统中最后一条初始日志，如果判断结果为是，则确定存储系统没有产生新的初始日志，此时可暂停从存储系统中读取初始日志，等待下一次读取周期或下一个定制时间段；如果判断结果为否，则确定存储系统产生了新的初始日志，可直接对应读取时间戳指针指定的下一条初始日志。

s102、对初始日志进行编辑处理，得到符合推送条件的目标日志。

需要说明的是，在本发明实施例中可预先设置推送条件，该推送条件可以具体为推送何种日志的规定，例如，推送网络模块产生的日志，或推送符合某种特殊格式的日志；或推送进行字段筛选或字段重新编辑后的日志；或推送某种具体日志类型的日志。

编辑处理即指通过对初始日志进行某种或多种处理，已得到符合推送条件的目标日志。为便于理解，下面针对不同的推送条件，对如何进行编辑处理进行详细说明。

情况1：推送条件为格式化日志，相应地，对初始日志进行编辑处理，得到符合推送条件的目标日志，包括：

步骤一、对初始日志进行字段提取；

步骤二、格式化字段提取结果，得到目标日志。

具体的，插件从存储系统获取初始日志后，可按日期、时间、级别、类型、模块、简要说明、详细说明等字段进行格式化提取，得到各个字段对应的信息；即字段提取结果包括各个字段对应的信息。得到各个字段信息后，可对其进行格式化，最终得到目标日志。

情况二：推送条件为字段筛选，相应地，相应地，对初始日志进行编辑处理，得到符合推送条件的目标日志，包括：

步骤一、对初始日志进行字段提取；

步骤二、从字段提取结果中筛选出推送字段对应的日志信息；

步骤三、组合日志信息，得到目标日志。

即情况二是相当于情况一的进一步优化，即不仅要进行字段提取，还要对所提取的字段进行筛选，仅留下推送字段对应的日志信息。最终通过组合留下的日志信息的方式得到目标日志。

情况三：推送条件为推送指定模块日志，相应地，对初始日志进行编辑处理，得到符合推送条件的目标日志，包括：从初始日志中筛选出指定模块对应的目标日志。考虑到实际应用中，存储系统中包括多种模块，如网络模块、硬盘模块和cpu模块等，而不同模块产生的日志的价值不同，日志管理平台可仅针对其中的部分模块产生的初始日志进行管理，以降低日志处理任务量。

情况四：推送条件为推送指定类型的日志，相应地，对初始日志进行编辑处理，得到符合推送条件的目标日志，包括：从初始日志中筛选出指定类型对应的目标日志；指定类型包括提示、严重和错误中的至少一种。通过设置推送指定类型，可使得日志管理平台仅针对某种或某几种类型的日志进行处理。

需要说明的是，上述列举的几种情况，在实际应用中，可具体为其中的一种或多种的组合。例如，继续用对字段进行提取并格式化日志，也仅需推送某一个指定模块的日志，则目标日志为指定模块对应的初始日志经过字段提取并格式化后的日志。

s103、发送目标日志给日志管理平台，并更新时间戳指针。

得到目标日志之后，便可将目标日志发送给日志管理平台。为了明确当前以转发处理的日志到哪一条，以及确定存储系统是否产生新的初始日志，还需对时间戳指针进行更新，即指向已推送的最后的一条日志。

优选地，为了便于管理，还可对日志推送进行时间定制。具体的，即在发送目标日志给日志管理平台时，按照预设推送时间，利用表述性状态传递接口发送目标日志给日志管理平台。如此，便可使得日志管理平台周期性或明确的时间段收到目标日志。

应用本发明实施例所提供的方法，在时间戳指针指向最后一条已获取日志的情况下，获取存储系统新产生的初始日志；对初始日志进行编辑处理，得到符合推送条件的目标日志；发送目标日志给日志管理平台，并更新时间戳指针。

在本方法中，考虑到直接将存储系统产生的海量日志直接推送给日志管理平台，会导致日志管理平台效率低的问题。在日志管理平台和存储系统之间设置一个日志预处理环节。具体的，通过时间戳指针来定位当前已推送的日志，在时间戳指针指向最后一条已获取日志的情况下，则可确定当前已完成已获取日志的预处理和推送任务，可以从存储系统中获取新产生的初始日志。为了提高日志管理平台的处理效率，在本方法中，对初始日志进行编辑处理，能够得到符合推送条件的目标日志。然后，将目标日志发送给日志管理平台，并更新时间戳指针以避免出现日志漏处理和重复处理。如此，日志管理平台所得到的目标日志即为符合推送条件的日志。也就是说，通过设置相应的推送条件，在无需对存储系统和日志管理平台进行调整的情况下，能够对存储系统产生的初始日志进行编辑处理，能够使得日志管理平台得到更加便于处理的目标日志，能够有效提高日志管理平台的处理效率。

相应于上面的方法实施例，本发明实施例还提供了一种日志预处理装置，下文描述的日志预处理装置与上文描述的日志预处理方法可相互对应参照。

参见图3所示，该装置包括以下模块：

日志获取模块101，用于在时间戳指针指向最后一条已获取日志的情况下，获取存储系统新产生的初始日志；

日志预处理模块102，用于对初始日志进行编辑处理，得到符合推送条件的目标日志；

日志推送模块103，用于发送目标日志给日志管理平台，并更新时间戳指针。

应用本发明实施例所提供的装置，在时间戳指针指向最后一条已获取日志的情况下，获取存储系统新产生的初始日志；对初始日志进行编辑处理，得到符合推送条件的目标日志；发送目标日志给日志管理平台，并更新时间戳指针。

在本装置中，考虑到直接将存储系统产生的海量日志直接推送给日志管理平台，会导致日志管理平台效率低的问题。在日志管理平台和存储系统之间设置一个日志预处理环节。具体的，通过时间戳指针来定位当前已推送的日志，在时间戳指针指向最后一条已获取日志的情况下，则可确定当前已完成已获取日志的预处理和推送任务，可以从存储系统中获取新产生的初始日志。为了提高日志管理平台的处理效率，在本装置中，对初始日志进行编辑处理，能够得到符合推送条件的目标日志。然后，将目标日志发送给日志管理平台，并更新时间戳指针以避免出现日志漏处理和重复处理。如此，日志管理平台所得到的目标日志即为符合推送条件的日志。也就是说，通过设置相应的推送条件，在无需对存储系统和日志管理平台进行调整的情况下，能够对存储系统产生的初始日志进行编辑处理，能够使得日志管理平台得到更加便于处理的目标日志，能够有效提高日志管理平台的处理效率。

在本发明的一种具体实施方式中，日志推送模块103，具体用于按照预设推送时间，利用表述性状态传递接口发送目标日志给日志管理平台。

在本发明的一种具体实施方式中，推送条件为格式化日志，相应地，日志预处理模块102，具体用于对初始日志进行字段提取；格式化字段提取结果，得到目标日志。

在本发明的一种具体实施方式中，推送条件为字段筛选，相应地，日志预处理模块102，具体用于对初始日志进行字段提取；

从字段提取结果中筛选出推送字段对应的日志信息；

组合日志信息，得到目标日志。

在本发明的一种具体实施方式中，推送条件为推送指定模块日志，相应地，日志预处理模块102，具体用于从初始日志中筛选出指定模块对应的目标日志。

在本发明的一种具体实施方式中，推送条件为推送指定类型的日志，相应地，日志预处理模块102，具体用于从初始日志中筛选出指定类型对应的目标日志；指定类型包括提示、严重和错误中的至少一种。

在本发明的一种具体实施方式中，日志获取模块101，具体用于在时间戳指针指向最后一条已获取日志的情况下，判断存储系统是否繁忙；如果否，则在定制时间段，利用命令行接口或表述性状态传递接口获取存储系统新产生的初始日志。

相应于上面的方法实施例，本发明实施例还提供了一种日志预处理设备，下文描述的一种日志预处理设备与上文描述的一种日志预处理方法可相互对应参照。

参见图4所示，该日志预处理设备包括：

存储器332，用于存储计算机程序；

处理器322，用于执行计算机程序时实现上述方法实施例的日志预处理方法的步骤。

具体的，请参考图5，图5为本实施例提供的一种日志预处理设备的具体结构示意图，该日志预处理设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(centralprocessingunits，cpu)322(例如，一个或一个以上处理器)和存储器332，存储器332存储有一个或一个以上的计算机应用程序342或数据344。其中，存储器332可以是短暂存储或持久存储。存储在存储器332的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对数据处理设备中的一系列指令操作。更进一步地，中央处理器322可以设置为与存储器332通信，在日志预处理设备301上执行存储器332中的一系列指令操作。

日志预处理设备301还可以包括一个或一个以上电源326，一个或一个以上有线或无线网络接口350，一个或一个以上输入输出接口358，和/或，一个或一个以上操作系统341。

上文所描述的日志预处理方法中的步骤可以由日志预处理设备的结构实现。

相应于上面的方法实施例，本发明实施例还提供了一种可读存储介质，下文描述的一种可读存储介质与上文描述的一种日志预处理方法可相互对应参照。

一种可读存储介质，可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例的日志预处理方法的步骤。

该可读存储介质具体可以为u盘、移动硬盘、只读存储器(read-onlymemory，rom)、随机存取存储器(randomaccessmemory，ram)、磁碟或者光盘等各种可存储程序代码的可读存储介质。

本领域技术人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。