分布式文件系统日志处理方法、装置、设备及存储介质与流程

本发明涉及计算机应用技术领域，特别是涉及一种分布式文件系统日志处理方法、装置、设备及存储介质。

背景技术

随着计算机技术的快速发展，分布式文件系统的应用越来越广泛。客户端在访问分布式文件系统时，可以对系统中的海量文件进行各种业务操作，分布式文件系统将会针对各种业务操作生成操作日志，以为后续进行系统维护，或者进行问题排查定位提供依据。

目前，分布式文件系统都是将操作日志进行统一存储。随着分布式文件系统的使用，其中存储的操作日志越来越多，当有对操作日志的查找需求时，需要从庞大的操作日志中搜索相关信息，需要的查找时间较长，查找难度较大，查找效率不高。

技术实现要素：

本发明的目的是提供一种分布式文件系统日志处理方法、装置、设备及存储介质，以避免从庞大的日志文件中查找操作日志，可以减小查找难度，提高查找效率。

为解决上述技术问题，本发明提供如下技术方案：

一种分布式文件系统日志处理方法，包括：

在监测到客户端有业务操作时，确定所述业务操作的第一操作类型；

确定所述第一操作类型对应的第一日志模块，不同操作类型对应的日志模块不同；

将预先生成的所述业务操作的操作日志记录到所述第一日志模块中。

在本发明的一种具体实施方式中，还包括：

在有针对第二操作类型的问题排查时，确定所述第二操作类型对应的第二日志模块；

在所述第二日志模块中查找操作日志，以基于查找到的操作日志进行问题排查定位。

在本发明的一种具体实施方式中，所述第一日志模块为读模块、写模块、删除模块或修改模块。

在本发明的一种具体实施方式中，所述第一日志模块包括多个与信息类别对应的日志子模块，所述将预先生成的所述业务操作的操作日志记录到所述第一日志模块中，包括：

确定所述业务操作的操作日志包含的信息类别，及每种信息类别对应的日志子模块；

基于所述业务操作的操作日志包含的信息类别，将预先生成的所述业务操作的操作日志分别记录到所述第一日志模块的相应的日志子模块中。

在本发明的一种具体实施方式中，所述日志子模块为错误信息子模块、警告信息子模块、提示信息子模块或基础信息子模块。

一种分布式文件系统日志处理装置，包括：

操作类型确定模块，用于在监测到客户端有业务操作时，确定所述业务操作的第一操作类型；

日志模块确定模块，用于确定所述第一操作类型对应的第一日志模块，不同操作类型对应的日志模块不同；

操作日志记录模块，用于将预先生成的所述业务操作的操作日志记录到所述第一日志模块中。

在本发明的一种具体实施方式中，还包括操作日志查找模块，用于：

在有针对第二操作类型的问题排查时，确定所述第二操作类型对应的第二日志模块；

在所述第二日志模块中查找操作日志，以基于查找到的操作日志进行问题排查定位。

在本发明的一种具体实施方式中，所述第一日志模块包括多个与信息类别对应的日志子模块，所述操作日志记录模块，具体用于：

确定所述业务操作的操作日志包含的信息类别，及每种信息类别对应的日志子模块；

基于所述业务操作的操作日志包含的信息类别，将预先生成的所述业务操作的操作日志分别记录到所述第一日志模块的相应的日志子模块中。

一种分布式文件系统日志处理设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现上述任一项所述分布式文件系统日志处理方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述分布式文件系统日志处理方法的步骤。

应用本发明实施例所提供的技术方案，在监测到客户端有业务操作时，可以确定业务操作的第一操作类型，并确定第一操作类型对应的第一日志模块，将预先生成的业务操作的操作日志记录到第一日志模块中，每种日志模块记录的操作日志所对应的业务操作的操作类型一致，这样，在需要进行操作日志的查找时，可以根据操作类型在对应的日志模块中查找，避免从庞大的日志文件中查找，可以减小查找难度，提高查找效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中一种分布式文件系统日志处理方法的实施流程图；

图2为本发明实施例中一种分布式文件系统日志处理装置的结构示意图；

图3为本发明实施例中一种分布式文件系统日志处理设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见图1所示，为本发明实施例所提供的一种分布式文件系统日志处理方法的实施流程图，该方法可以包括以下步骤：

s110：在监测到客户端有业务操作时，确定业务操作的第一操作类型。

在实际应用中，分布式文件系统可以挂载多个客户端，客户端可以对分布式文件系统中的海量文件进行读、写等业务操作。分布式文件系统可以实时对各客户端的业务操作进行监测。

每个业务操作具有相应的操作类型。业务操作的操作类型可以预先划分，如操作类型可以为读、写、删除、修改等类型，还可以分为设置、查询、获取等类型。在监测到客户端有业务操作时，可以确定业务操作的第一操作类型。如，确定业务操作的第一操作类型为读类型。这里的客户端为挂载在分布式文件系统上的任意一个客户端。

s120：确定第一操作类型对应的第一日志模块。

其中，不同操作类型对应的日志模块不同。

在本发明实施例中，分布式文件系统设置有多种日志模块，如读模块、写模块、删除模块、修改模块等，不同日志模块使用不同标记进行区分。不同操作类型对应的日志模块不同，一种操作类型对应一种日志模块。具体的，读类型对应读模块，写类型对应写模块，删除类型对应删除模块，修改类型对应修改模块。

在确定业务操作的第一操作类型后，可以进一步确定第一操作类型对应的第一日志模块。第一日志模块可以为读模块、写模块、删除模块或修改模块。

s130：将预先生成的业务操作的操作日志记录到第一日志模块中。

在实际应用中，分布式文件系统监测到客户端有业务操作时，可以针对客户端的每个业务操作生成相应的操作日志。操作日志中可以记录操作时间、操作对象、操作结果等信息。

需要说明的是，本发明实施例对于生成业务操作的操作日志的步骤与确定业务操作的第一操作类型的步骤的执行顺序不做限制。

在确定第一操作类型对应的第一日志模块，生成业务操作的操作日志后，可以将业务操作的操作日志记录到第一日志模块中，使得第一日志模块中记录具有第一操作类型的业务操作的操作日志，即每种日志模块记录的操作日志所对应的业务操作的操作类型都是一致的。对不同日志模块中的操作日志区分处理，便于业务io处理的跟踪及出现问题时的排查定位。

在本发明的一种具体实施方式中，第一日志模块可以包括多个与信息类别对应的日志子模块，步骤s130可以包括以下步骤：

第一个步骤：确定业务操作的操作日志包含的信息类别，及每种信息类别对应的日志子模块；

第二个步骤：基于业务操作的操作日志包含的信息类别，将预先生成的业务操作的操作日志分别记录到第一日志模块的相应的日志子模块中。

为便于描述，将上述两个步骤结合起来进行说明。

可以理解的是，一个业务操作的操作日志记录的信息可能有多种，如错误信息、警告信息、提示信息、基础信息等。每个日志模块可以包括多个与信息类别对应的日志子模块。

在生成业务操作的操作日志后，可以确定业务操作的操作日志包含的信息类别，如错误类、警告类等，再进一步确定每种信息类别对应的日志子模块。日志子模块为错误信息子模块、警告信息子模块、提示信息子模块或基础信息子模块。即错误类对应的日志子模块为错误信息子模块，警告类对应的日志子模块为警告信息子模块，提示类对应的日志子模块为提示信息子模块，基础类对应的日志子模块为基础信息子模块。

确定第一操作类型对应的第一日志模块后，基于业务操作的操作日志包含的信息类别，可以将预先生成的业务操作的操作日志分别记录到第一日志模块的相应的日志子模块中，这样当需要进行操作日志的查找时，可以基于具体问题的信息类别，在相应的日志子模块中进行查找，进一步提高操作日志的查找效率。

应用本发明实施例所提供的方法，在监测到客户端有业务操作时，可以确定业务操作的第一操作类型，并确定第一操作类型对应的第一日志模块，将预先生成的业务操作的操作日志记录到第一日志模块中，每种日志模块记录的操作日志所对应的业务操作的操作类型一致，这样，在需要进行操作日志的查找时，可以根据操作类型在对应的日志模块中查找，避免从庞大的日志文件中查找，可以减小查找难度，提高查找效率。

在本发明的一个实施例中，该方法还可以包括以下步骤：

步骤一：在有针对第二操作类型的问题排查时，确定第二操作类型对应的第二日志模块；

步骤二：在第二日志模块中查找操作日志，以基于查找到的操作日志进行问题排查定位。

为便于描述，将上述两个步骤结合起来进行说明。

在本发明实施例中，每种日志模块记录的操作日志所对应的业务操作的操作类型一致。在有针对第二操作类型的问题排查时，可以先确定第二操作类型对应的第二日志模块。第二日志模块中记录有具有第二操作类型的业务操作的操作日志。确定第二日志模块后，可以开启第二日志模块，在第二日志模块中查找相应的操作日志，这样可以基于查找的操作日志进行问题排查定位，不需要从庞大的日志文件中搜索相关信息，可以减小问题排查难度，快速定位问题。

本发明实施例通过多种日志模块进行操作日志的记录，可以快速分析定位问题，提高分布式文件系统的稳定性，提高存储的高可用性，减少系统维护成本。

相应于上面的方法实施例，本发明实施例还提供了一种分布式文件系统日志处理装置，下文描述的一种分布式文件系统日志处理装置与上文描述的一种分布式文件系统日志处理方法可相互对应参照。

参见图2所示，该装置包括以下模块：

操作类型确定模块210，用于在监测到客户端有业务操作时，确定业务操作的第一操作类型；

日志模块确定模块220，用于确定第一操作类型对应的第一日志模块，不同操作类型对应的日志模块不同；

操作日志记录模块230，用于将预先生成的业务操作的操作日志记录到第一日志模块中。

应用本发明实施例所提供的装置，在监测到客户端有业务操作时，可以确定业务操作的第一操作类型，并确定第一操作类型对应的第一日志模块，将预先生成的业务操作的操作日志记录到第一日志模块中，每种日志模块记录的操作日志所对应的业务操作的操作类型一致，这样，在需要进行操作日志的查找时，可以根据操作类型在对应的日志模块中查找，避免从庞大的日志文件中查找，可以减小查找难度，提高查找效率。

在本发明的一种具体实施方式中，还包括操作日志查找模块，用于：

在有针对第二操作类型的问题排查时，确定第二操作类型对应的第二日志模块；

在第二日志模块中查找操作日志，以基于查找到的操作日志进行问题排查定位。

在本发明的一种具体实施方式中，第一日志模块为读模块、写模块、删除模块或修改模块。

在本发明的一种具体实施方式中，第一日志模块包括多个与信息类别对应的日志子模块，操作日志记录模块230，具体用于：

确定业务操作的操作日志包含的信息类别，及每种信息类别对应的日志子模块；

基于业务操作的操作日志包含的信息类别，将预先生成的业务操作的操作日志分别记录到第一日志模块的相应的日志子模块中。

在本发明的一种具体实施方式中，日志子模块为错误信息子模块、警告信息子模块、提示信息子模块或基础信息子模块。

相应于上面的方法实施例，本发明实施例还提供了一种分布式文件系统日志处理设备，参见图3所示，包括：

存储器310，用于存储计算机程序；

处理器320，用于执行计算机程序时实现上述分布式文件系统日志处理方法的步骤。

相应于上面的方法实施例，本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述分布式文件系统日志处理方法的步骤。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的技术方案及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。