一种日志数据的检索方法及装置、设备、介质与流程

本发明涉及数据处理领域，尤其涉及一种日志数据的检索方法及装置、设备、介质。

背景技术：

为应对海量服务数据，提高服务处理效率，许多业务服务都会分布式部署在多台服务器中。

若某一业务服务出现问题，通常需要查询日志数据，以便找到问题日志进行针对性处理。目前，通常会采用命令检索的方式查找问题日志。

具体来说，对于分布式部署的业务服务而言，就需要在部署有该业务服务的各个服务器中，逐一输入命令才能查找到需要的问题日志。例如，输入linux、vim等文本查询命令查询日志，以确定故障发生的原因。这种命令检索方式不仅对主机资源消耗很大，查询效率低不高，且操作过程复杂容易出错，不利于服务修复，容易导致服务体验下降。

因而，如何提高日志检索效率，成为服务部署场景中亟待解决的技术问题。

技术实现要素：

本发明实施例提供一种日志数据的检索方法及装置、设备、介质，用以实现问题日志的快速排查，提高日志检索效率。

第一方面，本发明实施例提供一种日志数据的检索方法，其中

响应于用户在日志检索平台中的输入信息，从输入信息中获取搜索关键字；在日志数据库表中查询与搜索关键字匹配的日志数据，并基于与搜索关键字匹配的日志数据构建目标数据表，其中，日志数据库表包括多组日志数据，多组日志数据分别对应于多个标注关键字，日志数据库表存储在日志检索平台中；在日志检索平台中展示目标数据表，以向用户反馈日志数据搜索结果。

在一可选实施例中，该方法还包括：获取多个待分组日志数据；基于多个待分组日志数据各自对应的数据特征，将与同一数据特征对应的待划分组日志数据划分为一组，以得到多组日志数据；以多组日志数据各自对应的数据特征作为标注关键字，分别标注多组日志数据；基于标注后的多组日志数据，创建日志数据库表。

在一可选实施例中，用于标注多组日志数据的标注关键字包括：ip信息、集群标识、日志关键字、时间信息、日志字段信息中的一个或组合。

在一可选实施例中，该方法还包括：在日志检索平台中展示与标注关键字所属类型对应的输入控件。

在一可选实施例中，响应于用户在日志检索平台中的输入信息，从输入信息中获取搜索关键字，包括：从输入信息中解析出搜索关键字。

在日志数据库表中查询与搜索关键字匹配的日志数据，包括：查找日志数据库表中与搜索关键字一致的标注关键字，并以查找到的标注关键字对应的日志数据组作为与搜索关键字匹配的日志数据。

在一可选实施例中，若解析出的搜索关键字的数量为多个，则在日志数据库表中查询与搜索关键字匹配的日志数据，包括：

查找日志数据库表中与第一搜索关键字一致的第一标注关键字；以第一标注关键字对应的日志数据组作为初始日志数据，并其他搜索关键字在初始日志数据中进行筛选，以获得与搜索关键字匹配的日志数据。

在一可选实施例中，日志数据库表存储于服务器集群的预设设备中；或者日志数据库表存储于服务器集群中的存储空间。

第二方面，本发明实施例还提供一种日志数据的检索装置，其中

获取模块，用于响应于用户在日志检索平台中的输入信息，从输入信息中获取搜索关键字；

查询模块，用于在日志数据库表中查询与搜索关键字匹配的日志数据，并基于与搜索关键字匹配的日志数据构建目标数据表，其中，日志数据库表包括多组日志数据，多组日志数据分别对应于多个标注关键字，日志数据库表存储在日志检索平台中；

展示模块，用于在日志检索平台中展示目标数据表，以向用户反馈日志数据搜索结果。

在一可选实施例中，该检索装置还包括创建模块，该创建模块用于：获取多个待分组日志数据；基于多个待分组日志数据各自对应的数据特征，将与同一数据特征对应的待划分组日志数据划分为一组，以得到多组日志数据；以多组日志数据各自对应的数据特征作为标注关键字，分别标注多组日志数据；基于标注后的多组日志数据，创建日志数据库表。

在一可选实施例中，用于标注多组日志数据的标注关键字包括：ip信息、集群标识、日志关键字、时间信息、日志字段信息中的一个或组合。

在一可选实施例中，展示模块还用于：在日志检索平台中展示与标注关键字所属类型对应的输入控件。

在一可选实施例中，获取模块响应于用户在日志检索平台中的输入信息，从输入信息中获取搜索关键字时，具体用于：从输入信息中解析出搜索关键字。

基于此，查询模块在日志数据库表中查询与搜索关键字匹配的日志数据时，具体用于：查找日志数据库表中与搜索关键字一致的标注关键字，并以查找到的标注关键字对应的日志数据组作为与搜索关键字匹配的日志数据。

在一可选实施例中，若解析出的搜索关键字的数量为多个，则查询模块在日志数据库表中查询与搜索关键字匹配的日志数据时，具体用于：

查找日志数据库表中与第一搜索关键字一致的第一标注关键字；以第一标注关键字对应的日志数据组作为初始日志数据，并其他搜索关键字在初始日志数据中进行筛选，以获得与搜索关键字匹配的日志数据。

在一可选实施例中，日志数据库表存储于服务器集群的预设设备中；或者日志数据库表存储于服务器集群中的存储空间。

第三方面，本发明实施例提供一种电子设备，其中包括处理器和存储器，其中，所述存储器上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器至少可以实现任一方面中的日志数据的检索方法。

本发明实施例又提供了一种系统，包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由所述处理器加载并执行以实现上面描述的一种日志数据的检索方法。

本发明实施例进一步提供了一种计算机可读介质，其上存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上面描述的一种日志数据的检索方法。

在本发明实施例提供的技术方案中，响应于用户在日志检索平台中的输入信息，从输入信息中获取搜索关键字；在日志数据库表中查询与搜索关键字匹配的日志数据，并基于与搜索关键字匹配的日志数据构建目标数据表，其中，日志数据库表包括多组日志数据，多组日志数据分别对应于多个标注关键字，日志数据库表存储在日志检索平台中；在日志检索平台中展示目标数据表，以向用户反馈日志数据搜索结果。

上述方案中，通过搜索关键字在日志检索平台的日志数据库表中查询到匹配的目标数据表，无需在服务器集群中逐一排查问题日志，即可在日志检索平台中将目标数据表展示给用户，从而不仅实现问题日志的快速排查，提高日志检索效率，还能够提高业务修复效率，改善业务体验。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一实施例提供的一种日志数据的检索方法的流程示意图；

图2为本发明一实施例提供的一种日志数据的检索装置的结构示意图；

图3为本发明一实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种。

取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。

另外，下述各方法实施例中的步骤时序仅为一种举例，而非严格限定。

本发明实施例提供的日志数据的检索方案适用于日志检索场景。实际应用中，该日志数据的检索方案比如应用于分布式集群中的日志检索场景。需要检索的日志可以是问题日志，也可以是其他日志，比如新功能开发需要用到的日志数据等。当然，日志数据的检索方案还可以应用于其他场景，此处并不限定。

针对日志检测场景，申请人发现，若某一业务服务出现问题，通常需要查询日志数据，以便找到问题日志进行针对性处理。目前，通常会采用命令检索的方式查找问题日志。

具体来说，对于分布式部署的业务服务而言，就需要在部署有该业务服务的各个服务器中，逐一输入命令才能查找到需要的问题日志。这种命令检索方式不仅工作量大，时间浪费严重，还不利于服务修复，进而导致服务体验下降。

为了解决上述技术问题，本发明实施例提出了一种日志数据的检索方法及装置、设备、介质，用以实现问题日志的快速排查，提高日志检索效率，同时有助于提高业务修复效率，改善业务体验。其中，日志数据的检索方案的基本思路具体为：

在日志数据的检索方案中，响应于用户在日志检索平台中的输入信息，从输入信息中获取搜索关键字；在日志数据库表中查询与搜索关键字匹配的日志数据，并基于与搜索关键字匹配的日志数据构建目标数据表，其中，日志数据库表包括多组日志数据，多组日志数据分别对应于多个标注关键字，日志数据库表存储在日志检索平台中；在日志检索平台中展示目标数据表，以向用户反馈日志数据搜索结果。

从而，通过搜索关键字在日志检索平台的日志数据库表中查询到匹配的目标数据表，无需在服务器集群中逐一排查问题日志，即可在日志检索平台中将目标数据表展示给用户，从而不仅实现问题日志的快速排查，提高日志检索效率，还能够提高业务修复效率，改善业务体验。

在介绍了日志数据的检索方案的基本思路之后，下面具体介绍本发明的各种非限制性实施例。

下面结合以下实施例对该日志数据的检索方案的执行过程进行说明。

图1为本发明实施例提供的一种日志数据的检索方法的流程示意图。如图1所示，该日志数据的检索方法包括：

101、响应于用户在日志检索平台中的输入信息，从输入信息中获取搜索关键字；

102、在日志数据库表中查询与搜索关键字匹配的日志数据，并基于与搜索关键字匹配的日志数据构建目标数据表；

103、在日志检索平台中展示目标数据表，以向用户反馈日志数据搜索结果。

上述步骤中，通过搜索关键字在日志检索平台的日志数据库表中查询到匹配的目标数据表，无需在服务器集群中逐一排查问题日志，即可实现问题日志的快速排查，提高日志检索效率，还能够提高业务修复效率，改善业务体验。

本发明实施例涉及的日志数据库表包括多组日志数据。其中，多组日志数据分别对应于多个标注关键字，日志数据库表存储在日志检索平台中。实际应用中，日志检索平台可以实现为多种形式，例如，云平台、日志检索页面、装载有日志检索系统的客户端、具有日志检索功能的硬件终端。无论何种形式，日志检索平台均可通过其存储的日志数据库表提供相应的搜索、查询功能。

具体来说，各组日志数据中的日志数据对应于同一数据特征，因此，对于任一组日志数据，都可用该组日志数据对应的同一数据特征来标注该组日志数据，并将标注后的各组日志数据聚合存储于日志数据库表中，从而，基于数据特征实现数据分组聚合，便于后续快速调取需要的日志数据。

实际上，标注关键字和搜索关键字仅用于区别相关数据，并不作限定。具体应用中，标注关键字也可称为标签、标注词等，无论何种称谓，其实际作用均是指示各组日志数据对应的同一数据特征。类似的，搜索关键字也可称为搜索条件、搜索词等，无论何种称谓，其实际作用均是指示需要搜索的日志数据对应的数据特征。

其中，在一可选实施例中，日志数据库表可以通过如下方式创建：

获取多个待分组日志数据；基于多个待分组日志数据各自对应的数据特征，将与同一数据特征对应的待划分组日志数据划分为一组，以得到多组日志数据；以多组日志数据各自对应的数据特征作为标注关键字，分别标注多组日志数据；基于标注后的多组日志数据，创建所述日志数据库表。

上述步骤中，例如，假设采用设备a作为创建以及存储日志数据库表的设备。假设日志数据库表中存储有服务器集群中各个设备的日志数据。

基于上述假设，设备a接收服务器集群中各个设备的日志数据(即多个待分组日志数据)，从而，获取各个设备日志数据各自对应的数据特征。

假设数据特征为时间信息，基于此，根据各个设备日志数据各自对应的时间段，将与同一时间段对应的日志数据划分为一组，以得到对应于不同时间段的多组日志数据。接着，以多组日志数据各自对应的时间段作为标注关键字，分别标注多组日志数据，例如8点-9点时段对应的一组日志数据。可选地，还可采用时间信息作为每一日志数据的标签，以便后续可灵活调整标注关键字所应对的数据分类粒度，进一步提高后续日志检索效率。最终，可基于采用时间段标注后的多组日志数据，创建日志数据库表。

实际应用中，除了上述时间信息之外，用于标注多组日志数据的标注关键字还包括ip信息、集群标识、日志关键字、日志字段信息中的一个或组合。日志关键字可以是日志中的操作类型、操作动作、或者具体操作信息。日志字段信息可以是根据查询者需求自定义的字段信息。根据实际需求，还可采用其他类型信息作为标注关键字，此处仅为示例。

为便于调取各种分类维度下的日志数据，日志数据也可根据其多个维度的数据特征分别划分到多组日志数据中。例如，假设日志数据a对应的数据特征分别是9点05分(时间信息)、来源ip地址(ip信息)、与日志数据a相关的设备标识(集群标识)、token(日志关键字)，基于上述假设，可将日志数据a划分到基于上述四个特征标注的日志数据组中。为节省存储空间，日志数据划分到多个日志数据组后，可采用索引链表的形式进行存储。

可以理解的是，上文介绍的日志数据库表创建方法仅为示例，实际应用中也可采用其他方式建立本发明实施例涉及的日志数据库表。

实际应用中，日志数据库表可以存储于服务器集群的预设设备中，或者，也可以存储于服务器集群中的存储空间。预设设备可以具有数据存储功能的一台或多台硬件设备，也可以是服务器集群中构建的虚拟存储设备，例如云存储设备。

介绍完对日志数据库表的创建过程之后，下面继续介绍本发明实施例所提供的日志数据的检索方法的执行过程。

首先，101中，响应于用户在日志检索平台中的输入信息，从输入信息中获取搜索关键字，可以实现为：从输入信息中解析出搜索关键字。

其中，搜索关键字包括但不限于：时间信息、ip信息、集群标识、日志关键字、日志字段信息中的一个或组合。实际应用中，可以在日志检索平台中展示与标注关键字所属类型对应的输入控件，从而，通过输入控件输入不同类型的搜索关键字。例如，通过滑动条选取时间信息，通过下拉列表获取ip信息和集群标识，通过输入栏获取日志关键字和日志字段信息。

进而，从输入信息中获取搜索关键字之后，在一可选实施例中，102中，在日志数据库表中查询与搜索关键字匹配的日志数据，可以实现为：

查找日志数据库表中与搜索关键字一致的标注关键字，并以查找到的标注关键字对应的日志数据组作为与搜索关键字匹配的日志数据。

实际应用中，对于不同类型的搜索关键字，查找方式也不同。例如，查找日志数据库表中处于时间信息范围内的时间戳，并以查找到的时间戳对应的日志数据组作为与搜索关键字匹配的日志数据。或者，查找日志数据库表中与日志字段信息一致的日志字段标签，并以查找到的日志字段标签对应的日志数据组作为与搜索关键字匹配的日志数据。

另一实施例中，假设解析出的搜索关键字的数量为多个，基于此假设，102中，在日志数据库表中查询与搜索关键字匹配的日志数据，还可实现为：

查找日志数据库表中与第一搜索关键字一致的第一标注关键字；以第一标注关键字对应的日志数据组作为初始日志数据，并其他搜索关键字在初始日志数据中进行筛选，以获得与搜索关键字匹配的日志数据。

上述步骤中，例如，假设解析出的搜索关键字分别为时间段a、设备标识b、日志字段c，基于此，将时间段a设置为第一搜索关键字，设备标识b设置为第二搜索关键字，日志字段c设置为第三搜索关键字。进而，查找日志数据库表中处于时间段a范围内的时间戳(即第一标注关键字)，以处于时间段a范围内的时间戳对应的日志数据组作为初始日志数据。进而，采用设备标识b在初始日志数据中筛选匹配的日志数据作为初次筛选日志数据，进一步再采用日志字段c在初始日志数据中筛选匹配的日志数据作为最终日志数据，以获得与上述几个搜索关键字匹配的日志数据。

需说明的是，除了上述不同类型的搜索关键字之外，还可采用同一类型的多个搜索关键字，例如多个时间段、多个日志字段、多个日志关键字。

进而，查询到与搜索关键字匹配的日志数据之后，102中，基于与搜索关键字匹配的日志数据构建目标数据表，可以实现为：根据预设构建规则将与搜索关键字匹配的日志数据组合为目标数据表。

最终，构建目标数据表之后，103中，在日志检索平台中展示目标数据表，以向用户反馈日志数据搜索结果。

上述步骤中，可选地，在日志检索平台中展示目标数据表的一种可选实现方式为，采用数据列表的形式在日志检索平台的页面中展示目标数据表。另一可选实现方式为，采用图表形式在日志检索平台的弹窗中展示目标数据表。

为便于调取完整的日志数据，还可将日志数据采用链接形式呈现在日志检索平台中，以便用户点击日志数据链接后调取完整的日志数据。

上述实施例提出的日志数据的检索方法中，通过搜索关键字在日志检索平台的日志数据库表中查询到匹配的目标数据表，无需在服务器集群中逐一排查问题日志，即可在日志检索平台中将目标数据表展示给用户，从而不仅实现问题日志的快速排查，提高日志检索效率，还能够提高业务修复效率，改善业务体验。

图2为本发明实施例提供的一种日志数据的检索装置的流程示意图。如图2所示，该日志数据的检索装置包括获取模块11、查询模块12和展示模块13，其中

获取模块11，用于响应于用户在日志检索平台中的输入信息，从输入信息中获取搜索关键字；

查询模块12，用于在日志数据库表中查询与搜索关键字匹配的日志数据，并基于与搜索关键字匹配的日志数据构建目标数据表，其中，日志数据库表包括多组日志数据，多组日志数据分别对应于多个标注关键字，日志数据库表存储在日志检索平台中；

展示模块13，用于在日志检索平台中展示目标数据表，以向用户反馈日志数据搜索结果。

可选地，该检索装置还包括创建模块，该创建模块用于：获取多个待分组日志数据；基于多个待分组日志数据各自对应的数据特征，将与同一数据特征对应的待划分组日志数据划分为一组，以得到多组日志数据；以多组日志数据各自对应的数据特征作为标注关键字，分别标注多组日志数据；基于标注后的多组日志数据，创建日志数据库表。

可选地，用于标注多组日志数据的标注关键字包括：ip信息、集群标识、日志关键字、时间信息、日志字段信息中的一个或组合。

可选地，展示模块13还用于：在日志检索平台中展示与标注关键字所属类型对应的输入控件。

可选地，获取模块11响应于用户在日志检索平台中的输入信息，从输入信息中获取搜索关键字时，具体用于：从输入信息中解析出搜索关键字。

基于此，查询模块12在日志数据库表中查询与搜索关键字匹配的日志数据时，具体用于：查找日志数据库表中与搜索关键字一致的标注关键字，并以查找到的标注关键字对应的日志数据组作为与搜索关键字匹配的日志数据。

可选地，若解析出的搜索关键字的数量为多个，则查询模块12在日志数据库表中查询与搜索关键字匹配的日志数据时，具体用于：

查找日志数据库表中与第一搜索关键字一致的第一标注关键字；以第一标注关键字对应的日志数据组作为初始日志数据，并其他搜索关键字在初始日志数据中进行筛选，以获得与搜索关键字匹配的日志数据。

可选地，日志数据库表存储于服务器集群的预设设备中；或者日志数据库表存储于服务器集群中的存储空间。

上述实施例提出的日志数据的检索装置中，通过搜索关键字在日志检索平台的日志数据库表中查询到匹配的目标数据表，无需在服务器集群中逐一排查问题日志，即可在日志检索平台中将目标数据表展示给用户，从而不仅实现问题日志的快速排查，提高日志检索效率，还能够提高业务修复效率，改善业务体验。

本发明实施例还提供了一种日志数据的检索装置，包括存储器、处理器。该存储器中存储有可在所述处理器上运行的计算机程序，处理器执行所述计算机程序时实现上述图1示出的日志数据的检索方法。

上述日志数据的检索装置可以执行前述各实施例中提供的系统或方法，本实施例未详细描述的部分，可参考前述实施例的相关说明，在此不再赘述。

在一个可能的设计中，上述图1所示的日志数据的检索方法可由一电子设备实现。如图3所示，该电子设备可以包括：处理器21、存储器22。其中，所述存储器22上存储有可执行代码，当所述可执行代码被所述处理器21执行时，至少使所述处理器21可以实现如前述实施例中提供的日志数据的检索方法。其中，该电子设备的结构中还可以包括通信接口23，用于与其他设备或通信网络通信。

另外，本发明实施例提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被无线路由器的处理器执行时，使所述处理器执行前述各实施例中提供的日志数据的检索方法。

根据需要，本发明各实施例的系统、方法和装置可以实现为纯粹的软件(例如用java来编写的软件程序)，也可以根据需要实现为纯粹的硬件(例如专用asic芯片或fpga芯片)，还可以实现为结合了软件和硬件的系统(例如存储有固定代码的固件系统或者带有通用存储器和处理器的系统)。

本发明的另一个方面是一种计算机可读介质，其上存储有计算机可读指令，所述指令被执行时可实施本发明各实施例的方法。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所公开的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。要求保护的主题的范围仅由所附的权利要求进行限定。