数据管理方法及数据管理系统与流程

本发明涉及计算机技术领域，具体而言，涉及一种数据管理方法和一种数据管理系统。

背景技术：

LogStash是一款轻量级的日志搜集处理框架，是一个数据管道，可以方便的把分散的、多样化的、多种类型的日志搜集起来，包括流式日志数据，然后传输到指定的位置，比如某个服务器或者文件。LogStash主要包含三个部分：Inputs(输入)、Fillters(过滤)及Outputs(输出)，Inputs是指日志数据传输到Logstash中，Fillters是指在LogStash把收集到的日志数据进行过滤，Outputs是LogStash处理管道的最末端组件，处理数据的输出，通常在对流式数据收集后，没有对其任何处理，直接输出到某个位置，无法满足用户对数据的处理需求，对此目前还没有有效的解决方案。

技术实现要素：

本发明正是基于上述技术问题至少之一，提出了一种新的数据管理方案，能够对获取到的流式数据进行关联分析，以满足用户对数据的处理需求。

有鉴于此，本发明提出了一种数据管理方法，包括：监测是否获取到目标流式数据；在确定获取到所述目标流式数据时，对所述目标流式数据的内容进行上下文关联分析，以得到关联结果；输出所述关联结果。

在该技术方案中，通过监测是否获取到目标流式数据，在确定获取到目标流式数据时，对目标流式数据的内容进行上下文关联分析，以便于对流式数据进行横向拓展，满足用户对数据的处理需求。

在上述技术方案中，优选地，在所述对所述目标流式数据的内容进行上下文关联分析的步骤之前，还包括：创建至少一个时间窗口，以及配置每个所述时间窗口对应的关联信息；所述对所述目标流式数据进行上下文关联分析的步骤，具体包括：根据每个所述时间窗口对应的关联信息，对流经每个所述时间窗口的目标流式数据进行上下文关联分析。

在该技术方案中，通过设置时间窗口，对流经时间窗口的目标流式数据进行上下文关联分析，提高了对目标流式数据的处理效率。

在上述任一项技术方案中，优选地，所述根据每个所述时间窗口对应的关联信息，对流经每个所述时间窗口的目标流式数据进行上下文关联分析的步骤，具体包括：根据每个所述时间窗口对应的关联信息，基于正则表达式匹配方式对流经每个所述时间窗口的目标流式数据进行上下文关联分析。

在该技术方案中，在对目标流式数据的处理过程中，具体可采用正则表达式匹配方法来对流经每个时间窗口的目标流式数据进行上下文关联分析，确保了对目标流式数据分析结果的准确性。其中，正则表达式可基于预定义的一些特定字符及这些特定字符的组合以对待处理数据进行过滤匹配，其具有灵活性、逻辑性及功能性强等优势。

在上述任一项技术方案中，优选地，还包括：在接收到设置任一所述时间窗口的指令时，对任一所述时间窗口和任一所述时间窗口对应的关联信息进行设置。

在该技术方案中，用户可根据实际需求来对时间窗口及其对应的关联信息进行设置，以满足不同用户需求，提升了用户的使用体验。

在上述任一项技术方案中，优选地，在所述确定获取到所述目标流式数据的步骤之后，以及在所述对所述目标流式数据的内容进行上下文关联分析的步骤之前还包括：对所述目标流式数据进行过滤处理。

在上述任一项技术方案中，优选地，所述目标流式数据包括流式日志数据。

根据本发明的第二方面，提出了一种数据管理系统，包括：监测单元，用于监测是否获取到目标流式数据；处理单元，用于在确定获取到所述目标流式数据时，对所述目标流式数据的内容进行上下文关联分析，以得到关联结果；输出单元，用于输出所述关联结果。

在该技术方案中，通过监测是否获取到目标流式数据，在确定获取到目标流式数据时，对目标流式数据的内容进行上下文关联分析，以便于对流式数据进行横向拓展，满足用户对数据的处理需求。

在上述技术方案中，优选地，还包括：创建单元，用于创建至少一个时间窗口，以及配置每个所述时间窗口对应的关联信息；所述处理单元具体用于：根据每个所述时间窗口对应的关联信息，对流经每个所述时间窗口的目标流式数据进行上下文关联分析。

在该技术方案中，通过设置时间窗口，对流经时间窗口的目标流式数据进行上下文关联分析，提高了对目标流式数据的处理效率。

在上述技术方案中，优选地，所述处理单元具体用于：根据每个所述时间窗口对应的关联信息，基于正则表达式匹配方式对流经每个所述时间窗口的目标流式数据进行上下文关联分析。

在该技术方案中，在对目标流式数据的处理过程中，具体可采用正则表达式匹配方法来对流经每个时间窗口的目标流式数据进行上下文关联分析，确保了对目标流式数据分析结果的准确性。其中，正则表达式可基于预定义的一些特定字符及这些特定字符的组合以对待处理数据进行过滤匹配，其具有灵活性、逻辑性及功能性强等优势。

在上述任一项技术方案中，优选地，还包括：设置单元，用于在接收到设置任一所述时间窗口的指令时，对任一所述时间窗口和任一所述时间窗口对应的关联信息进行设置。

在该技术方案中，用户可根据实际需求来对时间窗口及其对应的关联信息进行设置，以满足不同用户需求，提升了用户的使用体验。

在上述任一项技术方案中，优选地，所述处理单元还用于：在对所述目标流式数据的内容进行上下文关联分析之前，对所述目标流式数据进行过滤处理。

在上述任一项技术方案中，优选地，所述目标流式数据包括流式日志数据。

通过以上技术方案，能够对获取到的流式数据进行关联分析，以满足用户对数据的处理需求。

附图说明

图1示出了根据本发明的第一个实施例的数据管理方法的示意流程图；

图2示出了根据本发明的实施例的数据管理系统的示意框图；

图3示出了根据本发明的第二个实施例的数据管理方法的示意流程图；

图4示出了根据本发明的第三个实施例的数据管理方法的示意流程图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

图1示出了根据本发明的第一个实施例的数据管理方法的示意流程图。

如图1所示，根据本发明的第一个实施例的数据管理方法，包括：

步骤102，监测是否获取到目标流式数据。

步骤104，在确定获取到所述目标流式数据时，对所述目标流式数据的内容进行上下文关联分析，以得到关联结果。

步骤106，输出所述关联结果。

在该技术方案中，通过监测是否获取到目标流式数据，在确定获取到目标流式数据时，对目标流式数据的内容进行上下文关联分析，以便于对流式数据进行横向拓展，满足用户对数据的处理需求。

在上述技术方案中，优选地，在所述对所述目标流式数据的内容进行上下文关联分析的步骤之前，还包括：创建至少一个时间窗口，以及配置每个所述时间窗口对应的关联信息；所述对所述目标流式数据进行上下文关联分析的步骤，具体包括：根据每个所述时间窗口对应的关联信息，对流经每个所述时间窗口的目标流式数据进行上下文关联分析。

在该技术方案中，通过设置时间窗口，对流经时间窗口的目标流式数据进行上下文关联分析，提高了对目标流式数据的处理效率。

在上述任一项技术方案中，优选地，所述根据每个所述时间窗口对应的关联信息，对流经每个所述时间窗口的目标流式数据进行上下文关联分析的步骤，具体包括：根据每个所述时间窗口对应的关联信息，基于正则表达式匹配方式对流经每个所述时间窗口的目标流式数据进行上下文关联分析。

在该技术方案中，在对目标流式数据的处理过程中，具体可采用正则表达式匹配方法来对流经每个时间窗口的目标流式数据进行上下文关联分析，确保了对目标流式数据分析结果的准确性。其中，正则表达式可基于预定义的一些特定字符及这些特定字符的组合以对待处理数据进行过滤匹配，其具有灵活性、逻辑性及功能性强等优势。

在上述任一项技术方案中，优选地，还包括：在接收到设置任一所述时间窗口的指令时，对任一所述时间窗口和任一所述时间窗口对应的关联信息进行设置。

在该技术方案中，用户可根据实际需求来对时间窗口及其对应的关联信息进行设置，以满足不同用户需求，提升了用户的使用体验。

在上述任一项技术方案中，优选地，在所述确定获取到所述目标流式数据的步骤之后，以及在所述对所述目标流式数据的内容进行上下文关联分析的步骤之前还包括：对所述目标流式数据进行过滤处理。

在上述任一项技术方案中，优选地，所述目标流式数据包括流式日志数据。

图2示出了根据本发明的实施例的数据管理系统的示意框图。

如图2所示，根据本发明的实施例的数据管理系统200，包括：监测单元202、处理单元204和输出单元206。

其中，监测单元202用于监测是否获取到目标流式数据；处理单元204用于在确定获取到所述目标流式数据时，对所述目标流式数据的内容进行上下文关联分析，以得到关联结果；输出单元206用于输出所述关联结果。

在该技术方案中，通过监测是否获取到目标流式数据，在确定获取到目标流式数据时，对目标流式数据的内容进行上下文关联分析，以便于对流式数据进行横向拓展，满足用户对数据的处理需求。

在上述技术方案中，优选地，还包括：创建单元208，用于创建至少一个时间窗口，以及配置每个所述时间窗口对应的关联信息；所述处理单元204具体用于：根据每个所述时间窗口对应的关联信息，对流经每个所述时间窗口的目标流式数据进行上下文关联分析。

在该技术方案中，通过设置时间窗口，对流经时间窗口的目标流式数据进行上下文关联分析，提高了对目标流式数据的处理效率。

在上述技术方案中，优选地，所述处理单元204具体用于：根据每个所述时间窗口对应的关联信息，基于正则表达式匹配方式对流经每个所述时间窗口的目标流式数据进行上下文关联分析。

在该技术方案中，在对目标流式数据的处理过程中，具体可采用正则表达式匹配方法来对流经每个时间窗口的目标流式数据进行上下文关联分析，确保了对目标流式数据分析结果的准确性。其中，正则表达式可基于预定义的一些特定字符及这些特定字符的组合以对待处理数据进行过滤匹配，其具有灵活性、逻辑性及功能性强等优势。

在上述任一项技术方案中，优选地，还包括：设置单元210，用于在接收到设置任一所述时间窗口的指令时，对任一所述时间窗口和任一所述时间窗口对应的关联信息进行设置。

在该技术方案中，用户可根据实际需求来对时间窗口及其对应的关联信息进行设置，以满足不同用户需求，提升了用户的使用体验。

在上述任一项技术方案中，优选地，所述处理单元204还用于：在对所述目标流式数据的内容进行上下文关联分析之前，对所述目标流式数据进行过滤处理。

在上述任一项技术方案中，优选地，所述目标流式数据包括流式日志数据。

以下结合图3和图4对本发明的技术方案作进一步说明。

如图3所示，本实施例中，主要实际Inputs(输入)模块、Filters(过滤)模块、Analysis(分析)模块及Outputs(输出)模块，在LogStash收集到流式数据后，在把流式数据输出到指定位置前，引入一个流式数据逻辑关联分析模块Analysis，分析出来的结果再输出到指定位置，具体地，收集的流式数据经由Filters模块输入Filters模块进行过滤，然后将过滤后的流式数据输入到Analysis模块进行上下文关联分析，最后经由Outputs模块将分析结果输出至指定位置。

其中，如图4所示，一般流式数据不是在磁盘上等待程序去扫描，而是数据一直是在线流动的，所以可定义时间窗口(如图4所示的时间窗1、时间窗2、…、时间窗n)，在一定的时间内进行数据内容的上下文关联分析，让数据在窗口内流过，在时间窗口内的数据进行做关联，根据关联规则(具体可根据用户进行设定)以及正则表达式匹配，在时间窗口内进行规则匹配，成功则表明上下文关联成功，产生具体的关联事件。

以上结合附图详细说明了本发明的技术方案，本发明的技术方案提出了一种新的数据管理方案，能够对获取到的流式数据进行关联分析，以满足用户对数据的处理需求。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。