数据处理的方法和数据处理系统与流程

本发明涉及信息技术领域，并且更具体地，涉及数据处理的方法和数据处理系统。

背景技术：

随着系统规模、业务数量和用户数目的增长，系统每天都会产生海量日志。运维人员需要从海量日志中分析出系统出现的问题、用户体验以及业务情况等信息。目前主流厂商都是用流处理引擎来对海量数据进行分析和处理，流处理引擎的性能决定了数据处理的能力。

目前主要的流处理引擎内部数据处理拓扑采用的是发送(spout)模块+处理(bolt)模块方式，例如流处理引擎(storm)。在非事务机制中，spout模块不断的往后面的处理模块发送数据，当bolt模块处理能力不足的时候，spout模块发送速率不变，会导致数据堆积。在事务机制中，spout模块按照批次发送，一批数据处理完成后，再发送下一批数据，若由于bolt模块处理能力不足，长时间没有回复给spout模块响应信息时，spout模块即认为当前这批数据处理失败，进而会重新发送这批数据，这样也会导致数据在bolt模块堆积越来越多，若超过bolt模块的处理能力时，会降低数据处理性能。

技术实现要素：

本发明实施例提供一种数据处理系统和数据处理的方法，能够提高数据处理性能。

第一方面，提供了一种数据处理系统。该数据处理系统包括发送模块，处理模块，状态监控模块和策略调整模块；该发送模块，用于向该处理模块发送数据；该处理模块，用于处理该发送模块发送的该数据；该状态监控模块，用于确定该处理模块的处理状态信息，并向该策略调整模块发送该处理状态信息，该处理状态信息用于指示该处理模块处理该数据的处理能力；该策略调整模块，用于根据该处理状态信息，确定该发送模块向该处理模块发 送该数据的发送策略。

发送模块向处理模块发送数据，处理模块接收到该数据后，对该数据进行相关业务处理，或者向后传输继续处理。状态监控模块可以实时地监控处理模块的处理状态，并将处理模块的处理状态信息发送给策略调整模块，该策略调整模块能够根据处理状态信息调控发送模块的发送模式。

因此，本发明实施例提供的数据处理系统，该数据处理系统中的状态监控模块能够将处理模块对当前数据的处理状态反馈给发送模块，策略调整模块能够根据当前数据的处理状态确定该发送模块的发送策略，避免现有技术中发送模块无法感知处理模块的处理状态导致的数据的发送机制与处理模块的处理能力不一致，从而提高了数据处理性能。

结合第一方面，在第一方面的第一种可能的实现方式中，该数据处理系统还包括：状态跟踪模块，用于接收该处理模块处理的该数据的处理结果信息，并向该策略调整模块发送该处理结果信息；该策略调整模块还用于：根据该处理结果信息，确定该处理模块处理该数据失败；根据该处理模块处理该数据失败，确定该发送模块重新发送该数据。

状态跟踪模块可以获取每个数据经过处理模块处理后的处理结果，并将每个数据的处理结果发送给策略调整模块。例如，可以将发送模块要发送的数据看作一个数据集合，第一数据为数据集合中的任意一个数据，该第一数据经过处理模块处理后，状态跟踪模块也会将该第一数据的处理结果信息发送给策略调整模块。若该处理模块处理该第一数据失败后，该策略调整模块就会收到该第一数据的处理失败信息；或者，超过预先设定的时间阈值，策略调整模块仍然没有收到该第一数据的处理结果信息，则策略调整模块认为该第一数据处理失败。这时，策略调整模块可以触发发送模块重新发送该第一数据，从而提高了处理数据的准确性。

结合第一方面或第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式中，该策略调整模块具体用于：根据该处理状态信息，确定该发送模块向该处理模块发送该数据的发送速率。

策略调整模块接收到状态监控模块反馈的处理模块的处理状态信息，可以实时调整发送模块的发送策略。例如，若策略调整模块根据处理状态信息可以获知处理模块的处理能力很强，而数据量太小时，策略调整模块可以增大发送模块发送数据的速率；若策略调整模块根据处理状态信息获知处理模 块的处理能力很弱，且数据出现堆积时，策略调整模块可以调整发送模块减小发送数据的速率，甚至还可以暂时停止发送模块发送数据，从而提高了数据处理的效率。

结合第一方面及第一方面的第一种可能的实现方式和第一方面的第二种可能的实现方式中的任一种可能的实现方式，在第一方面的第三种可能的实现方式中，该策略调整模块具体用于：根据该处理状态信息，确定该发送模块发送该数据所需连接该处理模块的数目。

策略调整模块接收到状态监控模块反馈的处理模块的处理状态信息，可以实时调整发送模块的发送策略。例如，若策略调整模块根据处理状态信息可以获知处理模块的处理能力很强，而数据量太小时，策略调整模块可以减小与处理模块的连接的节点数，即减少处理数据的处理模块。若策略调整模块根据处理状态信息获知处理模块的处理能力很弱，造成数据堆积时，策略调整模块可以增加与处理模块的连接的节点数，即增加处理数据的处理模块，从而提高了数据处理的效率。

结合第一方面及第一方面的第一种可能的实现方式至第一方面的第三种可能的实现方式中的任一种可能的实现方式，在第一方面的第四种可能的实现方式中，该策略调整模块具体用于：根据该处理状态信息指示该处理模块的处理能力受限，确定该发送模块向该处理模块发送该数据中的部分数据。

策略调整模块在获知处理模块的处理能力很弱，造成数据堆积时，策略调整模块可以通过过滤数据来减轻处理模块的负担，即可以筛选出重要的数据进行处理，将相对不太重要的数据可以丢弃或者搁置。这里重要的数据可以是需要立即进行处理的数据，也可以是传输时间比较短的数据，或者是需要处理模块提供的资源比较少的数据等，本发明对此不进行限定。

第二方面，本申请提供了一种数据处理的方法，所述方法由第一方面或第一方面的任一种可能的实现方式所述的数据处理系统的模块执行。

第三方面，提供了一种数据处理系统，包括：处理器、存储器和总线系统。其中，处理器、存储器通过总线系统相连，该存储器用于存储指令，该处理器用于执行该存储器存储的指令，该处理器具体用于执行上述各种可能的实现方式中的数据处理的方法。

基于上述技术方案，本发明实施例的数据处理系统和数据处理的方法， 数据处理系统中的状态监控模块能够将处理模块对当前数据的处理状态反馈给发送模块，策略调整模块能够根据当前数据的处理状态确定该发送模块的发送策略，避免现有技术中发送模块无法感知处理模块的处理状态导致的数据的发送机制与处理模块的处理能力不一致，从而提高了数据处理性能。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是现有技术的数据处理系统的示意图。

图2是根据本发明实施例的数据处理系统的示意图。

图3是根据本发明另一实施例的数据处理系统的示意图。

图4是根据本发明实施例的数据处理的方法的示意性流程图。

图5是根据本发明实施例的数据处理系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

大数据，是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。为了描述方便，下述实施例以大数据为例进行说明，但本发明对此并不限定。

流处理引擎是一种数据管理软件，能实时地对流数据实现查询与计算、以及最终应采取的动作。流处理引擎是通过将几种机理整合在一起实现实时操作。支持入处理，即输入的事件流进入系统就马上开始流经连续的查询。在它们流动时，查询变换事件，连续地给出结果，所有这一切都是在内存中进行的。对磁盘存储的读或写操作是可选的，在很多情况下是被异步处理的。

storm是目前最为流行且技术相对较为成熟的开源流处理引擎，是一个分布式的，可靠的，容错的数据流处理系统。storm会把工作任务委托给不 同类型的组件，每个组件负责处理一项简单特定的任务。storm集群的输入流由一个被称作spout的组件管理，spout把数据传递给bolt，bolt要么把数据保存到某种存储器，要么把数据传递给其它的bolt。

现有技术中，如图1所示为数据处理系统的示意图，storm的执行流程为：

第一步：spout模块不断的发送数据给后续的处理模块；

第二步：bolt模块处理该数据，并把处理结果往后续传递；

第三步：响应模块获取该数据处理成功或失败的响应信息。

spout模块为在数据处理拓扑中产生源数据流的组件，通常情况下spout会从外部数据源中读取数据，然后转换为数据处理拓扑内部的源数据。例如，在storm，spout中有nexttuple()函数，storm框架会不停地调用此函数，用户只要在其中生成源数据即可。

bolt模块为在数据处理拓扑中接收数据后执行处理的组件。bolt可以执行过滤、函数操作、合并、写数据库等任何操作。bolt是一个被动的角色，用户可以在其中执行自己想要的操作进行数据处理。

在非事务机制中，spout模块以一定的速率不断的往后面的发送模块发送数据，非事务模块可以理解为一个独立事件，发送模块以非事务机制发送数据，即发送模块以固定的速率发送数据。这里的固定速率可以理解为发送模块以间隔相同的时间发送每个数据。当bolt模块处理能力不足的时候，spout模块发送速率不变，会造成数据在处理模块处的堆积，进而导致处理模块的处理性能下降。

在事务机制中，spout模块按照批次发送，一批信息处理完成后，再发送下一批信息，事务机制可以理解为相互关联的事件，发送模块以事务模式发送数据，即发送模块将数据分为多个组，每一组可以称为一批数据，只有收到一批数据的处理成功信息，才可以发送下一批数据。每一批数据可以以事务机制进行发送，因此，以事务机制发送数据可以看作是以多个非事物机制的组合发送数据。若由于bolt模块处理能力不足，长时间没有回复给spout模块响应信息时，spout模块即认为当前这批数据发送失败，进而会重新发送这批数据，这样会导致数据在bolt模块堆积越来越多，超过bolt模块的处理能力时，会降低bolt模块的处理效率。

应理解，一批数据的处理成功信息可以根据需要设定一个容错度，例如， 若策略调整模块收到该批数据中的百分之八十的数据处理成功信息时，即认为该批数据处理成功；或者，只要该批数据中有一个数据未处理成功时，就需要重新发送该批数据，本发明对此不进行限定。

分析引擎(apacheflink)采用了信息阻塞机制控制发送数据队列，在数据流处理方式上和storm基本类似。spout模块仍然无法感知处理模块当前的数据处理能力以及处理状态如何，导致处理模块处信息堆积，且发送模块还在继续发送数据，从而使得处理模块的处理性能下降。

图2示出了根据本发明实施例的数据处理系统100的示意图。如图2所示，该数据处理系统100包括发送模块110，处理模块120，状态监控模块130和策略调整模块140；

该发送模块110，用于向该处理模块发送数据；

该处理模块120，用于处理该发送模块发送的该数据；

该状态监控模块130，用于确定该处理模块的处理状态信息，并向该策略调整模块发送该处理状态信息，该处理状态信息用于指示该处理模块处理该数据的处理能力；

该策略调整模块140，用于根据该处理状态信息，确定该发送模块向该处理模块发送该数据的发送策略。

具体而言，发送模块向处理模块发送数据，处理模块接收到该数据后，对该数据进行相关业务处理，或者向后传输继续处理。状态监控模块可以实时地监控处理模块的处理状态，并将处理模块的处理状态信息发送给策略调整模块，该策略调整模块能够根据处理状态信息调控发送模块的发送模式。

应理解，该处理模块可以有多个，即一个发送模块可以向多个处理模块发送数据，进行数据处理，或者该数据可以经过多个处理模块完成业务处理，即处理模块的数据处理结果可作为其它处理模块的数据源或最终结果。比如，算出一堆图片里面被转发最多的图片就至少需要两步：第一步算出每个图片的转发数量，第二步找出转发最多的前10个图片。

还应理解，状态监控模块可以同时监控多个处理模块的状态信息，并将处理模块的状态信息反馈给策略调整模块。

因此，本发明实施例提供的数据处理系统，该数据处理系统中的状态监控模块能够将处理模块对当前数据的处理状态反馈给发送模块，策略调整模块能够根据当前数据的处理状态确定发送模块的发送策略，避免现有技术中 发送模块无法感知处理模块的处理状态导致的数据的发送机制与处理模块的处理能力不一致，从而提高了数据处理性能。

可选地，图3示出了根据本发明另一实施例的数据处理系统100的示意性图。如图3所示，该数据处理系统100还包括：

状态跟踪模块150，用于接收该处理模块处理的该数据的处理结果信息，并向该策略调整模块发送该处理结果信息；

该策略调整模块140还用于：

根据该处理结果信息，确定该处理模块处理该数据失败；

根据该处理模块处理该数据失败，确定该发送模块重新发送该数据。

具体而言，状态跟踪模块可以获取处理模块处理数据的处理结果信息，并将该处理结果信息发送给策略调整模块，这样策略调整模块能够根据该处理结果信息获知该数据的处理成功并获得处理结果，或者获知该数据处理失败。

策略调整模块可以设置一个时间阈值，在发送数据后的时间阈值内，若策略调整模块收到状态跟踪模块响应的该数据的处理结果信息，则认为该数据处理成功；若发送模块收到状态跟踪模块响应的该数据的处理失败信息，则认为该数据处理失败；若发送一个数据后超过时间阈值仍没有收到状态跟踪模块的响应信息，则默认该数据处理失败。

状态跟踪模块可以获取每个数据经过处理模块处理后的处理结果，并将每个数据的处理结果发送给策略调整模块。例如，可以将发送模块要发送的数据看作一个数据集合，第一数据为数据集合中的任意一个数据，该第一数据经过处理模块处理后，状态跟踪模块也会将该第一数据的处理结果信息发送给策略调整模块。若该处理模块处理该第一数据失败后，该策略调整模块就会收到该第一数据的处理失败信息；或者，超过预先设定的时间阈值，策略调整模块仍然没有收到该第一数据的处理结果信息，则策略调整模块认为该第一数据处理失败。这时，策略调整模块可以触发发送模块重新发送该第一数据，从而提高了处理数据的准确性。

应理解，该发送模块重新发送该第一数据还需要经过重新注册，或者还可以选择采用其他发送策略等步骤，本发明对此不进行限定。

可选地，该策略调整模块140具体用于：

根据该处理状态信息，确定该发送模块向该处理模块发送该数据的发送 速率。

具体而言，策略调整模块接收到状态监控模块反馈的处理模块的处理状态信息，可以实时调整发送模块的发送策略。例如，若策略调整模块根据处理状态信息可以获知处理模块的处理能力很强，而数据量太小时，策略调整模块可以增大发送模块发送数据的速率；若策略调整模块根据处理状态信息获知处理模块的处理能力很弱，造成数据出现堆积时，策略调整模块可以调整发送模块减小发送数据的速率，甚至还可以暂时停止发送模块发送数据，从而提高了数据处理的效率。

可选地，该策略调整模块140具体用于：

根据该处理状态信息，确定该发送模块发送该数据所需连接该处理模块的数目。

具体而言，策略调整模块接收到状态监控模块反馈的处理模块的处理状态信息，可以实时调整发送模块的发送策略。例如，若策略调整模块根据处理状态信息可以获知处理模块的处理能力很强，而数据量太小时，策略调整模块可以减小与处理模块的连接的节点数，即减少处理数据的处理模块。若策略调整模块根据处理状态信息获知处理模块的处理能力很弱，造成数据出现堆积时，策略调整模块可以增加与处理模块的连接的节点数，即增加处理数据的处理模块，从而提高了数据处理的效率。

可选地，该策略调整模块140具体用于：

根据该处理状态信息指示该处理模块的处理能力受限，确定该发送模块向该处理模块发送该数据中的部分数据。

具体而言，策略调整模块在获知处理模块的处理能力很弱，造成数据堆积时，策略调整模块还可以通过过滤数据来减轻处理模块的负担，即可以筛选出重要的数据进行处理，将相对不太重要的数据可以丢弃或者搁置。这里重要的数据可以是需要立即进行处理的数据，也可以是传输时间比较短的数据，或者是需要处理模块提供的资源比较少的数据等，本发明对此不进行限定。

因此，本发明实施例提供的数据处理系统，该数据处理系统中的状态监控模块能够将处理模块对当前数据的处理状态反馈给发送模块，策略调整模块能够根据当前数据的处理状态确定发送模块的发送策略，避免现有技术中发送模块无法感知处理模块的处理状态导致的数据的发送机制与处理模块 的处理能力不一致，从而提高了数据处理性能。

应理解，在本发明的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

上文中结合图2和图3，详细描述了根据本发明实施例的数据处理系统，下面将结合图4，详细描述根据本发明实施例的数据处理的方法。

图4示出了根据本发明实施例的数据处理系统100进行数据处理的方法300的示意性流程图。如图4所示，该方法300包括：

s310，该状态监控模块确定该处理模块的处理状态信息，该处理状态信息用于指示该处理模块处理数据的处理能力；

s320，该状态监控模块向该策略调整模块发送该处理状态信息；

s330，该策略调整模块根据该处理状态信息，确定该发送模块向该处理模块发送该数据的发送策略。

因此，本发明实施例提供的数据处理的方法，该方法应用于数据处理系统，该数据处理系统中的状态监控模块能够将处理模块对当前数据的处理状态反馈给发送模块，策略调整模块能够根据当前数据的处理状态确定发送模块的发送策略，避免现有技术中发送模块无法感知处理模块的处理状态导致的数据的发送机制与处理模块的处理能力不一致，从而提高了数据处理性能。

可选地，在本发明实施例中，该数据处理系统还包括状态跟踪模块；

该方法还包括：

该状态跟踪模块接收该处理模块处理的该数据的处理结果信息；

该状态跟踪模块向该策略调整模块发送该处理结果信息；

该策略调整模块根据该处理结果信息，确定该处理模块处理该数据失败；

该策略调整模块根据该处理模块处理该数据失败，确定该发送模块重新发送该数据。

在本发明实施例中，可选地，该策略调整模块根据该处理状态信息，确定该发送模块向该处理模块发送该数据的发送策略，包括：

该策略调整模块根据该处理状态信息，确定该发送模块向该处理模块发送该数据的发送速率。

可选地，在本发明实施例中，该策略调整模块根据该处理状态信息，确定该发送模块向该处理模块发送该数据的发送策略，包括：

该策略调整模块根据该处理状态信息，确定该发送模块向该处理模块发送该数据所需连接该处理模块的数目。

在本发明实施例中，可选地，该策略调整模块根据该处理状态信息，确定该发送模块向该处理模块发送该数据的发送策略，包括：

该策略调整模块根据该处理状态信息指示该处理模块的处理能力受限，确定该发送模块向该处理模块发送该数据中的部分数据。

因此，本发明实施例提供的数据处理的方法，该方法应用于数据处理系统，该数据处理系统中的状态监控模块能够将处理模块对当前数据的处理状态反馈给发送模块，策略调整模块能够根据当前数据的处理状态确定发送模块的发送策略，避免现有技术中发送模块无法感知处理模块的处理状态导致的数据的发送机制与处理模块的处理能力不一致，从而提高了数据处理性能。

图5示出了本发明的实施例提供的该数据处理系统的装置的结构，包括至少一个处理器502(例如cpu)，至少一个网络接口505或者其他通信接口，存储器506，和至少一个通信总线503，用于实现这些装置之间的连接通信。处理器502用于执行存储器506中存储的可执行指令，例如计算机程序。存储器506可能包含高速随机存取存储器(randomaccessmemory，ram)，也可能还包括非不稳定的存储器(non-volatilememory)，例如至少一个磁盘存储器。通过至少一个网络接口505(可以是有线或者无线)实现与至少一个其他网元之间的通信连接。

在一些实施方式中，存储器506存储了程序5061，处理器502执行程序5061，用于执行以下操作：

该状态监控模块确定该处理模块的处理状态信息，该处理状态信息用于指示该处理模块处理数据的处理能力；

该状态监控模块向该策略调整模块发送该处理状态信息；

该策略调整模块根据该处理状态信息，确定该发送模块向该处理模块发送该数据的发送策略。

可选地，处理器502还用于，

该状态跟踪模块接收该处理模块处理的该数据的处理结果信息；

该状态跟踪模块向该策略调整模块发送该处理结果信息；

该策略调整模块根据该处理结果信息，确定该处理模块处理该数据失败；

该策略调整模块根据该处理模块处理该数据失败，确定该发送模块重新发送该数据。

可选地，处理器502具体用于，

该策略调整模块根据该处理状态信息，确定该发送模块向该处理模块发送该数据的发送速率。

可选地，处理器502具体用于，

该策略调整模块根据该处理状态信息，确定该发送模块向该处理模块发送该数据所需连接该处理模块的数目。

可选地，处理器502具体用于，

该策略调整模块根据该处理状态信息指示该处理模块的处理能力受限，确定该发送模块向该处理模块发送该数据中的部分数据。

从本发明实施例提供的以上技术方案可以看出，数据处理系统中的状态监控模块能够将处理模块对当前数据的处理状态反馈给发送模块，策略调整模块能够根据当前数据的处理状态确定发送模块的发送策略，避免现有技术中发送模块无法感知处理模块的处理状态导致的数据的发送机制与处理模块的处理能力不一致，从而提高了数据处理性能。

应理解，在本发明的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

还应理解，本发明中的具体的例子只是为了帮助本领域技术人员更好地理解本发明实施例，而非限制本发明实施例的范围。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应 过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。