数据处理方法、装置及系统与流程

本技术涉及计算机，特别涉及一种数据处理方法、装置及系统。

背景技术：

1、数据处理系统通常包括：多个代理(agent)节点和处理节点。其中，代理节点用于根据预先配置的采集任务的信息采集数据，并将采集到的数据传输至处理节点。处理节点用于根据预先配置的处理任务的信息对代理节点发送的数据进行处理。

2、示例地，代理节点连接数据源，代理节点可以根据预先配置的采集任务的信息采集连接的数据源上的数据。代理节点还与消息队列节点连接，代理节点可以将采集到的数据传输至消息队列节点，以使该数据被消息队列节点存入消息队列。之后处理节点从该消息队列中读取该数据，并根据预先配置的处理任务的信息对代理节点发送的数据进行处理。

3、但是，目前处理节点需要对多个代理节点采集的数据进行处理，使得处理节点需要处理的数据较多，导致处理节点的负载较高。

技术实现思路

1、本技术提供了一种数据处理方法、装置及系统，可以解决处理节点的负载较高的问题，所述技术方案如下：

2、第一方面，提供了一种用于数据处理系统的数据处理方法，所述数据处理系统包括管理节点、第一代理节点和处理节点，所述方法包括：管理节点在获取第一数据的第一采集任务的信息以及第一处理任务的信息后，向第一代理节点发送第一采集任务的信息，以及第一处理任务中用于处理第一数据的第一子任务的信息；管理节点还向处理节点发送第一处理任务中的第二子任务的信息，第一子任务和第二子任务为依次执行的任务；示例地，所述第一子任务包括：数据过滤任务、数据抽取任务、数据补齐任务、数据脱敏任务和第一数据聚合任务中的至少一种任务；所述第二子任务包括：第二数据聚合任务。

3、第一代理节点在接收到第一采集任务的信息后，可以根据第一采集任务的信息采集第一数据；第一代理节点在接收到第一子任务的信息后，可以根据第一子任务的信息对第一数据进行处理，以及，向处理节点发送处理得到的数据；处理节点在接收到第二子任务的信息后，可以根据第二子任务的信息对第一代理节点发送的数据进行处理。

4、本技术提供的数据处理方法中，管理节点可以将需要执行的第一处理任务中的第一子任务分配给第一代理节点，以及将第一处理任务中的第二子任务分配给处理节点，以使第一代理节点和处理节点均执行一定的数据处理。这样一来，第一代理节点便可以分担一些处理节点需要执行的处理，从而降低处理节点的负载，保证处理节点的处理性能。并且，通过管理节点对第一处理任务的划分，便可以使第一代理节点执行一定的数据处理，而无需修改第一代理节点的配置。在数据处理系统包括多个第一代理节点时，无需修改多个第一代理节点的配置，即可实现多个第一代理节点分别执行一定的数据处理。另外，在第一代理节点处理第一数据所得到的数据比第一数据的数据量小时，还能够降低第一代理节点和处理节点之间的网络负载。

5、可选地，所述数据处理系统包括：一个或多个第一代理节点。在数据处理系统包括多个第一代理节点时，多个第一代理节点均能分担处理节点的负载，因此进一步降低了处理节点的负载。并且，由于第一代理节点的数量较多，因此，能够提升数据处理系统处理数据的效率。

6、可选地，所述第一采集任务的信息携带有：目标标签，所述第一代理节点向所述处理节点发送的数据携带有所述目标标签，所述第二子任务的信息也携带有所述目标标签；在所述处理节点根据所述第二子任务的信息对所述第一代理节点发送的数据进行处理之前，所述处理节点根据所述第一代理节点发送的数据携带的所述目标标签，确定携带有所述目标标签的所述第二子任务的信息。这样一来，便通过该目标标签将第一处理任务中的第一子任务和第二子任务关联起来，使得第一代理节点和处理节点共同完成第一处理任务。在数据处理系统包括多个代理节点时，处理节点会接收到多个代理节点发送的数据，通过上述目标标签，处理节点可以找到处理每个数据所需要依据的任务的信息。可以理解的是，第一采集任务的信息和第一代理节点向处理节点发送的数据也可以不携带该目标标签，本技术对此不作限定。

7、管理节点向第一代理节点发送第一采集任务的信息和第一子任务的信息的方式多种多样。在一种可选地实现方式中，所述第一采集任务的信息携带有所述第一代理节点的类型标识；所述数据处理系统还包括中转节点；所述管理节点在向所述第一代理节点发送所述第一采集任务的信息，以及所述第一处理任务中用于处理所述第一数据的第一子任务的信息时，可以向所述中转节点发送所述第一采集任务的信息和所述第一子任务的信息；所述中转节点可以根据各个代理节点的地址和类型标识的对应关系，确定所述第一代理节点的类型标识对应的所述第一代理节点的地址；所述中转节点还可以根据所述第一代理节点的地址，向所述第一代理节点发送所述第一采集任务的信息和所述第一子任务的信息。

8、在另一种可选地实现方式中，数据处理系统也可以不包括中转节点，此时管理节点可以不通过中转节点向第一代理节点发送第一采集任务的信息以及第一子任务的信息。

9、第一代理节点向处理节点发送处理得到的数据的方式多种多样。示例地，所述数据处理系统还包括消息队列节点；第一代理节点在向处理节点发送处理得到的数据时，可以向消息队列节点发送处理得到的数据；之后，所述消息队列节点将所述第一代理节点发送的数据加入消息队列；所述处理节点从所述消息队列中读取所述第一代理节点发送的数据。可以理解的是，数据处理系统也可以不包括消息队列节点，第一代理节点也可以不通过消息队列节点向处理节点发送数据，比如第一代理节点可以直接向处理节点发送数据，本技术对此不作限定。

10、可选地，所述第一子任务的信息携带有第一告警条件，所述第一代理节点在根据所述第一子任务的信息处理得到的数据满足所述第一告警条件时，进行第一告警。可见，第一代理节点不仅可以处理数据，还可以在处理得到的数据满足第一告警条件时进行第一告警。工作人员可以根据该第一告警，精准定位出现问题的数据为第一代理节点处理的第一数据，从而能够对该第一数据相关的节点进行修理。

11、可选地，所述第二子任务的信息也可以携带有第二告警条件，处理节点在根据所述第二子任务的信息处理得到的数据满足所述第二告警条件时，进行第二告警。工作人员可以根据该第二告警，分析出现问题的第一数据，进而对该第一数据相关的节点进行修理。

12、可选地，数据处理系统除了包括上述第一代理节点之外，还可以包括一个或多个第二代理节点。所述方法还包括：所述管理节点获取第二数据的第二采集任务的信息，以及第二处理任务的信息，所述第二处理任务用于处理的数据包括所述第二数据；第二处理任务可以是任意的数据处理任务，比如，第二处理任务可以包括：调用链错误采样任务(错误的调用链的采样任务)；所述管理节点向所述第二代理节点发送所述第二采集任务的信息；管理节点向所述处理节点发送所述第二处理任务的信息；所述第二代理节点根据所述第二采集任务的信息采集所述第二数据，以及，向所述处理节点发送所述第二数据；所述处理节点根据所述第二处理任务的信息对所述第二代理节点发送的所述第二数据进行处理。可见，第二代理节点用于采集第二数据，但并不用于处理第二数据，第二数据的处理任务由处理节点完成。

13、第二方面，提供了一种数据处理系统，所述数据处理系统包括：管理节点、第一代理节点和处理节点。

14、所述管理节点用于：获取第一数据的第一采集任务的信息，以及第一处理任务的信息，所述第一处理任务用于处理的数据包括所述第一数据；向所述第一代理节点发送所述第一采集任务的信息，以及所述第一处理任务中用于处理所述第一数据的第一子任务的信息；以及向处理节点发送所述第一处理任务中的第二子任务的信息，所述第一子任务和所述第二子任务为依次执行的任务；示例地，所述第一子任务包括：数据过滤任务、数据抽取任务、数据补齐任务、数据脱敏任务和第一数据聚合任务中的至少一种任务；所述第二子任务包括：第二数据聚合任务。

15、所述第一代理节点用于根据所述第一采集任务的信息采集所述第一数据，根据所述第一子任务的信息对所述第一数据进行处理，以及，向所述处理节点发送处理得到的数据；所述处理节点用于根据所述第二子任务的信息对所述第一代理节点发送的数据进行处理。

16、可选地，所述数据处理系统包括：一个或多个第一代理节点。

17、可选地，所述第一采集任务的信息携带有：目标标签，所述第一代理节点向所述处理节点发送的数据携带有所述目标标签，所述第二子任务的信息也携带有所述目标标签；所述处理节点还用于根据所述第一代理节点发送的数据携带的所述目标标签，确定携带有所述目标标签的所述第二子任务的信息。

18、管理节点向第一代理节点发送第一采集任务的信息和第一子任务的信息的方式多种多样。在一种可选地实现方式中，所述第一采集任务的信息携带有所述第一代理节点的类型标识；所述数据处理系统还包括：中转节点；所述管理节点用于向所述中转节点发送所述第一采集任务的信息和所述第一子任务的信息；所述中转节点用于根据各个代理节点的地址和类型标识的对应关系，确定所述第一代理节点的类型标识对应的所述第一代理节点的地址；所述中转节点还用于根据所述第一代理节点的地址，向所述第一代理节点发送所述第一采集任务的信息和所述第一子任务的信息。

19、在另一种可选地实现方式中，数据处理系统也可以不包括中转节点，此时管理节点可以用于不通过中转节点向第一代理节点发送第一采集任务的信息以及第一子任务的信息。

20、第一代理节点向处理节点发送处理得到的数据的方式多种多样。示例地，所述数据处理系统还包括：消息队列节点；所述第一代理节点用于向消息队列节点发送处理得到的数据；所述消息队列节点用于将所述第一代理节点发送的数据加入消息队列；所述处理节点用于从所述消息队列中读取所述第一代理节点发送的数据。

21、可选地，所述第一子任务的信息携带有第一告警条件；所述第一代理节点还用于在根据所述第一子任务的信息处理得到的数据满足所述第一告警条件时，进行第一告警。

22、可选地，所述第二子任务的信息携带有第二告警条件；所述处理节点还用于在根据所述第二子任务的信息处理得到的数据满足所述第二告警条件时，进行第二告警。

23、可选地，数据处理系统除了包括上述第一代理节点之外，还可以包括一个或多个第二代理节点。所述管理节点还用于获取第二数据的第二采集任务的信息，以及第二处理任务的信息，所述第二处理任务用于处理的数据包括所述第二数据；第二处理任务可以是任意的数据处理任务，比如，第二处理任务可以包括：调用链错误采样任务(错误的调用链的采样任务)；所述管理节点还用于向所述第二代理节点发送所述第二采集任务的信息，管理节点还用于向所述处理节点发送所述第二处理任务的信息；所述第二代理节点用于根据所述第二采集任务的信息采集所述第二数据，以及，向所述处理节点发送所述第二数据；所述处理节点还用于根据所述第二处理任务的信息对所述第二代理节点发送的所述第二数据进行处理。

24、第三方面，提供了一种数据处理方法，所述方法由数据处理系统中的管理节点执行，所述数据处理系统还包括：第一代理节点和处理节点，所述方法包括：管理节点获取第一数据的第一采集任务的信息，以及第一处理任务的信息，所述第一处理任务用于处理的数据包括所述第一数据；之后，管理节点向所述第一代理节点发送所述第一采集任务的信息，以及所述第一处理任务中用于处理所述第一数据的第一子任务的信息；以及管理节点向所述处理节点发送所述第一处理任务中的第二子任务的信息，所述第一子任务和所述第二子任务为依次执行的任务。示例地，所述第一子任务包括：数据过滤任务、数据抽取任务、数据补齐任务、数据脱敏任务和第一数据聚合任务中的至少一种任务；所述第二子任务包括：第二数据聚合任务。

25、可选地，所述数据处理系统包括：一个或多个第一代理节点。

26、可选地，所述第一采集任务的信息携带有：目标标签，所述第二子任务的信息也携带有所述目标标签。

27、管理节点向第一代理节点发送第一采集任务的信息和第一子任务的信息的方式多种多样。在一种可选地实现方式中，所述第一采集任务的信息携带有所述第一代理节点的类型标识；管理节点在向所述第一代理节点发送所述第一采集任务的信息，以及所述第一处理任务中用于处理所述第一数据的第一子任务的信息时，可以向中转节点发送所述第一采集任务的信息和所述第一子任务的信息；所述中转节点用于：根据各个代理节点的地址和类型标识的对应关系，确定所述第一代理节点的类型标识对应的所述第一代理节点的地址；以及，根据所述第一代理节点的地址，向所述第一代理节点发送所述第一采集任务的信息和所述第一子任务的信息。

28、可选地，所述第一子任务的信息携带有第一告警条件。

29、可选地，所述第二子任务的信息携带有第二告警条件。

30、可选地，数据处理系统除了包括上述第一代理节点之外，还可以包括一个或多个第二代理节点。所述方法还包括：管理节点获取第二数据的第二采集任务的信息，以及第二处理任务的信息，所述第二处理任务用于处理的数据包括所述第二数据；第二处理任务可以是任意的数据处理任务，比如，第二处理任务可以包括：调用链错误采样任务(错误的调用链的采样任务)；之后，管理节点向所述第二代理节点发送所述第二采集任务的信息，以及向所述处理节点发送所述第二处理任务的信息。

31、第四方面，提供了一种数据处理装置，所述数据处理装置属于数据处理系统中的管理节点，所述数据处理系统还包括：第一代理节点和处理节点，所述数据处理装置包括：第一获取模块、第一发送模块和第二发送模块。其中，第一获取模块，用于获取第一数据的第一采集任务的信息，以及第一处理任务的信息，所述第一处理任务用于处理的数据包括所述第一数据；第一发送模块，用于向所述第一代理节点发送所述第一采集任务的信息，以及所述第一处理任务中用于处理所述第一数据的第一子任务的信息；第二发送模块，用于向所述处理节点发送所述第一处理任务中的第二子任务的信息，所述第一子任务和所述第二子任务为依次执行的任务。示例地，所述第一子任务包括：数据过滤任务、数据抽取任务、数据补齐任务、数据脱敏任务和第一数据聚合任务中的至少一种任务；所述第二子任务包括：第二数据聚合任务。

32、可选地，所述数据处理系统包括：一个或多个第一代理节点。

33、可选地，所述第一采集任务的信息携带有：目标标签，所述第二子任务的信息也携带有所述目标标签。

34、管理节点向第一代理节点发送第一采集任务的信息和第一子任务的信息的方式多种多样。在一种可选地实现方式中，所述数据处理系统还包括中转节点，所述第一采集任务的信息携带有所述第一代理节点的类型标识；所述第一发送模块用于：向所述中转节点发送所述第一采集任务的信息和所述第一子任务的信息；所述中转节点用于：根据各个代理节点的地址和类型标识的对应关系，确定所述第一代理节点的类型标识对应的所述第一代理节点的地址；以及，根据所述第一代理节点的地址，向所述第一代理节点发送所述第一采集任务的信息和所述第一子任务的信息。

35、可选地，所述第一子任务的信息携带有第一告警条件。

36、可选地，所述第二子任务的信息携带有第二告警条件。

37、可选地，数据处理系统除了包括上述第一代理节点之外，还可以包括一个或多个第二代理节点。所述数据处理装置还包括：第二获取模块和第三发送模块。其中，第二获取模块，用于获取第二数据的第二采集任务的信息，以及第二处理任务的信息，所述第二处理任务用于处理的数据包括所述第二数据；第二处理任务可以是任意的数据处理任务，比如，第二处理任务可以包括：调用链错误采样任务(错误的调用链的采样任务)；第三发送模块，用于向所述第二代理节点发送所述第二采集任务的信息，以及向所述处理节点发送所述第二处理任务的信息。

38、第五方面，提供了一种数据处理方法，所述方法由数据处理系统中的第一代理节点执行，所述数据处理系统还包括管理节点和处理节点，所述方法包括：第一代理节点接收所述管理节点发送的第一数据的第一采集任务的信息，以及第一处理任务中用于处理所述第一数据的第一子任务的信息；所述第一处理任务还包括第二子任务，所述第一子任务和所述第二子任务为依次执行的任务；示例地，所述第一子任务包括：数据过滤任务、数据抽取任务、数据补齐任务、数据脱敏任务和第一数据聚合任务中的至少一种任务；所述第二子任务包括：第二数据聚合任务。之后，第一代理节点根据所述第一采集任务的信息采集所述第一数据；以及根据所述第一子任务的信息对所述第一数据进行处理，并向所述处理节点发送处理得到的数据。

39、可选地，所述数据处理系统包括：一个或多个所述第一代理节点。

40、可选地，所述第一采集任务的信息携带有：目标标签，所述第一代理节点向所述处理节点发送的数据携带有所述目标标签。

41、管理节点向第一代理节点发送第一采集任务的信息和第一子任务的信息的方式多种多样。在一种可选地实现方式中，所述第一采集任务的信息携带有所述第一代理节点的类型标识；所述数据处理系统还包括中转节点；第一代理节点在接收所述管理节点发送的第一数据的第一采集任务的信息，以及第一处理任务中用于处理所述第一数据的第一子任务的信息时，可以接收所述中转节点根据所述第一代理节点的地址，向所述第一代理节点发送所述第一采集任务的信息和所述第一子任务的信息；所述管理节点用于向所述中转节点发送所述第一采集任务的信息和所述第一子任务的信息；所述中转节点用于根据各个代理节点的地址和类型标识的对应关系，确定所述第一代理节点的类型标识对应的所述第一代理节点的地址。

42、第一代理节点向处理节点发送处理得到的数据的方式多种多样。示例地，所述数据处理系统还包括消息队列节点；第一代理节点在向所述处理节点发送处理得到的数据时，可以向所述消息队列节点发送处理得到的数据；所述消息队列节点用于将所述第一代理节点发送的数据加入消息队列；所述处理节点用于从所述消息队列中读取所述第一代理节点发送的数据。

43、可选地，所述第一子任务的信息携带有第一告警条件，所述第一代理节点在根据所述第一子任务的信息处理得到的数据满足所述第一告警条件时，进行第一告警。

44、第六方面，提供了一种数据处理装置，所述数据处理装置属于数据处理系统中的第一代理节点，所述数据处理系统还包括管理节点和处理节点，所述数据处理装置包括：接收模块、采集模块、处理模块和发送模块。

45、接收模块用于接收所述管理节点发送的第一数据的第一采集任务的信息，以及第一处理任务中用于处理所述第一数据的第一子任务的信息，所述第一处理任务用于处理的数据包括所述第一数据，所述第一处理任务还包括第二子任务，所述第一子任务和所述第二子任务为依次执行的任务；示例地，所述第一子任务包括：数据过滤任务、数据抽取任务、数据补齐任务、数据脱敏任务和第一数据聚合任务中的至少一种任务；所述第二子任务包括：第二数据聚合任务。

46、采集模块，用于根据所述第一采集任务的信息采集所述第一数据；处理模块，用于根据所述第一子任务的信息对所述第一数据进行处理；发送模块，用于向所述处理节点发送处理得到的数据。

47、可选地，所述数据处理系统包括：一个或多个所述第一代理节点。

48、可选地，所述第一采集任务的信息携带有：目标标签，所述第一代理节点向所述处理节点发送的数据携带有所述目标标签。

49、管理节点向第一代理节点发送第一采集任务的信息和第一子任务的信息的方式多种多样。在一种可选地实现方式中，所述第一采集任务的信息携带有所述第一代理节点的类型标识；所述数据处理系统还包括中转节点；所述接收模块用于：接收所述中转节点根据所述第一代理节点的地址，向所述第一代理节点发送所述第一采集任务的信息和所述第一子任务的信息；所述管理节点用于向所述中转节点发送所述第一采集任务的信息和所述第一子任务的信息；所述中转节点用于根据各个代理节点的地址和类型标识的对应关系，确定所述第一代理节点的类型标识对应的所述第一代理节点的地址。

50、第一代理节点向处理节点发送处理得到的数据的方式多种多样。示例地，所述数据处理系统还包括消息队列节点；所述发送模块用于：向所述消息队列节点发送处理得到的数据；所述消息队列节点用于将所述第一代理节点发送的数据加入消息队列；所述处理节点用于从所述消息队列中读取所述第一代理节点发送的数据。

51、可选地，所述第一子任务的信息携带有第一告警条件，所述数据处理装置还包括：告警模块，用于在所述处理模块根据所述第一子任务的信息处理得到的数据满足所述第一告警条件时，进行第一告警。

52、第七方面，提供了一种数据中转方法，该方法由数据处理系统中的中转节点执行，所述数据处理系统还包括：管理节点、第一代理节点和处理节点，所述方法包括：中转节点接收所述管理节点发送的第一数据的第一采集任务的信息，以及第一处理任务中用于处理所述第一数据的第一子任务的信息；所述第一采集任务的信息携带有所述第一代理节点的类型标识；所述第一处理任务还包括第二子任务，所述第一子任务和所述第二子任务为依次执行的任务；比如，所述第一子任务包括：数据过滤任务、数据抽取任务、数据补齐任务、数据脱敏任务和第一数据聚合任务中的至少一种任务；所述第二子任务包括：第二数据聚合任务。之后，中转节点根据各个代理节点的地址和类型标识的对应关系，确定所述第一代理节点的类型标识对应的所述第一代理节点的地址；以及，根据所述第一代理节点的地址，向所述第一代理节点发送所述第一采集任务的信息和所述第一子任务的信息。

53、可选地，所述数据处理系统包括：一个或多个所述第一代理节点。

54、可选地，所述第一采集任务的信息携带有：目标标签。

55、可选地，所述第一子任务的信息携带有第一告警条件。

56、第八方面，提供了一种数据中转装置，所述数据中转装置属于数据处理系统中的中转节点，所述数据处理系统还包括：管理节点、第一代理节点和处理节点，所述数据中转装置包括：接收模块、确定模块和发送模块。

57、接收模块用于接收所述管理节点发送的第一数据的第一采集任务的信息，以及第一处理任务中用于处理所述第一数据的第一子任务的信息；所述第一采集任务的信息携带有所述第一代理节点的类型标识；所述第一处理任务还包括第二子任务，所述第一子任务和所述第二子任务为依次执行的任务；比如，所述第一子任务包括：数据过滤任务、数据抽取任务、数据补齐任务、数据脱敏任务和第一数据聚合任务中的至少一种任务；所述第二子任务包括：第二数据聚合任务。确定模块，用于根据各个代理节点的地址和类型标识的对应关系，确定所述第一代理节点的类型标识对应的所述第一代理节点的地址；发送模块，用于根据所述第一代理节点的地址，向所述第一代理节点发送所述第一采集任务的信息和所述第一子任务的信息。

58、可选地，所述数据处理系统包括：一个或多个所述第一代理节点。

59、可选地，所述第一采集任务的信息携带有：目标标签。

60、可选地，所述第一子任务的信息携带有第一告警条件。

61、第九方面，提供了一种计算设备集群，包括至少一个计算设备，每个计算设备包括处理器和存储器；所述至少一个计算设备的处理器用于执行所述至少一个计算设备的存储器中存储的指令，以使得所述计算设备集群执行如第一方面中任一设计所述的方法。

62、第十方面，提供了一种计算设备集群，包括至少一个计算设备，每个计算设备包括处理器和存储器；所述至少一个计算设备的处理器用于执行所述至少一个计算设备的存储器中存储的指令，以使得所述计算设备集群执行如第三方面、第五方面或第七方面中任一设计所述的方法。

63、第十一方面，提供了一种计算机可读存储介质，包括计算机程序指令，当所述计算机程序指令由计算设备集群执行时，所述计算设备集群执行如第一方面中任一设计所述的方法。

64、第十二方面，提供了一种计算机可读存储介质，包括计算机程序指令，当所述计算机程序指令由计算设备集群执行时，所述计算设备集群执行如第三方面、第五方面或第七方面中任一设计所述的方法。

65、第十三方面，提供了一种包含指令的计算机程序产品，当所述指令被计算设备集群运行时，使得所述计算设备集群执行如第一方面中任一设计所述的方法。

66、第十四方面，提供了一种包含指令的计算机程序产品，当所述指令被计算设备集群运行时，使得所述计算设备集群执行如第三方面、第五方面或第七方面中任一设计所述的方法。

67、上述第二方面至第十四方面的效果可以参考第一方面中相应方案的效果，本技术实施例在此不做赘述。