数据流处理方法、调度控制器、分布式数据流处理系统与流程

本发明涉及数据处理领域，尤其涉及一种数据流处理方法、调度控制器、分布式数据流处理系统。

背景技术：

1、在实际应用中，针对不同的数据处理业务场景，各类待处理数据的数据类型不尽相同，且进行数据处理的流程也存在区别；

2、现今往往以顺序编码的方式进行数据处理，以获得需要的数据，即，针对各业务场景所对应的数据处理逻辑进行过程式编码，此方案会导致重复编码，存在维护难，扩展难的缺陷。

3、针对上述问题：

4、公开号为cn113065029a的专利文件中公开一种将不同业务场景的内容源数据流处理流程进行单元化、组件化得到统一处理逻辑框架，利用统一处理逻辑框架处理不同业务场景的内容源数据流的数据流处理方案；但是统一处理逻辑框架为固定流程框架，该方案仅适用于数据源不同，但数据处理流程相同的场景；

5、公开号为cn111597058a的专利文件中公开一种由各个处理节点根据自身的拓扑参数自发组建拓扑架构，按照所述拓扑架构进行数据流处理的方案；该拓扑架构亦为固定的流程框架，故该方案亦仅适用于单一流程的数据流处理场景。

技术实现思路

1、本发明针对现有技术仅适用于单一数据处理流程的缺点，提供了一种数据流处理方法及系统、还提供了一种调度控制器。

2、为了解决上述技术问题，本发明通过下述技术方案得以解决：

3、第一方面，提供一种数据流处理方法，包括以下步骤：

4、获取调度消息；

5、基于所述调度消息确定目标处理项目，生成与所述目标处理项目一一对应的执行消息；

6、基于处理项目，将所述执行消息发送至对应的处理器，所述处理器与所述处理项目一一对应；

7、其中，所述调度消息包括流程凭证和流程定位信息，基于所述调度消息确定目标处理项目的具体步骤为：

8、基于所述流程凭证提取相应的流程配置图，所述流程配置图为有向无环图，用于指示对应数据流处理任务的处理流程，所述流程配置图的每个节点为一处理项目，节点间的关系为数据流处理的顺序；

9、基于所述流程定位信息于所述流程配置图中确定当前处理位置，将当前处理位置的下一级节点所对应的处理项目作为目标处理项目。

10、第二方面，提供一种调度控制器，包括：

11、获取模块，用于获取调度消息，所述调度消息包括流程凭证和流程定位信息；

12、分析处理模块，基于所述调度消息确定目标处理项目，生成与所述目标处理项目一一对应的执行消息；

13、发送模块，用于基于处理项目向相应的处理器发送所述执行消息，所述处理器与所述处理项目一一对应；

14、所述分析处理模块，包括：

15、提取单元，用于基于所述流程凭证提取相应的流程配置图，所述流程配置图为有向无环图，用于指示对应数据流处理任务的处理流程，所述流程配置图的每个节点为一处理项目，节点间的关系为数据流处理的顺序；

16、目标获取单元，用于基于所述流程定位信息于所述流程配置图中确定当前处理位置，将当前处理位置的下一级节点所对应的处理项目作为目标处理项目。

17、第三方面，提供一种分布式数据流处理系统，包括：

18、调度队列，用于存放调度消息，所述调度消息包括流程凭证和流程定位信息；

19、若干执行队列，所述执行队列与处理项目一一对应，用于存放与所述处理项目相对应的执行消息；

20、若干个处理器，所述处理器与处理项目一一对应，所述处理器用于处理相应的执行消息；

21、调度控制器，用于从所述调度队列中获取调度消息，基于所述调度消息确定目标处理项目，生成与所述目标处理项目一一对应的执行消息，并基于处理项目向对应的执行队列发送所述执行消息；

22、执行控制器，用于从各执行队列中获取执行消息，并对所述执行消息进行并发判断，并基于并发判断结果将所述执行消息分发至相应的处理器。

23、本发明公开的实施例提供的技术方案至少带来以下有益效果：

24、通过对流程配置图和流程定位信息的设计，无需中心化即可确定下一步数据流向，且处理器可复用于不同数据流程的数据流处理任务，在易维护、易扩展的前提下，适用于数据处理流程不统一的复杂业务场景。

技术特征：

1.一种数据流处理方法，其特征在于包括以下步骤：

2.根据权利要求1所述的一种数据流处理方法，其特征在于：

3.根据权利要求2所述的一种数据流处理方法，其特征在于：

4.根据权利要求1至3任一所述的一种数据流处理方法，其特征在于：

5.根据权利要求4所述的一种数据流处理方法，其特征在于，基于处理项目，将所述执行消息发送至对应的处理器前还包括并发判断步骤，具体步骤为；

6.根据权利要求5所述的一种数据流处理方法，其特征在于，基于所述执行消息中的并发控制参数进行并发判断的具体步骤为：

7.根据权利要求1至3任一所述的一种数据流处理方法，其特征在于：

8.一种调度控制器，其特征在于，包括：

9.根据权利要求8所述的一种调度控制器，其特征在于：

10.一种分布式数据流处理系统，其特征在于，包括：

技术总结
本发明公开一种数据流处理方法、调度控制器、分布式数据流处理系统，涉及数据处理领域，其中数据流处理方法包括基于调度消息确定目标处理项目的步骤，所述调度消息包括流程凭证和流程定位信息，具体步骤为：基于所述流程凭证提取相应的流程配置图，所述流程配置图为有向无环图，用于指示对应数据流处理任务的处理流程，所述流程配置图的每个节点为一处理项目，节点间的关系为数据流处理的顺序；基于所述流程定位信息于所述流程配置图中确定当前处理位置，将当前处理位置的下一级节点所对应的处理项目作为目标处理项目。本发明在易维护、易扩展的前提下，可适用于数据处理流程不统一的复杂业务场景。

技术研发人员：袁佳奇,冯大辉
受保护的技术使用者：无码科技（杭州）有限公司
技术研发日：
技术公布日：2024/5/12