一种基于分布式调度器的数据传输任务拆分方法及系统

【】本发明涉及计算机技术及软件领域，尤其一种基于分布式调度器的数据传输任务拆分方法及系统。

背景技术

0、
背景技术：

1、现有技术中，没有基于分布式调度器的数据传输任务拆分方案。采用整体数据传输的方案中，执行时间较长，而且会发生资源一直被占用而出现异常的情况，从而造成平台系统资源的利用率较低，数据传输任务的整体执行效率较低，不能完全满足应用场景的需要。

技术实现思路

0、
技术实现要素：

1、本发明提供了一种基于分布式调度器的数据传输任务拆分方法及系统，用以解决现有技术会造成平台系统资源的利用率较低，数据传输任务的整体执行效率较低的问题。

2、本发明实施例的一种基于分布式调度器的数据传输任务拆分方法，包括下列步骤：s1、获取当前的数据传输任务；s2、将所述当前数据传输任务拆分成多个子任务；s3、分布式调度器根据调度策略，将所述的多个子任务编排分发给至少2个数据传输节点进行传输；s4、所有数据传输节点完成传输后，聚合所述的各子任务并还原为所述当前数据传输任务。

3、其中，步骤s4中还包括：所有数据传输节点完成传输后，各所述数据传输节点分别向分布式调度器上报传输状态，由所述的分布式调度器展示当前数据传输任务的完成情况。

4、其中，步骤s2中所述的将当前数据传输任务拆分成多个子任务，具体包括：按数据处理过程进行拆分，或者按数据维度进行拆分，或者结合所述数据处理过程和数据维度进行拆分。

5、其中，步骤s3中所述的调度策略包括：按照时间表达式的周期调度策略、文件到达调度策略，或者自定义脚本调度策略。

6、其中，所述的调度策略支持作业运行优先级和作业间依赖设置。

7、其中，设置数据传输节点传输时长阈值，步骤s4中在所述阈值到达时，判定所有数据传输节点已完成传输；所述各数据传输节点分别向分布式调度器上报传输状态，包括该数据传输节点执行的子任务是否传输完成，以及完成度百分比；所述分布式调度器根据各数据传输节点上报的传输状态，以图形或表格方式展示各所述数据传输节点的传输完成情况以及所述当前数据传输任务的整体完成情况。

8、其中，步骤s4中所述的聚合各子任务并还原为当前数据传输任务，具体是根据拆分方式，反向将各子任务聚合并还原为所述当前数据传输任务。

9、本发明实施例的一种基于分布式调度器的数据传输任务拆分系统，包括：获取单元，用于获取当前的数据传输任务；拆分单元，用于将所述当前数据传输任务拆分成多个子任务；分布式调度器，用于根据调度策略，将所述的多个子任务编排分发给至少2个数据传输节点进行传输；数据传输节点，用于完成子任务的传输；聚合单元，用于在所有所述数据传输节点完成传输后，聚合所述各子任务并还原为所述当前数据传输任务。

10、其中，分布式调度器还用于接收各所述数据传输节点分别上报的传输状态，并展示当前数据传输任务的完成情况。

11、本发明的一种基于分布式调度器的数据传输任务拆分方法及系统，提高了平台系统资源的利用率，提高了数据传输任务的整体执行效率，可应用于数据接入汇聚平台和数据处理整编平台。

技术特征：

1.一种基于分布式调度器的数据传输任务拆分方法，其特征在于，包括下列步骤：

2.如权利要求1所述的基于分布式调度器的数据传输任务拆分方法，其特征在于，步骤s4中还包括：

3.如权利要求1所述的基于分布式调度器的数据传输任务拆分方法，其特征在于，步骤s2中所述的将当前数据传输任务拆分成多个子任务，具体包括：按数据处理过程进行拆分，或者按数据维度进行拆分，或者结合所述数据处理过程和数据维度进行拆分。

4.如权利要求1所述的基于分布式调度器的数据传输任务拆分方法，其特征在于，步骤s3中所述的调度策略包括：按照时间表达式的周期调度策略、文件到达调度策略，或者自定义脚本调度策略。

5.如权利要求4所述的基于分布式调度器的数据传输任务拆分方法，其特征在于，所述的调度策略支持作业运行优先级和作业间依赖设置。

6.如权利要求2所述的基于分布式调度器的数据传输任务拆分方法，其特征在于，设置数据传输节点传输时长阈值，步骤s4中在所述阈值到达时，判定所有数据传输节点已完成传输；所述各数据传输节点分别向分布式调度器上报传输状态，包括该数据传输节点执行的子任务是否传输完成，以及完成度百分比；所述分布式调度器根据各数据传输节点上报的传输状态，以图形或表格方式展示各所述数据传输节点的传输完成情况以及所述当前数据传输任务的整体完成情况。

7.如权利要求3所述的基于分布式调度器的数据传输任务拆分方法，其特征在于，步骤s4中所述的聚合各子任务并还原为当前数据传输任务，具体是根据拆分方式，反向将各子任务聚合并还原为所述当前数据传输任务。

8.一种基于分布式调度器的数据传输任务拆分系统，其特征在于，包括：

9.如权利要求8所述的基于分布式调度器的数据传输任务拆分系统，其特征在于，分布式调度器还用于接收各所述数据传输节点分别上报的传输状态，并展示当前数据传输任务的完成情况。

技术总结
本发明提供一种基于分布式调度器的数据传输任务拆分方法及系统，用以解决现有技术会造成平台系统资源的利用率较低，数据传输任务的整体执行效率较低的问题。方法包括：S1、获取当前的数据传输任务；S2、将当前数据传输任务拆分成多个子任务；S3、分布式调度器根据调度策略，将多个子任务编排分发给至少2个数据传输节点进行传输；S4、所有数据传输节点完成传输后，聚合各子任务并还原为当前数据传输任务。系统包括：获取单元、拆分单元、分布式调度器、至少2个数据传输节点和聚合单元。可提高了平台系统资源的利用率，提高了数据传输任务的整体执行效率，可应用于数据接入汇聚平台和数据处理整编平台。

技术研发人员：阮启明,杨晨光,刘爱志
受保护的技术使用者：中国人民解放军军事科学院战争研究院
技术研发日：
技术公布日：2024/1/14