任务调度方法、节点设备及远程服务器与流程

本发明涉及数据处理，具体而言，涉及一种任务调度方法、节点设备及远程服务器。

背景技术：

1、近年来，随着互联网的快速发展，数据呈爆炸性增长，数据中台的兴起，更使得公司意识到数据的重要性。而一个好的数据集成项目调度系统是不可或缺的。对于数据规模较大的公司，数据采集、同步、计算、展现、分析、备份，各环节都需要不同的技术栈进行处理，而每个技术栈的背后大多数都对应不同的服务器。

2、现有技术通常采用一套架构体系去解决数据集成项目的调度，但是对于不同场景，需要进行不同集群搭建，通过多种策略方式进行融合使用，很难集成所有涉及到的服务器，集成过程复杂。

技术实现思路

1、本发明的目的在于，针对上述现有技术中的不足，提供一种任务调度方法、节点设备及远程服务器，以便通过调度系统中的主节点、工作节点实现对远程服务器的调度。

2、为实现上述目的，本申请实施例采用的技术方案如下：

3、第一方面，本申请实施例提供了一种任务调度方法，应用于调度系统中的工作节点，所述方法包括：

4、接收主节点下发的待执行任务；

5、向所述待执行任务对应的目标远程服务器发送所述待执行任务的脚本，以使得所述目标远程服务器执行所述待执行任务的脚本；

6、接收所述目标远程服务器根据第一预设间隔周期发送的所述待执行任务的执行信息，所述执行信息包括：执行状态信息。

7、在可选的实施方式中，所述向所述待执行任务对应的目标远程服务器发送所述待执行任务的脚本之后，所述方法还包括：

8、接收所述目标远程服务器根据所述第一预设间隔周期发送的所述待执行任务的分发状态信息。

9、在可选的实施方式中，所述方法还包括：

10、接收所述目标远程服务器发送的所述待执行任务的结束状态信息。

11、在可选的实施方式中，所述方法还包括：

12、若所述结束状态信息指示所述待执行任务执行失败，则根据第二预设间隔，重新向所述目标远程服务器发送所述待执行任务的脚本，以使得所述目标远程服务器重新执行所述待执行任务的脚本；

13、接收所述目标远程服务器根据所述第一预设间隔周期发送的所述待执行任务的重新执行状态信息。

14、在可选的实施方式中，所述方法还包括：

15、若所述待执行任务的重新执行次数达到预设次数阈值，则确定所述待执行任务执行失败。

16、第二方面，本申请实施例还提供了一种任务调度方法，应用于调度系统中的主节点，所述方法包括：

17、根据预设工作域中的多个工作节点的负载情况，确定所述多个工作节点的任务分配比例；

18、根据所述任务分配比例，将多个任务分发至所述多个工作节点，以使得每个工作节点接收所述主节点下发的待执行任务，向所述待执行任务对应的目标远程服务器发送所述待执行任务的脚本，使得所述目标远程服务器执行所述待执行任务的脚本，并接收所述目标远程服务器发送的所述待执行任务的执行信息，所述执行信息包括：执行状态信息。

19、第三方面，本申请实施例还提供了一种任务调度方法，应用于目标远程服务器，所述方法包括：

20、接收工作节点发送的待执行任务的脚本；

21、执行所述待执行任务的脚本；

22、根据第一预设间隔周期性向所述工作节点发送的所述待执行任务的执行信息，所述执行信息包括：执行状态信息。

23、在可选的实施方式中，所述执行所述待执行任务的脚本之前，所述方法还包括：

24、根据所述第一预设间隔周期性向所述工作节点发送的所述待执行任务的分发状态信息。

25、第四方面，本申请实施例还提供了一种节点设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的程序指令，当节点设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述程序指令，以执行如第一方面和第二方面任一所述的任务调度方法的步骤。

26、第五方面，本申请实施例还提供了一种远程服务器，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的程序指令，当远程服务器运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述程序指令，以执行如第三方面中所述的任务调度方法的步骤。

27、本申请的有益效果是：

28、本申请实施例提供一种任务调度方法、节点设备及远程服务器，任务调度方法应用于调度系统中的工作节点，包括：接收主节点下发的待执行任务，并向待执行任务对应的目标远程服务器发送待执行任务的脚本，以使得目标远程服务器执行待执行任务的脚本，接收目标远程服务器根据第一预设间隔周期发送的待执行任务的执行信息。在本申请的方法中，调度系统中的工作节点可根据接收到的第一预设间隔周期的待执行任务的执行信息，确定当前时刻待执行任务在目标远程服务器的执行情况，并进一步确定工作节点与目标远程服务器的交互情况，从而实现工作节点对远程服务器的调度。

技术特征：

1.一种任务调度方法，其特征在于，应用于调度系统中的工作节点，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述向所述待执行任务对应的目标远程服务器发送所述待执行任务的脚本之后，所述方法还包括：

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

6.一种任务调度方法，其特征在于，应用于调度系统中的主节点，所述方法包括：

7.一种任务调度方法，其特征在于，应用于目标远程服务器，所述方法包括：

8.根据权利要求7所述的方法，其特征在于，所述执行所述待执行任务的脚本之前，所述方法还包括：

9.一种节点设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的程序指令，当节点设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述程序指令，以执行如权利要求1至6任一所述的任务调度方法的步骤。

10.一种远程服务器，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的程序指令，当远程服务器运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述程序指令，以执行如权利要求7或8中所述的任务调度方法的步骤。

技术总结
本申请提供一种任务调度方法、节点设备及远程服务器，涉及数据处理技术领域。任务调度方法包括：接收主节点下发的待执行任务，并向待执行任务对应的目标远程服务器发送待执行任务的脚本，以使得目标远程服务器执行待执行任务的脚本，接收目标远程服务器根据第一预设间隔周期发送的待执行任务的执行信息。在本申请的方法中，调度系统中的工作节点可根据接收到的第一预设间隔周期的待执行任务的执行信息，确定当前时刻待执行任务在目标远程服务器的执行情况，并进一步确定工作节点与目标远程服务器的交互情况，从而实现工作节点对远程服务器的调度。

技术研发人员：李鸣,肖云,曾泽基,刘旺
受保护的技术使用者：未来电视有限公司
技术研发日：
技术公布日：2024/1/13