任务调度方法、装置、电子设备及可读存储介质与流程

本申请实施例涉及通信，尤其涉及一种任务调度方法、装置、电子设备及可读存储介质。

背景技术：

1、mapreduce任务调度直接影响mapreduce计算作业的执行时间，因此，如何对任务进行调度，对于计算速度的整体提升至关重要。

2、在现有技术中，申请任务的任务节点(tasktracker或task tracker)，首先执行“本节点数据切片”，当不存在“本节点数据切片”时，优先执行“本机架数据切片”，当“本机架数据切片”仍然不存在时，随机执行“非本机架数据切片”，即现有技术采用局部最优策略调度方式实现任务的调度，未考虑当前任务执行对于mapreduce系统全局的影响，容易造成全局的执行效率较低。

技术实现思路

1、本申请实施例提供一种任务调度方法、装置、电子设备及可读存储介质，以解决因现有技术未考虑各任务节点的任务调度对mapreduce系统全局的影响，造成全局的执行效率较低的问题。

2、为解决上述问题，本申请是这样实现的：

3、第一方面，本申请实施例提供了一种任务调度方法，应用于mapreduce系统，所述mapreduce系统包括n个任务节点，n为大于1的整数；包括：

4、获取与第一数据切片组合对应的第一关系拓扑图，其中，所述第一关系拓扑图为所述第一数据切片组合包括的m个目标数据切片与所述n个任务节点之间的关系拓扑图，在所述第一关系拓扑图中，所述n个任务节点分别与所述m个目标数据切片连接；第i个任务节点与第j个目标数据切片之间的连接线关联有：所述第i个任务节点针对所述第j个目标数据切片的至少一个调度成本贡献值，m为大于1的整数，i为小于或等于n的正整数，j为小于或等于m的正整数；

5、根据所述第一关系拓扑图，确定与p个数据切片调度序列一一对应的p个第一数据切片调度方式，其中，所述p个数据切片调度序列均包括所述m个目标数据切片，在不同数据切片调度序列中，所述m个目标数据切片的调度顺序不同，p为正整数；所述第一数据切片调度方式为数据切片调度序列对应的至少两个调度方式中，调度成本最低的数据切片调度方式，所述调度成本基于所述至少一个调度成本贡献值确定；

6、根据所述p个第一数据切片调度方式中的第一目标数据切片调度方式，执行所述m个目标数据切片的调度。

7、第二方面，本申请实施例还提供一种任务调度装置，应用于mapreduce系统，所述mapreduce系统包括n个任务节点，n为大于1的整数；包括：

8、第一获取模块，用于获取与第一数据切片组合对应的第一关系拓扑图，其中，所述第一关系拓扑图为所述第一数据切片组合包括的m个目标数据切片与所述n个任务节点之间的关系拓扑图，在所述第一关系拓扑图中，所述n个任务节点分别与所述m个目标数据切片连接；第i个任务节点与第j个目标数据切片之间的连接线关联有：所述第i个任务节点针对所述第j个目标数据切片的至少一个调度成本贡献值，m为大于1的整数，i为小于或等于n的正整数，j为小于或等于m的正整数；

9、第一确定模块，用于根据所述第一关系拓扑图，确定与p个数据切片调度序列一一对应的p个第一数据切片调度方式，其中，所述p个数据切片调度序列均包括所述m个目标数据切片，在不同数据切片调度序列中，所述m个目标数据切片的调度顺序不同，p为正整数；所述第一数据切片调度方式为数据切片调度序列对应的至少两个调度方式中，调度成本最低的数据切片调度方式，所述调度成本基于所述至少一个调度成本贡献值确定；

10、执行模块，用于根据所述p个第一数据切片调度方式中的第一目标数据切片调度方式，执行所述m个目标数据切片的调度。

11、第三方面，本申请实施例还提供一种电子设备，包括：收发机、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序；所述处理器，用于读取存储器中的程序实现如前述第一方面所述方法中的步骤；或，如前述第二方面所述方法中的步骤。

12、第四方面，本申请实施例还提供一种可读存储介质，用于存储程序，所述程序被处理器执行时实现如前述第一方面所述方法中的步骤，或，实现如前述第二方面所述方法中的步骤。

13、在本申请实施例中，通过构建数据切片与任务节点之间的关系拓扑图，所述关系拓扑图包括各任务节点分别针对每个数据切片的调度成本贡献值。根据所述关系拓扑图，确定各数据切片调度序列分别对应的调度成本最低的调度方式，得到p个第一数据切片调度方式，之后，从所述p个第一数据切片调度方式中选择一个调度方式，即第一目标最优调度方式，执行数据切片的调度。可见，本申请实施例考虑了任务调度的全局影响，并选取了某个数据切片调度序列对应的调度成本最低的调度方式，执行数据切片的调度，从而可以提高全局执行效率。

技术特征：

1.一种任务调度方法，其特征在于，应用于mapreduce系统，所述mapreduce系统包括n个任务节点，n为大于1的整数；所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

3.根据权利要求1所述的方法，其特征在于，所述根据所述第一关系拓扑图，确定与p个数据切片调度序列一一对应的p个第一数据切片调度方式，包括：

4.根据权利要求3所述的方法，其特征在于，所述按照第一数据切片调度序列中所述m个目标数据切片从先到后的调度顺序，根据所述第一关系拓扑图，依次确定所述m个目标数据切片分别对应的第二数据切片调度方式，得到m个第二数据切片调度方式，包括：

5.根据权利要求3所述的方法，其特征在于，所述按照第一数据切片调度序列中所述m个目标数据切片从先到后的调度顺序，根据所述第一关系拓扑图，依次确定所述m个目标数据切片分别对应的第二数据切片调度方式，得到m个第二数据切片调度方式，还包括：

6.根据权利要求1所述的方法，其特征在于，所述至少一个调度成本贡献值包括：任务执行估计时间，以及输入输出io成本；

7.根据权利要求1所述的方法，其特征在于，所述确定与p个数据切片调度序列一一对应的p个第一数据切片调度方式之后，所述执行所述m个目标数据切片的调度之前，所述方法还包括：

8.一种任务调度装置，其特征在于，应用于mapreduce系统，所述mapreduce系统包括n个任务节点，n为大于1的整数；所述装置包括：

9.一种电子设备，包括：收发机、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序；其特征在于，所述处理器，用于读取存储器中的程序实现如权利要求1至7中任一项所述的任务调度方法中的步骤。

10.一种可读存储介质，用于存储程序，其特征在于，所述程序被处理器执行时实现如权利要求1至7中任一项所述的任务调度方法中的步骤。

技术总结
本申请提供一种任务调度方法、装置、电子设备及可读存储介质。其中，方法包括：获取与第一数据切片组合对应的第一关系拓扑图；根据第一关系拓扑图，确定与P个数据切片调度序列一一对应的P个第一数据切片调度方式，其中，P个数据切片调度序列均包括m个目标数据切片，在不同数据切片调度序列中，m个目标数据切片的调度顺序不同；第一数据切片调度方式为数据切片调度序列对应的至少两个调度方式中，调度成本最低的数据切片调度方式，调度成本基于至少一个调度成本贡献值确定；根据P个第一数据切片调度方式中的第一目标数据切片调度方式，执行m个目标数据切片的调度。本申请考虑了任务调度的全局影响，从而可以提高全局执行效率。

技术研发人员：马超
受保护的技术使用者：中国移动通信集团辽宁有限公司
技术研发日：
技术公布日：2024/1/16