集群任务分配方法、装置和计算机可读介质与流程

文档序号:25543338发布日期:2021-06-18 20:40阅读:来源:国知局

技术特征:

1.一种集群任务分配方法,其特征在于,所述集群包括调度服务器和多个计算服务器,所述方法应用于调度服务器;所述方法包括:

向每一个计算服务器发送状态请求报文,并接收每一个计算服务器反馈的运行数据;

根据所述运行数据确定每一个计算服务器中等待处理时长达到第一设定阈值的目标任务;

根据所述运行数据确定每一个计算服务器当前的负载状况;

根据每一个计算服务器当前的负载状况,将确定的各目标任务重新进行分配。

2.根据权利要求1所述的方法,其特征在于,所述运行数据包括该计算服务器中当前未处理的任务的生成时间戳;

所述确定每一个计算服务器中等待处理时长达到第一设定阈值的目标任务,包括:

针对每一个计算服务器,均执行:

针对该计算服务器中每一个当前未处理的任务对应的生成时间戳,分别计算距离当前时间戳的时长,将计算得到的时长确定为该任务的等待处理时长;

将所述等待处理时长不小于所述第一设定阈值的任务,确定为该计算服务器中的目标任务。

3.根据权利要求1所述的方法,其特征在于,所述根据每一个计算服务器当前的负载状况,将各目标任务重新进行分配,包括以下步骤:

a1:根据各目标任务分别对应的等待处理时长,按照等待处理时长从大到小的顺序将各目标任务进行分组;其中,每一个分组中目标任务对应的最大等待处理时长和最小等待处理时长的间隔时长不大于第二设定阈值;

a2:判断当前是否存在未进行分配关联的分组,如果是,执行步骤a3;否则,执行步骤a5;

a3:在当前未进行分配关联的各分组中,确定出等待处理时长均比其他分组中的等待处理时长大的目标分组;

a4:将所述目标分组中包括的各目标任务逐个与各计算服务器进行分配关联,并在所述目标分组中不存在未被分配关联的目标任务之后,返回执行步骤a2;

a5:根据分配关联结果,生成每一个计算服务器对应的关联关系,并将关联关系发送给对应的计算服务器,以使计算服务器根据接收到的关联关系,将自身包括的目标任务按照该关联关系迁移给对应的计算服务器;所述关联关系中包括需迁移的目标任务的标识以及将该目标任务迁移到的计算服务器的地址。

4.根据权利要求3所述的方法,其特征在于,

所述负载状况至少包括计算性能;

在步骤a4中,所述将所述目标分组中包括的各目标任务逐个与各计算服务器进行分配关联,包括:

b1:将各个计算服务器按照计算性能从大到小的顺序排序;

b2:判断所述目标分组中是否存在未被分配关联的目标任务,如果是,执行步骤b3;否则,执行步骤a2;

b3:确定上一次分配关联完成的计算服务器的计算性能是否最小,如果是,执行步骤b4;否则,执行步骤b5;

b4:将存在的未被分配关联的目标任务中等待处理时长最大的目标任务,分配关联给最大计算性能的计算服务器,并执行步骤b2;

b5:将存在的未被分配关联的目标任务中等待处理时长最大的目标任务,分配关联给比上一次分配关联完成的计算服务器的计算性能小且与该计算服务器相邻的计算服务器,并执行步骤b2。

5.根据权利要求4所述的方法,其特征在于,所述计算服务器根据接收到的关联关系,将自身包括的目标任务按照该关联关系迁移给对应的计算服务器,包括:

在计算服务器根据所述关联关系,确定出自身需要迁移的各目标任务;

判断需要迁移的各目标任务中是否存在已处理完成的任务,如果存在,将该已处理完成的任务滤除,将该自身需要迁移的各目标任务中滤除后剩余的目标任务按照所述关联关系迁移给对应的计算服务器。

6.根据权利要求1-5中任一所述的方法,其特征在于,在所述将确定的各目标任务重新进行分配之后,进一步包括:

重新确定每一个计算服务器的负载状况;

根据重新确定的每一个计算服务器的负载状况,进行负载均衡调配。

7.根据权利要求6所述的方法,其特征在于,

所述负载状况至少包括未处理任务的任务量;

所述根据重新确定的每一个计算服务器的负载状况,进行负载均衡调配,包括:

c1:确定当前是否存在未进行负载均衡调配的至少两个计算服务器,如果存在,执行步骤c2;否则,执行步骤c4;

c2:在当前未进行负载均衡调配的至少两个计算服务器中,确定任务量最大的计算服务器和任务量最小的服务器;

c3:将任务量最大的计算服务器向任务量最小的服务器进行任务迁移,并将该任务量最大的计算服务器和该任务量最小的服务器均确定为已进行负载均衡调配的计算服务器,并返回c1;

c4:结束负载均衡调配。

8.一种集群任务分配装置,其特征在于,所述集群包括调度服务器和多个计算服务器,所述集群任务分配装置位于所述调度服务器中;包括:

通信单元,用于向每一个计算服务器发送状态请求报文,并接收每一个计算服务器反馈的运行数据;

目标任务确定单元,用于根据所述运行数据确定每一个计算服务器中等待处理时长达到第一设定阈值的目标任务;

负载状况确定单元,用于根据所述运行数据确定每一个计算服务器当前的负载状况;

任务重分配单元,用于根据每一个计算服务器当前的负载状况,将确定的各目标任务重新进行分配。

9.一种集群任务分配装置,其特征在于,包括:至少一个存储器和至少一个处理器;

所述至少一个存储器,用于存储机器可读程序;

所述至少一个处理器,用于调用所述机器可读程序,执行权利要求1至7中任一项所述的方法。

10.计算机可读介质,其特征在于,所述计算机可读介质上存储有计算机指令,所述计算机指令在被处理器执行时,使所述处理器执行权利要求1至7中任一项所述的方法。


技术总结
本发明涉及一种集群任务分配方法、装置和计算机可读介质,该方法包括:调度服务器向每一个计算服务器发送状态请求报文,并接收每一个计算服务器反馈的运行数据;根据所述运行数据确定每一个计算服务器中等待处理时长达到第一设定阈值的目标任务;根据所述运行数据确定每一个计算服务器当前的负载状况;根据每一个计算服务器当前的负载状况,将确定的各目标任务重新进行分配。本方案能够保证计算服务器能够及时完成任务,给用户进行结果响应。

技术研发人员:王嘉诚;张少仲
受保护的技术使用者:神威超算(北京)科技有限公司
技术研发日:2021.05.13
技术公布日:2021.06.18
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1