分布式任务的调度方法、装置、系统及电子设备与流程

文档序号:33518822发布日期:2023-03-22 06:18阅读:来源:国知局

技术特征:
1.一种分布式任务的调度方法,其特征在于,包括:获取待处理的任务;确定所述任务对应的处理模块,并确定所述处理模块对应的实例,其中,每个实例上设置有至少一个处理模块;为所述任务添加标识,并将添加后的任务发送至所述实例,以使所述实例基于所述标识将所述任务分配至所述处理模块,所述标识用于标记所述任务对应的处理模块和所述任务对应的实例。2.根据权利要求1所述的方法,其特征在于,所述确定所述处理模块对应的实例,包括:根据对应关系确定所述处理模块对应的实例,所述对应关系表征处理模块和实例之间的对应关系。3.根据权利要求2所述的方法,其特征在于,所述对应关系是根据如下方法确定的:确定每个实例对应的哈希值;将每个实例对应的哈希值映射至哈希环中;确定每个处理模块的哈希值;针对每个处理模块,根据该处理模块的哈希值,在所述哈希环上确定该处理模块对应的实例。4.根据权利要求3所述的方法,其特征在于,所述确定每个实例对应的哈希值包括:针对每个实例,基于该实例的寻址地址和该实例的端口信息,确定该实例对应的哈希值;和/或,所述确定每个处理模块的哈希值包括:基于使用者信息和调用方法标识确定每个处理模块的哈希值。5.根据权利要求4所述的方法,其特征在于,所述针对每个处理模块,根据该处理模块的哈希值,在所述哈希环上确定该处理模块对应的实例之前,还包括:获取实例变更信息,所述实例变更信息中包括变更实例的寻址地址和所述变更实例的端口信息;基于所述变更实例的寻址地址和所述变更实例的端口信息确定所述变更实例对应的哈希值;将所述变更实例对应的哈希值映射至哈希环中。6.根据权利要求4所述的方法,其特征在于,所述针对每个处理模块,根据该处理模块的哈希值,在所述哈希环上确定该处理模块对应的实例之前,还包括:获取实例删除信息,所述实例删除信息中包括被删除实例的寻址地址和所述被删除实例的端口信息;在所述哈希环中删除所述被删除实例相关的映射。7.根据权利要求3-6中任一所述的方法,其特征在于,所述针对每个处理模块,根据该处理模块的哈希值,在所述哈希环上确定该处理模块对应的实例,包括:针对每个处理模块,根据该处理模块的哈希值,确定该处理模块在所述哈希环上映射的第一映射位置;根据所述第一映射位置确定该处理模块对应的实例在所述哈希环上映射的第二映射位置;
根据所述第二映射位置确定该处理模块对应的实例。8.根据权利要求2所述的方法,其特征在于,所述方法还包括:接收所述处理模块发送的调用信息,所述调用信息用于确定目标处理模块;基于所述调用信息,为所述处理模块调用所述目标处理模块。9.根据权利要求8所述的方法,其特征在于,所述基于所述调用信息,为所述处理模块调用所述目标处理模块,包括:根据所述对应关系确定所述目标处理模块对应的目标实例;将所述调用信息发送至所述目标实例,以使所述处理模块通过所述目标实例调用所述目标处理模块。10.一种分布式任务的调度方法,其特征在于,包括:获取包含标识的任务,所述标识用于标记所述任务对应的处理模块和所述任务对应的实例;基于所述标识将所述任务分配给所述任务对应的处理模块;利用所述处理模块处理所述任务。11.根据权利要求10所述的方法,其特征在于,所述基于所述标识将所述任务分配给所述任务对应的处理模块,包括:基于所述标识确定所述任务对应的处理模块和所述任务对应的实例;将所述任务发送至所述实例,并由所述实例分配至所述处理模块。12.根据权利要求10所述的方法,其特征在于,所述方法还包括:确定寻址地址和端口信息变更的实例和/或新增的实例为变更实例;根据所述变更实例的寻址地址和端口信息确定实例变更信息,并发送至调度模块,以使所述调度模块变更对应关系。13.根据权利要求10所述的方法,其特征在于,所述方法还包括:确定删除的实例为被删除实例;根据所述被删除实例的寻址地址和端口信息确定实例删除信息;发送所述实例删除信息,以使变更对应关系。14.根据权利要求11所述的方法,其特征在于,所述方法还包括:在所述处理模块请求协助处理任务时,基于所述任务确定协助所述处理模块的目标处理模块;根据所述对应关系确定所述目标处理模块对应的目标实例;在所述目标实例与所述实例不同时,发送调用信息至所述调度模块,所述调用信息用于指示为所述处理模块调用所述目标处理模块。15.根据权利要求14所述的方法,其特征在于,所述方法还包括:在所述目标实例与所述实例相同时,在所述实例上调用所述目标处理模块。16.根据权利要求11所述的方法,其特征在于,所述方法还包括:根据所述对应关系为每个实例更新该实例对应处理模块的运行数据。17.一种分布式任务的调度装置,其特征在于,包括:第一获取单元,用于获取待处理的任务;确定单元,用于确定所述任务对应的处理模块,并确定所述处理模块对应的实例,其
中,每个实例上设置有至少一个所述处理模块;第一分配单元,用于为所述任务添加标识,并将添加后的任务发送至所述实例,以使所述实例基于所述标识将所述任务分配至所述处理模块,所述标识用于标记所述任务对应的处理模块和所述任务对应的实例。18.一种分布式任务的调度装置,其特征在于,包括:第二获取单元,用于获取包含标识的任务,所述标识用于标记所述任务对应的处理模块和所述任务对应的实例;第二分配单元,用于基于所述标识将所述任务分配给所述任务对应的处理模块;处理单元,用于利用所述处理模块处理所述任务。19.一种分布式任务的调度系统,其特征在于,所述系统包括如权利要求17所述的分布式任务的调度装置,以及如权利要求18所述的分布式任务的调度装置。20.一种电子设备,其特征在于,包括:处理器;用于存储所述处理器可执行指令的存储器;其中,所述处理器被配置为执行所述指令,以实现如权利要求1至9或10至16中任一项所述的分布式任务的调度方法。21.一种计算机存储介质,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行如权利要求1至9或10至16中任一项所述的分布式任务的调度方法。22.一种计算机程序产品,包括计算机程序/指令,所述计算机程序/指令在被处理器执行时实现根据权利要求1至9或10至16中任一项所述的方法中的步骤。

技术总结
本公开公开了分布式任务的调度方法、装置、系统及电子设备,涉及云计算技术领域,尤其涉及资源调度技术领域。解决了分布式计算在每次计算均需要从数据库存取数据,频繁读写导致性能严重降低的技术问题,具体实现方案为:获取待处理的任务;确定所述任务对应的处理模块,并确定所述处理模块对应的实例;为所述任务添加标识,并将添加后的任务发送至所述实例,以使所述实例基于所述标识将所述任务分配至所述处理模块,所述标识用于标记所述任务对应的处理模块和所述任务对应的实例。应的处理模块和所述任务对应的实例。应的处理模块和所述任务对应的实例。


技术研发人员:王新 王磊 林海涛 熊顺 张红光
受保护的技术使用者:北京百度网讯科技有限公司
技术研发日:2022.11.25
技术公布日:2023/3/21
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1