本申请涉及金融领域,具体而言,涉及一种任务的下发方法、系统、装置、处理器和电子设备。
背景技术:
1、在大数据平台,随着业务的不断发展,任务的调度在各类场景中发挥着重要的作用。在日常的数据处理中,任务调度系统不仅需要和上层任务对接,还需要和底层基础组件对接。每天运行成千上万的调度任务,每个调度任务可能涉及到数以百亿的数据。
2、任务调度系统的架构中主要包含两个服务,控制服务和执行服务。控制服务主节点只有一台,执行服务可以是多台,执行服务向控制服务注册,并实时保持心跳,心跳信息包含执行服务节点的资源数据(cpu和内存),控制服务向执行服务提交任务,执行服务执行任务并实时向控制服务上报任务运行状态。
3、由于离线调度任务执行时间比较长,生产环境常见运行耗时在数个小时,在任务执行的过程中,无法避免的会对执行服务维护升级,当服务重启时,运行在执行服务的任务也会随之失败,不仅造成了资源浪费(任务失败之前运行占用的资源),还造成了任务的延迟。
4、针对现有技术中若对正在执行任务的执行服务进行维护升级,运行在执行服务的任务会随之失败,造成资源浪费的技术问题,目前尚未提出有效的解决方案。
技术实现思路
1、本申请提供一种任务的下发方法、系统、装置、处理器和电子设备,以解决现有技术中若对正在执行任务的执行服务进行维护升级,运行在执行服务的任务会随之失败,造成资源浪费的技术问题。
2、根据本申请的一个方面,提供了一种任务的下发方法。该方法可以包括:确定待升级发布的执行服务;将待升级发布的执行服务从管理服务的执行服务列表中删除,得到更新后的执行服务列表,其中,执行服务列表中记录有多个执行服务的信息,多个执行服务已注册至管理服务;在检测到控制服务待下发目标任务时,从更新后的执行服务列表中确定目标执行服务;将目标任务下发至目标执行服务。
3、可选地,在将待升级发布的执行服务从管理服务的执行服务列表中删除,得到更新后的执行服务列表之后,该方法还包括:在待升级发布的执行服务升级完成后,在检测到执行服务启动后,向管理服务发送注册指令;响应注册指令,将执行服务的信息添加至更新后的执行服务列表中,并将执行服务的状态信息配置为在线状态,其中,在线状态的执行服务能承接新的任务。
4、可选地,确定待升级发布的执行服务之后,该方法包括:通过待升级发布的执行服务发送状态更改指令至管理服务;响应状态更改指令,在管理服务中将执行服务列表中待升级发布的执行服务的状态信息修改为非在线状态,其中,非在线状态的执行服务不能承接新的任务。
5、可选地,将待升级发布的执行服务从管理服务的执行服务列表中删除,得到更新后的执行服务列表包括:在管理服务的执行服务列表中将状态信息为非在线状态的执行服务进行删除,得到更新后的执行服务列表。
6、可选地,在检测到控制服务待下发目标任务时,从更新后的执行服务列表中确定目标执行服务,包括:在检测到控制服务待下发目标任务时,确定目标任务的配置参数;从更新后的执行服务列表中确定与配置参数匹配的目标执行服务。
7、可选地,确定待升级发布的执行服务之后,该方法包括:确定待升级发布的执行服务中正在运行的任务;在检测到待升级发布的执行服务中所有任务运行完成后,对待升级发布的执行服务执行服务升级。
8、根据本申请的另一个方面,还提供了一种任务的下发系统。该系统可以包括:管理服务,用于确定待升级发布的执行服务;将待升级发布的执行服务从管理服务的执行服务列表中删除,得到更新后的执行服务列表,其中,执行服务列表中记录有多个执行服务的信息,多个执行服务已注册至管理服务;在检测到控制服务器待下发目标任务时,从更新后的执行服务列表中确定目标执行服务;控制服务器,用于在待下发目标任务时,从更新后的执行服务列表中确定目标执行服务,将目标任务下发至目标执行服务。
9、可选地,多个执行服务,其中,在每个执行服务启动时,向管理服务发送注册指令,在管理服务中注册完成后,并将该执行服务对应的cpu和内存以心跳的方式上报至管理服务。
10、可选地,待升级发布的执行服务还用于在待升级发布的执行服务升级完成后,在检测到执行服务启动后,向管理服务发送注册指令;管理服务还用于响应注册指令,将执行服务的信息添加至更新后的执行服务列表中,并将执行服务的状态信息配置为在线状态,其中,在线状态的执行服务能承接新的任务。
11、根据本申请的另一个方面,还提供了一种任务的下发装置。该装置可以包括:第一确定单元,用于确定待升级发布的执行服务;处理单元,用于将待升级发布的执行服务从管理服务的执行服务列表中删除,得到更新后的执行服务列表,其中,执行服务列表中记录有多个执行服务的信息,多个执行服务已注册至管理服务;第二确定单元,用于在检测到控制服务待下发目标任务时,从更新后的执行服务列表中确定目标执行服务;下发单元,用于将目标任务下发至目标执行服务。
12、根据本申请实施例的另一方面,还提供了一种处理器,处理器用于运行程序,其中,程序运行时执行任务的下发方法。
13、根据本申请实施例的另一方面,还提供了一种电子设备,包含一个或多个处理器和存储器;存储器用于存储一个或多个程序,其中,当一个或多个程序被一个或多个处理器执行时,一个或多个处理器执行任务的下发方法。
14、通过本申请,采用以下步骤:确定待升级发布的执行服务;将待升级发布的执行服务从管理服务的执行服务列表中删除,得到更新后的执行服务列表,其中,执行服务列表中记录有多个执行服务的信息,多个执行服务已注册至管理服务;在检测到控制服务待下发目标任务时,从更新后的执行服务列表中确定目标执行服务;将目标任务下发至目标执行服务。也即,在本申请中,通过在管理服务的执行服务列表中删除待升级发布的执行服务,在控制服务下发任务时,依据更新后的执行服务列表确定目标执行服务,并分发任务至该目标执行服务,避免了对待升级发布的执行服务下发任务,造成资源浪费的情况。通过将任务下发至目标执行服务(不用进行升级发布的执行服务)进行任务的处理,保证了对任务的处理效率,从而解决了现有技术中若对正在执行任务的执行服务进行维护升级,运行在执行服务的任务会随之失败,造成资源浪费的技术问题,实现了避免现有技术中若对正在执行任务的执行服务进行维护升级,运行在执行服务的任务会随之失败,造成资源浪费的技术效果。
1.一种任务的下发方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,在将所述待升级发布的执行服务从管理服务的执行服务列表中删除,得到更新后的执行服务列表之后,所述方法还包括:
3.根据权利要求1所述的方法,其特征在于,确定待升级发布的执行服务之后,所述方法包括:
4.根据权利要求3所述的方法,其特征在于,将所述待升级发布的执行服务从管理服务的执行服务列表中删除,得到更新后的执行服务列表包括:
5.根据权利要求1所述的方法,其特征在于,在检测到控制服务待下发目标任务时,从所述更新后的执行服务列表中确定所述目标执行服务,包括:
6.根据权利要求1所述的方法,其特征在于,确定待升级发布的执行服务之后,所述方法包括:
7.一种任务的下发系统,其特征在于,所述任务的下发系统用于执行上述权利要求1至6中任意一项所述的任务的下发方法,包括:
8.根据权利要求7所述的系统,其特征在于,所述系统还包括:
9.根据权利要求7所述的系统,其特征在于,
10.一种任务的下发装置,其特征在于,包括:
11.一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序运行时执行权利要求1至6中任意一项所述的方法。
12.一种电子设备,其特征在于,包括一个或多个处理器和存储器,所述存储器用于存储一个或多个程序,其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现权利要求1至6中任意一项所述的方法。