基于云系统的作业调度方法和系统与流程

文档序号:12719095阅读:来源:国知局

技术特征:

1.一种基于云系统的作业调度方法,其特征在于,包括:

a.通过在Zookeeper服务器上进行注册,启动作业调度,所述Zookeeper服务器的Zookeeper服务为集群部署;

b.注册成功后,获取令牌,并查询所述令牌对应的作业调度配置表;

c.通过作业调度配置表获取该待调度作业的处理作业列表;

d.执行待调度作业,调度完成后将调度结果进行反馈。

2.根据权利要求1所述的基于云系统的作业调度方法,其特征在于,步骤c中还包括根据作业调度配置表中并发处理字段对配置的处理作业列表进行多线程处理,并对各线程中的处理作业列表进行优先级排序,各线程循环执行处理作业列表。

3.根据权利要求2所述的基于云系统的作业调度方法,其特征在于,设置多个调度模块对调度作业均衡负载,调度模块对作业调度配置表中的作业配置信息进行校验,判断配置信息中各字段是否满足格式要求。

4.根据权利要求3所述的基于云系统的作业调度方法,其特征在于,对所述作业配置信息进行解析,获取处理时间周期,并根据预设的时间周期阈值判断处理时间周期是否有效;

若判断结果为无效,则处理下一条作业;

若判断结果为有效,则读取结果集表,判断是否存在本周期未处理完的数据,若存在,则结束本次处理,处理下一条作业。

5.根据权利要求4所述的基于云系统的作业调度方法,其特征在于,当作业配置信息符合要求且处理时间周期有效时,如果作业调度结果集中不存在本周期未处理完的数据,则将结果记录插入到作业调度结果集表,记录包含本作业的处理周期,并将处理状态置为初始状态,锁定该作业。

6.根据权利要求5所述的基于云系统的作业调度方法,其特征在于,还包括步骤e,步骤e包括:调度模块获取到反馈结果后,对作业调度结果集表进行更新,并将作业调度结果集表和作业配置信息分别存储于分布式内存数据库。

7.根据权利要求6所述的基于云系统的作业调度方法,其特征在于,所述Zookeeper服务包括主用服务和备用服务,所述备用服务用于当支撑集群中的主用服务异常后,接管主用服务进行工作。

8.一种基于云系统的作业调度系统,其特征在于,包括:

Zookeeper服务器,用于提供注册服务,确认调度作业是否启用,所述Zookeeper服务器的Zookeeper服务为集群部署;

调度模块,用于通过作业调度配置表获取该待调度作业的处理作业列表,对待调度作业进行调度,所述调度模块为多个;

反馈模块,用于调度完成后将调度结果反馈给调度模块。

9.根据权利要求8所述的基于云系统的作业调度方法,其特征在于,还包括:

校验模块,用于对作业调度配置表中的作业配置信息进行校验;

解析模块,用于对所述作业配置信息进行解析,获取处理时间周期,并根据预设的时间周期阈值判断处理时间周期是否有效;

若判断结果为无效,则处理下一条作业;

若判断结果为有效,则读取结果集表,判断是否存在本周期未处理完的数据,若存在,则结束本次处理,处理下一条作业。

10.根据权利要求8所述的基于云系统的作业调度方法,其特征在于,所述Zookeeper服务器包括主用服务器和备用服务器,所述备用服务器用于当支撑集群中节点异常后,接管主用服务器进行工作,所述Zookeeper服务器设置有用于承载业务配置数据和结果集表的分布式内存数据库。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1