基于消息组合的可扩展大数据计算方法与流程

文档序号:11917905阅读:来源:国知局

技术特征:

1.一种基于消息组合的可扩展大数据计算方法,其特征在于包括以下步骤:

步骤一、抽象的大数据计算作业拓扑结构的建立:首先将大数据计算作业分割成一系列的小任务,小任务之间使用定制的顺序、循环、条件选择以及并行结构来组合;顺序、循环、条件选择以及并行结构用来控制小任务执行过程;采用文本文件方式建立大数据作业;

步骤二、大数据计算作业的部署:用户将抽象任务对应的计算任务部署到集群节点上;

步骤三、大算数据计算作业中计算任务执行计划的生成:用户的抽象计算任务被提交到管理节点;管理节点检查大数据计算定义文件的语法以及语义,形成作业计划并保存;

步骤四、大数据计算任务的调度:大数据计算作业引擎获得任务执行计划,形成一个一个的消息发送序列;消息发送计划按照并发、顺序以及条件关系形成不同的阶段,同一阶段内的消息同时发送;上一个阶段的回复消息到达后,开启下一个阶段的消息发送;

步骤五、计算任务执行过程的负载均衡:任务分配模块根据任务之间的依赖关系,对消息发送的顺序进行优化,选择最优的任务执行节点来启动计算对象;管理节点也可以根据各个工作节点的负载进行负载均衡,以提高性能;每个工作节点维护分配给它的计算对象的状态,计算对象的状态又会反映到管理节点的消息对象上;

步骤六、大数据计算任务的执行:作业引擎取得各个任务执行需要的参数后,就向执行节点发送执行请求;执行节点在收到请求后,开始执行计算对象包含的方法,同时向作业引擎返回计算对象状态为R,作业引擎将状态记录到系统共享缓冲区中;一旦计算对象执行完成,计算对象通过集群节点向主控节点返回D状态或者E状态,并将计算结果也返回到主控节点;主控节点的引擎得到计算对象的计算结果后,更改抽象对象的状态,进行下一条请求的发送;

步骤七、大数据计算作业消亡:当作业执行完毕,或执行条件已不满足,或作业被用户取消,该作业将从系统中撤离,作业生命结束。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1