大数据即时调度方法与流程

文档序号:11254067阅读:来源:国知局

技术特征:

技术总结
本发明提供了一种大数据即时调度方法,该方法包括:主节点将作业分成独立的任务,负载节点向主节点申请并执行任务;主节点对作业进行一级分片,获取到此分片中所有二级分片的执行信息打包发送给负载;负载对此片做内存映射和二次分片,然后放入线程池;负载节点的每个线程执行完成一个二级任务分片后进行一次reduce,将结果发送给主节点,主节点将负载发送来的结果进行reduce操作;分配符合主机列表文件要求的负载进程主节点,将任务通过map过程分发给负载节点,并从负载节点通过reduce过程得到对应的任务结果;归并中间结果得到最终结果,主节点将最终的作业结果通过套接字通信远程反馈给相对应的任务提交者。本发明提出了一种大数据即时调度方法,提高了云计算的效率,以满足高性能云计算的需要。

技术研发人员:赖真霖;文君
受保护的技术使用者:成都四象联创科技有限公司
技术研发日:2017.05.16
技术公布日:2017.09.15
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1