一种基于混合元启发式算法的Hadoop负载均衡任务调度方法与流程

文档序号:14714135发布日期:2018-06-16 01:00阅读:来源:国知局
技术总结
本发明涉及一种基于混合元启发式算法的Hadoop负载均衡任务调度方法,建立资源槽压力模型,该模型以使集群中所有的Slave节点处理任务的计算压力处于同一水平线为目标,采用基于模拟退火和粒子群优化的混合元启发式算法进行最优任务调度方案的求解,实现Hadoop集群环境下的负载均衡任务调度。进一步通过高性能和广泛可移植性的消息传递接口MPICH(MPI over CHameleon)实现算法的并行编程,将启发式优化算法的计算过程转移至额外的计算节点,并通过多种群同时求解,减轻Master节点的计算压力,提升单位时间内最优任务调度方案的求解能力。本发明能够对Hadoop集群的计算资源进行整体分配,使集群的节点负载均衡,避免节点计算资源浪费,最大化数据中心的设备投入的利润。 1

技术研发人员:毕敬;程煜东;乔俊飞
受保护的技术使用者:北京工业大学
技术研发日:2017.12.26
技术公布日:2018.06.15

当前第3页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1