调节mapper在多核上执行的方法及装置与流程

文档序号:11995526阅读:来源:国知局
技术总结
本发明提出一种调节mapper在多核上执行的方法及装置。其中所述方法包括以下步骤:监控每个mapper的平均处理速度;将每个mapper的平均处理速度与全局的mapper的平均处理速度进行比较,以确定速度慢的mapper;确定速度慢的mapper所在的机器上是否有空闲资源;以及如果是,则将速度慢的mapper的单线程处理拆分成多线程处理,并将多线程处理分配到多核上执行。根据本发明实施例的方法,可以保证调度的任务尽快完成,整个响应/计算的过程可以节约大量时间,极大地提升了集群性能。

技术研发人员:王新刚
受保护的技术使用者:百度在线网络技术(北京)有限公司
文档号码:201210135815
技术研发日:2012.05.03
技术公布日:2017.03.15

当前第3页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1