技术总结
一种面向Map/Reduce型海量数据处理平台的作业调度方法，属于海量数据处理领域，特别涉及Map/Reduce型海量数据处理平台中的作业调度和资源管理。本发明提出一种基于Reduce任务资源抢占的Map/Reduce作业调度方法，实现在Reduce任务处于空闲等待时，将其所占用的计算资源分配给Map任务使用。本发明主要包括：抢占资源、作业调度模块、应用管理模块、任务执行模块、节点管理模块、任务挂起与恢复方法、面向抢占资源的作业调度方法。本发明可以应用于数据中心的作业调度和资源管理，通过对于Map/Reduce作业中Reduce任务的抢占调度，实现数据中心计算资源的合理分配，提高计算资源利用率，同时缩短作业运行时间。
技术研发人员：梁毅;王玉凤;樊明璐;张辰
受保护的技术使用者：北京工业大学
文档号码：201410531590
技术研发日：2014.10.10
技术公布日：2018.05.01