技术总结
本发明涉及一种Hadoop MapReduce的优化方法，属于计算机应用技术领域。一个作业的生命周期中有三个任务，包括setup任务、MapReduce任务和cleanup任务，将setup任务与clean任务合并进MapReduce任务，在一个作业在完成初始化时，直接启动MapReduce任务；即在map端首先执行setup任务，进行作业环境的创建，在reduce端最后执行clean任务，清理临时目录。本发明通过分析MapReduce框架内部的作业执行过程，对执行过程中的环境准备和清理做了优化，有效的节约了至少4个心跳周期的时间，实现了MapReduce作业执行性能的优化。
技术研发人员：杜江;王鹏;胡建斌;牟洋;常亚翠;颜骏;胡彦婷;李明建
受保护的技术使用者：重庆邮电大学
文档号码：201710052152
技术研发日：2017.01.23
技术公布日：2017.06.13