技术总结
本发明涉及一种考虑任务相关性的Hive优化方法及系统，所述方法包括：将HQL语句转化为MapReduce物理计划，并获取所述MapReduce物理计划中各MapReduce Job在shuffle阶段用于排序的键shuffle key；根据相关性规则，合并所述各MapReduce Job中相关MapReduce Job；本发明提供的方法及系统，考虑Hive执行过程中，任务之间的相关性，最小化MapReduce Job数量。
技术研发人员：杨訸;李焕;赵婷;刘贺;高昆仑;袁豪;陈江琦;黄复鹏;梁潇;王宇飞
受保护的技术使用者：全球能源互联网研究院;国网上海市电力公司;国家电网公司
文档号码：201610607561
技术研发日：2016.07.28
技术公布日：2016.12.21