技术特征:
技术总结
一种基于B树数据结构的MapReduce计算过程优化方法,包括如下步骤:1)对输入到片区内的数据执行Map任务;2)执行Map任务后输出的结果包含索引文件*.index和数据文件*.out;3)将索引文件*.index和数据文件*.out存放在一个环形内存缓冲区中;4)当该环形内存缓冲区快要溢出时,判断是否是最后一个Map任务;5)如果否,则数据文件*.out排序合并后写入磁盘,索引文件*.index留在环形内存缓冲区中;如果是,则数据文件*.out直接输入到reduce函数。本发明所述的方法减少了磁盘读写次数,缩短了计算时间,显著缩短计算时间,提高了计算效率,可以有效提高工作效率。
技术研发人员:王笑风;田延峰;杨博;侯明业;郭霄;孙云龙;刘满
受保护的技术使用者:河南省交通规划设计研究院股份有限公司
技术研发日:2019.06.27
技术公布日:2019.10.25