一种基于B树数据结构的MapReduce计算过程优化方法与流程

文档序号:18985805发布日期:2019-10-29 04:23阅读:来源:国知局

技术特征:

技术总结
一种基于B树数据结构的MapReduce计算过程优化方法,包括如下步骤:1)对输入到片区内的数据执行Map任务;2)执行Map任务后输出的结果包含索引文件*.index和数据文件*.out;3)将索引文件*.index和数据文件*.out存放在一个环形内存缓冲区中;4)当该环形内存缓冲区快要溢出时,判断是否是最后一个Map任务;5)如果否,则数据文件*.out排序合并后写入磁盘,索引文件*.index留在环形内存缓冲区中;如果是,则数据文件*.out直接输入到reduce函数。本发明所述的方法减少了磁盘读写次数,缩短了计算时间,显著缩短计算时间,提高了计算效率,可以有效提高工作效率。

技术研发人员:王笑风;田延峰;杨博;侯明业;郭霄;孙云龙;刘满
受保护的技术使用者:河南省交通规划设计研究院股份有限公司
技术研发日:2019.06.27
技术公布日:2019.10.25
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1