一种基于Hbase的节省网络流量的MR运行方法与流程

文档序号:12377242阅读:来源:国知局
技术总结
本发明公开了一种基于Hbase的节省网络流量的MR运行方法,属于,本发明来解决网络开销大,集权有网络瘫痪的风险的问题,采用的技术方案为:步骤如下:(1)、实现Mapreduce的InputFormat方法;(2)、获取Hbase某张表的所有大的数据块信息;(3)、根据每个数据块,获取他们的底层文件;(4)、将获取到的所有数据块的底层文件作为Mapreduce的输入;以每个底层文件为计算单元,执行mapreduce;(5)、执行reduce,结束mapreduce。

技术研发人员:赵明超;牛硕;臧勇真
受保护的技术使用者:浪潮电子信息产业股份有限公司
文档号码:201610628407
技术研发日:2016.08.03
技术公布日:2017.01.04

当前第3页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1