一种基于Hbase的节省网络流量的MR运行方法与流程

文档序号:12377242阅读:来源:国知局

技术特征:

1.一种基于Hbase的节省网络流量的MR运行方法,其特征在于步骤如下:

(1)、实现Mapreduce的InputFormat方法;

(2)、获取Hbase某张表的所有大的数据块信息;

(3)、根据每个数据块,获取他们的底层文件;

(4)、将获取到的所有数据块的底层文件作为Mapreduce的输入;以每个底层文件为计算单元,执行mapreduce;

(5)、执行reduce,结束mapreduce。

2.根据权利要求1所述的一种基于Hbase的节省网络流量的MR运行方法,其特征在于步骤(4)中,执行mapreduce,MapReduce通过把对数据集的大规模操作分发给网络上的每个计算单元实现可靠性;每个计算单元周期性的返回它所完成的工作和最新的状态。

3.根据权利要求2所述的一种基于Hbase的节省网络流量的MR运行方法,其特征在于若一个计算单元保持沉默超过一个预设的时间间隔,主计算单元记录下这个计算单元状态为死亡,并把分配给这个计算单元的数据发到别的计算单元。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1