一种数据加载方法、终端和计算集群与流程

文档序号:12124128阅读:来源:国知局
技术总结
本发明实施例提供一种数据加载方法、终端和计算集群,涉及通信技术领域,能够降低KeyValue数据库的读写时延,提高KeyValue数据库的查询性能。具体方案为:计算集群接收携带有待加载数据表的分区信息的数据加载请求;根据分区信息确定第一数据分区,分区信息指示的所有分区分别绑定一个第一数据分区;分别获取分区信息指示的每个分区的源数据,对每个分区的源数据分别执行映射任务;根据分区信息指示的分区与第一数据分区的绑定关系,将执行每个映射任务所得的中间数据对应地写入第一数据分区;对每个第一数据分区中的中间数据分别执行归约任务,执行得到每个归约任务的目标文件,目标文件供KeyValue数据库的加载数据表进行数据查询使用。本发明实施例用于加载数据。

技术研发人员:房浩;毕杰山;莫凯;郭益君;钟超强
受保护的技术使用者:华为技术有限公司
文档号码:201610856707
技术研发日:2016.09.27
技术公布日:2017.03.15

当前第3页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1