分布式海量数据处理方法及装置与流程

文档序号:14871032发布日期:2018-07-06 23:50阅读:来源:国知局

技术特征:

技术总结
本发明提供一种分布式海量数据处理方法及装置,包括:向元数据服务器发送索引请求;接收元数据服务器返回的可用服务器列表;对待索引的原始数据进行拆分,以获得拆分后的分块数据,并为分块数据分配数字编号;以分块数据的分块信息为键值,将分块数据的存储位置映射到可用服务器标识列表中;将与第二数据索引服务器标识对应的分块数据发送给第二数据索引服务器,以对分块数据进行存储;接收元数据服务器返回的索引完成信息。采用上述方法及装置,多个第二数据索引服务器可同时对接收到的分块数据进行存储,极大的提高了存储效率,并且通过索引完成信息即可完成在对存储的原始数据的查找,极大的提高了检索的效率。

技术研发人员:王锋;刘应波;邓辉
受保护的技术使用者:广州大学;云南省科学技术情报研究院
技术研发日:2018.01.18
技术公布日:2018.07.06
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1