一种基于HDFS系统的数据的存储、读取方法及其装置与流程

文档序号:11234103阅读:来源:国知局

技术特征:

技术总结
本发明公开一种基于HDFS系统的数据存储、读取方法及其装置,该方法包括:接收待存储文件的数据流并封装为数据包;若待存储文件为大文件,针对每个数据包,将所述数据包存储至名字服务节点为数据包分配的数据存储节点的数据块中,并将数据包缓存至编码器的数据块中;为每N个缓存了数据包的数据块建立相同的索引,其中,针对同一数据包,存储了数据包的数据存储节点的数据块和编码器的数据块的索引相同;将编码器的N个具有相同索引的数据块进行编码,得到与索引对应的M个校验编码块,N、M为正整数,M<N;确定数据存储节点上的存储所述校验编码块的数据块并存储,用以解决传统HDFS系统在数据量较大时占用的存储容量大、成本高的问题。

技术研发人员:朱祥磊
受保护的技术使用者:中国移动通信集团山东有限公司
技术研发日:2016.03.04
技术公布日:2017.09.12
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1