一种存取文件的方法、装置及分布式存储系统的制作方法_5

文档序号:8412266阅读:来源:国知局
机或者类似的运算装置完成上述的方法。
[0190]以上所述,仅是本发明的实施例而已,并非对本发明作任何形式上的限制,虽然本发明已以实施例揭露如上,然而并非用以限定本发明,任何熟悉本专业的技术人员,在不脱离本发明技术方案范围内,当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例,但凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰,均仍属于本发明技术方案的范围内。
【主权项】
1.一种在分布式存储系统中存取文件的方法,所述分布式存储系统包括:元数据服务器集群以及多个数据服务器集群;每个数据服务器集群内包括多台数据服务器,所述多个数据服务器集群体内的服务器至少分布在两个不同的数据中心内;其特征在于,所述方法包括: 接收客户端上传的文件; 向所述元数据服务器集群发送文件索引获取请求以获取所述元数据服务器集群返回的元数据索引; 将所述文件或者所述文件的分片发送给选择的数据服务器集群进行存储;以及将所述文件或者所述文件的分片在所述选择的数据服务器集群内的存储索引、所述选择的数据服务器集群的标识以及所述元数据索弓I发送给所述元数据服务器集群进行关联存储。
2.如权利要求1所述的在分布式存储系统中存取文件的方法,其特征在于,所述方法还包括: 接收所述客户端的文件下载请求,所述文件下载请求与至少一个目标文件关联;向所述元数据服务器集群发送元数据查询请求以获取所述元数据服务器集群返回的所述至少一个目标文件的元数据; 从所述目标文件的元数据中解析出所述至少一个目标文件的存储索引以及所存储的数据服务器集群的标识; 向与所述至少一个目标文件所存储的数据服务器集群发送下载请求以获取所述至少一个目标文件;以及 将所述至少一个目标文件返回所述客户端。
3.如权利要求1所述的在分布式存储系统中存取文件的方法,其特征在于,所述方法还包括: 接收所述客户端的文件删除请求,所述文件删除请求与至少一个目标文件关联;向所述元数据服务器集群发送文件索引删除请求以使所述元数据服务器集群返回并删除所述至少一个目标文件的元数据; 从所述元数据中解析出所述至少一个目标文件的存储索引以及所存储的数据服务器集群的标识;以及 根据所述至少一个目标文件的存储索引向对应的数据服务器集群发送文件删除请求以使所述数据服务器集群删除对应的文件或者分片。
4.如权利要求1所述的在分布式存储系统中存取文件的方法,其特征在于,所述方法还包括: 接收所述客户端的文件更新请求,所述文件更新请求与至少一个目标文件关联;向所述元数据服务器集群发送元数据查询请求以获取所述元数据服务器集群返回的与所述至少一个目标文件的元数据; 从所述目标文件的元数据中解析出所述目标文件的存储索引以及所存储的数据服务器集群的标识; 根据所述至少一个目标文件的存储索引向所述数据服务器集群发送文件更新请求以使所述数据服务器集群更新对应的文件或者分片。
5.如权利要求1所述的在分布式存储系统中存取文件的方法,其特征在于,所述方法还包括: 根据预定的规则选择一个数据服务器集群;或者 向所述元数据服务器集群发送数据服务器分配请求以获取所述元数据服务器集群选择的数据服务器集群; 所述文件/分片是被发送到所述被选择的数据服务器集群中进行存储。
6.一种在分布式存储系统中存取文件的装置,所述分布式存储系统包括:元数据服务器集群以及多个数据服务器集群;每个数据服务器集群内包括多台数据服务器,所述多个数据服务器集群体内的服务器至少分布在两个不同的数据中心内;其特征在于,所述装置包括: 上传请求接收模块,用于接收客户端上传的文件; 文件索引请求模块,用于向所述元数据服务器集群发送文件索引获取请求以获取所述元数据服务器集群返回的元数据索引; 文件存储模块,用于将所述文件或者所述文件的分片发送给选择的数据服务器集群进行存储;以及 文件索引提交模块,用于将所述文件或者所述文件的分片在所述选择的数据服务器集群内的存储索引、所述选择的数据服务器集群的标识以及所述元数据索弓I发送给所述元数据服务器集群进行关联存储。
7.如权利要求6所述的在分布式存储系统中存取文件的装置,其特征在于,所述装置还包括: 下载请求接收模块,用于接收所述客户端的文件下载请求,所述文件下载请求与至少一个目标文件关联; 文件索引查询模块,用于向所述元数据服务器集群发送元数据查询请求以获取所述元数据服务器集群返回的所述至少一个目标文件的元数据; 存储索引解析模块,用于从所述目标文件的元数据中解析出所述至少一个目标文件的存储索引以及所存储的数据服务器集群的标识; 文件下载模块,用于向与所述至少一个目标文件所存储的数据服务器集群发送下载请求以获取所述至少一个目标文件;以及 文件返回模块,用于将所述至少一个目标文件返回所述客户端。
8.如权利要求6所述的在分布式存储系统中存取文件的装置,其特征在于,所述装置还包括: 删除请求接收模块,用于接收所述客户端的文件删除请求,所述文件删除请求与至少一个目标文件关联; 文件索引删除模块,用于向所述元数据服务器集群发送文件索引删除请求以使所述元数据服务器集群返回并删除所述至少一个目标文件的元数据; 存储索引解析模块,用于从所述元数据中解析出所述至少一个目标文件的存储索引以及所存储的数据服务器集群的标识;以及 文件删除模块,用于根据所述至少一个目标文件的存储索引向对应的数据服务器集群发送文件删除请求以使所述数据服务器集群删除对应的文件或者分片。
9.如权利要求6所述的在分布式存储系统中存取文件的装置,其特征在于,所述装置还包括: 更新请求接收模块,用于接收所述客户端的文件更新请求,所述文件更新请求与至少一个目标文件关联; 文件索引查询模块,用于向所述元数据服务器集群发送元数据查询请求以获取所述元数据服务器集群返回的与所述至少一个目标文件的元数据; 存储索引解析模块,从所述目标文件的元数据中解析出所述目标文件的存储索引以及所存储的数据服务器集群的标识; 文件更新模块,用于根据所述至少一个目标文件的存储索引向所述数据服务器集群发送文件更新请求以使所述数据服务器集群更新对应的文件或者分片。
10.如权利要求6所述的在分布式存储系统中存取文件的装置,其特征在于,所述装置还包括: 集群选择模块,用于根据预定的规则选择一个数据服务器集群;或者向所述元数据服务器集群发送数据服务器分配请求以获取所述元数据服务器集群选择的数据服务器集群; 所述文件/分片是被发送到所述数据服务器集群选择模块选择的数据服务器集群中进行存储。
11.一种分布式存储系统,其特征在于,包括: 入口服务器、元数据服务器集群以及多个数据服务器集群;每个数据服务器集群内包括多台数据服务器,所述多个数据服务器集群体内的服务器至少分布在两个不同的数据中心内; 所述入口服务器用于:接收客户端上传的文件;向所述元数据服务器集群发送文件索引获取请求; 所述元数据服务器集群用于:根据所述文件索引获取请求返回元数据索引; 所述入口服务器还用于:将所述文件或者所述文件的分片发送给选择的数据服务器集群; 所述数据服务器用于:接收所述入口服务器上传的文件;存储所述文件; 所述入口服务器还用于:将所述文件在数据服务器集群内的存储索引以及所存储的数据服务器集群的标识提交给所述元数据服务器集群; 所述元数据服务器集群还用于:存储所述入口服务器提交的所述文件在数据服务器集群内的存储索引以及对应的数据服务器集群的标识。
12.如权利要求11所述的分布式存储系统,其特征在于, 所述入口服务器还用于:接收所述客户端的文件下载请求,所述文件下载请求与至少一个目标文件关联;向所述元数据服务器集群发送元数据查询请求; 所述元数据服务器集群还用于:返回所述至少一个目标文件的元数据; 所述入口服务器还用于:从所述元数据中解析出所述至少一个目标文件的存储索引以及所存储的数据服务器集群的标识;根据所述至少一个目标文件的存储索引向对应的数据服务器集群发送下载请求; 所述数据服务器集群还用于:根据所述入口服务器发送的下载请示返回对应的文件; 所述入口服务器还用于:将所述至少一个目标文件返回所述客户端。
13.如权利要求11所述的分布式存储系统,其特征在于, 所述入口服务器还用于:接收所述客户端的文件删除请求,所述文件删除请求与至少一个目标文件关联;向所述元数据服务器集群发送文件索引删除请求; 所述元数据服务器集群还用于:返回并删除所述至少一个目标文件的元数据; 所述入口服务器还用于:从所述元数据中解析出所述至少一个目标文件的存储索引以及所存储的数据服务器集群的标识;根据所述至少一个目标文件的存储索引向对应的数据服务器集群发送文件删除请求; 所述数据服务器集群还用于:根据所述入口服务器发送的文件删除请求删除对应的文件或者分片。
14.如权利要求11所述的分布式存储系统,其特征在于, 所述入口服务器还用于:接收所述客户端的文件更新请求,所述文件更新请求与至少一个目标文件关联;向所述元数据服务器集群发送元数据查询请求; 所述元数据服务器集群还用于:根据所述元数据查询请求返回所述至少一个目标文件的元数据; 所述入口服务器还用于:从所述目标文件的元数据中解析出所述目标文件的存储索引以及所存储的数据服务器集群的标识;根据所述至少一个目标文件的存储索引向所述数据服务器集群发送文件更新请求; 所述数据服务器集群还用于:根据所述入口服务器发送的文件更新请求更新对应的文件或者分片。
15.如权利要求11所述的分布式存储系统,其特征在于, 所述入口服务器还用于:根据预定的规则选择一个数据服务器集群;或者向所述元数据服务器集群发送数据服务器分配请求以获取所述元数据服务器集群选择的数据服务器集群; 所述文件/分片是被发送到所述入口服务器选择模块选择的数据服务器集群中进行存储。
【专利摘要】本发明涉及一种在在分布式存储系统中存取文件的方法、装置及分布式存储系统。在一个实施例中,上述方法包括:接收客户端上传的文件;向所述元数据服务器集群发送文件索引获取请求以获取所述元数据服务器集群返回的元数据索引;将所述文件或者所述文件的分片发送给选择的数据服务器集群进行存储;以及将所述文件或者所述文件的分片在所述选择的数据服务器集群内的存储索引、所述选择的数据服务器集群的标识以及所述元数据索引发送给所述元数据服务器集群进行关联存储。根据上述的方法、装置及系统,由于数据是被存储在位于不同数据中心的数据服务器集群内,因此可降低数据中心的分布式存储系统的运营成本。
【IPC分类】H04L29-08, G06F3-06, H04L29-06
【公开号】CN104731516
【申请号】CN201310698906
【发明人】王炎, 娄继冰, 李博
【申请人】腾讯科技(深圳)有限公司
【公开日】2015年6月24日
【申请日】2013年12月18日
当前第5页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1