一种存取文件的方法、装置及分布式存储系统的制作方法_4

文档序号:8412266阅读:来源:国知局
施例的装置包括:上传请求接收模块61、文件索引请求模块62、文件存储模块63、以及文件索引提交模块64。
[0144]上传请求接收模块61用于接收客户端上传的文件。此处的客户端例如是指图1所示的用户终端300。用户终端300可通过运行的应用程序(如浏览器)登陆入口服务器200提供的网络应用,并通过该网络应用向入口服务器200上传文件。相应地,入口服务器200接收用户终端300上传的文件。
[0145]文件索引请求模块62用于向所述元数据服务器集群发送文件索引获取请求以获取所述元数据服务器集群返回的元数据索引。文件索引获取请求内可包括文件的一些元数据,例如文件长度、文件名、文件特征码等。元数据服务器集群101在接收到文件索引获取请求后,向用于存储元数据的分布式文件存储系统申请建立一条新的记录,该新记录的内容可包括上述的文件索引获取请求内的元数据如文件长度、文件名、文件特征码等;而该新记录的键(Key)可为文件的唯一标识符。元数据服务器集群101将上述的新记录的键作为文件的索引返回给入口服务器200。
[0146]文件存储模块63用于将所述文件或者所述文件的分片发送给选择的数据服务器集群进行存储。具体地,先判断文件是否超过预定的大小,若是,则需要对文件进行分片处理,然后对每个分片进行存储操作;若否,无须进行分片,可以直接进行存储操作。
[0147]存储操作可包括以下步骤:为要存储的文件或者分片选择一个数据服务器集群;然后将要存储的文件或者分片发送到选择的数据服务器集群中进行存储。入口服务器200可以根据预定的规则选择数据服务器集群或者向元数据服务器集群101请求分配数据服务器集群。上述的选择数据服务器集群的操作例如可由集群选择模块65进行。
[0148]文件索引提交模块64用于将所述文件或者分片在所述选择的数据服务器集群内的存储索引、所述选择的数据服务器集群的标识以及所述元数据索引发送给所述元数据服务器集群进行关联存储。
[0149]所述文件或者分片在所述选择的数据服务器集群内的存储索引是指所述文件或者分片在数据服务器集群内的分布式存储系统内的键。关联存储例如是指上述的存储索引以及数据服务器集群的标识可保存在以所述元数据索引为键的记录内。
[0150]根据本实施例的在分布式存储系统中存取文件的装置,元数据与数据正文分别存储在元数据服务器集群与数据服务器集群中,而且数据服务器集群是分布在不同的数据中心内。因此,可以避免所有数据存储在一个数据中心容易导致数量超过单一数据中心的承载量的问题。降低数据中心的分布式存储系统的运营成本。
[0151]第七实施例
[0152]第七实施例提供一种在分布式存储系统中存取文件的装置,其可用于图1所示的入口服务器200中。参阅图13,本实施例的装置包括:下载请求接收模块71、文件索引查询模块72、存储索引解析模块73、文件下载模块74、文件返回模块75。
[0153]下载请求接收模块71用于接收所述客户端的文件下载请求。用户终端300可通过运行的应用程序(如浏览器)登陆入口服务器200提供的网络应用,并通过该网络应用向入口服务器200发送文件下载请求。该文件下载请求是与一个或多个目标文件关联的。
[0154]文件索引查询模块72用于向所述元数据服务器集群发送元数据查询请求以获取所述元数据服务器集群返回的所述至少一个目标文件的元数据。入口服务器200向元数据服务器集群101发送元数据查询请求以获取元数据服务器集群101返回的元数据。元数据查询请求内应包括上述的至少一个目标文件的元数据索引。
[0155]存储索引解析模块用于从所述目标文件的元数据中解析出所述至少一个目标文件的存储索引以及所存储的数据服务器集群的标识。
[0156]元数据服务器集群101在接收到元数据查询请求后,从中解析出目标文件的元数据索引,根据该元数据索引向其内的分布式存储系统发起存储索引读取请求以读取与该键对应的元数据,并将获取的元数据返回至入口服务器200。
[0157]在接收到元数据服务器集群101返回的元数据后,入口服务器200可从元数据中解析出文件或者分片所存储的数据服务器集群,以及对应的存储索引。
[0158]文件下载模块74用于向与所述至少一个目标文件所存储的数据服务器集群发送下载请求以获取所述至少一个目标文件。
[0159]根据数据服务器集群向外提供的接口提交下载请求,在下载请求中包括存储索引作为参数。
[0160]文件返回模块75用于将所述至少一个目标文件返回所述客户端。
[0161]数据服务器集群会接收到入口服务器200发送的下载请求,从下载请求中解析出存储索引,根据存储索引在数据服务器集群内的分布式存储系统中获取对应的文件或进分片,并将获取的文件或者分片返回给入口服务器200。
[0162]如果是完整文件,可以直接返回入口服务器200,如果是分片,可以将分片直接返回入口服务器200,也可以在获取所有分片后组装成完整的文件后返回给入口服务器200。
[0163]根据本实施例的装置,可通过部署在不同数据中心内的分布式存储系统提供文件下载服务,可避免所有数据存储在一个数据中心容易导致数量超过单一数据中心的承载量的问题。降低数据中心的分布式存储系统的运营成本。
[0164]第八实施例
[0165]第八实施例提供一种在分布式存储系统中存取文件的装置,其可用于图1所示的入口服务器200中。参阅图13,本实施例的装置包括:删除请求接收模块81、文件索引删除模块82、存储索引解析模块83、以及文件删除模块84。
[0166]删除请求接收模块81用于接收所述客户端的文件删除请求。
[0167]用户终端300可通过运行的应用程序(如浏览器)登陆入口服务器200提供的网络应用,并通过该网络应用向入口服务器200发送文件删除请求。该文件删除请求是与一个或多个目标文件关联的。
[0168]文件索引删除模块82用于向所述元数据服务器集群发送文件索引删除请求以使所述元数据服务器集群返回并删除所述至少一个目标文件的元数据。
[0169]入口服务器200向元数据服务器集群101发送文件索引删除请求以获取元数据服务器集群101返回的元数据并使元数据服务器集群101删除目标文件的元数据。文件索引删除请求内应包括目标文件的元数据索引。
[0170]元数据服务器集群101在接收到文件索引删除请求后,从中解析出目标文件的元数据索引,根据该元数据索引向其内的分布式存储系统发起元数据读取请求以读取与该键对应的元数据,并将获取的元数据返回至入口服务器200。此外,除了将元数据返回至入口服务器200,还将与该元数据索引对应的记录删除。
[0171]存储索引解析模块83用于从所述元数据中解析出所述至少一个目标文件的存储索引以及所存储的数据服务器集群的标识。
[0172]在接收到元数据服务器集群101返回的元数据后,入口服务器200可从元数据中解析出文件或者分片所存储的数据服务器集群,以及对应的存储索引。
[0173]文件删除模块84用于根据所述至少一个目标文件的存储索引向对应的数据服务器集群发送文件删除请求以使所述数据服务器集群删除对应的文件或者分片。
[0174]入口服务器200分别向数据服务器集群发送删除请求,该删除请求内可包括上述的存储索引。相应地,数据服务器集群会接收到入口服务器200发送的删除请求,从删除请求中解析出存储索引,根据存储索引在数据服务器集群内的分布式存储系统中删除对应的文件或进分片。
[0175]根据本实施例的装置,可通过部署在不同数据中心内的分布式存储系统提供文件删除服务,可避免所有数据存储在一个数据中心容易导致数量超过单一数据中心的承载量的问题。降低数据中心的分布式存储系统的运营成本。
[0176]第九实施例
[0177]第九实施例提供一种在分布式存储系统中存取文件的装置,其可用于图1所示的入口服务器200中。参阅图11,本实施例的装置包括:更新请求接收模块91、文件索引查询模块92、存储索引解析模块93、以及文件更新模块94。
[0178]更新请求接收模块91用于接收所述客户端的文件更新请求。
[0179]用户终端300可通过运行的应用程序(如浏览器)登陆入口服务器200提供的网络应用,并通过该网络应用向入口服务器200发送文件更新请求。该文件更新请求是与一个或多个目标文件关联的。
[0180]文件索引查询模块92用于向所述元数据服务器集群发送元数据查询请求以获取所述元数据服务器集群返回的与所述至少一个目标文件的元数据。
[0181]入口服务器200向元数据服务器集群101发送元数据查询请求以获取元数据服务器集群101返回的元数据。元数据查询请求内应包括目标文件的元数据索引。
[0182]元数据服务器集群101在接收到元数据查询请求后,从中解析出目标文件的元数据索引,根据该元数据索引向其内的分布式存储系统发起元数据读取请求以读取与该元数据索引对应的元数据,并将获取的元数据返回至入口服务器200。
[0183]存储索引解析模块93用于从所述目标文件的元数据中解析出所述目标文件的存储索引以及所存储的数据服务器集群的标识。
[0184]在接收到元数据服务器集群101返回的元数据后,入口服务器200可从元数据中解析出文件或者分片所存储的数据服务器集群,以及对应的存储索引。
[0185]存储索引解析模块93用于根据所述至少一个目标文件的存储索引向所述数据服务器集群发送文件更新请求以使所述数据服务器集群更新对应的文件或者分片。
[0186]A 口服务器200分析更新所涉及的数据,从而找出更新所涉及的分片。然后,入口服务器200分别向所涉及的分片对应的数据服务器集群发送更新请求,该更新请求内可包括上述的存储索引以及更新后的数据。相应地,数据服务器集群会接收到入口服务器200发送的更新请求,从更新请求中解析出存储索引以及更新后的数据,根据存储索引以及更新后的数据在数据服务器集群内的分布式存储系统中进行内容更新操作。
[0187]根据本实施例的装置,可通过部署在不同数据中心内的分布式存储系统提供文件更新服务,可避免所有数据存储在一个数据中心容易导致数量超过单一数据中心的承载量的问题。降低数据中心的分布式存储系统的运营成本。
[0188]此外,可以理解,上述各实施例的装置仅为示例性说明,并不对本发明实施例提供的在电子装置中启动应用程序的装置做出任何限制,本领域普通技术人员可以将以上各实施例进行组合、稍加变化而得出新的技术方案,这些技术方案也应包含在上述的方法、装置及系统的范围内。
[0189]此外,本发明实施例还提供一种计算机可读存储介质,其内存储有计算机可执行指令,上述的计算机可读存储介质例如为非易失性存储器例如光盘、硬盘、或者闪存。上述的计算机可执行指令用于让计算
当前第4页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1