专利名称：分布式文件系统管理方法、装置以及对应的文件系统的制作方法
技术领域：
本发明涉及计算机电子领域，尤其涉及一种分布式文件系统管理方法、装置以及 对应的文件系统。
背景技术：
分布式文件系统(DFS，Distributed File System)是指文件系统管理的物理存储 资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。顾名思义，就是分布 式+文件系统。它包含这两个方面的内涵，从文件系统的客户使用的角度来看，它就是一个 标准的文件系统，提供了一系列API，由此进行文件或目录的创建、移动、删除，以及对文件 的读写等操作。从内部实现来看，分布式的系统则不再和普通文件系统一样负责管理本地 磁盘，它的文件内容和目录结构都不是存储在本地磁盘上，而是通过网络传输到远端系统 上。并且同一个文件存储不只是在一台机器上，而是在一簇机器上分布式存储，协同提供服 务。发明人在实施本发明的过程中发现，目前的分布式文件系统存在明显的缺点大型网站/系统随着功能的增多，对文件存储的需求也会跟着增多，如果所有的 文件都存储在一个分布式文件系统下，势必会造成文件管理的混乱；另外各种文件的类型 和功能对分布式系统的需求各不相同，有存储小文件的，有存储大文件的，如果都放在一起 将无法根据功能特性对分布式文件系统进行优化。此外，目前主流的分布式文件系统的元数据服务器都是将元数据放在内存中，所 以分布式文件系统能保存的文件数量受元数据服务器的内存大小限制，当前的硬件发展速 度已经远远不及待存储文件的增长速度了。所以，分布式文件系统元数据服务器的内存已 经成为限制分布式文件系统发展的瓶颈。
发明内容
本发明实施例所要解决的技术问题在于，提供一种分布式文件系统管理方法、装 置以及对应的文件系统，可解决目前分布式文件系统存储文件的数量受元数据服务器内存 大小的限制，在元数据服务器无法再增加内存时，仍然可以通过再增加元数据服务器的方 式对分布式文件系统进行扩展。同时本发明具有很好可扩展性，实现起来比较简单，且成本 低。为了解决上述技术问题，本发明实施例提供了一种分布式文件系统管理方法，包 括接收客户端发送的文件存储请求；根据预置的分类规则信息，查找目标文件对应的目标分布式文件系统；所述目标 文件为所述文件存储请求所请求的文件；按照预置的文件存储协议，将所述文件存储请求发送至所述目标分布式文件系 统；响应所述客户端的文件存储请求。
其中，所述接收客户端发送的文件存储请求之前，还包括预置文件存储协议、分类规则信息；所述分类规则信息包括对文件进行分类的 分类方法或算法、各类文件与各分布式文件系统的对应关系。其中，所述根据预置的分类规则信息，查找目标文件对应的目标分布式文件系统， 包括根据对文件进行分类的分类方法或算法，确定所述目标文件所属的分类；根据所述目标文件所属的分类，查找所述目标文件对应的分布式文件系统；将查找到的分布式文件系统作为所述目标文件的目标分布式文件系统。其中，所述按照预置的文件存储协议，将所述文件存储请求发送至所述目标分布 式文件系统；响应所述客户端的文件存储请求，包括按照预置的文件存储协议，将所述文件存储请求发送至所述目标分布式文件系 统；目标分布式文件系统根据所述文件存储请求，对目标文件进行对应的读/写操 作；在所述目标分布式文件系统完成对目标文件的操作后，响应所述客户端。相应地，本发明实施例还提供了一种文件系统，包括分布式文件系统管理装置、 客户端和至少两个分布式文件系统；所述客户端，用于根据用户的需求向所述分布式文件系统管理装置发送对应的文 件存储请求；所述分布式文件系统管理装置，用于接收客户端发送的文件存储请求；根据预置 的分类规则信息，查找目标文件对应的目标分布式文件系统；并按照预置的文件存储协议， 将所述文件存储请求发送至所述相应的分布式文件系统；且响应所述客户端的文件存储请 求；所述目标文件为所述文件存储请求所请求的文件；所述分布式文件系统，用于接收所述分布式文件系统管理装置发送的文件存储请 求，并按照所述文件存储请求对目标文件进行对应的读/写操作。其中，所述分布式文件系统包括元数据服务器和存储服务器；所述元数据服务器，用于存储所述存储服务器中的文件的元数据，以及对所述存 储服务器中的文件进行读/写操作；所述文件的元数据包括文件的存储地址、大小、类 型；所述存储服务器，用于存储文件，并接受所述元数据服务器对其存储的文件进行
读/写操作。相应地，本发明实施例还提供了一种分布式文件系统管理装置，包括客户端接口模块，用于接收客户端发送的文件存储请求；以及响应所述客户端的 所述文件存储请求；目标系统查找模块，用于根据预置的分类规则信息，查找目标文件对应的目标分 布式文件系统；所述目标文件为所述客户端接口模块所接收的文件存储请求所请求的文 件；存储请求处理模块，用于按照预置的文件存储协议，将所述文件存储请求发送至 所述目标系统查找模块所确定的目标分布式文件系统。
其中，所述系统还包括协议信息预置模块，用于预置文件存储协议、分类规则信息；所述分类规则信息包 括对文件进行分类的分类方法或算法、各类文件与各分布式文件系统的对应关系。其中，所述目标系统查找模块包括分类单元，用于根据所述协议信息预置模块中的分类方法或算法，确定所述目标 文件所属的分类；查找单元，用于根据所述分类单元确定的目标文件所属的分类，查找所述目标文 件对应的分布式文件系统；并将查找到的分布式文件系统作为所述目标文件的目标分布式 文件系统。其中，所述存储请求处理模块包括转发单元，用于按照协议信息预置模块中预置的文件存储协议，将所述文件存储 请求发送至所述目标分布式文件系统，使所述目标分布式文件系统根据所述文件存储请 求，对目标文件进行对应的读/写操作；处理单元，用于在所述目标分布式文件系统完成对目标文件的操作后，响应所述
客户端。实施本发明提供的分布式文件系统管理方法、装置以及对应的文件系统，可解决 目前分布式文件系统存储文件的数量受元数据服务器内存大小的限制，在元数据服务器无 法再增加内存时，仍然可以通过再增加元数据服务器的方式对分布式文件系统进行扩展。 同时本发明具有很好可扩展性，实现起来比较简单，且成本低。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现 有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本 发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可 以根据这些附图获得其他的附图。图1为本发明提供的分布式文件系统管理方法第一实施例流程示意图；图2为本发明提供的分布式文件系统管理方法第二实施例流程示意图；图3为本发明提供的文件系统实施例结构示意图；图4为本发明提供的分布式文件系统管理装置第一实施例结构示意图；图5为本发明提供的分布式文件系统管理装置第二实施例结构示意图。
具体实施例方式下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完 整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于 本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他 实施例，都属于本发明保护的范围。参见图1，为本发明提供的分布式文件系统管理方法第一实施例流程示意图，如图 1所示在步骤S100，接收客户端发送的文件存储请求。
在步骤S101，根据预置的分类规则信息，查找目标文件对应的目标分布式文件系 统；所述目标文件为所述文件存储请求所请求的文件。在步骤S102，按照预置的文件存储协议，将所述文件存储请求发送至所述目标分 布式文件系统。在步骤S103，响应所述客户端的文件存储请求。实施本发明实施例提供的分布式文件系统管理方法，可解决目前分布式文件系统 存储文件的数量受元数据服务器内存大小的限制，在元数据服务器无法再增加内存时，仍 然可以通过再增加元数据服务器的方式对分布式文件系统进行扩展。同时本发明具有很好 可扩展性，实现起来比较简单，且成本低。参见图2，为本发明提供的分布式文件系统管理方法第二实施例流程示意图，在本 实施例中，将更为详细的描述该分布式文件系统管理方法的流程，如图2所示在步骤S200，预置文件存储协议、分类规则信息；所述分类规则信息包括对文件 进行分类的分类方法或算法、各类文件与各分布式文件系统的对应关系。本发明实施例提 供基于垂直与水平的两种分类方法。垂直分类是按照功能，将不同功能的文件分开存储在 不同的分布式文件系统中，从而提高系统的可扩展性；水平分类是按照某种算法(例如用 户ID分段算法、hash算法等多种算法)将所有文件存储在多个分布式文件系统中。更为具体的，分类规则信息的具体格式可以如下< ？ xml version = “ 1.0〃 encoding = “ UTF-8" ？ ><storage:rule>< ！ 一某一种应用的配置规则这个例子是只做了垂直分类的一><fileSystemRule name =〃 Tmessage〃 defaultPartition =〃 mfsl" />< ！ 一默认的分类规则，当没有指定应用时就使用这个分类规则，相当于全局 的分类规则，这个例子是水平分类的，由于是全局的规则所以必须设置defaultRule = true—><fileSystemRule name =“ default" defaultRule =“ true" ><rule name = " rulel" ><parameters>uid</parameters><expression>< ！ [CDATA[abs (uid)between IOOOand 2000]]></expression><partition>mfsl</partition></rule>〈rule name=" rule2" ><parameters>uid</parameters><expression>< ！ [CDATA[abs (uid)between 2001and 3000]]></expression><partition>mfs2</partition></rule></fileSystemRule>〈/storage:rule>需要说明的是，上述预置文件存储协议、分类规则信息的步骤并非本实施例的必 经步骤，只要在初次实施时预置好文件存储协议、分类规则信息即可。当然，在后续使用中，可以根据实际情况进行更新和调整。在步骤S201，分布式文件系统管理装置接收客户端发送的文件存储请求，所述文 件存储请求包括写文件请求和读文件请求。在步骤S202，根据对文件进行分类的分类方法或算法，确定所述目标文件所属的 分类。在本实施例中，以用户ID分段算法为例，假设分布式文件系统管理装置管理5个分 布式文件系统，其分段算法如表1所示表
权利要求
一种分布式文件系统管理方法，其特征在于，包括接收客户端发送的文件存储请求；根据预置的分类规则信息，查找目标文件对应的目标分布式文件系统；所述目标文件为所述文件存储请求所请求的文件；按照预置的文件存储协议，将所述文件存储请求发送至所述目标分布式文件系统；响应所述客户端的文件存储请求。
2.如权利要求1所述的分布式文件系统管理方法，其特征在于，所述接收客户端发送 的文件存储请求之前，还包括预置文件存储协议、分类规则信息；所述分类规则信息包括对文件进行分类的分类 方法或算法、各类文件与各分布式文件系统的对应关系。
3.如权利要求1所述的分布式文件系统管理方法，其特征在于，所述根据预置的分类 规则信息，查找目标文件对应的目标分布式文件系统，包括根据对文件进行分类的分类方法或算法，确定所述目标文件所属的分类； 根据所述目标文件所属的分类，查找所述目标文件对应的分布式文件系统； 将查找到的分布式文件系统作为所述目标文件的目标分布式文件系统。
4.如权利要求1所述的分布式文件系统管理方法，其特征在于，所述按照预置的文件 存储协议，将所述文件存储请求发送至所述目标分布式文件系统；响应所述客户端的文件 存储请求，包括按照预置的文件存储协议，将所述文件存储请求发送至所述目标分布式文件系统； 目标分布式文件系统根据所述文件存储请求，对目标文件进行对应的读/写操作； 在所述目标分布式文件系统完成对目标文件的操作后，响应所述客户端。
5.一种文件系统，其特征在于，包括分布式文件系统管理装置、客户端和至少两个分 布式文件系统；所述客户端，用于根据用户的需求向所述分布式文件系统管理装置发送对应的文件存 储请求；所述分布式文件系统管理装置，用于接收客户端发送的文件存储请求；根据预置的分 类规则信息，查找目标文件对应的目标分布式文件系统；并按照预置的文件存储协议，将所 述文件存储请求发送至所述相应的分布式文件系统；且响应所述客户端的文件存储请求； 所述目标文件为所述文件存储请求所请求的文件；所述分布式文件系统，用于接收所述分布式文件系统管理装置发送的文件存储请求， 并按照所述文件存储请求对目标文件进行对应的读/写操作。
6.如权利要求5所述的文件系统，其特征在于，包括所述分布式文件系统包括元数据 服务器和存储服务器；所述元数据服务器，用于存储所述存储服务器中的文件的元数据，以及对所述存储服 务器中的文件进行读/写操作；所述文件的元数据包括文件的存储地址、大小、类型；所述存储服务器，用于存储文件，并接受所述元数据服务器对其存储的文件进行读/ 写操作。
7.一种分布式文件系统管理装置，其特征在于，包括客户端接口模块，用于接收客户端发送的文件存储请求；以及响应所述客户端的所述文件存储请求；目标系统查找模块，用于根据预置的分类规则信息，查找目标文件对应的目标分布式 文件系统；所述目标文件为所述客户端接口模块所接收的文件存储请求所请求的文件；存储请求处理模块，用于按照预置的文件存储协议，将所述文件存储请求发送至所述 目标系统查找模块所确定的目标分布式文件系统。
8.如权利要求7所述的分布式文件系统管理装置，其特征在于，所述系统还包括 协议信息预置模块，用于预置文件存储协议、分类规则信息；所述分类规则信息包括对文件进行分类的分类方法或算法、各类文件与各分布式文件系统的对应关系。
9.如权利要求7所述的分布式文件系统管理装置，其特征在于，所述目标系统查找模 块包括分类单元，用于根据所述协议信息预置模块中的分类方法或算法，确定所述目标文件 所属的分类；查找单元，用于根据所述分类单元确定的目标文件所属的分类，查找所述目标文件对 应的分布式文件系统；并将查找到的分布式文件系统作为所述目标文件的目标分布式文件 系统。
10.如权利要求7所述的分布式文件系统管理装置，其特征在于，所述存储请求处理模 块包括转发单元，用于按照协议信息预置模块中预置的文件存储协议，将所述文件存储请求 发送至所述目标分布式文件系统，使所述目标分布式文件系统根据所述文件存储请求，对 目标文件进行对应的读/写操作；处理单元，用于在所述目标分布式文件系统完成对目标文件的操作后，响应所述客户端。
全文摘要
本发明实施例公开了一种分布式文件系统管理方法、装置以及对应的文件系统，该分布式文件系统管理方法包括接收客户端发送的文件存储请求；根据预置的分类规则信息，查找目标文件对应的目标分布式文件系统；所述目标文件为所述文件存储请求所请求的文件；按照预置的文件存储协议，将所述文件存储请求发送至所述目标分布式文件系统；响应所述客户端的文件存储请求。实施本发明，可解决目前分布式文件系统存储文件的数量受元数据服务器内存大小的限制，在元数据服务器无法再增加内存时，仍然可以通过再增加元数据服务器的方式对分布式文件系统进行扩展。同时本发明具有很好可扩展性，实现起来比较简单，且成本低。
文档编号G06F17/30GK101944124SQ20101029070
公开日2011年1月12日 申请日期2010年9月21日 优先权日2010年9月21日
发明者宫建涛, 王一峰, 胡仲华 申请人:卓望数码技术(深圳)有限公司