一种分布式文件系统数据存储布局的方法
【专利摘要】本发明涉及一种分布式文件系统的数据存储布局的方法，该方法包括：将文件按长度区间分为不同的段，第一个段选用副本方式存储数据内容，之后的段选用节点间raid的方式存储数据内容，这样做之后对于小文件其均不超过第一段的大小，用副本方式即省空间又可以减少计算量，可以做到小文件的快速存储，而对于大文件，之后的段均为节点间raid的方式存储，可以节省大量的存储空间。本发明通过对文件不同长度的区间按不同方式存储数据，在未知文件大小的情况下，解决了不同大小文件对文件系统的不同要求，既满足了小文件的高性能，又满足了大文件的高空间利用率。
【专利说明】一种分布式文件系统数据存储布局的方法
【技术领域】
[0001]本发明涉及计算机领域，具体涉及一种分布式文件系统数据存储布局的方法。
【背景技术】
[0002]分布式文件系统一般包含客户端，元数据服务器和数据服务器，客户端负责文件数据的访问接口制定，元数据服务器处理文件的布局及属性，数据服务器存储文件的数据内容。
[0003]对于分布式文件系统，如何组织文件数据的存储形式，直接决定了系统的磁盘利用率和整系统的性能，目前主流的两种存储形式是副本和节点间raid的方式，但是这两种方式对于不同的文件各有利弊，副本方式对于大文件磁盘利用率太低，节点间raid对于小文件，由于需要额外的计算，因此性能比副本的低。针对以上的弊端，传统的方式是建立大文件和小文件的命名空间，对小文件的命名空间用副本方式，对大文件的命名空间用节点间raid方式，让应用根据自身的需求选择不同的命名空间，但由于大多数应用在写入文件前是不知道其会有多大的，因此选择命名合适空间本身就不容易做到。
【发明内容】
[0004]针对现有技术的不足，本发明的目的是提供一种分布式文件系统数据存储布局的方法，本发明通过对文件不同长度的区间按不同方式存储数据，在未知文件大小的情况下，解决了不同大小文件对文件系统的不同要求，既满足了小文件的高性能，又满足了大文件的高空间利用率。
[0005]本发明的目的是采用下述技术方案实现的:
[0006]本发明提供一种分布式文件系统数据存储布局的方法，其改进之处在于，所述方法包括:将文件按长度区间分为不同的段，第一个段选用副本方式存储数据内容，之后的段选用节点间raid的方式存储数据内容，对于小文件的大小均不超过第一段的大小，对于大文件，除第一段之后的段均为节点间raid的方式存储；
[0007]所述方法包括下述步骤:
[0008](I)客户端创建文件时，元数据服务器先创建出第一个段的副本数据布局及元数据信息；
[0009](2)当客户端写入的文件大小小于IM时数据存储到第一个段内，超过IM的部分需要先向元数据服务器发起第二个段的创建请求；
[0010](3)元数据服务器发现非第一个段的创建，则创建一个节点间raid的副本数据布局模式，返回给客户端成功；
[0011](4)客户端继续将数据写入节点间raid的布局对象中。
[0012]进一步地，文件按长度区间分为不同的段，每个段的大小，根据文件系统应用对小文件的长度定义来确定。
[0013]进一步地，所述小文件为小于IM的文件，所述大文件为大于IM的文件。[0014]与现有技术比，本发明达到的有益效果是:
[0015]本发明提供的分布式文件系统数据存储布局的方法，将文件按长度区间分为不同的段，第一个段选用副本方式存储数据内容，之后的段选用节点间raid的方式存储数据内容，这样做之后对于小文件其均不超过第一段的大小，用副本方式即省空间又可以减少计算量，可以做到小文件的快速存储，而对于大文件，之后的段均为节点间raid的方式存储，可以节省大量的存储空间，解决了不同大小文件对文件系统的不同要求，既满足了小文件的高性能，又满足了大文件的高空间利用率。
【专利附图】
【附图说明】
[0016]图1是本发明提供的将文件按长度区间分为不同的段的示意图。
【具体实施方式】
[0017]下面结合附图对本发明的【具体实施方式】作进一步的详细说明。
[0018]本发明提供的分布式文件系统数据存储布局的方法，将文件按长度区间分为不同的段，第一个段选用副本方式存储数据内容，之后的段选用节点间raid的方式存储数据内容，这样做之后对于小文件其均不超过第一段的大小，用副本方式即省空间又可以减少计算量，可以做到小文件的快速存储，而对于大文件，之后的段均为节点间raid的方式存储，可以节省大量的存储空间，将文件按长度区间分为不同的段的示意图如图1所示。
[0019]本发明提供的分布式文件系统数据存储布局的方法包括:
[0020](I)客户端创建文件时，元数据先创建出第一个段的副本数据布局及相关的元数据信息。
[0021](2)当客户端写入的文件大小超过第一个段时，向元数据服务器发起第二个段的创建请求，
[0022](3)元数据发现是非第一个段的创建，则创建一个节点间raid的数据布局模式，返回成功
[0023](4)客户端继续写入的数据写入节点间raid的布局对象中。
[0024]文件按长度区间分为不同的段，每个段的大小，根据文件系统应用对小文件的长度定义来确定。所述小文件为小于IM的文件，所述大文件为大于IM的文件。
[0025]最后应当说明的是:以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解:依然可以对本发明的【具体实施方式】进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求范围当中。
【权利要求】
1.一种分布式文件系统数据存储布局的方法，其特征在于，所述方法包括:将文件按长度区间分为不同的段，第一个段选用副本方式存储数据内容，之后的段选用节点间raid的方式存储数据内容，对于小文件的大小均不超过第一段的大小，对于大文件，除第一段之后的段均为节点间raid的方式存储； 所述方法包括下述步骤: (1)客户端创建文件时，元数据服务器先创建出第一个段的副本数据布局及元数据信息； (2)当客户端写入的文件大小小于IM时数据存储到第一个段内，超过IM的部分需要先向元数据服务器发起第二个段的创建请求； (3)元数据服务器发现非第一个段的创建，则创建一个节点间raid的副本数据布局模式，返回给客户端成功； (4)客户端继续将数据写入节点间raid的布局对象中。
2.如权利要求1所述的方法，其特征在于，文件按长度区间分为不同的段，每个段的大小，根据文件系统应用对小文件的长度定义来确定。
3.如权利要求1所述的方法，其特征在于，所述小文件为小于IM的文件，所述大文件为大于IM的文件。
【文档编号】G06F17/30GK103761268SQ201410004748
【公开日】2014年4月30日 申请日期:2014年1月6日 优先权日:2014年1月6日
【发明者】郭照斌, 马振杰, 姜国梁, 季旻, 杨鹏 申请人:无锡城市云计算中心有限公司