专利名称：分布式文件系统及其文件分片方法
技术领域：
本发明涉及计算机分布式存储领域，尤其涉及计算机集群技术中分布式文件系统的文件分片存储和数据緩存。
背景技术：
在目前基于计算机集群技术的存储中，为了实现各种不同文件系统操作的需求以及数据存储緩存的效率，采取了各种各样的文件分片方式，如按固定的分片大小将一个大文件分为连续的相等大小的数据片，将每个数据片存储在集群计算机系统中的不同计算机上，或采用指数递增的形式对一个大文件进行分
片，每个分片的大小以指数递增的方式变化，并且^fe不同的分片^:到相应的计算机上。
在实现上述数据分片存储方法及系统的过程中，发明人发现现有技术至少存在如下问题不同的文件分片存储技术有着不同的适用业务，固定大小的分片方法，分片大小相等适用于要求负载均衡、带宽小的系统，指数递增形式的分片方法是在假设文件后部分内容被访问率很小的基础上的存储方法。这两种方法都是基于一个固定分配策略的方法，不能满足各种具体业务需求。而对于一个应用广泛、需要支持各种不同文件分片存储要求的分布式文件系统来说，需要有灵活的分片支持技术来满足不同的应用需求。
发明内容
本发明的实施例提供一种分布式文件系统及其数据分片方法，能支持灵活的文件分片方法，满足不同的应用需求。
为达到上述目的，本发明的实施例采用如下技术方案一种分布式文件系统的数据分片方法，包括根据应用需求确定文件的分片方案；根据所述分片方案对所述文件进行分片处理，得到至少两个数据片。
一种分布式文件系统，包括
决策单元，用于4艮据应用需求确定文件的分片方案；
分片单元，用于根据所述分片方案对所述文件进行分片处理，得到至少两个数据片。
本发明实施例提供的分布式文件系统及其文件分片方法，能根据不同的系统应用需求为文件确定不同的分片方案，并根据所述分片方案对所述文件进行分片处理，从而满足不同的应用需求，同时也提高了系统的数据操作效率。
图1为本发明分布式文件系统的文件分片方法一实施例的流程图；图2为本发明分布式文件系统的文件分片方法另一实施例的流程图；图3为本发明分布式文件系统的文件分片方法又一实施例的流程图；图4为本发明分布式文件系统一实施例的方框示意图；图5为本发明分布式文件系统另一实施例的方框示意图；图6为数据片描述信息与数据片之间的映射结构示意图；图7为本发明分布式文件系统又一实施例的方框示意图。
具体实施例方式
本发明的实施例提供一种分布式文件系统及其文件分片方法，能支持灵活的文件分片方法，满足不同的应用需求。
下面结合附图对本发明实施例分布式文件系统及其文件分片方法进行详细描述。应当明确，以下实施例仅用于说明本发明，而不用于限定本发明的保护范围。
如图1所示，本发明实施例提供一种分布式文件系统的文件分片方法，包括步骤
51、 根据应用需求确定文件的分片方案；
52、 根据所述分片方案对所述文件进行分片处理，得到至少两个数据片。分布式文件系统根据应用需求，如系统性能要求或/和文件访问需求等，确定数据的分片方案，并根据所述分片方案对文件进行分片处理，比如，可将文 件按照固定的分片方法划分成大小相等的至少两个数据片，也可将文件按照指 数递增方法划分成大d、以指数递增的至少两个数据片，也可按照用户访问需求 将文件划分成大小不断变化的至少两个数据片，也可将固定大小分片方法与指 数递增分片方法相结合对文件进行分片。
对访问延迟性能要求高的视频或音频文件来说，可使用与用户访问文件时系
统的数据緩存策略相符合的存储策略对文件进行分片存储。即将文件按照指数
递增方法划分成大小以指数形式递增的至少两个数据片，如第i个分片的大
小为2\第i+l分片的大小为2i+1。通常情况下，除最后一个分片之外，第i+l
分片大小是第i个分片的两倍。视音频文件最前面的几个分片大小影响着用户
接收数据的延迟时间，若最前的几个分片过大，会延长用户接收数据的时间，
影响用户的访问速度。在用户访问的后期，大多数用户会自动停止观看视频或
收听音频，在这种情况下，以指数递增方法划分的^L频或音频文件中，后部分
较大的数据片就不需再发送给用户，从而减轻网络传输负载。而且，这种分片
大小逐渐递增的方法，有利于系统数据存储服务器对文件的管理。另外，如果
不是按照这种和系统数据緩存策略相符合的存储策略来存储文件，在用户访问
文件时，若要在系统的数据緩存中删除几片数据则有可能需对某一些分片做数
据删除和重组操作来达到删除的目的，并要对元数据服务器上的描述数据做修
改，给系统带来了额外的负担。
如图2所示，在本发明分布式文件系统的文件分片方法的另一实施例中， 还包括步骤
S3、分别对所述至少两个数据片增加描述信息，并将所述至少两个数据片 的描述信息进行存储。
数据片的描述信息可以帮助分布式文件系统使用者决定以何种更加高效的 方式处理每一个分片，通过直接浏览分片的属性信息决定操作某一个特定分片，而不需要读取整个文件的数据来做出决定，如同在普通操作系统的文件系
统中一样。每个数据片的描述信息包括数据片编号、数据片大小、数据片的 私有信息和数据片斥企验和。
如图3所示，本发明分布式文件系统的文件分片方法的又一实施例，是在 上述实施例的基础上，还包括步骤
S4、将所述至少两个数据片进行分布式存储，即将所述至少两个数据片分 别存储在相应的分布式存储设备中。
本发明实施例提供的分布式文件系统的文件分片方法，根据不同的应用需 求，如系统性能需求或/和用户访问要求等，为文件确定不同的分片方案，支持 灵活分片方法，并为每个数据片增加描述信息，从而满足不同的应用需求，同 时也提高了系统的文件操作效率。
如图4所示，本发明实施例还提供了一种分布式文件系统，包括
决策单元IOO,用于根据应用需求确定文件的分片方案；
其中，所述应用需求包括系统性能要求或/和文件访问需求等，所述的分片 方案包括将文件按照固定的分片方法划分成大小相等的至少两个数据片，将 文件按照指数递增方法划分成大小以指数递增的至少两个数据片，将文件划分 成大小不断变化的至少两个数据片，以及将固定大小分片方法与指数递增分片 方法相结合对文件进行分片。
分片单元200,用于根据所述决策单元IOO确定的所述分片方案，对所述文 件进行分片处理，得到至少两个数据片。
如图5所示，在上一实施例的基础上，本发明分布式文件系统的另一实施 例还包括
描述单元300,用于在所述分片单元200对所述文件进行分片处理，得到至 少两个数据片之后，对所述至少两个数据片分别增加描述信息。所述描述信息 包括数据片编号、数据片大小、数据片的私有信息和数据片校验和。图6所 示为描述信息与数据片之间的映射结构。
元数据服务器500，用于存储所述至少两个数据分片的描述信息。
其中，所述决策单元IOO、分片单元200和描述单元300可以作为与所述元数据服务器500相并列的设备单独存在，也可以将所述决策单元100、分片单元 200和描述单元300统一集成在所述元数据服务器500中。
如图7所示，本发明分布式文件系统又一实施例中，是在上一实施例的基 础上，还包括
至少两个存储设备700，用于对所述至少两个数据片进行对应的分布式存 所组成。
数据存储服务器600,用于将所述至少两个数据片存储到相应的存储设备 上，即将所述至少两个数据片对应存储到相应的计算机中的存储设备上。
针对一个逻辑较大的文件，首先由决策单元100才艮据应用需求确定分片方 案，再由分片单元200根据所述分片方案进行分片处理得到至少两个数据片， 所述至少两个数据片通过网络传送到数据存储服务器600,数据存储服务器600 再将接收到的至少两个数据片分别存储到相应的计算机中的存储设备上。这样， 在分布式文件系统中， 一个逻辑较大的文件就可以存储在不同计算机的存储设 备上。
为了满足不同的应用需求，同时也为了提高系统的文件操作效率，方便分 布式文件系统的使用者更够高效地处理分别一个数据片，在所述分片单元200 对所述文件进行分片处理，得到至少两个数据片之后，通过描述单元300对所 述至少两个数据片分别增加描述信息，该描述信息存储在元数据服务器500上； 元数据服务器500,将分布式系统中所有的存储设备整合起来，为系统文件建立 统一的名字空间，存储文件结构和目录结构。系统中各个计算机看到的目录结 构是一致的，用透明的方式访问相同的文件。将文件的各个分片描述信息存储 到元数据服务器中，为系统中各个用户访问文件提供方《更，提高操作效率。
以上所述，仅为本发明的具体实施方式
，但本发明的保护范围并不局限于 此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到 变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应 所述以权利要求的保护范围为准。
权利要求
1、一种分布式文件系统的文件分片方法，其特征在于，所述方法包括根据应用需求确定文件的分片方案；根据所述分片方案对所述文件进行分片处理，得到至少两个数据片。
2、 根据权利要求1所述的文件分片方法，其特征在于，所述分片方案包括按固定大小进行分片和按分片大小指数递增进行分片。
3、 根据权利要求1所述的文件分片方法，其特征在于，在根据所述分片方案对所述文件进行分片处理，得到至少两个数据片之后还包括分别对所述至少两个数据片增加描述信息，并将所述至少两个数据片的描述信息进行存储。
4、 根据权利要求3所述的文件分片方法，其特征在于，所述描述信息包括数据片编号、数据片大小、数据片校验和、数据片的私有信息。
5、 根据权利要求3所述的文件分片方法，其特征在于，将所述至少两个数据片的描述信息进行存储之后还包括将所述至少两个#1据片进行分布式存储。
6、根据权利要求1所述的文件分片方法，其特征在于，所述应用需求具体为系统性能要求或/和文件访问需求。
7、 一种分布式文件系统，其特征在于，所述系统包括决策单元，用于才艮据应用需求确定文件的分片方案；分片单元，用于根据所述分片方案对所述文件进行分片处理，得到至少两个数据片。
8、 根据权利要求7所述的分布式文件系统，其特征在于，所述系统还包括描述单元，用于分别对所述至少两个数据片增加描述信息；元数据服务器，用于存储所述至少两个数据片的描述信息。
9、 根据权利要求8所述的分布式文件系统，其特征在于，所述描述信息包括数据片编号、数据片大小、数据片的私有信息和数据片校验和。
10、 根据权利要求9所述的分布式文件系统，其特征在于，所述系统还包至少两个存储设备，用于对所述至少两个数据片进行对应的存储；数据存储服务器，用于将所述至少两个数据片对应存储到所述至少两个存储设备上。
全文摘要
本发明公开了一种分布式文件系统及其文件分片方法，为解决支持灵活的数据分片方法，满足不同的应用需求而发明。分布式文件系统的文件分片方法包括根据应用需求确定文件的分片方案；根据所述分片方案对所述文件进行分片处理，得到至少两个数据片。分布式文件系统包括决策单元，用于根据应用需求确定文件的分片方案；分片单元，用于根据所述分片方案对所述文件进行分片处理，得到至少两个数据片。本发明适用于分布式文件系统的文件分片存储和数据缓存。
文档编号G06F17/30GK101673271SQ200810212299
公开日2010年3月17日 申请日期2008年9月9日 优先权日2008年9月9日
发明者姚雪峰 申请人:青岛海信传媒网络技术有限公司