一种分布式文件系统中文件的快速删除方法
【专利摘要】本发明提供了一种分布式文件系统中文件的快速删除方法，当删除分布式文件系统中的文件时，先在元数据服务器上将对应的元数据信息加入到回收目录下，然后返回删除成功，元数据服务器定时扫描回收目录，将其中文件对应的数据对象重命名为新的对象名，该对象名为系统中下一批待分配给新文件的文件对象，这样在有新文件数据写入时，可以直接使用刚回收文件重命名的对象，在读取文件时，按元数据中记录的文件大小判断有效数据的大小，从而达到不真正删除磁盘对象，且不影响正常读写，而将文件快速删除的目的。本发明在绝大多数情况下不需要删除文件数据磁盘对象，真正做到了文件的快速删除，且不产生磁盘数据IO，从而不影响正常数据的读写IO。
【专利说明】一种分布式文件系统中文件的快速删除方法
【技术领域】
[0001] 本发明涉及一种删除方法，具体涉及一种分布式文件系统中文件的快速删除方 法。
【背景技术】
[0002] 分布式文件系统一般包含客户端，元数据服务器和数据服务器，客户端负责文件 数据的访问接口制定，元数据服务器处理文件的布局及属性，数据服务器存储文件的数据 内容。
[0003] 对于分布式文件系统，可以存储海量数据是其最主要的特征，当系统中存储了大 量的文件，而文件需要大批量删除时，往往会产生大量的磁盘i〇,直接影响了正常的数据读 写，降低了整系统的读写性能。
[0004] 传统的做法是向将文件的元数据隐藏起来，然后后台回收元数据中对应的数据文 件，为了减少对正常读写的影响，只能限制每次回收文件的数量，这样虽然可以减少对系统 正常读写的影响，但大大降低了删除的速度，即磁盘空间重新被利用的速度。
【发明内容】
[0005] 为了克服上述现有技术的不足，本发明提供一种分布式文件系统中文件的快速删 除方法，在大多数情况下不需要真正删除文件的数据对象，只需要做重命名操作即可让删 除的文件的空间被快速的利用，既保证了删除的速度，又保证了数据的读写不受影响。
[0006] 为了实现上述发明目的，本发明采取如下技术方案：
[0007] 本发明提供一种分布式文件系统中文件的快速删除方法，所述方法包括以下步 骤：
[0008] 步骤1 :删除分布式文件系统中的文件；
[0009] 步骤2 :元数据服务器定时扫描删除目录中是否存在文件，若存在文件，则执行步 骤3;
[0010] 步骤3 :元数据服务器向各个存储节点发起重命名对象为待创建对象的请求，存 储节点执行对象的重命名操作；
[0011] 步骤4 :新文件写入存储节点，元数据服务器设置新文件的大小信息；
[0012] 步骤5 :客户端向各个存储节点读取数据内容。
[0013] 所述步骤1包括以下步骤：
[0014] 步骤1-1 :布式文件系统中的文件需要被删除时，客户端向元数据服务器发起删 除文件的请求；
[0015] 步骤1-2 :元数据服务器将需要删除的文件移动到删除目录，返回客户端删除成 功。
[0016] 所述步骤3包括以下步骤：
[0017] 步骤3-1 :元数据服务器查找自身的预创建对象池，找到待创建的对象名，向各个 存储节点发起重命名对象为待创建对象的请求；
[0018] 步骤3-2 :存储节点执行对象的重命名操作，完成后返回给元数据服务器。
[0019] 存储节点执行对象的重命名操作为同一文件或不同文件。
[0020] 所述步骤4中，新文件写入存储节点时，元数据服务器将预创建对象池中的对象 分配给新文件，新文件写入存储节点完成时，客户端向元数据服务器发送设置文件的大小 信息的请求，元数据服务器设置文件的大小信息。
[0021] 所述步骤5中，客户端从元数据服务器获取文件的大小信息，按有效大小长度向 各个存储节点读取数据内容。
[0022] 与现有技术相比，本发明的有益效果在于：
[0023] 本发明提供了一种分布式文件系统中文件的快速删除方法，当删除分布式文件系 统中的文件时，先在元数据服务器上将对应的元数据信息加入到回收目录下，然后返回删 除成功，元数据服务器定时扫描回收目录，将其中文件对应的数据对象重命名为新的对象 名，该对象名为系统中下一批待分配给新文件的文件对象，这样在有新文件数据写入时，可 以直接使用刚回收文件重命名的对象，在读取文件时，按元数据中记录的文件大小判断有 效数据的大小，从而达到不真正删除磁盘对象，且不影响正常读写，而将文件快速删除的目 的。本发明在绝大多数情况下不需要删除文件数据磁盘对象，真正做到了文件的快速删除， 且不产生磁盘数据10,从而不影响正常数据的读写10。
【专利附图】
【附图说明】
[0024] 图1是本发明实施例中分布式文件系统中文件的快速删除方法流程图。
【具体实施方式】
[0025] 下面结合附图对本发明作进一步详细说明。
[0026] 如图1，本发明提供一种分布式文件系统中文件的快速删除方法，所述方法包括以 下步骤：
[0027] 步骤1 :删除分布式文件系统中的文件；
[0028] 步骤2 :元数据服务器定时扫描删除目录中是否存在文件，若存在文件，则执行步 骤3;
[0029] 步骤3 :元数据服务器向各个存储节点发起重命名对象为待创建对象的请求，存 储节点执行对象的重命名操作；
[0030] 步骤4 :新文件写入存储节点，元数据服务器设置新文件的大小信息；
[0031] 步骤5 :客户端向各个存储节点读取数据内容。
[0032] 所述步骤1包括以下步骤：
[0033] 步骤1-1 :布式文件系统中的文件需要被删除时，客户端向元数据服务器发起删 除文件的请求；
[0034] 步骤1-2 :元数据服务器将需要删除的文件移动到删除目录，返回客户端删除成 功。
[0035] 所述步骤3包括以下步骤：
[0036] 步骤3-1 :元数据服务器查找自身的预创建对象池，找到待创建的对象名，向各个 存储节点发起重命名对象为待创建对象的请求；
[0037] 步骤3-2 :存储节点执行对象的重命名操作，完成后返回给元数据服务器。
[0038] 存储节点执行对象的重命名操作为同一文件或不同文件。
[0039] 所述步骤4中，新文件写入存储节点时，元数据服务器将预创建对象池中的对象 分配给新文件，新文件写入存储节点完成时，客户端向元数据服务器发送设置文件的大小 信息的请求，元数据服务器设置文件的大小信息。
[0040] 所述步骤5中，客户端从元数据服务器获取文件的大小信息，按有效大小长度向 各个存储节点读取数据内容。
[0041] 实施例
[0042] A.元数据将指定的文件移动到待删除目录：
[0043] 在系统中建立隐藏的目录，该目录对客户端不可见，专门用来存放客户端已删除， 但文件对应的对象未处理的文件。当元数据服务器收到客户端的删除请求时，只需将指定 的文件move到该目录下即可。
[0044] B.当对象被重新利用后，有效数据未达到之前对象大小时，多余出来的对象内容 何时回收。
[0045] 针对这种情况，在存储节点上启动定时器，定时扫描长时间未被写入的对象，然后 向元数据服务器确认是否有多余的对象内容没被使用，若存在，则将多余的内容截断掉，释 放该部分空间。
[0046] 本发明提供的分布式文件系统中文件的快速删除方法，当删除分布式文件系统中 的文件时，先在元数据服务器上将对应的元数据信息加入到回收目录下，然后返回删除成 功，元数据服务器定时扫描回收目录，将其中文件对应的数据对象重命名为新的对象名，该 对象名为系统中下一批待分配给新文件的文件对象，这样在有新文件数据写入时，可以直 接使用刚回收文件重命名的对象，在读取文件时，按元数据中记录的文件大小判断有效数 据的大小，从而达到不真正删除磁盘对象，且不影响正常读写，而将文件快速删除的目的。 本发明在绝大多数情况下不需要删除文件数据磁盘对象，真正做到了文件的快速删除，且 不产生磁盘数据10,从而不影响正常数据的读写10。
[0047] 最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，所 属领域的普通技术人员参照上述实施例依然可以对本发明的【具体实施方式】进行修改或者 等同替换，这些未脱离本发明精神和范围的任何修改或者等同替换，均在申请待批的本发 明的权利要求保护范围之内。
【权利要求】
1. 一种分布式文件系统中文件的快速删除方法，其特征在于：所述方法包括以下步 骤： 步骤1 :删除分布式文件系统中的文件； 步骤2 :元数据服务器定时扫描删除目录中是否存在文件，若存在文件，则执行步骤3 ; 步骤3 :元数据服务器向各个存储节点发起重命名对象为待创建对象的请求，存储节 点执行对象的重命名操作； 步骤4 :新文件写入存储节点，元数据服务器设置新文件的大小信息； 步骤5 :客户端向各个存储节点读取数据内容。
2. 根据权利要求1所述的分布式文件系统中文件的快速删除方法，其特征在于：所述 步骤1包括以下步骤： 步骤1-1 :布式文件系统中的文件需要被删除时，客户端向元数据服务器发起删除文 件的请求； 步骤1-2 :元数据服务器将需要删除的文件移动到删除目录，返回客户端删除成功。
3. 根据权利要求1所述的分布式文件系统中文件的快速删除方法，其特征在于：所述 步骤3包括以下步骤： 步骤3-1 :元数据服务器查找自身的预创建对象池，找到待创建的对象名，向各个存储 节点发起重命名对象为待创建对象的请求； 步骤3-2 :存储节点执行对象的重命名操作，完成后返回给元数据服务器。
4. 根据权利要求3所述的分布式文件系统中文件的快速删除方法，其特征在于：存储 节点执行对象的重命名操作为同一文件或不同文件。
5. 根据权利要求1所述的分布式文件系统中文件的快速删除方法，其特征在于：所述 步骤4中，新文件写入存储节点时，元数据服务器将预创建对象池中的对象分配给新文件， 新文件写入存储节点完成时，客户端向元数据服务器发送设置文件的大小信息的请求，元 数据服务器设置文件的大小信息。
6. 根据权利要求1所述的分布式文件系统中文件的快速删除方法，其特征在于：所述 步骤5中，客户端从元数据服务器获取文件的大小信息，按有效大小长度向各个存储节点 读取数据内容。
【文档编号】G06F17/30GK104156474SQ201410422309
【公开日】2014年11月19日 申请日期:2014年8月25日 优先权日:2014年8月25日
【发明者】郭照斌, 季旻, 姜国梁, 马振杰, 杨鹏 申请人:曙光信息产业股份有限公司, 无锡城市云计算中心有限公司