一种分布式文件系统分层存储方法及系统与流程

本发明涉及分布式文件系统存储的领域，尤其涉及一种分布式文件系统分层存储方法及系统。

背景技术：

目前，各种应用产生的数据成指数型、爆发式增长，产生的这些数据需要在分布式文件系统中进行存储。对于不同访问频次的数据，对存储硬盘的要求也不同，对于访问频次较高的热数据需要iops较高的磁盘，例如ssd(英文全称：solidstatedisk，中文全称：固态硬盘)、转速较高的sas(英文全称：serialattachedscsi，中文全称：串行连接scsi)盘或者闪存，而对于访问频次较低的冷数据可以用普通硬盘或者磁带库进行存储。

但是，现有技术中，无法根据数据的热度，智能化的存储到相应的磁盘中。

技术实现要素：

有鉴于此，本发明实施例提供了一种分布式文件系统分层存储方法及系统，解决了现有技术中，无法根据存储数据的不同访问量，智能化的存储到相应的磁盘中，并且控制了磁盘的使用成本。

本发明实施例提供的一种分布式文件系统分层存储方法，所述方法包括：

当接收到待存储的数据时，将所述待存储的数据存储到第一层存储目录下的热数据存储磁盘中；

周期性的检测存储在所述热数据存储磁盘中的第一存储数据的访问次数；

当所述第一存储数据的访问次数小于预设的第一热度阈值时，将所述第一存储数据迁移到第二层存储目录下的冷数据存储磁盘中。

可选的，还包括：

建立第一层存储目录和第二层存储目录；

将所述第一层存储目录绑定热数据存储磁盘；其中，所述热数据存储磁盘包括：ssd固态硬盘、sas盘或者闪存；

将所述第二层存储目录绑定冷数据存储磁盘；其中，述冷数据存储磁盘包括：普通硬盘。

可选的，还包括：

当所述冷数据存储磁盘中存储的数据所占的内存占所述冷数据存储磁盘存储容量的比例超过了预设的比例阈值时，确定所述冷数据存储磁盘中满足预设规则的第二存储数据；

将所述第二存储数据在第三层存储目录下的备份磁盘中备份；

删除所述冷数据存储磁盘中的第二存储数据。

可选的，所述确定所述冷数据存储磁盘中满足预设规则的第二存储数据，包括：

检测存储在所述冷数据存储磁盘中的存储数据的访问次数；

将在预设的时间段内访问次数均为零的所述存储数据确定为第二存储数据；

或者，

判断存储在所述冷数据存储磁盘中的存储数据是否超过了预设时间的存储数据；

将超过了预设时间的存储数据确定为第二存储数据。

可选的，还包括：

周期性的检测存储在冷数据存储磁盘中的第三存储数据的访问次数；

当所述第三存储数据的访问次数大于预设的第二热度阈值时，将所述第三存储数据迁移到第一层存储目录下的热数据存储磁盘中。

本发明实施例还提供了一种分布式文件系统分层存储系统，所述系统包括：第一存储单元，用于当接收到待存储的数据时，将所述待存储的数据存储到第一层存储目录下的热数据存储磁盘中；

第一检测单元，用于周期性的检测存储在所述热数据存储磁盘中的第一存储数据的访问次数；

第一迁移单元，用于当所述第一存储数据的访问次数小于预设的第一热度阈值时，将所述第一存储数据迁移到第二层存储目录下的冷数据存储磁盘中。

可选的，所述系统还可以包括：

建立单元，用于建立第一层存储目录和第二层存储目录；

第一绑定单元，用于将所述第一层存储目录绑定热数据存储磁盘；其中，所述热数据存储磁盘包括：ssd固态硬盘、sas盘或者闪存；

第二绑定单元，用于将所述第二层存储目录绑定冷数据存储磁盘；其中，述冷数据存储磁盘包括：普通硬盘。

可选的，所述系统还可以包括：

确定单元，用于当所述冷数据存储磁盘中存储的数据所占的内存占所述冷数据存储磁盘存储容量的比例超过了预设的比例阈值时，确定所述冷数据存储磁盘中满足预设规则的第二存储数据；

备份单元，用于将所述第二存储数据在第三层存储目录下的备份磁盘中备份；

删除单元，用于删除所述冷数据存储磁盘中的第二存储数据。

可选的，所述确定单元，包括：

检测子单元，用于检测存储在所述冷数据存储磁盘中的存储数据的访问次数；

第一确定子单元，用于将在预设的时间段内访问次数均为零的所述存储数据确定为第二存储数据；

或者，

判断子单元，用于判断存储在所述冷数据存储磁盘中的存储数据是否超过了预设时间的存储数据；

第二确定子单元，用于将超过了预设时间的存储数据确定为第二存储数据。

可选的，所述系统还可以包括：

第二检测单元，用于周期性的检测存储在冷数据存储磁盘中的第三存储数据的访问次数；

第二迁移单元，用于当所述第三存储数据的访问次数大于预设的第二热度阈值时，将所述第三存储数据迁移到第一层存储目录下的热数据存储磁盘中。

本实施例中，当接收到待存储的数据时，将所述待存储的数据存储到第一层存储目录下的热数据存储磁盘中；周期性的检测存储在所述热数据存储磁盘中的第一存储数据的访问次数；当所述第一存储数据的访问次数小于预设的第一热度阈值时，将所述第一存储数据迁移到第二层存储目录下的冷数据存储磁盘中。通过本实施例的方法，将不同访问量的数据分层存储，不仅控制了磁盘的使用成本，而且简化了分布式文件系统数据存储的流程。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1示出了本发明实施例提供的一种分布式文件系统分层存储方法的流程示意图；

图2示出了本发明实施例提供的一种分布式文件系统分层存储方法的流程示意图；

图3示出了本发明实施例提供的一种分布式文件系统分层存储方法的流程示意图；

图4示出了本发明实施例提供的一种分布式文件系统分层存储逻辑的示意图；

图5示出了本发明实施例提供的一种分布式文件系统分层系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参考图1，示出了本发明实施例提供的一种分布式文件系统分层存储方法的流程示意图，在本实施例中，所述方法可以包括以下步骤中的s101～s103：

s101：当接收到待存储的数据时，将所述待存储的数据存储到第一层存储目录下的热数据存储磁盘中；

本实施例中，在s101之前还可以包括以下步骤中的s201～s203：

s201：建立第一层存储目录和第二层存储目录；

s202：将所述第一层存储目录绑定热数据存储磁盘；其中，所述热数据存储磁盘包括：ssd固态硬盘、sas盘或者闪存；

s203：将所述第二层存储目录绑定冷数据存储磁盘；其中，所述冷数据存储磁盘包括：普通硬盘。

本实施例中，第一层存储目录下的热数据存储磁盘可以理解为存储热度值较高的数据，也可以理解为存储访问次数较高的数据。第二层存储目录下的冷数据存储磁盘可以理解为存储热度值较低的数据，也可以理解为存储访问次数较低或者为零的数据。其中，第一层存储目录还可以表示为hotdir目录，第二层存储目录还可以表示为colddir目录。

本实施例中，对于热数据存储磁盘可以是iops较高的磁盘，例如可以包括：ssd、转速较高的sas盘、闪存等；冷数据存储磁盘可以包括：普通磁盘，例如可以包括：机械硬盘。

本实施例中，第一层存储目录和第二层存储目录相当于元数据保存的两个数据结构，第一层存储目录和热数据存储磁盘绑定以及第二层存储目录和冷数据存储磁盘绑定后，存储到第一存储目录或第二存储目录下的数据，实际上，相当于将这些数据存储在热数据存储磁盘中或者冷数据存储磁盘中。

本实施例中，第一次存入到分布式文件系统中的数据可以为热度值较高的数据，这些数据需要存储到第一层存储目录下的热数据存储磁盘中。

s102：周期性的检测存储在所述热数据存储磁盘中的第一存储数据的访问次数；

本实施例中，第一存储数据可以表示热数据存储磁盘中的任何一个数据。

本实施例中，可以周期性的检测一个周期时间段内第一存储数据的访问次数，也就是检测任何一个存储数据的访问次数。

具体的，s102还可以包括：实时的检测单位时间内第一存储数据的访问次数，然后再周期性的统计一个周期时间段内的访问次数。

s103：当所述第一存储数据的访问次数小于预设的第一热度阈值时，将所述第一存储数据迁移到第二层存储目录下的冷数据存储磁盘中。

本实施例中，第一热度阈值可以是技术人员根据经验设定的。当第一存储数据的访问次数较低或者为零的时候，将第一存储数据从热数据存储磁盘中迁移到第二层存储目录下的冷数据存储磁盘中。本实施例中，当第一存储数据的访问次数，大于等于预设的第一热度阈值时，不移动第一存储数据。

本实施例中，当存储数据迁移到第二层存储目录下的冷数据存储磁盘中时，由于冷数据存储磁盘的存储容量有限，当冷数据存储磁盘中存储了较多的存储数据后，若不及时清理，会影响后续存储数据从热数据存储磁盘向冷数据存储磁盘的数据迁移，因此，还可以包括：以下步骤中的s301～s303：

s301：当所述冷数据存储磁盘中存储的数据所占的内存占所述冷数据存储磁盘存储容量的比例超过了预设的比例阈值时，确定所述冷数据存储磁盘中满足预设规则的第二存储数据；

s302：将所述第二存储数据在第三层存储目录下的备份磁盘中备份；

s303：删除所述冷数据存储磁盘中的第二存储数据。

本实施例中，对于预设的规则可以包括多个，例如可以根据存储数据的访问次数也可以根据存储数据的存储时间确定，具体的，s301可以包括以下的两个方面：

第一方面：检测存储在所述冷数据存储磁盘中的存储数据的访问次数；

将在预设的时间段内访问次数均为零的所述存储数据作为第二存储数据；

或者，

第二方面：判断存储在所述冷数据存储磁盘中的存储数据中是否包括超过了预设时间的存储数据；

将超过了预设时间的存储数据作为第二存储数据。

举例说明：

针对于第一方面：假设冷数据存储磁盘中存储的数据占该冷数据存储磁盘存储容量的80％，检测存储在冷数据存储磁盘中存储数据的访问次数，若检测到在一段时间内(例如可以为：半个月或者一个月)内访问次数均为零，则将这些数据备份到第三层存储目录下的备份磁盘中，并在冷数据存储磁盘中删除这些数据。

针对于第二方面：假设冷数据存储磁盘中存储的数据占该冷数据存储磁盘存储容量的80％，可以将2个月前保存的存储数据，备份到第三层存储磁盘下的备份磁盘中，并在冷数据存储磁盘中删除这些数据。

本实施例中，对于第三层存储磁盘中的备份磁盘可以为磁带库等其它成本较低的存储磁盘。

本实施例中，对于存储在第二层存储目录下的存储数据，还可以因为访问量的增加，从第二层目录中的冷数据存储磁盘中迁移到第一目录下的热数据存储磁盘中，具体的，还可以包括：

周期性的检测存储在冷数据存储磁盘中的第三存储数据的访问次数；

当所述第三存储数据的访问次数大于预设的第二热度阈值时，将所述第三存储数据迁移到第一层存储目录下的热数据存储磁盘中。

本实施例中，第三存储数据可以是存储在冷数据存储磁盘中的任何一个数据。

本实施例中，当接收到待存储的数据时，将所述待存储的数据存储到第一层存储目录下的热数据存储磁盘中；周期性的检测存储在所述热数据存储磁盘中的第一存储数据的访问次数；当所述第一存储数据的访问次数小于预设的第一热度阈值时，将所述第一存储数据迁移到第二层存储目录下的冷数据存储磁盘中。通过本实施例的方法，将不同访问量的数据分层存储，不仅控制了磁盘的使用成本，而且简化了分布式文件系统数据存储的流程。

参考图4，示出了本发明实施例提供的一种分布式文件系统分层存储逻辑的示意图；

如图所示：在分布式文件系统中建立hotdir目录和colddir目录，其中，将hotdir目录与ssd绑定；将colddir目录与普通硬盘绑定；并将磁带库与该分布式文件系统相连接。当客户端中产生待存储的数据时，先将该待存储的数据存储在hotdir目录下的ssd盘中。周期性的检测ssd盘存储的第一存储数据的访问次数，当第一存储数据的访问次数小于预设的第一热度阈值时，将所述第一存储数据迁移到colddir目录下的普通硬盘中。若是colddir目录下的普通硬盘中存储的数据的内存占普通硬盘存储容量的比例超过了预设的比例阈值时，可以将一段时间内访问量一直为零的数据在磁带库中备份，并删除普通硬盘中的一段时间内访问量一直为零的数据；或者，还可以将存储了较长一段时间的数据在磁带库中备份，并删除普通硬盘中这些存储了较长一段时间的数据。

其中，对于偶尔产生的数据也可以直接存储在colddir目录下的普通硬盘中。

本实施例中，将不同访问量的数据分层存储，不仅控制了磁盘的使用成本，而且简化了分布式文件系统数据存储的流程。

参考图5，示出了本发明实施例提供的一种分布式文件系统分层系统的结构示意图，在本实施例中，所述系统包括：

第一存储单元501，用于当接收到待存储的数据时，将所述待存储的数据存储到第一层存储目录下的热数据存储磁盘中；

第一检测单元502，用于周期性的检测存储在所述热数据存储磁盘中的第一存储数据的访问次数；

第一迁移单元503，用于当所述第一存储数据的访问次数小于预设的第一热度阈值时，将所述第一存储数据迁移到第二层存储目录下的冷数据存储磁盘中。

可选的，所述系统还可以包括：

建立单元，用于建立第一层存储目录和第二层存储目录；

第一绑定单元，用于将所述第一层存储目录绑定热数据存储磁盘；其中，所述热数据存储磁盘包括：ssd固态硬盘、sas盘或者闪存；

第二绑定单元，用于将所述第二层存储目录绑定冷数据存储磁盘；其中，述冷数据存储磁盘包括：普通硬盘。

可选的，所述系统还可以包括：

确定单元，用于当所述冷数据存储磁盘中存储的数据所占的内存占所述冷数据存储磁盘存储容量的比例超过了预设的比例阈值时，确定所述冷数据存储磁盘中满足预设规则的第二存储数据；

备份单元，用于将所述第二存储数据在第三层存储目录下的备份磁盘中备份；

删除单元，用于删除所述冷数据存储磁盘中的第二存储数据。

可选的，所述确定单元，包括：

检测子单元，用于检测存储在所述冷数据存储磁盘中的存储数据的访问次数；

第一确定子单元，用于将在预设的时间段内访问次数均为零的所述存储数据确定为第二存储数据；

或者，

判断子单元，用于判断存储在所述冷数据存储磁盘中的存储数据是否超过了预设时间的存储数据；

第二确定子单元，用于将超过了预设时间的存储数据确定为第二存储数据。

可选的，所述系统还可以包括：

第二检测单元，用于周期性的检测存储在冷数据存储磁盘中的第三存储数据的访问次数；

第二迁移单元，用于当所述第三存储数据的访问次数大于预设的第二热度阈值时，将所述第三存储数据迁移到第一层存储目录下的热数据存储磁盘中。

本实施例中，当接收到待存储的数据时，将所述待存储的数据存储到第一层存储目录下的热数据存储磁盘中；周期性的检测存储在所述热数据存储磁盘中的第一存储数据的访问次数；当所述第一存储数据的访问次数小于预设的第一热度阈值时，将所述第一存储数据迁移到第二层存储目录下的冷数据存储磁盘中。通过本实施例的系统，将不同访问量的数据分层存储，不仅控制了磁盘的使用成本，而且简化了分布式文件系统数据存储的流程。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。