一种文件存储的方法及装置与流程

本发明涉及海量文件存储技术领域，更具体地说，涉及一种文件存储的方法及装置。

背景技术：

随着移动互联网和大数据概念的迅速发展崛起，需要存储的数据量正以几何级数增长，尤其是图片、短视频等多媒体数据的爆发式增长，对存储设备的性能、容量等提出了更高的要求，海量文件的存储管理也面临全新的挑战。

海量文件主要以读操作为主，不同文件拥有不同的访问频率，例如，社会热点事件的图片视频文件与非热点事件的文件相比，其文件的访问频率相差非常大。文件的访问频率即文件热度，以下统称为文件热度。文件的访问频率越高则热度越高，反之越低。而文件热度权值是根据文件的多个相关属性及其影响因子计算得出的对文件访问热度的评估权值。权值越高表示该文件访问热度越高，反之则越低。

目前，传统的文件存储方式，文件基本以单次写多次读操作为主，文件的存储介质通常采用成本低廉的低速企业级硬盘。因为文件热度极不均衡，热度不等的文件统一存储至存储系统，其中存储了大量热度低的文件，占用大量内存，导致高热度文件的访问性能不佳，提高了存储成本。

因此，如何合理存储热度不同的文件，保证高热度文件的访问性能，进而降低海量文件的存储成本，是本领域技术人员目前需要解决的技术问题。

技术实现要素：

本发明的目的在于提供一种文件存储的方法及装置，以实现海量文件的合理存储，降低存储成本。

为实现上述目的，本发明实施例提供了如下技术方案：

一种文件存储的方法，包括：

根据文件的热度权值确定文件所属层级；

判断所述文件所属层级是否与所述文件所存储的存储系统相对应；

若否，则将所述文件迁移至与所述文件所属层级相对应的存储系统并存储。

优选地，所述存储系统包括：固态硬盘、普通硬盘以及近线存储。

优选地，所述文件所属层级包括：热文件、温文件以及冷文件；所述热文件、温文件以及冷文件分别对应存储于所述固态硬盘、普通硬盘以及近线存储。

优选地，所述判断所述文件所属层级是否与所述文件所存储的存储系统相对应；若否，则将所述文件迁移至与所述文件所属层级相对应的存储系统并存储，包括：

若所述文件为热文件，则判断所述文件是否存储于固态硬盘；

若否，则将所述文件迁移至固态硬盘并存储。

优选地，所述判断所述文件所属层级是否与所述文件所存储的存储系统相对应；若否，则将所述文件迁移至与所述文件所属层级相对应的存储系统并存储，包括：

若所述文件为温文件，则判断所述文件是否存储于普通硬盘；

若否，则将所述文件迁移至普通硬盘并存储。

优选地，所述判断所述文件所属层级是否与所述文件所存储的存储系统相对应；若否，则将所述文件迁移至与所述文件所属层级相对应的存储系统并存储，包括：

若所述文件为冷文件，则判断所述文件是否存储于近线存储；

若否，则将所述文件迁移至近线存储并存储。

优选地，所述判断所述文件所属层级是否与所述文件所存储的存储系统相对应；若否，则将所述文件迁移至与所述文件所属层级相对应的存储系统并存储，包括：

通过对文件实时监控，判断所述文件所属层级是否与所述文件所存储的存储系统相对应；

若否，则生成迁移文件列表，依据所述迁移文件列表和迁移控制策略将所述文件迁移并存储。

相应地，本发明实施例还提供了一种文件存储的装置，包括：

分层模块，用于根据文件的热度权值确定文件所属层级；

迁移存储模块，判断所述文件所属层级是否与所述文件所存储的存储系统相对应；若否，则将所述文件迁移至与所述文件所属层级相对应的存储系统并存储。

优选地，所述存储系统包括：固态硬盘，普通硬盘，近线存储；

所述固态硬盘，用于存储热文件；

所述普通硬盘，用于存储温文件；

所述近线存储，用于存储冷文件。

优选地，所述迁移存储模块包括：

监控单元，用于通过对文件实时监控，判断所述文件所属层级是否与所述文件所存储的存储系统相对应；

迁移单元，用于所述文件所属层级与所述文件所存储的存储系统不对应时，生成迁移文件列表，依据所述迁移文件列表和迁移控制策略将所述文件迁移并存储。

通过以上方案可知，本发明实施例提供的一种文件存储的方法，所述方法包括：根据文件的热度权值确定文件所属层级；判断所述文件所属层级是否与所述文件所存储的存储系统相对应；若否，则将所述文件迁移至与所述文件所属层级相对应的存储系统并存储。

该方法基于文件热度权值将文件分为不同层级，确定文件所属层级后，若文件未存储于所述文件所属层级相对应的存储系统，则将该文件迁移存储至所述文件所属层级相对应的存储系统。如此将文件合理分层并迁移存储，实现了存储系统的合理调度和最优资源的合理分配，既保证了高热度文件的访问性能，又降低了海量文件的存储成本，从而实现了存储系统的最佳性能和最少成本之间的平衡。

相应地，本发明所提供的一种文件存储的装置也具有上述有益效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例公开的一种文件存储的方法流程图；

图2为本发明实施例中文件的迁移存储过程示意图；

图3为本发明实施例公开的另一种文件存储的方法流程图；

图4为本发明实施例公开的一种文件存储的装置示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种文件存储的方法以及装置，以实现海量文件的合理存储，降低存储成本。

参见图1，本发明实施例提供的一种文件存储的方法，包括：

s101、根据文件的热度权值确定文件所属层级；

具体的，本实施例中根据文件热度权值确定文件所属层级，对于本实施例中的文件热度权值的计算，需要依据文件io访问频度、文件大小以及文件创建时间制定文件热度权值评估模型，热度评估模型如下：

p(f)＝x*r+y/t+z/s

p(f)表示文件f的热度权值；

r表示文件f的读io频率，读io频率与文件的热度权值正相关；

t表示文件f创建到现在的时间，理论上时间与文件热度负相关，也就是说时间越长，文件热度权值会越低。

s表示文件f的大小。高性能存储设备的容量相对来说较小，如果过大的文件长时间占用存储空间，会影响小文件的读性能。所以文件热度权值与文件大小之间属于负相关的关系。

x，y，z表示影响因子。针对不同的业务系统，可结合实际情况动态的调整影响因子，建立最佳的热度评估模型。例如：以图片为主的存储系统，文件大小的影响因子则比较小，因为图片文件的大小差异不大，而以短视频为主的存储系统，文件大小的影响因子就比较大，因为不同的短视频大小的差异较大。

依据以上文件热度权值评估模型计算而得的文件热度权值可以将文件分为热文件、温文件以及冷文件等不同层级；热文件即热度权值比较高的文件，温文件的热度权值适中，冷文件的热度权值最低，各不同层级的文件分别对应存储于不同层级的存储系统。

需要说明的是，本实施例中的根据文件热度权值确定文件所属层级仅为本发明中的一种确定文件所属层级的方式，本实施例中将文件分为三个不同层级，当然，也可以依据文件热度权值将文件分为更多或更少的层级，或者采用其他方式将文件分层。例如：本领域内的普通技术人员也可以根据文件类型、内容以及统计访问时间等方式确定文件所属层级，并不局限于上述说明。

s102、判断所述文件所属层级是否与所述文件所存储的存储系统相对应；

具体的，本实施例中的存储系统按照硬盘转速分为固态硬盘、普通硬盘以及近线存储；固态硬盘性能较好，可读性最佳，用于存储热度权值较高的热文件；普通硬盘性能普通，用于存储热度权值适中的温文件；近线存储性能次之，用于存储热度权值最低的冷文件。以上三层存储系统分别对应存储不同层级的文件。

需要说明的是，基于本实施例中的存储系统的分层方法，本领域内的普通技术人员也可以根据硬盘的其他性能将存储系统分层，也并不局限于上述三层，也可以为更多层或者更少层。为了节约资源与存储成本，存储系统和文件的分层应该相对应，避免浪费存储空间。

s103、若是，则不迁移所述文件；

s104、若否，则将所述文件迁移至与所述文件所属层级相对应的存储系统并存储。

参见图2，图2为本发明实施例中文件的迁移存储过程示意图。需要说明的是，基于上述实施例，本实施例中的文件的迁移存储过程具体如下：

当通过文件的热度权值将文件分层为热文件时，判断所述文件所属层级是否与所述文件所存储的存储系统相对应；若否，则将所述文件迁移至与所述文件所属层级相对应的存储系统并存储，包括：

若所述文件为热文件，则判断所述文件是否存储于固态硬盘201；

若否，则将所述文件迁移至固态硬盘201并存储。

具体的，当依据上述热度权值确定文件为热文件后，判断文件当前存储于哪个层级的存储系统，若文件当前存储于固态硬盘201，则无需迁移该文件；若文件当前存储于普通硬盘202，则将该文件迁移至固态硬盘201并存储；若文件当前存储于近线存储203，则先将该文件迁移至普通硬盘202，进而再迁移至固态硬盘201并存储。

当通过文件的热度权值将文件分层为温文件时，判断所述文件所属层级是否与所述文件所存储的存储系统相对应；若否，则将所述文件迁移至与所述文件所属层级相对应的存储系统并存储，包括：

若所述文件为温文件，则判断所述文件是否存储于普通硬盘202；

若否，则将所述文件迁移至普通硬盘202并存储。

具体的，当依据上述热度权值确定文件为温文件后，判断文件当前存储于哪个层级的存储系统，若文件当前存储于固态硬盘201，则将该文件迁移至普通硬盘202并存储；若文件当前存储于普通硬盘202，则无需迁移该文件；若文件当前存储于近线存储203，则将该文件迁移至普通硬盘202并存储。

当通过文件的热度权值将文件分层为冷文件时，判断所述文件所属层级是否与所述文件所存储的存储系统相对应；若否，则将所述文件迁移至与所述文件所属层级相对应的存储系统并存储，包括：

若所述文件为冷文件，则判断所述文件是否存储于近线存储203；

若否，则将所述文件迁移至近线存储203并存储。

具体的，当依据上述热度权值确定文件为冷文件后，判断文件当前存储于哪个层级的存储系统，若文件当前存储于固态硬盘201，则先将该文件迁移至普通硬盘202，进而再迁移至近线存储203并存储；若文件当前存储于普通硬盘202，则将该文件迁移至近线存储203并存储；若文件当前存储于近线存储203，则无需迁移该文件。

需要说明的是，本发明实施例中所述的文件的迁移过程仅在存储系统的相邻层级之间迁移，并不跨层迁移。

可见，在本实施例所提供的文件存储的方法中，将文件依据文件的热度权值分为热文件、温文件以及冷文件三个层级；相应地，也将存储系统分为固态硬盘201、普通硬盘202以及近线存储203三个层级。各不同层级的文件分别对应迁移存储于不同层级的存储系统，方便了热度权值较高的热文件的多次读操作，提高了热文件的可读性，同时也优化了存储系统的空间，降低了海量文件的存储成本。

参见图3，本发明还提供了另一种文件存储的方法，包括：

s301、根据文件的热度权值确定文件所属层级；

需要说明的是，本实施例中的文件的热度权值的计算方式与上述实施例中的文件的热度权值的计算方式类似，在此不再赘述。

s302、通过对文件实时监控，判断所述文件所属层级是否与所述文件所存储的存储系统相对应；

s303、若是、则不迁移所述文件；

s304、若否，则生成迁移文件列表，依据所述迁移文件列表和迁移控制策略将所述文件迁移并存储。

具体的，在本实施例中，存储系统对文件进行实时监控并建立文件的属性记录表，该记录表记录每个文件的属性，包括文件io访问频度、文件大小以及文件创时间等信息，并据此计算文件的热度权值生成文件迁移列表，最后依据上述文件迁移列表和迁移控制策略将文件迁移并存储。

需要说明的是，本实施例中的文件的迁移存储过程与上述实施例类似，在此不再赘述。

可见，在本发明所提供的文件存储的方法中，通过对文件分层并实时监控，从而实现了对文件的动态评估和动态迁移，合理的调度和使用了存储资源，减少了存储系统的成本。

下面对本发明实施例提供的一种文件存储的装置进行介绍，下文描述的一种文件存储的装置与上文描述的一种文件存储的方法可以相互参照。

参见图4，本发明实施例提供的一种文件存储的装置，包括：

分层模块100，用于根据文件的热度权值确定文件所属层级；

迁移存储模块200，判断所述文件所属层级是否与所述文件所存储的存储系统相对应；若否，则将所述文件迁移至与所述文件所属层级相对应的存储系统并存储。

基于本实施例，该装置中的存储系统包括：固态硬盘201，普通硬盘202，近线存储203；

所述固态硬盘201，用于存储热文件；

所述普通硬盘202，用于存储温文件；

所述近线存储203，用于存储冷文件。

基于本实施例，所述迁移存储模块200包括：

监控单元2001，用于通过对文件实时监控，判断所述文件所属层级是否与所述文件所存储的存储系统相对应；

迁移单元2002，用于所述文件所属层级与所述文件所存储的存储系统不对应时，生成迁移文件列表，依据所述迁移文件列表和迁移控制策略将所述文件迁移并存储。

可见，在本实施例中，将不同功能分散到不同模块来分别完成。分层模块将文件分层后，迁移存储模块进而将文件迁移至所述文件所属层级相对应的存储系统进行存储。其中，各个模块分工合作，降低了海量文件存储的效率和成本，有效的实现了存储系统最佳性能和最少成本之间的平衡。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。