一种数据文件存储方法、装置、设备以及存储介质与流程

本发明涉及存储技术领域，特别是涉及一种数据文件存储方法、装置、设备以及计算机可读存储介质。

背景技术：

近年来，全球数据量以每年58％的速率高速增长。idc研究报告指出，预计到2020年全球数据总量将超过40zb。数据量的高速增长，对数据的存储效率和访问效率提出严峻的挑战。为了解决这个问题，新兴存储设备依据文件的热度对文件进行分类，并依据文件的分类信息对文件分别进行存储。这里，文件的热度通常指文件的访问频率，即，单位时间内文件的访问次数。

以图1现有技术的示意图为例，假设依据文件的热度将文件分为两类，则现有技术一的存储设备包括处理器、第一类型存储硬盘和第二类型存储设备。处理器用于获取文件的热度信息。第一类型存储硬盘用于存储高热度文件，第二类型存储硬盘用于存储低热度文件。通常，第一类型存储硬盘的数据存取速率高于第二类型的存储硬盘。假设用于分类的热度值为h，则对于访问热度为[h,+∞)区间的文件存储到第一类型存储硬盘，而对于访问热度为[0,h)区间的文件则存储到第二类型存储硬盘。此外，根据文件的访问热度动态地调整文件的存储位置，即当第一类型存储硬盘中的文件的热度小于h时，将其调整到第二类型存储硬盘；同样地，当第二类型存储硬盘中文件的热度大于h时，将其调整到第一类型存储硬盘。这样，采用将热文件数据和冷文件数据分开存储，并将热文件存储到存取速率较高的存储硬盘的方式，可以有效地提高文件数据的存取效率

然而，存储系统在进行文件分类时通常采用固定的热度值作为文件分类的依据，而不考虑存储设备的状态，导致在存储设备的剩余容量不足时无法有效地对文件进行分类存储，降低了文件的存储效率和访问效率。以图1为例，当第一类型存储硬盘的剩余容量较多时，比如剩余容量超过硬盘容量的50％时，通过现有技术的文件分类存储可以有效地提升文件数据的存取效率；然而，当第一类型存储硬盘的剩余容量较少时，比如剩余容量不足硬盘容量的20％时，大量的高热度文件数据的存储操作将很快导致第一类型存储硬盘的剩余容量被占满，从而无法有效地存储热文件数据，导致文件数据存取效率的降低。

技术实现要素：

本发明的目的是提供一种数据文件存储方法、装置、设备以及计算机可读存储介质，以解决现有数据文件存储技术中文件的存储效率和访问效率较低的问题。

为解决上述技术问题，本发明提供一种数据文件存储方法，包括：

获取各数据文件的访问热度；

获取各个存储硬盘的存储容量参数；

根据所述存储硬盘的存储容量参数，动态调整用于分类文件的热度区间信息；所述热度区间信息为划分文件时的热度上限值和热度下限值；

根据调整后的所述热度区间信息，将所述数据文件分别存储至与访问热度相对应的存储硬盘。

可选地，所述获取各数据文件的访问热度包括：

监控数据文件的访问信息，确定各所述数据文件的访问次数以及访问时间；

根据所述访问次数以及所述访问时间，计算各所述数据文件在单位时间内的访问频率，作为各所述数据文件的访问热度。

可选地，所述根据所述存储硬盘的存储容量参数，动态调整用于分类文件的热度区间信息包括：

当高热度文件存储硬盘的剩余容量小于αс时，将所述热度区间信息中的区间界值调整为

当高热度文件存储硬盘的剩余容量小于βс时，将所述区间界值调整为ψr；

其中，所述区间界值为区分高热度文件和低热度文件的分界值，α、β为预设阈值，ψ为调整参数0<β<α<1，c为高热度文件存储硬盘的硬盘容量，r为区分高热度文件和低热度文件的区间界值。

可选地，所述根据调整后的所述热度区间信息，将所述数据文件分别存储至与访问热度相对应的存储硬盘包括：

当数据文件的访问热度不低于所述区间界值时，将所述数据文件存储至高热度文件存储硬盘；

当数据文件的访问热度低于所述区间界值时，将所述数据文件存储至低热度文件存储硬盘。

可选地，在所述根据调整后的所述热度区间信息，将所述数据文件分别存储至与访问热度相对应的存储硬盘之后还包括：

对存储硬盘中已存储的数据文件的访问热度进行实时监控，并根据所述数据文件的当前访问热度动态更新存储的位置。

可选地，所述根据所述数据文件的当前访问热度动态更新存储的位置包括：

当存储在高热度文件存储硬盘中的数据文件的当前访问热度低于所述区间界值时，将所述数据文件调整至所述低热度文件存储硬盘；

当存储在低热度文件存储硬盘中的数据文件的当前访问热度不低于所述区间界值时，将所述数据文件调整至所述高热度文件存储硬盘。

可选地，所述高热度文件存储硬盘为ssd硬盘，所述低热度文件存储硬盘为hdd硬盘。

本发明还提供了一种数据文件存储装置，包括：

第一获取模块，用于获取各数据文件的访问热度；

第二获取模块，用于获取各个存储硬盘的存储容量参数；

调整模块，用于根据所述存储硬盘的存储容量参数，动态调整用于分类文件的热度区间信息；所述热度区间信息为划分文件时的热度上限值和热度下限值；

存储模块，用于根据调整后的所述热度区间信息，将所述数据文件分别存储至与访问热度相对应的存储硬盘。

本发明还提供了一种数据文件存储设备，包括：

存储器，用于存储指令；

处理器，调用所述指令以用于获取各数据文件的访问热度；获取各个存储硬盘的存储容量参数；根据所述存储硬盘的存储容量参数，动态调整用于分类文件的热度区间信息；所述热度区间信息为划分文件时的热度上限值和热度下限值；根据调整后的所述热度区间信息，将所述数据文件分别存储至与访问热度相对应的存储硬盘。

本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述数据文件存储方法的步骤。

本发明所提供的数据文件存储方法以及装置，通过获取各数据文件的访问热度以及各个存储硬盘的存储容量参数；根据存储硬盘的存储容量参数，动态调整用于分类文件的热度区间信息；其中，热度区间信息为划分文件时的热度上限值和热度下限值；然后根据调整后的热度区间信息，将数据文件分别存储至与访问热度相对应的存储硬盘。本申请能够根据存储设备的状态动态地调整用于对文件进行分类的访问热度标准，随着磁盘剩余容量的减少，只有具有更高访问热度的文件才能存储到相应的硬盘，达到提升文件数据的存储效率和访问效率的目的。此外，本申请还提供了一种具有上述技术优点的数据文件存储设备以及计算机可读存储介质。

附图说明

为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为现有技术的示意图；

图2为本发明所提供的数据文件存储方法的一种具体实施方式的流程图；

图3为本实施例中获取各数据文件的访问热度的一种具体实施过程示意图；

图4为本发明实施例提供的数据文件存储装置的结构框图；

图5为本发明实施例提供的数据文件存储设备的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明所提供的数据文件存储方法的一种具体实施方式的流程图如图2所示，该方法包括：

步骤s101：获取各数据文件的访问热度；

参照图3本实施例中获取各数据文件的访问热度的一种具体实施过程示意图，该过程可以具体包括：

步骤s1011：监控数据文件的访问信息，确定各所述数据文件的访问次数以及访问时间；

步骤s1012：根据所述访问次数以及所述访问时间，计算各所述数据文件在单位时间内的访问频率，作为各所述数据文件的访问热度。

步骤s102：获取各个存储硬盘的存储容量参数；

存储容量参数可以具体包括但不限于硬盘的容量和硬盘的剩余容量。

步骤s103：根据所述存储硬盘的存储容量参数，动态调整用于分类文件的热度区间信息；所述热度区间信息为划分文件时的热度上限值和热度下限值；

对于访问热度位于某一区间的文件，将其归类到区间对应的类别。例如，假设需要将文件分为两个区间[0,r)和[r,+∞)，则访问热度大于r的文件被归类为高热度，访问热度在0和r之间的文件被归类为低热度。将文件热度属于区间[0,r)的文件归类为低热度文件，并将文件热度属于区间[r,+∞)的文件归类为高热度文件。

本步骤的一种具体实施方式可以为：当高热度文件存储硬盘的剩余容量小于αс时，将所述热度区间信息中的区间界值调整为当高热度文件存储硬盘的剩余容量小于βс时，将所述区间界值调整为ψr。

其中，所述区间界值为区分高热度文件和低热度文件的分界值，α、β为预设阈值，ψ为调整参数0<β<α<1，c为高热度文件存储硬盘的硬盘容量，r为区分高热度文件和低热度文件的区间界值。

步骤s104：根据调整后的所述热度区间信息，将所述数据文件分别存储至与访问热度相对应的存储硬盘。

具体地，当数据文件的访问热度不低于所述区间界值时，将所述数据文件存储至高热度文件存储硬盘；当数据文件的访问热度低于所述区间界值时，将所述数据文件存储至低热度文件存储硬盘。

本发明所提供的数据文件存储方法，通过获取各数据文件的访问热度以及各个存储硬盘的存储容量参数；根据存储硬盘的存储容量参数，动态调整用于分类文件的热度区间信息；其中，热度区间信息为划分文件时的热度上限值和热度下限值；然后根据调整后的热度区间信息，将数据文件分别存储至与访问热度相对应的存储硬盘。本申请能够根据存储设备的状态动态地调整用于对文件进行分类的访问热度标准，随着磁盘剩余容量的减少，只有具有更高访问热度的文件才能存储到相应的硬盘，达到提升文件数据的存储效率和访问效率的目的。

在上述实施例任一的基础上，本发明所提供的数据文件存储方法在根据调整后的所述热度区间信息，将所述数据文件分别存储至与访问热度相对应的存储硬盘之后还可以进一步包括：对存储硬盘中已存储的数据文件的访问热度进行实时监控，并根据所述数据文件的当前访问热度动态更新存储的位置。

具体地，当存储在高热度文件存储硬盘中的数据文件的当前访问热度低于所述区间界值时，将所述数据文件调整至所述低热度文件存储硬盘；当存储在低热度文件存储硬盘中的数据文件的当前访问热度不低于所述区间界值时，将所述数据文件调整至所述高热度文件存储硬盘。

作为一种具体实施方式，本发明所提供的数据文件存储方法中高热度文件存储硬盘可以具体为ssd硬盘，低热度文件存储硬盘可以具体为hdd硬盘。

下面对本发明实施例提供的数据文件存储装置进行介绍，下文描述的数据文件存储装置与上文描述的数据文件存储方法可相互对应参照。

图4为本发明实施例提供的数据文件存储装置的结构框图，参照图4数据文件存储装置可以包括：

第一获取模块100，用于获取各数据文件的访问热度；

第二获取模块200，用于获取各个存储硬盘的存储容量参数；

调整模块300，用于根据所述存储硬盘的存储容量参数，动态调整用于分类文件的热度区间信息；所述热度区间信息为划分文件时的热度上限值和热度下限值；

存储模块400，用于根据调整后的所述热度区间信息，将所述数据文件分别存储至与访问热度相对应的存储硬盘。

本实施例的数据文件存储装置用于实现前述的数据文件存储方法，因此数据文件存储装置中的具体实施方式可见前文中的数据文件存储方法的实施例部分，例如，第一获取模块100，第二获取模块200，调整模块300，存储模块400，分别用于实现上述数据文件存储方法中步骤s101，s102，s103和s104，所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再赘述。

本发明所提供的数据文件存储装置，通过获取各数据文件的访问热度以及各个存储硬盘的存储容量参数；根据存储硬盘的存储容量参数，动态调整用于分类文件的热度区间信息；其中，热度区间信息为划分文件时的热度上限值和热度下限值；然后根据调整后的热度区间信息，将数据文件分别存储至与访问热度相对应的存储硬盘。本申请能够根据存储设备的状态动态地调整用于对文件进行分类的访问热度标准，随着磁盘剩余容量的减少，只有具有更高访问热度的文件才能存储到相应的硬盘，达到提升文件数据的存储效率和访问效率的目的。

另外，如图5本发明实施例提供的数据文件存储设备的结构框图所示，本发明还提供了一种数据文件存储设备，包括：

存储器1，用于存储指令；

处理器2，调用所述指令以用于获取各数据文件的访问热度；获取各个存储硬盘的存储容量参数；根据所述存储硬盘的存储容量参数，动态调整用于分类文件的热度区间信息；所述热度区间信息为划分文件时的热度上限值和热度下限值；根据调整后的所述热度区间信息，将所述数据文件分别存储至与访问热度相对应的存储硬盘。

本发明所提供的数据文件存储设备，通过获取各数据文件的访问热度以及各个存储硬盘的存储容量参数；根据存储硬盘的存储容量参数，动态调整用于分类文件的热度区间信息；其中，热度区间信息为划分文件时的热度上限值和热度下限值；然后根据调整后的热度区间信息，将数据文件分别存储至与访问热度相对应的存储硬盘。本申请能够根据存储设备的状态动态地调整用于对文件进行分类的访问热度标准，随着磁盘剩余容量的减少，只有具有更高访问热度的文件才能存储到相应的硬盘，达到提升文件数据的存储效率和访问效率的目的。

此外，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一种所述数据文件存储方法的步骤。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的计算机可读存储介质中。

以上对本发明所提供的数据文件存储方法、装置、设备以及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。