一种数据存储方法及装置与流程

文档序号:14554309阅读:201来源:国知局
一种数据存储方法及装置与流程

本发明涉及云计算领域中的云存储技术,尤其涉及一种数据存储方法及装置。



背景技术:

随着云计算的飞速发展,云存储技术对人们工作生活的重要性日益凸显。对于云存储系统,数据写入速度是影响其性能的一个重要因素。在数据写入过程中,数据的存储介质限制了云存储系统数据写入速度的提高。众多云存储提供商在云存储系统的存储服务器中提供了一种同时使用写入速度快、存储容量小、价格昂贵的存储介质如固态硬盘驱动器(solidstatedrive,ssd),和存储容量大、写入速度慢、价格低廉的存储介质,例如硬盘驱动器(harddiskdrive,hdd)的存储方案。在现有云存储系统中,主要通过将需存储的数据进行压缩处理后传输或者将需存储的数据进行分块处理后传输等技术来提高数据的写入速度,或者通过监测各个存储节点的负载情况来均衡存储系统负载。

但是现有技术方案中,在数据写入时只考虑了数据写入速度的提高,没有考虑存储介质存储空间负载不均衡的问题;或者只考虑了存储介质存储空间之间的负载均衡,没有考虑数据的写入速度,不能同时兼顾数据写入速度和存储介质存储空间之间的负载均衡。



技术实现要素:

为解决现有技术中存在的问题,本发明实施例提供一种数据存储方法及装置,解决了现有技术中不能同时兼顾数据写入速度和存储介质存储空间负载均衡的问题,通过不同存储介质的存储数据时写入速度不同的特点实现了数据写入速度的优化,并保证了存储空间的均衡使用。

为达到上述目的,本发明实施例的技术方案是这样实现的:

一种数据存储方法,所述方法包括:

获取待处理数据的流量值;

基于所述流量值和预设选择策略,确定目标存储器并存储所述待处理数据至所述目标存储器中;其中,所述目标存储器包括第一存储器集合或者第二存储器集合中的一个存储器;

当预设周期到来时,获取所述第一存储器集合的空间使用率和所述第二存储器集合的空间使用率;

根据所述第一存储器集合的空间使用率和所述第二存储器集合的空间使用率,确定是否迁移所述第一存储器集合中的数据至所述第二存储器集合中。

可选的,所述基于所述流量值和预设选择策略,确定目标存储器并存储所述上传数据至所述目标存储器中,包括:

从所述第一存储器集合和所述第二存储器集合中的选取任一存储器,得到第一存储器;

获取第一存储器的选择概率;

基于预设选择规则获得参考数值,比较所述参考数值与所述第一存储器的选择概率的大小关系;

若所述参考数值小于或者等于所述第一存储器的选择概率,选择所述第一存储器为所述目标存储器,并存储所述上传数据至所述目标存储器。

可选的,所述方法还包括:

若所述参考数值大于所述第一存储器的选择概率,执行所述从所述第一存储器集合和所述第二存储器集合中的选取任一存储器,得到第一存储器,直到重新确定所述目标存储器。

可选的,所述获取第一存储器的选择概率,包括:

获取所述第一存储器的写入速度和空间使用率;

获取所述第一存储器集合和所述第二存储器集合中存储器的总数;

基于所述流量值、所述第一存储器的写入速度、所述总数以及所述第一存储器的空间使用率,采用预设选择策略进行计算得到所述第一存储器的选择概率。

可选的,所述根据所述第一存储器集合的空间使用率和所述第二存储器集合的空间使用率,确定是否迁移所述第一存储器集合中的数据至所述第二存储器集合中,包括:

判断所述第一存储器集合中的每一存储器的空间使用率与第一阈值的大小关系;

若所述第一存储器集合中存在空间使用率大于或者等于所述第一阈值的存储器,统计所述第一存储器集合中空间使用率大于或者等于所述第一阈值的存储器的标识信息,得到第一标识信息集合;

判断所述第二存储器集合中的存储器的空间使用率与第二阈值的大小关系;

若所述第二存储器集合中存在空间使用率小于所述第二阈值的存储器,统计所述第二存储器集合中空间使用率小于所述第二阈值的存储器的标识信息,得到所述第二标识信息集合;

基于所述第一标识信息集合和所述第二标识信息集合,根据数据迁移规则迁移所述第一标识信息集合对应的存储器中的数据至所述第二标识信息集合对应的存储器中。

可选的,所述基于所述第一标识信息集合和所述第二标识信息集合,根据数据迁移规则迁移所述第一标识信息集合对应的存储器中的数据至所述第二标识信息集合对应的存储器中,包括:

获取所述第一标识信息集合对应的存储器中通信接口空闲的存储器,根据数据迁移规则确定所述第一标识信息集合对应的通信接口空闲的存储器需迁移的数据包;

获取所述第二标识信息集合对应的通信接口空闲的存储器,并迁移所述第一标识信息集合对应的通信接口空闲的存储器中需迁移的数据包至所述第二标识信息集合对应的通信接口空闲的存储器中。

可选的,所述第一存储器集合是ssd存储器集合,所述第二存储器集合是hdd存储器集合。

一种数据存储装置,所述装置包括:第一获取单元、第一处理单元、第二获取单元和第二处理单元;其中:

所述第一获取单元,用于获取待处理数据的流量值;

所述第一处理单元,用于基于所述流量值和预设选择策略,确定目标存储器并存储所述上传数据至所述目标存储器中;其中,所述目标存储器包括第一存储器集合或者第二存储器集合中的一个存储器;

所述第二获取单元,用于当预设周期到来时,获取所述第一存储器集合的空间使用率和所述第二存储器集合的空间使用率;

所述第二处理单元,用于根据所述第一存储器集合的空间使用率和所述第二存储器集合的空间使用率,确定是否迁移所述第一存储器集合中的数据至所述第二存储器集合中。

可选的,所述第一处理单元包括:第一处理模块、第一获取模块、第二处理模块和第三处理模块;其中:

所述第一处理模块,用于从所述第一存储器集合和所述第二存储器集合中的选取任一存储器,得到第一存储器;

所述第一获取模块,用于获取第一存储器的选择概率;

所述第二处理模块,用于基于预设选择规则获得参考数值,比较所述参考数值与所述第一存储器的选择概率的大小关系;

所述第三处理模块,用于若所述参考数值小于或者等于所述第一存储器的选择概率,选择所述第一存储器为所述目标存储器,并存储所述上传数据至所述目标存储器。

可选的,所述第一处理单元还包括:第四处理模块;其中:

所述第四处理模块,用于若所述参考数值大于所述第一存储器的选择概率,执行所述从所述第一存储器集合和所述第二存储器集合中的选取任一存储器,得到第一存储器,直到重新确定所述目标存储器。

可选的,所述第一获取模块,具体用于:

获取所述第一存储器的写入速度和空间使用率;

获取所述第一存储器集合和所述第二存储器集合中存储器的总数;

基于所述流量值、所述第一存储器的写入速度、所述总数以及所述第一存储器的空间使用率,采用预设选择策略进行计算得到所述第一存储器的选择概率。

可选的,所述第二处理单元,包括:判断模块、第五处理模块和迁移模块;其中:

所述判断模块,用于判断所述第一存储器集合中的每一存储器的空间使用率与第一阈值的大小关系;

所述第五处理模块,用于若所述第一存储器集合中存在空间使用率大于或者等于所述第一阈值的存储器,统计所述第一存储器集合中空间使用率大于或者等于所述第一阈值的存储器的标识信息,得到第一标识信息集合;

所述判断模块,还用于判断所述第二存储器集合中的存储器的空间使用率与第二阈值的大小关系;

所述第五处理模块,还用于若所述第二存储器集合中存在空间使用率小于所述第二阈值的存储器,统计所述第二存储器集合中空间使用率小于所述第二阈值的存储器的标识信息,得到所述第二标识信息集合;

所述迁移模块,用于基于所述第一标识信息集合和所述第二标识信息集合,根据数据迁移规则迁移所述第一标识信息集合对应的存储器中的数据至所述第二标识信息集合对应的存储器中。

可选的,所述迁移模块,具体用于:

获取所述第一标识信息集合对应的存储器中通信接口空闲的存储器,根据数据迁移规则确定所述第一标识信息集合对应的通信接口空闲的存储器需迁移的数据包;

获取所述第二标识信息集合对应的通信接口空闲的存储器,并迁移所述第一标识信息集合对应的通信接口空闲的存储器中需迁移的数据包至所述第二标识信息集合对应的通信接口空闲的存储器中。

本发明的实施例提供的数据存储方法及装置,通过获取待处理数据的流量值,并基于流量值和预设选择策略,确定目标存储器并存储待处理数据至目标存储器,然后当预设周期到来时,获取第一存储器集合的空间使用率和第二存储器集合的空间使用率,最后根据第一存储器集合的空间使用率和第二存储器集合的空间使用率,确定是否迁移第一存储器集合中的数据值第二存储器集合中;这样,通过流量值和预设选择策略确定目标存储器,优化了待处理数据写入目标存储器中的写入速度,而且当ssd存储器中存储的数据量超过阈值时,将ssd存储器中的数据迁移至可扩容的hdd存储器中,使ssd存储器的存储空间得到均衡使用,解决了现有技术中不能同时兼顾数据写入速度和存储介质存储空间负载均衡的问题,通过不同存储介质的存储数据时写入速度不同的特点实现了数据的写入速度的优化,并保证了存储空间的均衡使用。

附图说明

图1为本发明实施例提供的一种数据存储方法的流程示意图;

图2为本发明实施例提供的另一种数据存储方法的流程示意图;

图3为本发明实施例提供的又一种数据存储方法的流程示意图;

图4为本发明实施例提供的一种数据存储系统结构示意图;

图5为本发明实施例提供的一种数据存储装置的结构示意图;

图6为本发明实施例提供的另一种数据存储装置的结构示意图;

图7为本发明实施例提供的又一种数据存储装置的结构示意图;

图8为本发明另一实施例提供的一种数据存储装置的结构示意图;

图9为本发明实施例提供的一种数据迁移流程系统图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。

本发明实施例提供一种数据存储方法,参照图1所示,该方法包括以下步骤:

步骤101、获取待处理数据的流量值。

具体的,步骤101获取待处理数据的流量值可以由数据存储装置来实现。待处理数据可以是用户上传至云存储系统中需存储的数据;待处理数据的流量值可以是用户上传至云存储系统中需存储的数据的流量大小值。数据存储装置可以是云存储系统。

步骤102、基于流量值和预设选择策略,确定目标存储器并存储待处理数据至目标存储器中。

其中,目标存储器包括第一存储器集合或者第二存储器集合中的一个存储器。

具体的,步骤102基于流量值和预设选择策略,确定目标存储器并存储待处理数据至目标存储器中可以由数据存储装置来实现。预设选择策略可以是用于确定目标存储器的一种方法,该预设选择策略可以具有以下特点:存储器的空间使用率越大,存储器被选中的概率越小;流量值越大,存储器的写入速度越快,则存储器被选中的概率越大;流量值越小,存储器的写入速度慢,则存储器被选中的概率越大。其中,第一存储器集合可以是ssd存储器集合,第二存储器集合可以是hdd存储器集合。

步骤103、当预设周期到来时,获取第一存储器集合的空间使用率和第二存储器集合的空间使用率。

具体的,步骤103当预设周期到来时,获取第一存储器集合的空间使用率和第二存储器集合的空间使用率可以由数据存储装置来实现。数据存储装置可以每隔预设周期获取第一存储器集合和第二存储器集合的空间使用率,并对第一存储器集合和第二存储器集合的空间使用率进行记录。例如预设周期可以是1分钟或者5分钟,也可以根据用户需求进行设置。

步骤104、根据第一存储器集合的空间使用率和第二存储器集合的空间使用率,确定是否迁移第一存储器集合中的数据至第二存储器集合中。

具体的,步骤104根据第一存储器集合的空间使用率和第二存储器集合的空间使用率,确定是否迁移第一存储器集合中的数据至第二存储器集合中可以由数据存储装置来实现。当第一存储器的空间使用率的大小关系符合第一预定数值时,可以将第一存储器中的数据迁移至第二存储器,其中,第二存储器的空间使用率的大小关系也需要符合第二预定数值。

本发明实施例所提供的数据存储方法,通过获取待处理数据的流量值,并基于流量值和预设选择策略,确定目标存储器并存储待处理数据至目标存储器,然后当预设周期到来时,获取第一存储器集合的空间使用率和第二存储器集合的空间使用率,最后根据第一存储器集合的空间使用率和第二存储器集合的空间使用率,确定是否迁移第一存储器集合中的数据值第二存储器集合中;这样,通过流量值和预设选择策略确定目标存储器,优化了待处理数据写入目标存储器中的写入速度,而且当ssd存储器中存储的数据量超过阈值时,将ssd存储器中的数据迁移至可扩容的hdd存储器中,使ssd存储器的存储空间得到均衡使用,解决了现有技术中不能同时兼顾数据写入速度和存储介质存储空间负载均衡的问题,通过不同存储介质的存储数据时写入速度不同的特点实现了数据的写入速度的优化,并保证了存储空间的均衡使用。

本发明实施例提供一种数据存储方法,参照图2所示,该方法包括以下步骤:

步骤201、数据存储装置获取待处理数据的流量值。

步骤202、数据存储装置从第一存储器集合和第二存储器集合中的选取任一存储器,得到第一存储器。

具体的,以第一存储器集合为ssd存储器集合,第二存储器集合为hdd存储器集合为例进行说明。云存储系统可以在ssd存储器集合和hdd存储器集合中随机选择一个存储器作为第一存储器,示例性的,第一存储器可以是一个hdd存储器。

步骤203、数据存储装置获取第一存储器的选择概率。

具体的,第一存储器的选择概率可以是云存储系统进行计算获得的。例如云存储系统获取hdd存储器的选择概率为0.3。

步骤204、数据存储装置基于预设选择规则获得参考数值,比较参考数值与第一存储器的选择概率的大小关系。

具体的,预设选择规则可以是一种选择算法,可以用于获得能够与第一存储器的选择概率进行大小比较的参考数值。

其中,步骤204数据存储装置基于预设选择规则获得参考数值,比较参考数值与第一存储器的选择概率的大小关系之后,可以选择执行步骤205或者步骤206,若参考数值小于或者等于第一存储器的选择概率可以执行步骤205,若参考数值大于第一存储器的选择概率可以选择执行步骤206;

步骤205、若参考数值小于或者等于第一存储器的选择概率,数据存储装置选择第一存储器为目标存储器,并存储上传数据至目标存储器。

具体的,例如当根据预设选择规则获得的参考数值为0.2时,小于云存储系统获取的hdd存储器的选择概率0.3,云存储系统可以确定目标存储器是第一存储器hdd存储器,并将用户上传的数据存储在目标存储器hdd存储器中。

步骤206、若参考数值大于第一存储器的选择概率,数据存储装置执行从第一存储器集合和第二存储器集合中的选取任一存储器,得到第一存储器,直到重新确定目标存储器。

具体的,例如当根据预设选择规则获得的参考数值为0.4时,大于hdd存储器的选择概率0.3,不能选择该hdd存储器为目标存储器。云存储系统可以从ssd存储器集合或者hdd存储器集合中重新选择一个存储器作为第一存储器,例如可以是ssd存储器,计算重新选取的ssd存储器的选择概率为0.6并可以重新根据预设选择规则获取一个参考数值如0.5,然后比较重新选择的ssd存储器的选择概率0.6和参考数值0.5,可以确定目标存储器为重新选择的ssd存储器;若重新根据预设规则获取一个参考数值0.8,则该重新选择的ssd存储器不是目标存储器,需重新在ssd存储器集合和hdd存储器集合中选取一个存储器作为第一存储器,并对重新获得的第一存储器进行分析,如此循环直至确定目标存储器,最后将用户上传的数据存储在目标存储器中。

步骤207、当预设周期到来时,数据存储装置获取第一存储器集合的空间使用率和第二存储器集合的空间使用率。

具体的,当预设周期到来时,云存储系统获取ssd存储器集合的空间使用率和hdd存储器集合的空间使用率。

步骤208、数据存储装置判断第一存储器集合中的每一存储器的空间使用率与第一阈值的大小关系。

具体的,第一阈值可以是用户在使用第一存储器集合过程中获得的经验值。例如第一阈值可以是0.8,云存储系统可以判断ssd存储器集合中每一存储器的空间使用率与第一阈值0.8之间的大小关系。

步骤209、若第一存储器集合中存在空间使用率大于或者等于第一阈值的存储器,数据存储装置统计第一存储器集合中空间使用率大于或者等于第一阈值的存储器的标识信息,得到第一标识信息集合。

具体的,若ssd存储器集合中存在空间使用率大于或者等于0.8的存储器,统计ssd存储器集合中空间使用率大于或者等于第一阈值0.8的ssd存储器的标识信息,得到第一标识信息集合,确定需要迁移数据的ssd存储器。

步骤210、数据存储转置判断第二存储器集合中的存储器的空间使用率与第二阈值的大小关系。

具体的,第二阈值可以用于选择第二存储器集合中的存储器,该第二存储器集合中的存储器可以接收第一存储器集合中的存储器迁移的数据。例如,第二阈值可以是0.2。

步骤211、若第二存储器集合中存在空间使用率小于第二阈值的存储器,数据存储装置统计第二存储器集合中空间使用率小于第二阈值的存储器的标识信息,得到第二标识信息集合。

具体的,若第二存储器集合hdd存储器集合中存在空间使用率小于第二阈值0.2的hdd存储器,统计hdd存储器的标识信息得到第二标识信息集合。

步骤212、数据存储装置基于第一标识信息集合和第二标识信息集合,根据数据迁移规则迁移第一标识信息集合对应的存储器中的数据至第二标识信息集合对应的存储器中。

具体的,数据迁移规则可以用于确定第一标识信息集合对应的存储器中需迁移多少数据,并在第一标识信息集合对应的存储器符合要求的条件下,将其需迁移的数据迁移至符合要求的第二标识信息集合对应的存储器中。例如,数据迁移规则可以是ssd存储器迁移数据后,ssd存储器的空间使用率小于整个云存储系统的空间使用率且同时小于该ssd存储器的空间使用率阈值0.6。

本发明实施例所提供的数据存储方法,通过获取待处理数据的流量值,并基于流量值和预设选择策略,确定目标存储器并存储待处理数据至目标存储器,然后当预设周期到来时,获取第一存储器集合的空间使用率和第二存储器集合的空间使用率,最后根据第一存储器集合的空间使用率和第二存储器集合的空间使用率,确定是否迁移第一存储器集合中的数据值第二存储器集合中;这样,通过流量值和预设选择策略确定目标存储器,优化了待处理数据写入目标存储器中的写入速度,而且当ssd存储器中存储的数据量超过阈值时,将ssd存储器中的数据迁移至可扩容的hdd存储器中,使ssd存储器的存储空间得到均衡使用,解决了现有技术中不能同时兼顾数据写入速度和存储介质存储空间负载均衡的问题,通过不同存储介质的存储数据时写入速度不同的特点实现了数据的写入速度的优化,并保证了存储空间的均衡使用。

本发明实施例提供一种数据存储方法,参照图3所示,该方法包括以下步骤:

步骤301、数据存储装置获取待处理数据的流量值。

步骤302、数据存储装置从第一存储器集合和第二存储器集合中的选取任一存储器,得到第一存储器。

具体的,第一存储器集合可以是由10块容量为500g的ssd存储器组成的ssd存储器集合,第二存储器集合可以是由90块容量为2t的hdd存储器组成的hdd存储器集合,云存储系统从10块ssd存储器集合和90块hdd存储器集合中随机选取一个存储器,例如可以是ssd存储器,作为第一存储器。

步骤303、数据存储装置获取第一存储器的写入速度和空间使用率。

步骤304、数据存储装置获取第一存储器集合和第二存储器集合中存储器的总数。

步骤305、数据存储装置基于流量值、第一存储器的写入速度、总数以及第一存储器的空间使用率,采用预设选择策略进行计算得到第一存储器的选择概率。

具体的,预设选择策略可以采用公式(1)来实现:

p1(x)=sigmod(λ*|x+μ|+γ)+v(2)

其中,t为待处理数据的流量值,n为第一存储器集合和第二存储器集合中存储器的总数,si为第一存储器的写入速度,ri为第一存储器的空间使用率i为第一存储器;p1(x)可以由公式(2)和(4)实现,p2(x)函数可以由公式(3)和(4)实现;公式(2)中的λ、μ、γ、ν可以是调整系数,与组成云存储系统的存储器和存储器的空间使用率,以及对公式(4)计算方法的收敛性要求等有关,可根据需要进行调整,并无固定值,例如在本实施例中可以取λ=-3π、μ=-0.75、γ=1、ν=0.15;公式(3)中的α、β可以是调整系数,与存储器的安全容量限制等有关,可根据需要进行调整,例如在本实施例中可以取α=-2π、β=π。

步骤306、当预设周期到来时,数据存储装置获取第一存储器集合的空间使用率和第二存储器集合的空间使用率。

步骤307、数据存储装置基于预设选择规则获得参考数值,比较参考数值与第一存储器的选择概率的大小关系。

其中,步骤307数据存储装置基于预设选择规则获得参考数值,比较参考数值与第一存储器的选择概率的大小关系之后,可以选择执行步骤308或者步骤309,若参考数值小于或者等于第一存储器的选择概率可以执行步骤308,若参考数值大于第一存储器的选择概率可以选择执行步骤309;

步骤308、若参考数值小于或者等于第一存储器的选择概率,数据存储装置选择第一存储器为目标存储器,并存储上传数据至目标存储器。

步骤309、若参考数值大于第一存储器的选择概率,数据存储装置执行从第一存储器集合和第二存储器集合中的选取任一存储器,得到第一存储器,直到重新确定目标存储器。

步骤310、当预设周期到来时,数据存储装置获取第一存储器集合的空间使用率和第二存储器集合的空间使用率。

步骤311、数据存储装置判断第一存储器集合中的每一存储器的空间使用率与第一阈值的大小关系。

步骤312、若第一存储器集合中存在空间使用率大于或者等于第一阈值的存储器,数据存储装置统计第一存储器集合中空间使用率大于或者等于第一阈值的存储器的标识信息,得到第一标识信息集合。

步骤313、数据存储装置判断第二存储器集合中的存储器的空间使用率与第二阈值的大小关系。

步骤314、若第二存储器集合中存在空间使用率小于第二阈值的存储器,数据存储装置统计第二存储器集合中空间使用率小于第二阈值的存储器的标识信息,得到第二标识信息集合。

步骤315、数据存储装置获取第一标识信息集合对应的存储器中通信接口空闲的存储器,根据数据迁移规则确定第一标识信息集合对应的通信接口空闲的存储器需迁移的数据包。

具体的,云存储系统从空间使用率大于0.8的ssd存储器的第一标识信息集合中获取输入/输出(i/o)接口空闲的ssd存储器,并根据数据迁移规则确定该i/o接口空闲的ssd存储器需迁移的数据包。其中,当i/o速率小于存储器的写入速率的30%时,可以认为存储器的i/o接口空闲。

步骤316、数据存储装置获取第二标识信息集合对应的通信接口空闲的存储器,并迁移第一标识信息集合对应的通信接口空闲的存储器中需迁移的数据包至第二标识信息集合对应的通信接口空闲的存储器中。

具体的,云存储系统从空间使用率小于0.2的hdd存储器的第二标识信息集合中获取i/o接口空闲的hdd存储器后,将第一标识信息集合对应的i/o接口空闲的ssd存储器中的确定的需迁移的数据包迁移至该i/o接口空闲的hdd存储器。其中,数据迁移时,被迁移数据的ssd存储器中只保存按时间保存的最初的数据。

具体的,本发明实施例提供的数据存储方法可以应用于图4中所示的数据存储系统中,该数据存储系统可以包括:流量监控模块、写入策略控制模块、固态硬盘驱动器、硬盘驱动器和数据迁移模块,其中:流量监控模块用于获取用户上传至云存储系统的数据流量值;写入策略控制模块用于根据流量值和写入策略确定目标存储器,其中,目标存储器可以是固态硬盘驱动器或者可以是硬盘驱动器;数据迁移模块用于确定需迁移数据的固态硬盘驱动器以及接收数据的硬盘驱动器,还用于将固态硬盘驱动器中需迁移的数据迁移至能够接收数据的硬盘驱动器中。

本发明实施例所提供的数据存储方法,通过获取待处理数据的流量值,并基于流量值和预设选择策略,确定目标存储器并存储待处理数据至目标存储器,然后当预设周期到来时,获取第一存储器集合的空间使用率和第二存储器集合的空间使用率,最后根据第一存储器集合的空间使用率和第二存储器集合的空间使用率,确定是否迁移第一存储器集合中的数据值第二存储器集合中;这样,通过流量值和预设选择策略确定目标存储器,优化了待处理数据写入目标存储器中的写入速度,而且当ssd存储器中存储的数据量超过阈值时,将ssd存储器中的数据迁移至可扩容的hdd存储器中,使ssd存储器的存储空间得到均衡使用,解决了现有技术中不能同时兼顾数据写入速度和存储介质存储空间负载均衡的问题,通过不同存储介质的存储数据时写入速度不同的特点实现了数据的写入速度的优化,并保证了存储空间的均衡使用。

本发明实施例提供的数据存储装置4,可应用于图1~3对应的实施例提供的一种数据存储方法中,参照图5所示,该数据存储装置包括:第一获取单元41、第一处理单元42、第二获取单元43和第二处理单元44,其中:

第一获取单元41,用于获取待处理数据的流量值。

第一处理单元42,用于基于流量值和预设选择策略,确定目标存储器并存储上传数据至目标存储器中。

其中,目标存储器包括第一存储器集合或者第二存储器集合中的一个存储器。

第二获取单元43,用于当预设周期到来时,获取第一存储器集合的空间使用率和第二存储器集合的空间使用率。

第二处理单元44,用于根据第一存储器集合的空间使用率和第二存储器集合的空间使用率,确定是否迁移第一存储器集合中的数据至第二存储器集合中。

进一步的,第一存储器集合是ssd存储器集合,第二存储器集合是hdd存储器集合。

本发明的实施例所提供的数据存储装置,通过获取待处理数据的流量值,并基于流量值和预设选择策略,确定目标存储器并存储待处理数据至目标存储器,然后当预设周期到来时,获取第一存储器集合的空间使用率和第二存储器集合的空间使用率,最后根据第一存储器集合的空间使用率和第二存储器集合的空间使用率,确定是否迁移第一存储器集合中的数据值第二存储器集合中;这样,通过流量值和预设选择策略确定目标存储器,优化了待处理数据写入目标存储器中的写入速度,而且当ssd存储器中存储的数据量超过阈值时,将ssd存储器中的数据迁移至可扩容的hdd存储器中,使ssd存储器的存储空间得到均衡使用,解决了现有技术中不能同时兼顾数据写入速度和存储介质存储空间负载均衡的问题,通过不同存储介质的存储数据时写入速度不同的特点实现了数据的写入速度的优化,并保证了存储空间的均衡使用。

具体的,参照图6所示,该第一处理单元包括:第一处理模块421、第一获取模块422、第二处理模块423和第三处理模块424,其中:

第一处理模块421,用于从第一存储器集合和第二存储器集合中的选取任一存储器,得到第一存储器。

第一获取模块422,用于获取第一存储器的选择概率。

第二处理模块423,用于基于预设选择规则获得参考数值,比较参考数值与第一存储器的选择概率的大小关系。

第三处理模块424,用于若参考数值小于或者等于第一存储器的选择概率,选择第一存储器为目标存储器,并存储上传数据至目标存储器。

进一步具体的,第一获取模块422具体用于执行以下步骤:

获取第一存储器的写入速度和空间使用率。

获取第一存储器集合和第二存储器集合中存储器的总数。

基于流量值、第一存储器的写入速度、总数以及第一存储器的空间使用率,采用预设选择策略进行计算得到第一存储器的选择概率。

具体的,参照图7所示,第一处理单元42还包括:第四处理模块425,其中:

第四处理模块425,用于若参考数值大于第一存储器的选择概率,执行从第一存储器集合和第二存储器集合中的选取任一存储器,得到第一存储器,直到重新确定目标存储器。

具体的,参照图8所示,第二处理单元44包括:判断模块441、第五处理模块442和迁移模块443,其中:

判断模块441,用于判断第一存储器集合中的每一存储器的空间使用率与第一阈值的大小关系。

第五处理模块442,用于若第一存储器集合中存在空间使用率大于或者等于第一阈值的存储器,统计第一存储器集合中空间使用率大于或者等于第一阈值的存储器的标识信息,得到第一标识信息集合。

判断模块441,还用于判断第二存储器集合中的存储器的空间使用率与第二阈值的大小关系。

第五处理模块442,还用于若第二存储器集合中存在空间使用率小于第二阈值的存储器,统计第二存储器集合中空间使用率小于第二阈值的存储器的标识信息,得到第二标识信息集合。

迁移模块443,用于基于第一标识信息集合和第二标识信息集合,根据数据迁移规则迁移第一标识信息集合对应的存储器中的数据至第二标识信息集合对应的存储器中。

进一步具体的,迁移模块443具体用于执行以下步骤:

获取第一标识信息集合对应的存储器中通信接口空闲的存储器,根据数据迁移规则确定第一标识信息集合对应的通信接口空闲的存储器需迁移的数据包。

获取第二标识信息集合对应的通信接口空闲的存储器,并迁移第一标识信息集合对应的通信接口空闲的存储器中需迁移的数据包至第二标识信息集合对应的通信接口空闲的存储器中。

具体的,本发明实施例提供的数据存储装置可以应用于图9所示的数据迁移流程系统中,该数据迁移流程系统可以包括:固态硬盘驱动器、硬盘驱动器和数据迁移模块,其中:数据迁移模块可以扫描固态硬盘驱动器和硬盘驱动器的空间使用率,当固态硬盘驱动器的空间使用率大于或者等于第一阈值时,将固态硬盘驱动器中的数据迁移至空间使用率小于第二阈值的硬盘驱动器中。

需要说明的是,本实施例中各个单元和模块之间的交互过程,可以参照图1~3对应的实施例提供的一种数据存储方法中的交互过程,此处不再赘述。

本发明的实施例所提供的数据存储装置,通过获取待处理数据的流量值,并基于流量值和预设选择策略,确定目标存储器并存储待处理数据至目标存储器,然后当预设周期到来时,获取第一存储器集合的空间使用率和第二存储器集合的空间使用率,最后根据第一存储器集合的空间使用率和第二存储器集合的空间使用率,确定是否迁移第一存储器集合中的数据值第二存储器集合中;这样,通过流量值和预设选择策略确定目标存储器,优化了待处理数据写入目标存储器中的写入速度,而且当ssd存储器中存储的数据量超过阈值时,将ssd存储器中的数据迁移至可扩容的hdd存储器中,使ssd存储器的存储空间得到均衡使用,解决了现有技术中不能同时兼顾数据写入速度和存储介质存储空间负载均衡的问题,通过不同存储介质的存储数据时写入速度不同的特点实现了数据的写入速度的优化,并保证了存储空间的均衡使用。

在实际应用中,第一获取单元41、第一处理单元42、第二获取单元43、第二处理单元44、第一处理模块421、第一获取模块422、第二处理模块423、第三处理模块424、第四处理模块425、判断模块441、第五处理模块442和迁移模块443均可由位于无线数据发送设备中的中央处理器(centralprocessingunit,cpu)、微处理器(microprocessorunit,mpu)、数字信号处理器(digitalsignalprocessor,dsp)或现场可编程门阵列(fieldprogrammablegatearray,fpga)等实现。

本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述,仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1