一种数据分级管理方法、装置及电子设备的制造方法_2

文档序号:9432214阅读:来源:国知局
示意图;
[0060]图5为本发明数据分级管理装置一实施例的结构示意图;
[0061]图6为本发明数据分级管理装置另一实施例的结构示意图;
[0062]图7为本发明数据分级管理装置另一实施例的结构示意图。
【具体实施方式】
[0063]下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
[0064]参看图1,本发明实施例提供一种数据分级管理方法,包括:
[0065]S11、接收客户端发送的数据获取请求,所述数据获取请求中包括所述客户端请求获取的目标数据的文件信息;
[0066]其中,所述文件信息包括表示所述目标数据的相关信息,可以为文件名、URL (Uniform Resource Locator,统一资源定位器)地址,但不仅限于此。
[0067]S12、根据所述客户端请求获取的目标数据的文件信息,获取所述目标数据的数据统一标记;
[0068]其中,所述目标数据的数据统一标记由全球统一标记生成器生成,不管所述目标数据的文件信息为文件名、地址,或者是其他标识,该全球统一标记生成器都会根据所述目标数据的文件信息,生成格式统一且唯一标识的数据统一标记。
[0069]S13、根据所述目标数据的数据统一标记,确定所述目标数据当前所在的存储单元,其中,不同的存储单元存储有不同访问频度级别的数据;
[0070]S14、由所述目标数据当前所在的存储单元中调取所述目标数据,发送至所述客户端。
[0071]本发明实施例提供的数据分级管理方法,根据客户端请求获取的目标数据的文件信息,获取目标数据的数据统一标记,并据此确定目标数据当前所在的存储单元,其中,不同的存储单元存储有不同访问频度级别的数据,由所述目标数据当前所在的存储单元中调取所述目标数据,发送至所述客户端。与现有技术相比,本发明将不同访问频度级别的数据分别存储在不同的存储单元中,并根据客户端的数据获取请求由该数据当前所在的存储单元中进行数据调取,从而能够在保证不同访问频度级别的数据的响应速度的同时,降低数据的整体存储成本。
[0072]可选地,在本发明数据分级管理方法一实施例中,所述根据所述目标数据的数据统一标记,确定所述目标数据当前所在的存储单元(S13)可包括:
[0073]S131、根据所述目标数据的数据统一标记,向状态数据库发送数据查询请求,其中,所述状态数据库记录有数据统一标记与数据所在存储单元的对应关系。
[0074]S132、接收状态数据库返回的查询结果,所述查询结果显示所述目标数据当前所在的存储单元。
[0075]其中,状态数据库可以采用表格的形式记录数据统一标记与数据所在存储单元的对应关系,根据目标数据的数据统一标记,状态数据库在所述数据统一标记与数据所在存储单元的对应关系集中,查找所述目标数据对应的存储单元,得到查询结果。
[0076]可选地,在本发明数据分级管理方法一实施例中,所述方法还可包括:
[0077]S15、定期对各存储单元中的数据进行扫描。
[0078]具体地,对各存储单元中的每个数据进行扫描,确定每个数据被访问的频度。
[0079]S16、若存储单元中的一个或多个数据在预定时间内的访问频度低于当前所在的存储单元设置的访问频度,则将所述一个或多个数据由当前所在的存储单元迀移至访问频度低一级别的存储单元。
[0080]其中,所述预定时间由系统预先设定好,若存储单元中的一个或多个数据在预定时间内的访问频度低于当前所在的存储单元设置的访问频度,则访问频度低一级别的存储单元在响应速度上足以满足对该一个或多个数据的存储,因此,将该一个或多个数据由当前所在的存储单元迀移至访问频度低一级别的存储单元,以便降低存储成本。
[0081 ] S17、若存储单元中的一个或多个数据在预定时间内的访问频度高于当前所在的存储单元设置的访问频度,则将所述一个或多个数据由当前所在的存储单元迀移至访问频度高一级别的存储单元。
[0082]其中,若存储单元中的一个或多个数据在预定时间内的访问频度高于当前所在的存储单元设置的访问频度,则该存储单元在响应速度上将不能满足该一个或多个数据的存储,因此,将该一个或多个数据由当前所在的存储单元迀移至访问频度高一级别的存储单元,以便满足该一个或多个数据的响应速度。
[0083]S18、对所述状态数据库中数据统一标记与数据所在存储单元的对应关系进行更新。
[0084]可选地,在本发明数据分级管理方法一实施例中,所述方法还可包括:
[0085]S19、对新数据的访问频度进行评估,根据评估出的新数据的访问频度所属的访问频度级别,将所述新数据存放至所述所属的访问频度级别对应的存储单元中。
[0086]可选地,在本发明数据分级管理方法一实施例中,在所述根据所述客户端请求获取的目标数据的文件信息,获取所述目标数据的数据统一标记(S12)之前,所述方法还可包括:
[0087]S20、查询数据缓存中是否存储有所述目标数据;
[0088]S21、若所述数据缓存中存储有所述目标数据,则将所述目标数据所在数据缓存的地址发送给所述客户端,以使所述客户端根据所述目标数据所在数据缓存的地址获取所述目标数据;
[0089]若所述数据缓存中没有存储所述目标数据,则执行步骤S12。
[0090]其中,数据缓存位于内存中,可以暂时存放数据,但一段时间之后会将存放的数据释放掉;而存储单元位于硬盘中,可以永久性存储数据。客户端由数据缓存中调取数据的速度要大于由硬盘中调取数据,因此,首先判断数据缓存中是否存储有目标数据,如果有,则客户端直接从数据缓存中调取,从而可以提高客户端获取数据的速度;如果没有,客户端从硬盘中的存储单元中调取。
[0091]参看图2,本发明实施例提供一种数据分级管理方法。在本实施例中,可设置有三个存储单元:热数据空间、温数据空间和冷数据空间,其中,
[0092]热数据空间存储有热数据,所述热数据指4小时以内用户一定访问的数据;
[0093]温数据空间存储有温数据,所述温数据指一周以内用户一定访问的数据;
[0094]冷数据空间存储有冷数据,所述冷数据指一个月以内用户不一定访问的数据。
[0095]参看图2,所述数据分级管理方法包括:
[0096]1.1、客户端向数据状态检查器发送数据获取请求,所述数据获取请求中包括所述客户端请求获取的目标数据的文件名。
[0097]1.2、数据状态检查器向全球统一标记生成器发出数据状态查询请求,所述数据状态查询请求中包括客户端请求获取的目标数据的ID和文件信息。
[0098]1.3、全球统一标记生成器生成数据统一标记,并向状态数据库发送数据查询请求。其中,所述状态数据库记录有数据统一标记与数据所在数据空间的对应关系。
[0099]其中,全球统一标记生成器接收到数据状态查询请求之后,首先检验客户端请求获取的目标数据的ID和文件信息是否合法,只有当合法时才生成数据统一标记。
[0100]1.4、状态数据库根据所述数据统一标记,查询出对应的目标数据所在的存储空间,并将查询结果集返回给数据状态检查器,明确目标数据当前所在数据空间。
[0101]1.5、数据状态检查器形成数据调用策略,并将数据调度请求发送给数据调度器。
[0102]其中,所述数据调用策略指示由哪个数据空间调用该目标数据。
[0103]具体地,所述数据调用策略包括:若数据缓存中存储有该目标数据,则优先从数据缓存中调用该目标数据;若数据缓存中没有存储该目标数据,则根据该目标数据的数据统一标记,向状态数据库发送数据查询请求,其中,所述状态数据库记录有数据统一标记与数据所在数据空间的对应关系。其中,状态数据库可以采用表格的形式记录数据统一标记与数据所在数据空间的对应关系,根据目标数据的数据统一标记,在所述数据统一标记与数据所在数据空间的对应关系集中,查找所述目标数据对应的数据空间,并从该目标数据所在的数据空间中调用该目标数据。
[0104]1.6.1、若该目标数据存在于数据缓存中,数据调度器将该目标数据所在数据缓存的地址发送给客户端。
[0105]1.6.2、客户端根据该目标数据所在数据缓存的链接获取所述数据。
[0106]进一步地,如图3所示,在步骤1.1至1.5之后,所述数据分级管理方法还可以包括:
[0107]2.1、若数据缓存中没有存储该目标数据,则数据调度器从状态数据库中重新查询该目标数据所在的数据空间。
[0108]具体地,数据调度器根据该目标数据的数据统一标记,向状态数据库
当前第2页1 2 3 4 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1