多集群系统和控制多集群系统的数据存储的方法_2

文档序号:8546199阅读:来源:国知局
]下面结合图2至图4详细描述该系统中,控制集群130根据主存储集群111_1、111-2、…、Ill-N以及次存储集群112-1、112-2、…、112-M中存储的数据的活跃程度对所述主存储集群111-1、111-2、…、Ill-N以及次存储集群112-1、112-2、…、112-M中存储的数据进行数据迁移的过程。
[0025]图2示出了根据本申请一个实施例的控制多集群系统的数据存储的方法的总流程图。
[0026]在步骤S210处,控制集群130收集主存储集群和次存储集群中存储的数据的元数据。
[0027]每个数据的元数据中记录了该数据的存储集群(cluster)、创建时间(createtime)、上一次访问时间(last visit time)、访问数(access count)、上一次修改时间(last modify time)、存放路径(DataPath)、数据的层级等信息,控制集群130可以对所述主存储集群111-1、111-2、…、Ill-N和次存储集群112-1、112-2、…、112-M中存储的数据的元数据进行管理,以便对所述主存储集群和次存储集群中存储的数据进行访问。
[0028]在步骤S220处,根据所述主存储集群和次存储集群中存储的数据的元数据确定所述主存储集群和次存储集群中存储的数据的活跃程度。
[0029]具体而言,数据的活跃程度可以根据该数据的访问情况确定,数据的访问情况可以通过数据的元数据体现,因此,可以获取主存储集群111-1、111_2、…、Ill-N及次存储集群112-1、112-2、…、112-M中存储的数据的元数据,每个数据的元数据中记录了该数据的存储集群(cluster)、创建时间(create time)、上一次访问时间(last visit time)、访问数(access count)、上一次修改时间(last modify time)、存放路径(DataPath)、数据的层级等信息,因此,从元数据中可以获取的数据的访问情况可以包括数据的读写频率、创建时间、上一次访问时间、上一次修改时间、数据的层级等参数,其中,以数据的读写频率为确定数据的活跃程度的基本参数,还可以综合考虑其他的任意一项或多项参数。根据数据的活跃程度,可以确定主存储集群111-1、111-2、…、Ill-N中存储的沉默数据以及次存储集群中112-1、112-2、…、112-M存储的活跃数据。
[0030]参考图3,图3是根据本申请一个实施例的控制集群130根据所述主存储集群和次存储集群中存储的数据的元数据确定所述主存储集群和次存储集群中存储的数据的活跃程度的流程图。
[0031]如图3所示,在步骤S310处,控制集群130从所述主存储集群111-1、111-2、…、Ill-N以及次存储集群112-1、112-2、…、112-M中存储的数据的元数据中获取所述主存储集群111-1、111-2、-Ull-N以及次存储集群112_1、112_2、…、112-M中存储的数据的读写频率。
[0032]具体而言,每个数据的元数据中记录了该数据的创建时间(create time)、上一次访问时间(last visit time)、访问数(access count)、上一次修改时间(last modifytime)、数据的层级等,因此,根据每个数据的元数据可以统计并获取该数据的读写频率。
[0033]在步骤S320处,控制集群130根据所述主存储集群111_1、111_2、…、111-N和次存储集群112-1、112-2、…、112-M中存储的数据的读写频率确定所述主存储集群111_1、
111-2、…、Ill-N以及次存储集群112-1、112-2、…、112-M中存储的数据的活跃程度。
[0034]具体地,控制集群130可以以主存储集群111-1、111-2、…、111_N以及次存储集群112-1、112-2、…、112-M中存储的数据的读写频率确定主存储集群111_1、111_2、…、
Ill-N以及次存储集群112-1、112-2、…、112-M中存储的数据的活跃程度,例如,可以根据数据的读写频率,对数据的活跃程度进行打分,读写频率越高的数据、活跃分值越高。
[0035]参考图4,图4是根据本申请另一实施例的控制集群130根据所述主存储集群和次存储集群中存储的数据的元数据确定所述主存储集群和次存储集群中存储的数据的活跃程度的流程图。
[0036]在步骤S410中,控制集群130从所述元数据中获取主存储集群111_1、111_2、…、
111-N以及次存储集群112-1、112-2、…、112-M中存储的数据的创建时间、上一次访问时间、上一次修改时间、数据的层级中的任意一项或多项以及所述数据的读写频率。
[0037]控制集群130可以从主存储集群111-1、111-2、…、Ill-N以及次存储集群112_1、
112-2、…、112-M中存储的数据的元数据中,获取主存储集群111-1、111_2、…、Ill-N以及次存储集群112-1、112-2、…、112-M中存储的数据的创建时间、上一次访问时间、上一次修改时间、数据的层级中的任意一项或多项参数。
[0038]在步骤S420中,控制集群130根据主存储集群111-1、111-2、…、111-N以及次存储集群112-1、112-2、…、112-M中存储的数据的创建时间、上一次访问时间、上一次修改时间、数据的层级中的任意一项或多项以及所述读写频率确定主存储集群111-1、111_2、…、
Ill-N以及次存储集群112-1、112-2、…、112-M中存储的数据的活跃程度。
[0039]具体而言,控制集群130可以根据获取的数据的创建时间、上一次访问时间、上一次修改时间、数据的层级中的任意一项或多项参数以及统计得到的数据的读写频率确定主存储集群和次存储集群中存储的数据的活跃程度。也就是说,主存储集群和次存储集群中存储的数据的活跃程度,可以以数据的读写频率为主要参数,选取数据的创建时间、上一次访问时间、上一次修改时间、数据的层级等参数中的任意一项或多项参数按预定规则进行计算来确定该数据的活跃程度。例如,可以选取上述的参数中的任意一项或多项,并分别设置权重,进而通过与数据的读写频率做加权运算,作为该数据的活跃程度分值。
[0040]在步骤S230处,控制集群130根据所述主存储集群111-1、111-2、…、111-N和次存储集群112-1、112-2、…、112-M中存储的数据的活跃程度识别所述主存储集群111_1、
111-2、…、Ill-N中存储的沉默数据以及所述次存储集群112-1、112-2、…、112-M中存储的活跃数据。
[0041]根据数据的活跃程度的高低可以将数据划分为活跃数据和沉默数据,活跃数据的活跃程度可能会随着时间推移降低,因而可能会变成沉默数据,而沉默数据可能因为一些外在因素,如用户重视度的变化,活跃程度升高而变为活跃数据,因此,控制集群130可以周期性地识别主存储集群111-1、111_2、…、Ill-N中由活跃数据转变成的沉默数据以及次存储集群112-1、112-2、…、112-M中由沉默数据转变成的活跃数据,以便当任意主存储集群111中存储的活跃数据变为沉默数据则将该沉默数据迁移至次存储集群112中存储,当任意次存储集群112中存储的数据变为活跃数据,则将该活跃数据迁移至主存储集群111中存储。
[0042]具体地,控制集群130可以将次存储集群112-1、112-2、…、112-M中存储的活跃程度超过活跃阈值的数据确定为活跃数据,以及将主存储集群111-1、111_2、…、Ill-N中存储的活跃程度未超过活跃阈值的数据确定为沉默数据。其中,活跃阈值可以是根据所述主存储集群的存储情况而确定的,也就是说,活跃阈值可以是一个动态、变化的值,当主存储集群111-1、111_2、…、Ill-N的存储资源比较空闲时,活跃阈值可以设置得相对较低,当该主存储集群111-1、111_2、…、Ill-N的存储资源紧张时,可以适当调高活跃阈值,以便将更多数据从主存储集群中111-1、111_2、…、Ill-N迁移至次存储集群中,缓解主存储集群
111-1、111-2、…、Ill-N的压力。
[0043]在步骤S240处,控制集群130将任意次存储集群112中存储的活跃数据迁移至任意主存储集群111中存储以及将任意主存储集群111中存储的沉默数据迁移至任意次存储集群112中存储。
[0044]根据本申请的实施例,控制集群130可以将任意次存储集群112中存储的活跃数据迁移至任意主存储集群111中存储,具体地,控制集群130可以将次存储集群112-1、
112-2、…、112-M中的任意次存储集群112中存储的活跃数据复制到主存储集群111_1、111-2、…、Ill-N中的任意主存储集群111中,复制成功后,再从原来存储该活跃数据的次存储集群中删除该数据。控制集群130还可以将任意主存储集群111中存储的沉默数据迁移至任意次存储集群112中存储,具体地,控制集群130可以将主存储集群111-1、
111-2、…、Ill-N中的任意主存储集群111中存储的沉默数据复制到次存储集群112-1、
112-2、…、112-M中的任意次存储集群112中存储,再从原来存储该沉默数据的主存储集群中删除该数据。
[0045]根据本申请的一个实施例,还可以包括:控制集群130当将任意次存储集群112中存储的活跃数据成功迁移至任意主存储集群111中存储时,修改所述活跃数据的元数据;以及当将任意主存储集群111中存储的沉默数据成功迁移至任意次存储集群112中存储时,修改所述沉默数据的元数据。
[0046]具体地,由于进行了数据迁移,数据存放的集群发生变化,因此,当数据迁移完成时,需要修改迁移数据的元数据,即,更新该迁移数据的元数据中的存储集群和存储路径信息,并且,还可以将该数据迁移后所在的存储集群设置为该数据的默认存储集群。
[0047]根据本申请的一个实施例,主存储集群111-1、111_2、…、Ill-N和次存储集群
112-1、112-2、…、112-M中的存
当前第2页1 2 3 4 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1