群512中删除所述数据。所述复制模块还可以用于可以将主存储集群511-1、511-2、…、511-N中的任意主存储集群511中存储的沉默数据复制到次存储集群512-1、512-2、…、512-M中的任意次存储集群中512存储，所述删除模块还可以用于当所述复制成功后，从原来存储该沉默数据的主存储集群511中删除所述数据。
[0071]根据本申请的一个实施例，控制集群530还可以包括:修改模块，该模块可以用于当将任意次存储集群512中存储的活跃数据成功迁移至任意主存储集群511中存储时，修改所述活跃数据的元数据；以及当将任意主存储集群511中存储的沉默数据成功迁移至任意次存储集群512中存储时，修改所述沉默数据的元数据。具体地，由于进行了数据迁移，数据存放的集群发生变化，因此，当数据迁移完成时，需要修改迁移数据的元数据，即，更新该迁移数据的元数据中的存储集群以及存储路径信息，并且，还可以将该数据迁移后所在的存储集群设置为该数据的默认存储集群。
[0072]根据本申请的一个实施例，主存储集群511-1、511_2、…、511-N和次存储集群
512-1、512-2、…、512-M中的存储的数据可以以表和/或表分区为单位进行管理和计算，确定数据的活跃程度时，也可以以表和/或表分区为单位进行。并且，确定数据的活跃程度时，可以对主存储集群和次存储集群区别对待，具体地，对于主存储集群511-1、511-2、…、
511-N，可以对存储的所有的表和/或表分区的数据进行活跃程度的计算，对于次存储集群
512-1、512-2、…、512-M，可以只对次存储集群512_1、512_2、…、512-M中预定时间内进行过读写的表和/或表分区的数据进行活跃程度的计算。
[0073]由于本实施例的装置所实现的功能基本相应于前述图1至图4所示的方法实施例，故本实施例的描述中未详尽之处，可以参见前述实施例中的相关说明，在此不做赘述。
[0074]在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
[0075]内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
[0076]计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
[0077]还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
[0078]本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
[0079]以上所述仅为本申请的实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
【主权项】
1.一种控制多集群系统的数据存储的方法，其特征在于，包括: 收集主存储集群和次存储集群中存储的数据的元数据； 根据所述主存储集群和次存储集群中存储的数据的元数据确定所述主存储集群和次存储集群中存储的数据的活跃程度； 根据所述主存储集群和次存储集群中存储的数据的活跃程度识别所述主存储集群中存储的沉默数据以及所述次存储集群中存储的活跃数据；以及 将任意次存储集群中存储的活跃数据迁移至任意主存储集群中存储以及将任意主存储集群中存储的沉默数据迁移至任意次存储集群中存储。
2.根据权利要求1所述的方法，其特征在于，根据所述主存储集群和次存储集群中存储的数据的元数据确定所述主存储集群和次存储集群中存储的数据的活跃程度，包括: 从所述元数据中获取所述主存储集群和次存储集群中存储的数据的读写频率； 根据所述主存储集群和次存储集群中存储的数据的读写频率确定所述主存储集群和次存储集群中存储的数据的活跃程度。
3.根据权利要求1所述的方法，其特征在于，根据所述主存储集群和次存储集群中存储的数据的元数据确定所述主存储集群和次存储集群中存储的数据的活跃程度，包括: 从所述元数据中获取所述主存储集群和次存储集群中存储的数据的创建时间、上一次访问时间、上一次修改时间、数据的层级中的任意一项或多项以及读写频率； 根据所述主存储集群和次存储集群中存储的数据的创建时间、上一次访问时间、上一次修改时间、数据的层级中的任意一项或多项以及读写频率确定所述主存储集群和次存储集群中存储的数据的活跃程度。
4.根据权利要求1所述的方法，其特征在于，根据所述主存储集群和次存储集群中存储的数据的活跃程度识别所述主存储集群中存储的沉默数据以及所述次存储集群中存储的活跃数据，包括: 将所述次存储集群中存储的活跃程度超过活跃阈值的数据确定为活跃数据，以及 将所述主存储集群中存储的活跃程度未超过活跃阈值的数据确定为沉默数据。
5.根据权利要求4所述的方法，其特征在于，所述活跃阈值是根据所述主存储集群的存储情况而确定的。
6.根据权利要求1所述的方法，其特征在于，还包括:当将任意次存储集群中存储的活跃数据成功迁移至任意主存储集群中存储时，修改所述活跃数据的元数据；以及当将任意主存储集群中存储的沉默数据成功迁移至任意次存储集群中存储时，修改所述沉默数据的元数据。
7.一种多集群系统，其特征在于，包括: 主存储集群和次存储集群，其中，所述主存储集群用于存储活跃数据，所述次存储集群用于存储沉默数据； 计算集群，用于对所述主存储集群和次存储集群中存储的数据执行计算； 控制集群，包括: 元数据管理模块，用于收集所述主存储集群和次存储集群中存储的数据的元数据；活跃程度确定模块，用于根据所述主存储集群和次存储集群中存储的数据的元数据确定所述主存储集群和次存储集群中存储的数据的活跃程度； 识别模块，用于根据所述主存储集群和次存储集群中存储的数据的活跃程度识别所述主存储集群中存储的沉默数据以及所述次存储集群中存储的活跃数据； 迁移模块，用于将任意次存储集群中存储的活跃数据迁移至任意主存储集群中存储以及将任意主存储集群中存储的沉默数据迁移至任意次存储集群中存储。
8.根据权利要求7所述的系统，其中，所述活跃程度确定模块包括: 第一获取子模块，用于从所述元数据中获取所述主存储集群和次存储集群中存储的数据的读写频率； 第一确定子模块，用于根据所述主存储集群和次存储集群中存储的数据的读写频率确定所述主存储集群和次存储集群中存储的数据的活跃程度。
9.根据权利要求7所述的系统，其中，所述活跃程度确定模块包括: 第二获取子模块，用于从所述主存储集群和次存储集群中存储的数据的元数据中获取所述主存储集群和次存储集群中存储的数据的创建时间、上一次访问时间、上一次修改时间、数据的层级中的任意一项或多项以及读写频率； 第二确定子模块，用于根据所述主存储集群和次存储集群中存储的数据的创建时间、上一次访问时间、上一次修改时间、数据的层级中的任意一项或多项以及读写频率确定所述主存储集群和次存储集群中存储的数据的活跃程度。
10.根据权利要求7所述的系统，其特征在于，所述识别模块进一步用于: 将所述次存储集群中存储的活跃程度超过活跃阈值的数据确定为活跃数据，以及 将所述主存储集群中存储的活跃程度未超过活跃阈值的数据确定为沉默数据。
11.根据权利要求10所述的系统，其特征在于，所述活跃阈值是根据所述主存储集群的存储情况而确定的。
12.根据权利要求7所述的系统，其特征在于，所述控制集群还包括: 修改模块，用于当将任意次存储集群中存储的活跃数据成功迁移至任意主存储集群中存储时，修改所述活跃数据的元数据；以及当将任意主存储集群中存储的沉默数据成功迁移至任意次存储集群中存储时，修改所述沉默数据的元数据。
【专利摘要】本申请的提供一种多集群系统和控制多集群系统的数据存储的方法，包括：收集主存储集群和次存储集群中存储的数据的元数据；根据主存储集群和次存储集群中存储的数据的元数据确定主存储集群和次存储集群中存储的数据的活跃程度；根据主存储集群和次存储集群中存储的数据的活跃程度识别主存储集群中存储的沉默数据以及次存储集群中存储的活跃数据；将任意次存储集群中存储的活跃数据迁移至任意主存储集群中存储以及将任意主存储集群中存储的沉默数据迁移至任意次存储集群中存储。采用本申请的技术方案，能解决存储集群与计算集群的处理能力存在差异的问题，实现不同存储集群之间的数据直读直写和整体上的资源调度，并能提升存储集群磁盘利用率。
【IPC分类】G06F3-06, H04L29-08
【公开号】CN104869140
【申请号】CN201410064882
【发明人】乔平, 姜炜
【申请人】阿里巴巴集团控股有限公司
【公开日】2015年8月26日
【申请日】2014年2月25日