一种分级存储方法及装置的制造方法
【技术领域】
[0001]本发明涉及计算机存储系统领域，特别是涉及一种分级存储方法及装置。
【背景技术】
[0002]分级存储管理指的是在物理上，存储设备依据价格、性能或其他属性被区分为多种不同的类别，而数据依据其访问活动或者其他特性，动态的在不同类别的存储设备间迁移的存储系统。与传统的存储系统相比，分级存储系统将具有不同性能、容量、价格的设备整合在一起，提供高性能、大容量、低价格的存储环境。
[0003]在一般的分级存储系统中，包括三个层级:在线存储，近线存储和离线存储。其中在线存储使用的是高性能的磁盘，如SSD和FC盘。在线存储存放少量的具有较高价值和访问频率的数据，相比而言，这些存储设备性能好，存取速度快，访问在线存储中的数据，能够满足应用对高性能的要求。近线存储存放不太活跃的数据，由于SATA盘具有较大的容量、较低的价格和较低的性能，适于应用于近线存储中。而上层应用对近线存储中的访问较少，所以对系统整体性能的影响并不大。离线存储设备一般使用的是磁带或磁带库，其主要目的是用于存储在线存储和近线存储中数据的备份或归档的数据。离线存储数据的读取往往需要比较长的时间，而且也几乎不会对离线存储数据进行访问。
[0004]现有的分级存储系统主要是针对备份应用(将冷数据从在线存储迁移到近线或者离线存储上)或者缓存应用(将近线存储上变热的数据迁移到在线存储以提高性能)，较少有二者兼顾的设计。这些设计存在的问题在于，系统在数据分级之后，数据的回迁会产生性能较低的问题。例如，对于一些访问频率不高的冷数据，可能在分级时被从在线存储迁移到近线或者离线存储上，该数据被再次访问时，现有系统一般有两种解决方法:I)提前通过预取提前对该数据进行了回迁，这种方法预测的时间一般较短，且可能存在不准确的问题；2)触发该数据的回迁，这样的回迁可能是没有必要的，因为这些数据可能只是一次性访问，回迁的代价较大。
[0005]针对相关技术中分级管理方法无法在在线存储和近线存储之间灵活迁移数据的问题，目如尚未提出有效的解决方案。
【发明内容】
[0006]针对相关技术中分级管理方法无法在在线存储和近线存储之间灵活迁移数据的问题，本发明提供了一种分级存储方法及装置，用以解决上述技术问题。
[0007]根据本发明的一个方面，本发明提供了一种分级存储方法，其中，该方法包括:基于数据动态分级策略，决定不同条件下触发数据的迁移；基于文件关联规则挖掘技术，将文件相互关联；其中，相互关联的文件用于自动预取；基于迁移速率控制机制，最大化数据的迁移速度。
[0008]优选地，基于数据动态分级策略，决定不同条件下触发数据的迁移包括:基于数据动态分级策略，进行数据分级操作；其中，上述数据分级操作包括文件升级操作和文件降级操作；基于数据分级操作，决定不同条件下触发数据的迁移。
[0009]优选地，基于数据动态分级策略，进行文件升级操作包括:根据文件升级后单位时间内被访问的数据量，衡量文件升级的收益效率；根据上述文件升级的收益效率和文件升级的成本，确定数据升级的单位成本收益效率；根据上述数据升级的单位成本收益效率，判断文件的升级效用值是否高于升级阈值；如果是，则对文件执行升级操作。
[0010]优选地，基于数据动态分级策略，进行文件降级操作包括:根据数据访问情况，在(内存块)LRU队列中维护快速存储设备上的所有文件；一个降级线程每隔指定时间在上述LRU队列中取出最冷的文件，作为降级对象；对上述降级对象执行文件降级操作。
[0011]优选地，基于文件关联规则挖掘技术，领取相互关联的文件包括:采用挖掘算法BIDE，挖掘频繁序列；将频繁序列转换为关联规则，并确定强关联规则；判断上述强关联规则是否为冗余规则；如果是，则将该强关联规则剔除；如果否，则将该强关联规则用于文件预取。
[0012]优选地，基于迁移速率控制机制，最大化数据的迁移速度包括:依据数据管理客户端中，前端应用的负载，确定文件是否进行迁移；如果前端负载低于第一指定阈值，则进行数据迁移；如果前端负载高于第二指定阈值，则对数据迁移进行限制。
[0013]根据本发明的另一方面，本发明还提供了一种分级存储装置，其中，该装置包括:分级模块，用于基于数据动态分级策略，决定不同条件下触发数据的迁移；关联模块，用于基于文件关联规则挖掘技术，将文件相互关联；其中，相互关联的文件用于自动预取；速率控制模块，用于基于迁移速率控制机制，最大化数据的迁移速度。
[0014]优选地，上述分级模块包括:升级单元，用于基于数据动态分级策略，进行文件升级操作；降级单元，用于基于数据动态分级策略，进行文件降级操作。
[0015]优选地，上述升级单元包括:第一收益效率计算子单元，用于根据文件升级后单位时间内被访问的数据量，衡量文件升级的收益效率；第二收益效率计算子单元，用于根据上述文件升级的收益效率和文件升级的成本，确定数据升级的单位成本收益效率；升级操作子单元，用于根据上述数据升级的单位成本收益效率，判断文件的升级效用值是否高于升级阈值；如果是，则对文件执行升级操作。
[0016]优选地，上述降级单元包括:文件维护子单元，用于根据数据访问情况，在内存块LRU队列中维护快速存储设备上的所有文件；降级对象确定子单元，用于使一个降级线程每隔指定时间在上述LRU队列中取出最冷的文件，作为降级对象；降级操作子单元，用于对上述降级对象执行文件降级操作。
[0017]优选地，上述关联模块包括:频繁序列挖掘单元，用于采用挖掘算法BIDE，挖掘频繁序列；强关联规则确定单元，用于将频繁序列转换为关联规则，并确定强关联规则；冗余规则判断单元，用于判断上述强关联规则是否为冗余规则；如果是，则将该强关联规则剔除；如果否，则将该强关联规则用于文件预取。
[0018]优选地，上述速率控制模块包括:迁移单元，用于依据数据管理客户端中，前端应用的负载，确定文件是否进行迁移；迁移处理单元，用于在前端负载低于第一指定阈值时，进行数据迁移；在前端负载高于第二指定阈值时，对数据迁移进行限制。
[0019]通过本发明，基于数据动态分级策略，决定不同条件下触发数据的迁移；基于文件关联规则挖掘技术，将文件相互关联；其中，相互关联的文件用于自动预取；基于迁移速率控制机制，最大化数据的迁移速度。解决了相关技术中分级管理方法无法在在线存储和近线存储之间灵活迁移数据的问题，从而能够更加灵活的控制回迁的触发，能够灵活配置分级管理策略，在在线存储和近线存储之间灵活的迁移数据。
[0020]上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的【具体实施方式】。
【附图说明】
[0021]图1是根据本发明实施例的分级存储方法的流程图；
[0022]图2是根据本发明实施例的系统硬件体系结构示意图；
[0023]图3是根据本发明实施例的速率控制的操作示意图；
[0024]图4是根据本发明实施例的分级存储装置的结构框图。
【具体实施方式】
[0025]为了解决现有技术分级管理方法无法在在线存储和近线存储之间灵活迁移数据的问题，本发明提供了一种分级存储方法及装置，以下结合附图以及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不限定本发明。
[0026]本实施例提供了一种分级存储方法，图1是根据本发明实施例的分级存储方法的流程图，如图1所示，该方法包括以下步骤(步骤S102-步骤S106):
[0027]步骤S102，基于数据动态分级策略，决定不同条件下触发数据的迁移。具体地，基于数据动态分级策略，进行数据分级操作；其中，数据分级操作包括文件升级操作和文件降级操作；基于数据分级操作，决定不同条件下触发数据的迁移。
[0028]基于数据动态分级策略，进行文件升级操作包括:根据文件升级后单位时间内被访问的数据量，衡量文件升级的收益效率；根据文件升级的收益效率和文件升级的成本，确定数据升级的单位成本收益效率；根据数据升级的单位成本收益效率，判断文件的升级效用值是否高于升级阈值；如果是，则对文件执行升级操作。
[0029]基于数据动态分级策略，进行文件降级操作包括:根据数据访问情况，在内存块LR