一种自动实现分层存储的方法和管理分层存储的系统的制作方法
【专利摘要】本发明实施例提供一种自动实现分层存储的方法和管理分层存储的系统，分层存储单元包括支持不同存取速度的存储层，存储设备包括多个磁盘区块；方法包括：在一个时间区间内不间断跟踪并统计各个磁盘区块的存取频率，定期动态分析出存取频率大于第一阈值的热区块和存取频率小于第二阈值的冷区块；将所述热区块中的数据迁移到高速存储层，将冷区块中的数据迁移到低速存储层。
【专利说明】-种自动实现分层存储的方法和管理分层存储的系统
【技术领域】
[0001] 本发明涉及数据存储技术，特别是指一种自动实现分层存储的方法和管理分层存 储的系统。
【背景技术】
[0002] 选择存储技术通常需要在超高容量、低成本和低性能，以及，高度先进的数据管理 功能和极高的性能之间进行平衡。随着容量的增长，手动迁移数据太费时，有限的人力资源 使存储管理员精疲力竭，分层存储成为一种必需的选择架构，其可以综合容量、数据管理的 能力、功能、性能，以及价格等因素，提供性价比最优的存储方案以实现上述的平衡。
[0003] 分层存储如果设计和实施得当，可通过部署能够迁移数据或应用程序并对其生命 周期需求做出响应的工具来降低管理成本，并且像管理单层架构一样对分层存储进行管 理。分层存储提升存储效率的同时，减少使用昂贵存储设备，将相对不常访问的数据由昂 贵的固态硬盘或者光纤磁盘设备无缝迁移到相对廉价的串行高级技术附件（SATA，Serial Advanced Technology Attachment)盘或者串行连接SCSI (SAS，Serial Attached SCSI)盘 上。
[0004] 存储供应商公布了或者提供了各种分层存储的解决方案。许多供应商的分层解决 方案实际上都是仅含磁盘的策略，只是纳入了具有不同RPM速度和价格范围的磁盘产品。
[0005] 现有技术存在如下问题：很少有供应商实际提供包含高性能固态磁盘（SSD)、磁 盘阵列（RAID)和归档磁带在内的全面的分层存储技术，目前的自动分层存储不能提供实 时的管理功能，非破坏性的迁移大量数据会耗费过多的时间和资源。
【发明内容】
[0006] 本发明要解决的技术问题是提供一种自动实现分层存储的方法和管理分层存储 的系统，解决现有技术中，自动分层存储不能提供实时的管理功能，导致非破坏性的迁移大 量数据会耗费过多的时间和资源的缺陷。
[0007] 为解决上述技术问题，本发明的实施例提供一种自动实现分层存储的方法，分层 存储单元包括支持不同存取速度的存储层，存储设备包括多个磁盘区块；方法包括：在一 个时间区间内不间断跟踪并统计各个磁盘区块的存取频率，定期动态分析出存取频率大于 第一阈值的热区块和存取频率小于第二阈值的冷区块；将所述热区块中的数据迁移到高速 存储层，将冷区块中的数据迁移到低速存储层。
[0008] 所述的方法中，在一个时间区间内不间断跟踪与统计各个磁盘区块的存取频率包 括：所述一个时间区间具体是业务低峰时段，在业务低峰时段内，周期性跟踪对各个磁盘区 块的存取操作，统计出存取操作的频率作为存取频率。
[0009] 所述的方法中，磁盘区块的存取频率包括：磁盘区块的存入频率，磁盘区块的读出 频率。
[0010] 所述的方法中，周期性跟踪对各个磁盘区块的存取操作，统计出存取操作的频率 作为所述存取频率包括：在每一个周期内，同时统计各个磁盘区块的存入频率和读出频率， 存入频率和读出频率的和值作为一个周期内的当前存取频率，将各个周期统计出的所述当 前存取频率进行累加后再进行平均计算得到所述存取操作的存取频率。
[0011] 所述的方法中，存储设备包括多个磁盘区块，具体包括：将存储设备中的磁盘划分 为若干个逻辑上的磁盘区块，每一个磁盘区块的容量符合精细度的规定。
[0012] 所述的方法中，定期动态分析出存取频率大于第一阈值的热区块和存取频率小于 第二阈值的冷区块包括：在业务低峰时段内，周期性根据统计出的存取频率分析出热区块 与冷区块。
[0013] 所述的方法中，将热区块中的数据迁移到高速存储层，将冷区块中的数据迁移到 低速存储层，之前还包括：建立热区块到高速存储层之间的多路径传输链路，建立冷区块到 低速存储层之间的多路径传输链路。
[0014] 一种实现分层存储的系统，包括：分层存储单元，包括支持不同存取速度的存储 层；存储设备，包括多个磁盘区块；数据收集与分析模块，用于在一个时间区间内不间断跟 踪并统计各个磁盘区块的存取频率，定期动态分析出存取频率大于第一阈值的热区块和存 取频率小于第二阈值的冷区块；数据迁移模块，用于将所述热区块中的数据迁移到高速存 储层，将冷区块中的数据迁移到低速存储层。
[0015] 所述的系统中，还包括：存储虚拟化模块，与存储设备连接，用于将存储设备中的 磁盘划分为若干个逻辑上的磁盘区块，每一个磁盘区块的容量符合精细度的规定。
[0016] 所述的系统中，还包括：数据收集与分析模块包括：跟踪统计单元，用于设定所述 一个时间区间具体是业务低峰时段，并在业务低峰时段内，周期性跟踪对各个磁盘区块的 存取操作，统计出存取操作的频率作为所述存取频率；分析单元，用于在业务低峰时段内， 周期性根据统计出的存取频率分析出热区块与冷区块。
[0017] 本发明的上述技术方案的有益效果如下：跟踪与统计各个磁盘区块的存取频率的 过程中，根据统计的结果，将存取频繁的数据迁移到高速存储层，将存取不频繁的数据迁移 到低速存储层，节省了迁移大量数据的时间和资源，并且在之后的访问过程中，将对热点数 据和非热点数据的访问分别指向高速和低速存储层，这优化了访问过程。
【专利附图】
【附图说明】
[0018] 图1表示一种自动实现分层存储的方法的流程示意图；
[0019] 图2表示一种自动实现分层存储的系统架构示意图。
【具体实施方式】
[0020] 为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具 体实施例进行详细描述。
[0021] 本发明实施例提供一种自动实现分层存储的方法，分层存储单元包括支持不同存 取速度的存储层，存储设备包括多个磁盘区块；
[0022] 如图1所示，方法包括：
[0023] 步骤101，在一个时间区间内不间断跟踪并统计各个磁盘区块的存取频率，定期动 态分析出存取频率大于第一阈值的热区块和存取频率小于第二阈值的冷区块；
[0024] 步骤102,将所述热区块中的数据迁移到高速存储层，将冷区块中的数据迁移到低 速存储层。
[0025] 应用所提供的技术，跟踪与统计各个磁盘区块的存取频率的过程中，根据统计的 结果，将存取频繁的数据迁移到高速存储层，将存取不频繁的数据迁移到低速存储层，节省 了迁移大量数据的时间和资源，并且在之后的访问过程中，将对热点数据和非热点数据的 访问分别指向高速和低速存储层，这优化了访问过程。
[0026] 不同存取速度的存储层具体包括：低速存储层，正常存储层和高速存储层。分层存 储单元与存储设备之间，两者在物理上可以是隔离的，也可以是部分相同的，例如正常存储 层也是存储设备的一部分。
[0027] 存取频繁的数据所在的区域即为热区块，存取不频繁的数据所在的区域即为冷区 块，第一阈值和第二阈值则是可以预先设定的数值。
[0028] 正常存储层、高速存储层和低速存储层中都有磁盘区块，高速存储层中的物理磁 盘可以是固态硬盘，低速存储层中的物理磁盘是磁带、Sata磁盘等。
[0029] 高速存储层与低速存储层之间的高速和低速可以是相对的，换言之，高速存储层 相对于低速存储层是高速的，低速存储层相对于高速存储层是低速的。
[0030] 如图2所示，第一层是高速存储层，第二层是正常存储层，第三层是低速存储层。
[0031] 在一个优选实施例中，在一个时间区间内不间断跟踪与统计各个磁盘区块的存取 频率包括：
[0032] 所述一个时间区间具体是业务低峰时段，
[0033] 在业务低峰时段内，周期性跟踪对各个磁盘区块的存取操作，统计出存取操作的 频率作为所述存取频率。
[0034] 在一个优选实施例中，磁盘区块的存取频率包括：磁盘区块的存入频率，磁盘区块 的读出频率。
[0035] 分层存储涉及精细度和运算周期。
[0036] 精细度，是指允许以多大的磁盘单位来执行存取行为、收集分析和数据迁移。精细 度决定了执行重新配置时所需迁移的数据量，所能达到的存储配置的最优化效果，理论上 越精细、越小越好，但过于精细会增加跟踪统计操作带给控制器的负担，对于1个100GB的 逻辑单元号（LUN，Logical Unit Number)，若精细度为1GB，需跟踪统计100个数据区块，若 精细度为10MB，需跟踪统计1万个数据区块，操作量高出了 100倍，同时对应于数据区块的 metadata数据量也随之大幅增加。
[0037] 在一个优选实施例中，周期性跟踪对各个磁盘区块的存取操作，统计出存取操作 的频率作为所述存取频率包括：
[0038] 在每一个周期内，同时统计各个磁盘区块的存入频率和读出频率，存入频率和读 出频率的和值作为一个周期内的当前存取频率，
[0039] 将各个周期统计出的所述当前存取频率进行累加后再进行平均计算得到所述存 取操作的存取频率。
[0040] 在一个优选实施例中，存储设备包括多个磁盘区块，具体包括：
[0041] 将存储设备中的磁盘划分为若干个逻辑上的磁盘区块，每一个磁盘区块的容量符 合精细度的规定。
[0042] 本发明实施例提供的技术适用于包括RAID阵列和归档磁带在内的各种类型的存 储介质，并不局限于RAID阵列。若存储设备具体是RAID阵列，RAID阵列中，每一个逻辑上 的磁盘区块的容量符合精细度的规定。
[0043] 精细度的规定包括，一个LUN中，一个磁盘区块的容量小于等于LUN的容量的百分 之一，大于等于LUN的容量的万分之一。
[0044] 将分散在不同存储层的磁盘区块，组合成虚拟的LUN或卷（Volume)，换言之，是将 卷或LUN包含的磁盘区块分散在不同的存储层上。
[0045] 运算周期，是指多久执行一次存取行为、收集分析和与数据迁移。运算周期影响 系统反映磁盘存取行为变化的速度，运算周期过短、越密集，系统将能更快的根据最新的磁 盘存取状态重新配置数据在不同磁盘层中的分布；反之，若运算周期过长，很可能磁盘存取 状态已发生重大变化，但整个系统仍必须缓慢地等到下次统计分析与数据迁移时间到来， 才能重新分派磁盘资源；运算周期太密集，也会造成统计分析与数据迁移操作占用过多1/ 〇资源的副作用。
[0046] 在一个优选实施例中，定期动态分析出存取频率大于第一阈值的热区块和存取频 率小于第二阈值的冷区块包括：
[0047] 在业务低峰时段内，周期性根据统计出的存取频率分析出热区块与冷区块。
[0048] 数据迁移作业，会消耗磁盘阵列控制器的能效，因此提供预设操作功能允许设定 统计分析与数据迁移操作的时间区段，以便避开存取高峰时段。
[0049] 通常可以以24小时为一个运算周期，具体地，可设定只允许在晚上七点以后，或 周五晚上到周日凌晨等下班时段，执行迁移操作。或者也可以以一周为一个运算周期，在周 末执行迁移操作。
[0050] 考虑到数据传输的单路径故障，自动分层存储支持多路径传输。
[0051] 在一个优选实施例中，将热区块中的数据迁移到高速存储层，将冷区块中的数据 迁移到低速存储层，之前还包括：
[0052] 建立热区块到高速存储层之间的多路径传输链路，
[0053] 建立冷区块到低速存储层之间的多路径传输链路。
[0054] 数据的存入频率与读出频率之间的差异可能很大，一些数据只会源源不断地写 入，但很少有机会被读取，一些数据改写的几率不大，但是读取很频繁，把读取与存入数据 放在一起分析不够准确。
[0055] 在一个优选实施例中，在一个时间区间内不间断跟踪与统计各个磁盘区块的存取 频率，具体包括：
[0056] 不间断跟踪与统计各个磁盘区块的存入频率，
[0057] 不间断跟踪与统计各个磁盘区块的读出频率。
[0058] 将对数据的读取与存入分开进行统计会得到更为精确的统计结果。
[0059] 基于此，在一个优选实施例中，定期动态分析出存取频率大于第一阈值的热区块 和存取频率小于第二阈值的冷区块，具体包括：
[0060] 定期动态分析出存入频率大于第一阈值的热区块与存入频率小于第二阈值的冷 区块；
[0061] 定期动态分析出读出频率大于第一阈值的热区块与读出频率小于第二阈值的冷 区块。
[0062] 本发明实施例提供一种自动实现管理分层存储的系统，如图2所示，包括：
[0063] 分层存储单元，包括支持不同存取速度的存储层；
[0064] 存储设备，包括多个磁盘区块；
[0065] 数据收集与分析模块，用于在一个时间区间内不间断跟踪并统计各个磁盘区块的 存取频率，定期动态分析出存取频率大于第一阈值的热区块和存取频率小于第二阈值的冷 区块；
[0066] 数据迁移模块，用于将所述热区块中的数据迁移到高速存储层，将冷区块中的数 据迁移到低速存储层。
[0067] 如图2所示，不同存取速度的存储层包括高速存储层、正常存储层和低速存储层。 [0068] 在一个优选实施例中，还包括：
[0069] 存储虚拟化模块，与存储设备连接，用于将存储设备中的磁盘划分为若干个逻辑 上的磁盘区块，每一个磁盘区块的容量符合精细度的规定。
[0070] 具体地，存储虚拟化模块将分散在不同存储层的磁盘区块，组合成虚拟的Volume 或LUN，也就是将Volume或LUN的区块分散到不同存储层上。
[0071] 数据收集与分析模块又称为10统计模块，在一个优选实施例中，数据收集与分析 模块，包括：
[0072] 跟踪统计单元，用于设定所述一个时间区间具体是业务低峰时段，并在业务低峰 时段内，周期性跟踪对各个磁盘区块的存取操作，统计出存取操作的频率作为所述存取频 率；
[0073] 分析单元，用于在业务低峰时段内，周期性根据统计出的存取频率分析出热区块 与冷区块。
[0074] 采用本方案之后的优势是：跟踪与统计各个磁盘区块的存取频率的过程中，根据 统计的结果，将存取频繁的数据迁移到高速存储层，将存取不频繁的数据迁移到低速存储 层，节省了迁移大量数据的时间和资源，并且在之后的访问过程中，将对热点数据和非热点 数据的访问分别指向高速和低速存储层，这优化了访问过程。
[0075] 以上所述是本发明的优选实施方式，应当指出，对于本【技术领域】的普通技术人员 来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也 应视为本发明的保护范围。
【权利要求】
1. 一种自动实现分层存储的方法，其特征在于，分层存储单元包括支持不同存取速度 的存储层，存储设备包括多个磁盘区块； 方法包括： 在一个时间区间内不间断跟踪并统计各个磁盘区块的存取频率，定期动态分析出存取 频率大于第一阈值的热区块和存取频率小于第二阈值的冷区块； 将所述热区块中的数据迁移到高速存储层，将冷区块中的数据迁移到低速存储层。
2. 根据权利要求1所述的方法，其特征在于，在一个时间区间内不间断跟踪与统计各 个磁盘区块的存取频率包括： 所述一个时间区间具体是业务低峰时段， 在业务低峰时段内，周期性跟踪对各个磁盘区块的存取操作，统计出存取操作的频率 作为所述存取频率。
3. 根据权利要求2所述的方法，其特征在于，磁盘区块的存取频率包括：磁盘区块的存 入频率，磁盘区块的读出频率。
4. 根据权利要求3所述的方法，其特征在于，周期性跟踪对各个磁盘区块的存取操作， 统计出存取操作的频率作为所述存取频率包括： 在每一个周期内，同时统计各个磁盘区块的存入频率和读出频率，存入频率和读出频 率的和值作为一个周期内的当前存取频率， 将各个周期统计出的所述当前存取频率进行累加后再进行平均计算得到所述存取操 作的存取频率。
5. 根据权利要求1所述的方法，其特征在于，存储设备包括多个磁盘区块，具体包括： 将存储设备中的磁盘划分为若干个逻辑上的磁盘区块，每一个磁盘区块的容量符合精 细度的规定。
6. 根据权利要求1所述的方法，其特征在于，定期动态分析出存取频率大于第一阈值 的热区块和存取频率小于第二阈值的冷区块包括： 在业务低峰时段内，周期性根据统计出的存取频率分析出热区块与冷区块。
7. 根据权利要求1所述的方法，其特征在于，将热区块中的数据迁移到高速存储层，将 冷区块中的数据迁移到低速存储层，之前还包括： 建立热区块到高速存储层之间的多路径传输链路， 建立冷区块到低速存储层之间的多路径传输链路。
8. -种实现分层存储的系统，其特征在于，包括： 分层存储单元，包括支持不同存取速度的存储层； 存储设备，包括多个磁盘区块； 数据收集与分析模块，用于在一个时间区间内不间断跟踪并统计各个磁盘区块的存 取频率，定期动态分析出存取频率大于第一阈值的热区块和存取频率小于第二阈值的冷区 块； 数据迁移模块，用于将所述热区块中的数据迁移到高速存储层，将冷区块中的数据迁 移到低速存储层。
9. 根据权利要求8所述的系统，其特征在于，还包括： 存储虚拟化模块，与存储设备连接，用于将存储设备中的磁盘划分为若干个逻辑上的 磁盘区块，每一个磁盘区块的容量符合精细度的规定。
10.根据权利要求8所述的系统，其特征在于，数据收集与分析模块包括： 跟踪统计单元，用于设定所述一个时间区间具体是业务低峰时段，并在业务低峰时段 内，周期性跟踪对各个磁盘区块的存取操作，统计出存取操作的频率作为所述存取频率； 分析单元，用于在业务低峰时段内，周期性根据统计出的存取频率分析出热区块与冷 区块。
【文档编号】G06F3/06GK104102454SQ201310118500
【公开日】2014年10月15日 申请日期:2013年4月7日 优先权日:2013年4月7日
【发明者】陈烨, 汪海, 王田 申请人:杭州信核数据科技有限公司