一种自动数据分级存储框架下提高数据迁移效率的方法
【专利摘要】本发明提供一种自动数据分级存储框架下提高数据迁移效率的方法，由数据块IO监控模块、数据块迁移推送模块和数据块迁移提取模块构成：监控统计整个分级存储池每一层级来自用户的IO流量，监控用户设置的分级存储池每一层级的最大IO流量；模块实例负责对所在层级设备数据块的扫描以及来自数据块IO监控模块的统计信息的扫描；根据来自数据块IO监控模块的提取IO数量阀值，将IO从本层级设备的迁移队列中取出；本发明和现有技术相比，通过将最近时间访问的数据块信息统计在内存中，对此部分统计信息进行快速的扫描，提高数据迁移的实时性以及迁移效率、降低对于正常IO的影响、提高存储设备的使用效率。
【专利说明】一种自动数据分级存储框架下提高数据迁移效率的方法
【技术领域】
[0001]本发明涉及计算机通信【技术领域】，具体地说是一种自动数据分级存储框架下提高数据迁移效率的方法。
【背景技术】
[0002]在针对于基于块级数据的分级存储系统中，将不经常访问的数据自动迁移到存储成本层次中较低的设备，释放出较高成本的存储空间给更频繁访问或更高优先级的数据，从而大大减少非重要性数据在一级本地磁盘所占用的空间，加快整个系统的存储性能，降低整个存储系统的拥有成本，进而获得更好的性价比。基于数据块的分级存储是一种细粒度的数据分级管理方案，能够将数据管理的粒度细化到根据应用需求所定义的扩展块级，因此对于数据的管理更加精准。当出现密集1访问底层数据时，将会产生热点数据，这时需要完成热点数据的升级迁移操作，以便实现热点数据能够使用性能更好的存储资源，从而提高存储系统整体性能。但是，在现有基于数据块的分级存储迁移方案中，存在数据块的迁移效率比较低的问题、并且数据的迁移对用户正常业务产生了一定的负面影响，主要存在如下原因:
(1)当某时刻达到对于数据的迁移周期时，发生了密集1访问的情况，这时为了保证数据的一致性，在进行1操作时会对整个分级存储池进行加锁处理，这时触发迁移操作会导致操作由于对数据块的加锁互斥而无法及时完成，需要等待下一个或者多个迁移周期才能试图执行热点数据的升级操作，导致热点数据不能够快速升级，影响了数据分级管理的实际应用效果；在数据迁移获取了分级存储池的琐时，会执行大量的数据迁移，此时数据迁移也会占据存储池的一定1带宽，对用户正常业务产生了负面的性能影响；
(2)在某时刻达到对于数据的迁移周期时，往往是对整个存储池中的所有数据块进行遍历扫描，当分级存储池中的数据量达到ZB级别时，此种场景下整个存储池数据的迁移效率是很低的。
【发明内容】
[0003]本发明的目的是克服现有技术中存在的不足，提供一种自动数据分级存储框架下提高数据迁移效率的方法，该方法可用于数据智能管理领域的自动数据分级存储管理中，尤其是对于数据块级的数据进行自动分级管理。
[0004]本发明的技术方案是按以下方式实现的，其结构由数据块1监控模块、数据块迁移推送模块和数据块迁移提取模块构成:
数据块1监控模块:监控统计整个分级存储池每一层级来自用户的1流量，监控用户设置的分级存储池每一层级的最大1流量，给数据块迁移提取模块提供提取1数量阀值；监控统计每一层级的访问引用计数；对来自用户1访问的数据块进行统计，并定期的将统计信息通知给数据块迁移推送模块；
数据块迁移推送模块:模块实例负责对所在层级设备数据块的扫描以及来自数据块1监控模块的统计信息的扫描，根据数据块最近访问时间、引用计数、来自数据块1监控模块提取阀值量、三个维度判断数据块向上迁移、向下迁移、静止，根据判断的结果将数据块封装成迁移1请求，推送到对应上层设备或下层设备的1迁移队列中；
数据块迁移提取模块:根据来自数据块1监控模块的提取1数量阀值，将1从本层级设备的迁移队列中取出，在本层级分配新的数据块存储原有存储在下/上级设备中的用户数据，此时新的映射关系建立，删除原有数据块的映射关系；累计本1流量到总提取1流量，当累计的总提取1流量超过来自数据块1监控模块的提取1数量阀值时，停止本轮单位提取1迁移请求，待下次实例运行继续处理；当本层级设备迁移1队列不存在迁移请求，停止本轮单位提取1迁移请求，待下次实例运行继续处理。
[0005]上述数据1监控模块定期的对来自用户的R/W 1流量进行统计，根据用户设置的分级存储池每一层级最大1流量计算出两者之间的差值，将此值作为数据块迁移提取模块的最大1流量。
[0006]上述数据块迁移推送模块定期的扫描模块实例所在层级设备的数据块以及来自数据块1监控模块的统计信息，根据数据的冷热程度、数据块1监控模块的提取阀值量将数据块封装成1迁移请求，添加到对应设备的迁移1队列中。
[0007]上述数据块迁移提取模块实例将存储在本层级设备的迁移1队列中的请求提取出来，在本层级分配新的数据块，将请求携带的原有用户数据存储在新分配的数据块中即建立新的映射关系，删除原有数据块的映射关系。
[0008]本发明的优点是:
本发明的一种自动数据分级存储框架下提高数据迁移效率的方法和现有技术相比，通过将最近时间访问的数据块信息统计在内存中，对此部分统计信息进行快速的扫描，提高数据迁移的实时性以及迁移效率、降低对于正常1的影响、提高存储设备的使用效率，而且本发明还具有设计合理、结构简单、使用方便等特点，因而，具有很好的使用价值。
【专利附图】
【附图说明】
[0009]图1为自动数据分级存储框架的结构示意图。
[0010]图2为存储资源功能模块-数据迁移流程图。
【具体实施方式】
[0011]下面结合附图对本发明的一种自动数据分级存储框架下提高数据迁移效率的方法作以下详细说明。
[0012]如图1-2所示，本发明的一种自动数据分级存储框架下提高数据迁移效率的方法，其结构由数据块1监控模块、数据块迁移推送模块和数据块迁移提取模块构成:
数据1监控模块:定期监控整个分级存储池每一层级来自用户的单位时间内R/W 1流量并作出统计，监控用户设置的分级存储池每一层级的单位时间内最大的1流量，将这两个1流量进行差值计算，将此差值作为层级设备1迁移队列1流量阀值即数据块迁移提取1流量阀值；对每一层级设备的访问引用计数进行统计；对来自用户1访问的数据块进行统计，统计信息包括访问引用计数、当前访问时间，将统计信息保存在内存中一份、并在磁盘中保存一份。
[0013]数据块迁移推送模块:模块实例定期对所在层级设备数据块以及来自模块(I)的统计信息进行扫描，根据数据块的访问时间、访问引用计数、来自数据块1监控模块提取阀值量、三个维度判断向上迁移、向下迁移、静止，根据判断的结果将数据块封装成迁移1请求，推送到对应上层设备或下层设备的迁移队列中。
[0014]数据块迁移提取模块:数据块迁移提取模块实例定期运行，当本层级设备迁移1队列存在迁移请求，将迁移1请求从本层级设备的迁移队列中取出，在本层级分配新的数据块存储原有存储在下/上级设备中的用户数据，此时新的映射关系建立，删除原有数据块的映射关系；累计本1流量到总提取1流量，当累计的总提取1流量超过来自数据块1监控模块的提取1数量阀值时，停止本轮单位提取1迁移请求，待下次实例运行继续处理。当本层级设备迁移1队列不存在迁移请求，停止本轮单位提取1迁移请求，待下次实例运行继续处理。
[0015]结合附图，对本发明的内容以一个具体实例来描述实现这一体系结构的过程。
[0016]正如
【发明内容】
中所描述的，本发明主要模块包括:数据1监控模块；数据块迁移推送模块；数据块迁移提取模块；
这三个模块属于自动数据分级存储框架中的存储资源子系统；【具体实施方式】为:
(1)将自动数据分级存储系统软件包安装到存储系统；
(2)将上述三个模块作为子模块安装到存储资源子系统中；
(3)分别在每一个设备层级激活三个模块的实例，由整个自动数据分级存储系统为用户提供服务。
[0017]本发明的一种自动数据分级存储框架下提高数据迁移效率的方法其加工制作非常简单方便，按照说明书附图所示即可加工。
[0018]除说明书所述的技术特征外，均为本专业技术人员的已知技术。
【权利要求】
1.一种自动数据分级存储框架下提高数据迁移效率的方法，其特征在于由数据块1监控模块、数据块迁移推送模块和数据块迁移提取模块构成: 数据块1监控模块:监控统计整个分级存储池每一层级来自用户的1流量，监控用户设置的分级存储池每一层级的最大1流量，给数据块迁移提取模块提供提取1数量阀值；监控统计每一层级的访问引用计数；对来自用户1访问的数据块进行统计，并定期的将统计信息通知给数据块迁移推送模块； 数据块迁移推送模块:模块实例负责对所在层级设备数据块的扫描以及来自数据块1监控模块的统计信息的扫描，根据数据块最近访问时间、引用计数、来自数据块1监控模块提取阀值量、三个维度判断数据块向上迁移、向下迁移、静止，根据判断的结果将数据块封装成迁移1请求，推送到对应上层设备或下层设备的1迁移队列中； 数据块迁移提取模块:根据来自数据块1监控模块的提取1数量阀值，将1从本层级设备的迁移队列中取出，在本层级分配新的数据块存储原有存储在下/上级设备中的用户数据，此时新的映射关系建立，删除原有数据块的映射关系；累计本1流量到总提取1流量，当累计的总提取1流量超过来自数据块1监控模块的提取1数量阀值时，停止本轮单位提取1迁移请求，待下次实例运行继续处理；当本层级设备迁移1队列不存在迁移请求，停止本轮单位提取1迁移请求，待下次实例运行继续处理。
2.根据权利要求1所述的一种自动数据分级存储框架下提高数据迁移效率的方法，其特征在于数据1监控模块定期的对来自用户的R/W 1流量进行统计，根据用户设置的分级存储池每一层级最大1流量计算出两者之间的差值，将此值作为数据块迁移提取模块的最大1流量。
3.根据权利要求1所述的一种自动数据分级存储框架下提高数据迁移效率的方法，其特征在于数据块迁移推送模块定期的扫描模块实例所在层级设备的数据块以及来自数据块1监控模块的统计信息，根据数据的冷热程度、数据块1监控模块的提取阀值量将数据块封装成1迁移请求，添加到对应设备的迁移1队列中。
4.根据权利要求1所述的一种自动数据分级存储框架下提高数据迁移效率的方法，其特征在于数据块迁移提取模块实例将存储在本层级设备的迁移1队列中的请求提取出来，在本层级分配新的数据块，将请求携带的原有用户数据存储在新分配的数据块中即建立新的映射关系，删除原有数据块的映射关系。
【文档编号】G06F3/06GK104133643SQ201410378871
【公开日】2014年11月5日 申请日期:2014年8月4日 优先权日:2014年8月4日
【发明者】梁志诚, 张宇, 温源 申请人:浪潮电子信息产业股份有限公司