专利名称：动态分级存储系统和方法
技术领域：
本发明涉及计算机存储技术领域，特别涉及一种动态分级存储系统和方法。
背景技术：
随着存储和网络技术的不断发展，网络存储容量成指数级增长。企业级的存储用户希望数据具有更高的可靠性，并且能够持续访问企业服务器管理的数据；同时，存储服务器的系统管理员也希望有更高效率的存储管理策略。在企业级存储服务器的使用过程中，系统管理员希望存储资源能够动态调节，而不是在开始使用时就要预见某个存储资源在未来可能需要的容量。在某个存储资源即将耗尽时，能够在线扩容，保证数据的可持续性访问。为此，出现了一些磁盘管理方法，如逻辑卷管理(Logical VolumeManager, LVM) 等，它们使得磁盘的管理更加灵活，让使用者可以根据需要对磁盘存储按照组的方式即西宁命名、管理和分配，从而提高了存储管理的效率。但是，目前的磁盘存储方式，对于经常使用的文件和数据以及不经常或使用的文件和数据，都是存放在一类磁盘中，因此那部分不经常使用的文件和数据同样也占据着一定的磁盘存储资源，不仅造成了资源的浪费，增加了磁盘硬件成本，而且在也降低了磁盘的访问速度，影响系统整体的性能。
发明内容
本发明的目的是提供一种动态分级存储系统和方法，以解决现有的磁盘存储方式造成的成本高、访问速度慢的问题。本发明提出一种动态分级存储系统，包括至少二个存储区、热点分析单元以及重定位单元。每个存储区均设置有表示放置级别的标识，所述放置级别的高低表示所述存储区磁盘介质性能的高低；热点分析单元与存储区相连，用于计算文件的访问热度，其中文件访问热度的高低对应存储区放置级别的高低；重定位单元分别与热点分析单元以及所有的存储区相连，用于根据文件的访问热度，依次将文件存入对应放置级别的存储区。进一步的，所述的动态分级存储系统，其还包括排序单元和规则定制单元。排序单元用于列出所有文件的列表，并按访问时间或修改时间对文件进行排序；规则定制单元分别与所述排序单元以及重定位单元相连，用于根据排序结果确定访问热度的计算规则。进一步的，所述的动态分级存储系统，其还包括资源分配单元，与所述存储区相连，用于分配各个存储区的存储资源。进一步的，所述存储区包括至少一个一级存储区和至少一个二级存储区，所述一级存储区具有高性能的磁盘介质，所述二级存储区具有高性价比的磁盘介质。本发明另提出一种动态分级存储方法，包括以下步骤A、设置至少二个存储区，每个存储区均设置有表示放置级别的标识，所述放置级别的高低表示所述存储区磁盘介质性能的高低；
B、计算文件的访问热度，其中文件访问热度的高低对应存储区放置级别的高低；C、根据文件的访问热度，依次将文件存入对应放置级别的存储区。进一步的，步骤B中，计算文件的访问热度包括以下步骤Bi，列出所有文件的列表；B2，按访问时间或修改时间对文件进行排序；B3，根据排序结果确定访问热度的计算规则；B4，通过计算规则计算文件的访问热度。进一步的，步骤C包括步骤Cl、判断同一访问热度的文件大小与对应放置级别的存储区容量是否匹配，若是则进入C3，若否则进入C2;C2、重新分配对应存储区的存储资源；C3、根据文件的访问热度，依次将文件存入对应放置级别的存储区。进一步的，所述存储区包括至少一个一级存储区和至少一个二级存储区，所述一级存储区具有高性能的磁盘介质，所述二级存储区具有高性价比的磁盘介质。本发明的有益效果是本发明的动态分级存储系统和方法通过对存储空间中文件的定期重定位，将经常被访问的文件(热点数据)存放在高性能、高成本的存储区中，而长期不被访问的文件(非热点数据)存放在性价比高、成本低的存储区中，相对于现有技术， 更合理地利用了磁盘资源，降低了硬件购置成本，同时将高性能磁盘中的非热点数据分割出去后，更有利于对热点数据访问速度的提升，提高系统整体性能。
图1为本发明动态分级存储系统的一种实施例结构图；图2为一种文件系统的存储空间重定位前的示意图；图3为图2中文件系统的存储空间重定位后的示意图；图4为一个具有IOTB联机存储的数据中心，纯粹基于存储硬件的成本比较的示意图；图5为本发明动态分级存储系统的另一种实施例结构图；图6为本发明动态分级存储方法的一种实施例流程图；图7为本发明访问热度计算过程的一种实施例流程图；图8为本发明迁移系统文件时的一种实施例流程图。
具体实施例方式以下结合附图，具体说明本发明。请参见图1，其为本发明动态分级存储系统的一种实施例结构图，其包括多个存储区11、热点分析单元12以及重定位单元13。每个存储区11均设置有表示放置级别的标识， 所述放置级别的高低表示所述存储区11磁盘介质性能的高低；热点分析单元12与存储区 11相连，用于计算文件的访问热度，这里所述的访问热度是指文件的被使用频度或受关注程度，其中文件访问热度的高低对应存储区放置级别的高低；重定位单元13分别与热点分析单元12以及所有的存储区11相连，用于根据文件的访问热度，依次将文件存入对应放置级别的存储区11。本发明的目的是参照系统文件的访问热度实现文件的自动迁移，从而使存储区的分配更加合理，释放更多的存储资源。下面举例说明其运作过程请参见图2，某文件系统的存储空间分为一级存储区和二级存储区，“一级”和“二级”即为这两个存储区的放置级别，一级存储区为性能高、成本高的磁盘介质，二级存储区为性价比较高、成本较低的磁盘介质。文件初期都被储存在一级存储区中，在一段时间后， 一些文件却长期不被使用，图中空心的小方块21表示长期不被使用的文件(本发明中也称之为非热点数据)，实心的小方块22表示经常被使用的文件(本发明中也称之为热点数据)，这些不被使用的文件仍然占据着高性能的磁盘空间，造成资源的浪费，同时也会影响对其它文件的访问。因此，热点分析单元12便会定时对两个存储区中的文件进行分析，计算它们的访问热度，然后由重定位单元13自动对它们进行重分配。即将访问热度低的文件(空心的小方块21)迁移到二级存储区，访问热度高的文件(实心的小方块2 迁移到一级存储区，重新分配后的存储空间就形成了如图3所示的新的格局。由于二级存储区相对于一级存储区的磁盘介质的成本较低，因而将空心的小方块 21迁移到二级存储区后，一级存储区中原来存放空心的小方块21的地方就可以用来存放实心的小方块22或者新写入的文件，这样便更充分地利用了高价的磁盘空间，并可以释放出一定的存储资源。特别对于企业级的存储器，其要求长时间运作，以及很高的MTBF(Mean TimeBefore failure，平均故障时间)。采用本发明的存储系统可以大大提高稳定性和硬件购置成本。例如，假设某企业的储存器由质量最好一级存储区和质量中等的二级存储区构成，质量最好的企业存储硬件每GB花费20美元，而质量中等的存储区每GB花费10美元， 则若其联机数据中有50%的数据为非热点数据并保存在在质量中等的存储区上，那么相对于全部保存在质量最好的存储区上，节省25%的存储采购成本。且非热点数据越多，越节省成本。图4表述的是对一个具有IOTB联机存储的数据中心，纯粹基于存储硬件的成本比较。由此可见，采用本发明的存储系统可以为企业带来很大的利益。实际上，因为存储空间配置不同，造成的成本差额甚至更大，比如储存空间还可以基于不同的访问热度，划分为一级、二级、三级存储区，甚至更多，而相对应的，就必须制定访问热度的相应划分规则。 当然，使用者可以根据本身经验来设定访问热度的计算规则，但相对地会缺少一些客观性和准确性。鉴于此，本发明提供了另一种动态分级存储系统的实施例结构图，如图5所示，其包括多个存储区11、热点分析单元12、重定位单元13、排序单元51、规则定制单元52以及资源分配单元53。热点分析单元12与存储区11相连，重定位单元13分别与热点分析单元12以及所有的存储区11相连，排序单元51与存储区11相连，规则定制单元52分别与排序单元51及重定位单元13相连，资源分配单元53与存储区11相连。其中，存储区11、 热点分析单元12和重定位单元13的作用与图1的实施例中所述的相同，此处不再赘述。排序单元51和规则定制单元52的作用即为定制访问热度的计算规则，排序单元 51会针对存储区11中的所有文件进行列表，并按访问时间或修改时间对文件进行排序。规则定制单元52便可以根据排序结果确定访问热度的计算规则。例如，根据排序结果分析显示75 %的文件已经有30天或超过30天未被访问，则30天可以是一个比较合适的向下重定位阀值，即30天内被访问过的文件定义为热点数据，超过30天未被访问的文件定义为非热点数据。当然，若不同放置级别的存储区11大于等于三个，则也可以分别以20天、30天、40 天等时间为界限将存储区11中文件的访问热度划分为一级访问热度、二级访问热度、三级访问热度等，以与各个存储区相对应。此外，资源分配单元53用于分配各个存储区的存储资源，以最大化地运用系统存储资源。例如，如果25%的文件被判断为热点数据(已在最近30天内访问)，但这25%文件只占一级存储区的10%，则有必要对存储资源进行重新分配，将一级存储区的部分空间划分出来用于存储其它数据。相反，如果热点数据占总文件系统存储容量的百分比大于一级存储区的可用百分比，则某些热点数据就必然占用二级存储空间，此时就需要增大一级存储空间的容量分配。而这些根据文件大小来调配各个存储区容量的工作便是由资源分配单元53来完成的。相应于上述系统，本发明还提出一种动态分级存储方法，如图6所示，其包括以下步骤S61，设置至少二个存储区，每个存储区均设置有表示放置级别的标识，所述放置级别的高低表示所述存储区磁盘介质性能的高低。例如，某文件系统的存储空间分为一级存储区和二级存储区，“一级”和“二级”即为这两个存储区的放置级别，一级存储区为性能高、成本高的磁盘介质，二级存储区为性价比较高、成本较低的磁盘介质。S62，计算文件的访问热度，其中文件访问热度的高低对应存储区放置级别的高低。这里所述的访问热度是指文件的被使用频度或受关注程度。本发明要实现的是将经常被访问的文件存放到高性能的存储区中，而长期不被访问的文件存放到性价比较高、成本相对较低的存储区中，以提高存储资源的利用率以及降低硬件购置成本，因此访问热度与放置级别相对应。S63，根据文件的访问热度，依次将文件存入对应放置级别的存储区。比如访问热度高的、经常被访问的文件存入性能高的一级存储区，访问热度低的、长期不被访问的文件存入成本低的二级存储区。在动态分级存储策略中，计算文件的访问热度是一个关键部分，其决定了什么是热点数据，什么是非热点数据，好的计算规则有利于更加有效地使用存储空间。，请参见图 7，本发明优选的访问热度计算过程(即步骤S6》包括以下步骤S71，列出所有文件的列表。S72，按访问时间或修改时间对文件进行排序。S73，根据排序结果确定访问热度的计算规则。S74，通过计算规则计算文件的访问热度。例如，根据排序结果分析显示75%的文件已经有30天或超过30天未被访问，则 30天可以是一个比较合适的向下重定位阀值，即“计算规则”就可以定位为30天内被访问过的文件定义为热点数据，超过30天未被访问的文件定义为非热点数据。当然，若不同放置级别的存储区大于等于三个，则也可以分别以20天、30天、40天等时间为界限将存储区中文件的访问热度划分为一级访问热度、二级访问热度、三级访问热度等，以与各个存储区相对应。此外，为了更合理地利用存储资源，降低硬件购置成本，本发明还可以在迁移各存储区中文件的时候，根据各存储区待存文件的大小，对各个存储区的容量进行重分配，如图 8所示，其包括以下步骤S81，判断同一访问热度的文件大小与对应放置级别的存储区容量是否匹配，若是则进入步骤S83，若否则进入步骤S82。S82，重新分配对应存储区的存储资源。S83，根据文件的访问热度，依次将文件存入对应放置级别的存储区。例如，如果25%的文件被判断为热点数据(已在最近30天内访问)，但这25%文件只占一级存储区的10%，则有必要对存储资源进行重新分配，将一级存储区的部分空间划分出来用于存储其它数据。相反，如果热点数据占总文件系统存储容量的百分比大于一级存储区的可用百分比，则某些热点数据就必然占用二级存储空间，此时就需要增大一级存储空间的容量分配。以上公开的仅为本发明的几个具体实施例，但本发明并非局限于此，任何本领域的技术人员能思之的变化，只要不超出所附权利要求书所述范围，都应落在本发明的保护范围内。
权利要求
1.一种动态分级存储系统，其特征在于，包括至少二个存储区，每个存储区均设置有表示放置级别的标识，所述放置级别的高低表示所述存储区磁盘介质性能的高低；一热点分析单元，与存储区相连，用于计算文件的访问热度，其中文件访问热度的高低对应存储区放置级别的高低；一重定位单元，分别与热点分析单元以及所有的存储区相连，用于根据文件的访问热度，依次将文件存入对应放置级别的存储区。
2.如权利要求1所述的动态分级存储系统，其特征在于，其还包括一排序单元，用于列出所有文件的列表，并按访问时间或修改时间对文件进行排序； 一规则定制单元，分别与所述排序单元以及重定位单元相连，用于根据排序结果确定访问热度的计算规则。
3.如权利要求1所述的动态分级存储系统，其特征在于，其还包括一资源分配单元，与所述存储区相连，用于分配各个存储区的存储资源。
4.如权利要求1所述的动态分级存储系统，其特征在于，所述存储区包括至少一个一级存储区和至少一个二级存储区，所述一级存储区具有高性能的磁盘介质，所述二级存储区具有高性价比的磁盘介质。
5.一种动态分级存储方法，其特征在于，包括以下步骤A、设置至少二个存储区，每个存储区均设置有表示放置级别的标识，所述放置级别的高低表示所述存储区磁盘介质性能的高低；B、计算文件的访问热度，其中文件访问热度的高低对应存储区放置级别的高低；C、根据文件的访问热度，依次将文件存入对应放置级别的存储区。
6.如权利要求5所述的动态分级存储方法，其特征在于，步骤B中，计算文件的访问热度包括以下步骤Bi，列出所有文件的列表； B2，按访问时间或修改时间对文件进行排序； B3，根据排序结果确定访问热度的计算规则； B4，通过计算规则计算文件的访问热度。
7.如权利要求5所述的动态分级存储方法，其特征在于，步骤C包括步骤Cl、判断同一访问热度的文件大小与对应放置级别的存储区容量是否匹配，若是则进入C3，若否则进入C2 ；C2、重新分配对应存储区的存储资源；C3、根据文件的访问热度，依次将文件存入对应放置级别的存储区。
8.如权利要求5所述的动态分级存储方法，其特征在于，所述存储区包括至少一个一级存储区和至少一个二级存储区，所述一级存储区具有高性能的磁盘介质，所述二级存储区具有高性价比的磁盘介质。
全文摘要
本发明提出一种动态分级存储系统和方法，其系统包括至少二个存储区、热点分析单元以及重定位单元。每个存储区均设置有表示放置级别的标识，所述放置级别的高低表示所述存储区磁盘介质性能的高低；热点分析单元与存储区相连，用于计算文件的访问热度，其中文件访问热度的高低对应存储区放置级别的高低；重定位单元分别与热点分析单元以及所有的存储区相连，用于根据文件的访问热度，依次将文件存入对应放置级别的存储区。本发明可以更合理地利用磁盘存储资源，降低硬件的购置成本。
文档编号G06F12/08GK102411542SQ20111033013
公开日2012年4月11日 申请日期2011年10月26日 优先权日2011年10月26日
发明者卢宝丰, 安然, 谈川玉 申请人:上海文广互动电视有限公司