一种存储系统分层管理的方法与系统的制作方法

一种存储系统分层管理的方法与系统的制作方法
【专利摘要】本发明公开了一种存储系统分层管理的方法与系统。其中，所述方法包括以下步骤：根据存储系统中各存储介质的介质类型，将各存储介质分成至少二存储层；根据数据对象的数据类型，将所述数据对象存储在相应的存储层。采用上述方案，本发明采用分层数据存储，应用于分布式文件系统中，支持自动分层存储数据和自动迁移数据，可以大大的减少数据存储的成本，提高存储的效率；同时，也能更加合理的管理数据，具有可控性强和可扩展性强的特性。
【专利说明】一种存储系统分层管理的方法与系统
【技术领域】
[0001]本发明涉及分布式文件的存储管理，尤其涉及的是，一种存储系统分层管理的方法与系统。
【背景技术】
[0002]如今，非结构化数据增长的速度越来越快，随着时间的推移，这种趋势也越来越明显。根据市场调查和分析，非结构化数据增长的速度已经超过了所有其他类型的数据。
[0003]结构化数据，比如CRM、ERP、financial等以一种平滑的方式增长。而非结构化数据，比如Emails、电子数据表、文件及其文件夹等，占了一个企业数据增长的50% -100%。
[0004]考虑到在现今行业的预算没有增长甚至减少的情况下，智能管理数据的存储方案的需求也越来越急迫。分析存储系统中的一个数据对象，在它刚进入系统那段时间中可能会出现访问频率很高的现象，但当数据老旧或不再更新之后，几乎不会再访问它。
[0005]根据这种数据现象可以分析出在上面这种情形中当数据的体积越来越大时其访问的频率越来越小。所以，在数据的生命周期中，由于成本原因，不能一直放在高性能的存储介质(SAS RAID或SSD)中，应该依据不同时期的访问频率来移动到不同的物理介质当中。这就需要在存储软件中用到合适的分层方法来管理数据的迁移和存储。
[0006]不论什么自动分层方法都需要结合不同的存储介质来完成，下面是现有存储介质的概述:
[0007]SSD (Solid State Disk，固态硬盘，简称固盘)，是用固态电子存储芯片阵列而制成的硬盘，高性能也伴随着高成本，通常在分层存储中存放活跃数据。
[0008]SAS(Serial Attached SCSI,串行连接 SCSI) / FC(Fibre Channel，光纤通道接口)Disks,由SAN或FC盘组成的独立硬盘冗余阵列(RAID, Redundant Array ofIndependent Disks)的性能虽然没有SSD的好,但属于现在主流的存储介质,不过成本依旧很高。
[0009]SATA (Serial Advanced Technology Attachment,串行高级技术附件)Disks,相比于SAS / FC Disks, SATA Disk的性能低一些，但是性价比很高。
[0010]LTO (Linear Tape Open,线性磁带开放协议)Tape (磁带)，其在TB级的存储上拥有最高的性价比，但是它没有提供随机存储的能力使其无法成为主要的存储介质，一般用作拷贝和归档。

【发明内容】

[0011]本发明所要解决的技术问题是提供一种新的存储系统分层管理的方法与系统。
[0012]本发明的技术方案如下:一种存储系统分层管理的方法，其包括以下步骤:根据存储系统中各存储介质的介质类型，将各存储介质分成至少二存储层；根据数据对象的数据类型，将所述数据对象存储在相应的存储层。
[0013]优选的，所述方法还根据数据对象的访问频率，将所述数据对象在各存储层中迁移。
[0014]优选的，所述方法中，将各存储介质分成N存储层，其中，N为自然数且N ≥ 2 ;预设置N-1个访问频率的阈值；周期对某一数据对象作迁移判断:判断其访问频率大于第M阈值时，将其从第M存储层迁移至第M+1存储层，否则，判断其访问频率小于第M阈值时，将其从第M+1存储层迁移至第M存储层，其中，M为自然数且M≤N-1。
[0015]优选的，所述方法中，根据所述存储系统中所有数据对象的访问总频率调整各阈值。
[0016]优选的，所述方法中，在所述迁移判断时，采用所述数据对象在一预设时间段内的平均访问频率作为判断时采用的访问频率。
[0017]优选的，所述方法中，所述数据对象在迁移后，还在原存储层中保留一预设时间。
[0018]优选的，所述方法还包括步骤:根据数据对象的数据类型设置若干对应相异存储层的数据对象级别；当数据对象进入存储系统时，根据所述数据对象的数据类型，获取所述数据对象的数据对象级别，根据所述数据对象级别将其存储到对应的存储层。
[0019]优选的，所述方法中，所述数据对象在迁移到第I层时，选择是否分配一预设的租期；对于具有所述租期的所述数据对象，判断其在所述租期内未被访问，则在所述租期到期后，将所述数据对象删除。
[0020]优选的，所述方法还包括步骤:根据各存储层的负载情况，对于负载程度超过预设百分比值的第X存储层，根据各数据对象的平均访问频率，将平均访问频率最高的数据对象迁移至第X+1存储层，继续判断第X存储层的负载程度是否超过预设百分比值，是则将平均访问频率最低的数据对象迁移至第X-1存储层，直至第X存储层的负载程度低于所述预设百分比值。
[0021 ] 优选的，所述方法中，所述存储系统中的某一数据对象被访问时，在所述存储系统的元数据中进行记录，以计算其访问频率。
[0022]本发明的又一技术方案如下:一种存储系统分层管理的系统，其包括若干存储介质以及至少二存储层；各所述存储介质分别设置于一存储层；各存储层分别用于根据数据对象的数据类型，存储所述数据对象。
[0023]采用上述方案，本发明采用分层数据存储，应用于分布式文件系统中，支持自动分层存储数据和自动迁移数据，可以大大的减少数据存储的成本，提高存储的效率；同时，也能更加合理的管理数据，具有可控性强和可扩展性强的特性。
【专利附图】

【附图说明】
[0024]图1为本发明的流程示意图；
[0025]图2为本发明存储介质层次分配图。
【具体实施方式】
[0026]为了便于理解本发明，下面结合附图和具体实施例，对本发明进行更详细的说明。附图中给出了本发明的较佳的实施例。但是，本发明可以以许多不同的形式来实现，并不限于本说明书所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。[0027]需要说明的是，当元件被称为“固定于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本说明书所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。
[0028]除非另有定义，本说明书所使用的所有的技术和科学术语与属于本发明的【技术领域】的技术人员通常理解的含义相同。本说明书中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是用于限制本发明。本说明书所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
[0029]下面将结合附图和实例对本发明技术方案做进一步的说明。本发明的一个例子是:一种存储系统分层管理的方法，其包括以下步骤:根据存储系统中各存储介质的介质类型，将各存储介质分成至少二存储层；根据数据对象的数据类型，将所述数据对象存储在相应的存储层。这样，基于在不同价格不同性能的存储设备，在数据对象的不同时期改变其存储的位置，从而减少硬件存储成本，提高数据的访问速度。例如，所述方法还包括步骤:调整存储介质及所述介质类型；例如，增加新的硬盘，移除某一硬盘，或者暂时屏蔽某一类型存储介质等；又如，增加闪存作为临时的介质类型；又如，增加SSD等新的介质类型等。又如，根据数据对象的数据类型，动态将所述数据对象存储在相应的存储层。例如，新进入某一 AVI等格式的视频数据对象，则将其存储于更注重容量的存储层中的某一存储介质中。又如，还根据某一存储层中的各存储介质的负载情况，在同一存储层中动态调整各数据对象的位置，使得各存储介质负载均衡。
[0030]例如，所述方法中，预先建立数据分类，根据不同情形定义不同的数据级别。数据分类，需要了解每一个文件或文件类型的相对价值，通常的，预设数据分类，例如，视频格式的数据对象为一类，office相关软件的数据对象为一类等，依此类推；优选的，还调整所述数据分类，因为在实际应用中，不同的公司对数据有自己不同的实际价值，所以数据分类往往涉及一个人工的过程，需要了解多个部门的具体情况，比如人力资源部，财务部等，一旦确定好每个数据的相应的价值并制定好数据分类的具体策略，数据分类模块就能自己找到数据，给其定上初始的数据等级，应用元数据并执行指定好的留存策略。
[0031]又如，建立存储介质分类，将不同性能的存储介质分类，设置于不同的存储层中，用来存储数据；随着存储需求呈螺旋状上升，将所有的数据放在高性能的存储介质中显然是不切实际的，分层存储是将关键的数据保存在高性能的介质中。分层存储的最终目的是为了节约资金，根据访问频率的高低将数据在不同的时期放在不同的存储介质，不同的存储层次，避免硬件空间和性能的浪费。同时将数据分布在多层中，可以避免用户和应用程序在访问存储时可能出现的冲突，避免损伤存储系统的性能。
[0032]这样，就实现集群文件系统数据自动分层存储的方法，提高了存储需求的灵活性，优化了数据管理，并降低了数据的总拥有成本；尤其适用于分布式集群文件存储系统中。从而可在第一时间内将数据自动地转移到相匹配的存储介质中，实现快速存储层和性能较低的低速存储层之间的数据移动；例如，其中快速存储层为闪存驱动，低速存储层为SAS和/或SATA磁盘。本方法实现的主要几个模块为:数据分类、存储介质分类和数据迁移，例如，系统中包括数据分类模块、存储介质分类模块和数据迁移模块等。
[0033]优选的，所述存储系统根据预设分层规则，自动根据不同的存储介质进行自动分层，当有新存储介质加入到存储系统中时将其自动加入现有的存储层中或者新设一存储层，然后根据同一层的负载情况以及预设负载均衡条件，将该现有存储层的部分数据迁移到其中。优选的，所述方法还根据数据对象的访问频率，将所述数据对象在各存储层中迁移。数据迁移就是移动数据，从文件夹、分割区、硬盘或磁盘子系统提取数据，放入其他的存储介质，或称为物理站点。例如，当数据的访问频率达到预设的阈值时，则自动迁移到上层或下层的存储介质中去。如果数据的迁移的频率太大或数据量太大，会给存储系统带来很大的负荷，严重影响系统的性能，所以在所述方法中，优选的，数据迁移操作的优先级要比数据存取操作的优先级低。每个数据对象在刚进入存储或刚迁移到其他存储介质上时都会有一个数据保留期，在这段时间内，系统根据数据的访问频率以及数据的级别来判断保留期结束后是否迁移到其他的存储介质和具体的哪一层介质。
[0034]优选的，所述方法中，将各存储介质分成N存储层，其中，N为自然数且N ^ 2 ;预设置N-1个访问频率的阈值；周期对某一数据对象作迁移判断:判断其访问频率大于第M阈值时，将其从第M存储层迁移至第M+1存储层，否则，判断其访问频率小于第M阈值时，将其从第M+1存储层迁移至第M存储层，其中，M为自然数且M < N-1。例如，N=3，将各存储介质分成3个存储层，预设置2个访问频率的阈值；每间隔一个预设周期时长，对某一数据对象作迁移判断:判断其访问频率大于第I阈值时，将其从第I存储层迁移至第2存储层，然后中止后续判断；如果其访问频率不大于第I阈值时，则判断其访问频率是否小于第I阈值，是则将其从第2存储层迁移至第I存储层；优选的，对于该数据对象，先判断其所处的存储层，然后进行所述迁移判断；例如，某一数据对象处于第L存储层，L为自然数且L ( N，判断当L小于N时，则判断其访问频率大于第L阈值时，将其从第L存储层迁移至第L+1存储层，否则，判断其访问频率小于第L阈值时，将其从第L存储层迁移至第L-1存储层；当L等于N时，只需判断其访问频率小于第L-1阈值时，将其从第L存储层迁移至第L-1存储层。
[0035]如图1所示，本发明的一个实施例是，对数据对象，周期根据其访问频率进行更换存储层判断，访问频率大于晋级预设值时，向上级存储层进行数据迁移；访问频率小于晋级预设值时，判断是否小于降级预设值，是则向下级存储层进行数据迁移；对于已过数据保存期(即租期)的数据对象，根据其访问频率确定是否删除。
[0036]优选的，所述方法中，根据所述存储系统中所有数据对象的访问总频率调整各阈值。例如，数据迁移的阈值，根据整个系统数据访问的频率的变化而变化，根据系统数据访问的总频率来设置新的阈值，但是已经在系统中的数据会依然按照之前的阈值来迁移，只有迁移过一次后或新进系统的数据才会按照最新的阈值来迁移数据。
[0037] 优选的，所述方法还包括步骤:根据各存储层的负载情况，对于负载程度超过预设百分比值的第X存储层，根据各数据对象的平均访问频率，将平均访问频率最高的数据对象迁移至第X+1存储层，继续判断第X存储层的负载程度是否超过预设百分比值，是则将平均访问频率最低的数据对象迁移至第X-1存储层，直至第X存储层的负载程度低于所述预设百分比值。优选的，对于负载程度超过预设百分比值的第X存储层，先分别判断第X+1存储层、第X-1存储层的负载情况，在两者负载程度均不超过预设百分比值时，则根据第X存储层各数据对象的平均访问频率，将平均访问频率最高的数据对象迁移至第X+1存储层，继续判断第X存储层的负载程度是否超过预设百分比值，是则将平均访问频率最低的数据对象迁移至第X-1存储层，直至第X存储层的负载程度低于所述预设百分比值；当其一负载程度超过预设百分比值时，则根据第X存储层各数据对象的平均访问频率，将相应平均访问频率的数据对象迁移至另一存储层；例如，当第X+1存储层负载程度超过预设百分比值时，则根据第X存储层各数据对象的平均访问频率，将平均访问频率最低的数据对象迁移至第X-1存储层，直至第X存储层的负载程度低于所述预设百分比值。
[0038]优选的，轮询各存储层的负载情况；例如，从最高存储层开始评判各存储层的负载情况，例如有3个存储层，则从第3存储层开始评判各存储层的负载情况。例如，设置4个存储层，对于第3存储层的数据，如果判断第3存储层的负载程度超过90%或者95%或者其他预设百分比值时，根据第3存储层的各数据对象的平均访问频率，将平均访问频率最高的数据对象迁移至第4层，然后继续判断第3存储层的负载程度，如果仍对应超过90%或者95%或者其他预设百分比值时，将平均访问频率最低的数据对象迁移至第2存储层；依此类推，直至第3存储层的负载程度低于所述预设百分比值。优选的，然后继续判断其他存储层的负载情况。又如，按从高到低的顺序轮询各存储层的负载情况，根据各存储层的负载情况，对于负载程度超过预设百分比值的第X存储层，根据各数据对象的平均访问频率，将平均访问频率最低的数据对象迁移至第X-1存储层，直至第X存储层的负载程度低于所述预设百分比值。
[0039]优选的，所述方法中，在所述迁移判断时，采用所述数据对象在一预设时间段内的平均访问频率作为判断时采用的访问频率。这样，可以避免极值而影响判断依据，例如，曾经频繁调用的数据对象在某一时间段内没有被访问，从而获得更好的数据管理效果。
[0040]优选的，所述方法中，所述数据对象在迁移后，还在原存储层中保留一预设时间。这样，数据在进入存储系统后，不会根据数据访问的频率来经常或者实时迁移数据，这样过于消耗系统资源，影响系统效率，会给数据在每一层存储空间中留一段数据保留期，计算在其期限中的平均访问量，更新到其元数据，判定是否需要迁移数据。预设时间即数据保留期格局实际应用设置和调整，本发明各实施例对此不作额外限制。
[0041]优选的，所述方法还包括步骤:根据数据对象的数据类型设置若干对应相异存储层的数据对象级别；当数据对象进入存储系统时，根据所述数据对象的数据类型，获取所述数据对象的数据对象级别，根据所述数据对象级别将其存储到对应的存储层。又如，根据不同公司的实际情况来定义不同的数据级别，当数据对象进入存储系统时，会根据定义的数据级别来对这个数据对象给一个初始级别，然后将其存储放到对应的层中去。
[0042]优选的，所述方法中，所述数据对象在迁移到第I层时，选择是否分配一预设的租期；对于具有所述租期的所述数据对象，判断其在所述租期内未被访问，则在所述租期到期后，将所述数据对象删除。这样，可以自行选择需不需要租期，更方便系统灵活的存储数据。例如，当数据迁移到最底层(即第I层)的存储介质中时，可以选择给数据分配一个租期，当在租期的时间内数据没有被访问时，租期到后数据会被自动删除，达到释放资源节约成本的目的。优选的，所述数据对象在迁移到第I层时，还选择是否压缩数据，以增加存储系统的可用空间；或者，所述数据对象在迁移到第I层时，还自动压缩数据。
[0043]优选的，所述方法中，所述存储系统中的某一数据对象被访问时，在所述存储系统的元数据中进行记录，以计算其访问频率。例如，将各预设参数设置于所述存储系统的配置文件，所述存储系统在初始化时读取所述配置文件；新的存储介质进入存储系统，通过存储系统校验后生成其元数据信息；又如，当在系统中的一个数据对象被访问一次时，其元数据中的记录访问频率的信息会重新计算并更新，当到达预设阈值时会根据元数据的信息自动迁移。
[0044]采用上述各例，可以自动判断数据活跃度并将其自动迁移到对应的存储层。
[0045]结合应用上述任一实施例所述方法，本发明的又一实施例如下:一种存储系统分层管理的系统，其包括若干存储介质以及至少二存储层；各所述存储介质分别设置于一存储层；各存储层分别用于根据数据对象的数据类型，存储所述数据对象。优选的，所述系统还包括各实施例所述方法中涉及的各功能模块或者执行单元。例如，所述系统设置自动分层单元，根据存储系统中各存储介质的介质类型，将各存储介质分成至少二存储层；又如，所述系统设置预设单元，预设各参数，包括数据分类、存储介质分类、介质类型、各访问频率的阈值、百分比值等；又如，所述系统设置计算单元，其根据访问总频率自动调整各阈值
[0046]例如，对于不同的存储介质，根据其不同的存储特性，将其自动划分为以下三种不同的存储层次。
[0047]Tierl 性能层；Tierl提供闻性能,具有最闻的性能，由价格最昂贵的存储介质组成，比如:ssd, RAID磁盘阵列。
[0048]Tier2——容量层；Tier2第二层提供大的容量并且确保能够一直访问，第二层由性价比较高的存储介质构成，主要是sata盘，提供高容量低性能的存储环境。当第一层的数据访问的频率降低到一个预设阈值时会自动迁移到这一层来。反之，当这层的数据访问的频率升高到一个预设阈值时会迁移到第一层。
[0049]Tierf—档案层，第三层容纳长期的档案并能提供额外的性能，支持在特定的要求中归档兼容。Tierf具有最大的存储容量，用来存储活跃度最低的数据或需要长时间存放的归档数据。存储在内容可寻址存储归档系统，虚拟磁带库或磁带库上。
[0050]例如，在系统中设置分层方法存储单元与方法池存储单元，方法池存储单元即方法池；预先在方法池内存储分层方法及其相关参数信息，并对方法池内的分层方法及其相关参数信息实时更新。
[0051]系统接收外部写入的数据分类信息时，解析该分类信息并将其存入系统之中；
[0052]系统接收外部存入的数据时，依据数据分类信息将数据分类，并将分类信息和写入其元数据当中。
[0053]方法池读取数据元数据中的数据分类的参数信息，匹配对应的数据等级，根据数据等级将其放入对应的存储层，或称为数据存储层；
[0054]优选的，根据预先设定的周期计算整个系统的数据的平均访问频率，计算出各个存储层的预设阈值；优选的，对于最高级的存储层，无需计算其预设阈值。
[0055]当已存入系统的数据过了数据的保存期后根据方法会计算出在数据保留期间数据的平均访问频率，并写入期元数据。将数据的平均访问速率与系统各存储层中的预设阈值作对比，将其迁入对应的数据层。
[0056]例如，迁移到系统最底层的数据可以设置其是否有租期，当设置了租期后，数据在其时间内没有被访问过就会被自动删除。
[0057]又如，对一些确定不活动的却又不能删除的数据，可以将其的原始数据压缩为近线归档数据,这样可以节省大量的空间和成本。
[0058]又如，元数据中的数据访问频率每当数据过了数据保留期时都会重置，然后根据各存储层中的阈值来判断是否迁移数据。
[0059]又如，存储介质加入系统中时，系统自动识别其硬件并根据预设的分层表将其自动加入到对应的存储层中去。
[0060]又如，数据迁移时会被放入数据迁移的队列排队迁移，当有大量新数据正进入系统时数据迁移会根据优先级先暂时中断，等待数据进入系统的压力减少到一定值时再继续迁移，避免数据迁移给系统带来过多的性能负荷。
[0061]优选的，还设置添加数据分类信息和修改数据类别对应的数据存储级别。优选的，还设置添加硬件介质，根据其存储性能来编辑其在系统中的具体存储层次优选的，还设置租期功能和压缩功能，可以手动将不活动的数据打包压缩，减少占用的系统空间，节省硬件成本。
[0062]优选的，所述的预设参数都将存储于配置文件；系统在初始化的过程中会读取配置文件中的参数来预置硬件介质层次和确定数据类型；
[0063]例如，如图2所示，默认的数据等级和对应的存储层次为:
[0064]数据等级为I的数据是最为活跃的、访问的频率最高的数据，存储在性能最高的硬件介质中，对应的存储层次为Tierl ；
[0065]数据等级为2的数据是访问频率一般的数据，存储在性能一般但是容量较大的硬件介质中，对应的存储层次为Tier2 ；
[0066]数据等级为3的数据是访问频率最低或基本不访问的数据，存储在性能最低但是容量最大的硬件介质中，对应的存储层次为Tier3。
[0067]例如，未知类型的数据默认为等级2中，刚进入系统时分配到Tier2中，经过数据保留期后根据其访问频率来判断是否需要迁移到其他层。
[0068]又如，用户没有配置数据分类时系统会采用默认的数据分类，可以对其进行增删和修改。
[0069]又一个例子是，一系统其还包括上述方法的各例所涉及的硬件设备。
[0070]综上，本发明的技术方案应用于分布式文件系统中，支持自动分层存储数据和自动迁移数据，可以大大的减少数据存储的成本，提高存储的效率。同时，也能更加合理的管理数据。
[0071]又一个例子是，设定好数据分类参数或采用默认的数据分类。
[0072]存储对象进入系统时，通过系统校验生成其元数据信息，并将数据的分类信息也写入其中。
[0073]通过匹配其数据类型位找到其对应的存储等级。
[0074]读取默认的配置文件，读取其最新的数据级别与存储层次的对照表，将数据存放入对应的存储层次中。
[0075]读取配置文件，获取各个层次的数据保留期，通过元数据筛选出已过数据保留期的数据并计算出这段时间的访问频率，写入一张临时表。
[0076]从阈值表中获取最新的各存储层次的频率阈值，通过上步生成的临时表将需要上迁、下迁和不变的数据分组列出来，写入三张临时表中。
[0077]通过上步生成的三张临时表将数据进行迁移。
[0078]读取配置文件，当监控整个系统的计时器和配置文件中的系统周期一直时，系统计算其整体的访问频率f=访问次数/系统周期。将f设定为Tierl和Tier2新的迁移阈值，而O为Tier2和Tier3的迁移阈值。系统监控计时器归O。
[0079]数据迁移到新的存储介质中后，记录其进来时的时间，将其写入元数据中。再次通过元数据对比选出超过保留期的数据，计算访问频率和迁移阈值对比，判定是否需要迁移。
[0080]当数据迁入Tierf后并过了其数据保留期，可以根据配置文件来控制是否将其打包为线性归档数据方便存储。或者选择数据类型，给其制定租约，如果在租约时间内没有访问就将其删除。
[0081]当存储层间的阈值改变时会将其改变时间记录下来，对比数据进入系统或迁入其他层次的时间。将早于此时间的数据还是采用原来的迁移阈值，避免造成系统的混乱。而新进入系统或迁移的数据则采用新的阈值，同层的阈值最多存在2个。
[0082]进一步地，本发明的实施例还包括，上述各实施例的各技术特征，相互组合形成的存储系统自动分层的方法与系统，通过综合考虑存储介质的性能和成本，合理的将不同数据类型的数据在其生命周期的不同时期存放至不同的介质中，以达到节约存储成本，提高存储效率的目的；从而能够支持实时的根据实际情况变换存储层次的阈值，当某段时期系统数据访问频率过于频繁时，能实时的提高存储层次中的阈值，将一些临界点旁的数据向下层存储层迁移，缓解系统的整体压力，防止硬件的损伤。这样，通过在分布式文件存储系统中加入了自动分层方法，使得存储集群在数据分配和资源利用上面都有很好的表现。
[0083]综上所述，该存储系统分层管理的方法与系统是根据存储系统中各存储介质的介质类型以及数据对象的数据类型，将所述数据对象存储在相应的存储层，解决的是提高存储效率、降低数据存储成本的技术问题，该方法通过执行计算机程序实现对计算机系统内部运行性能的改进，反映的是自动分层存储数据和自动迁移数据，利用的是遵循自然规律的技术手段，获得了存储效率提高、数据存储成本降低的技术效果。因此，本发明专利存储系统分层管理的方法与系统是一种通过执行计算机程序实现计算机系统内部、外部性能改进的解决方案，属于专利法第二条第二款规定的技术方案，属于专利保护的客体。
[0084]需要说明的是，上述各技术特征继续相互组合，形成未在上面列举的各种实施例，均视为本发明说明书记载的范围；并且，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。
【权利要求】
1.一种存储系统分层管理的方法，其特征在于，包括以下步骤: 根据存储系统中各存储介质的介质类型，将各存储介质分成至少二存储层； 根据数据对象的数据类型，将所述数据对象存储在相应的存储层。
2.根据权利要求1所述方法，其特征在于，还根据数据对象的访问频率，将所述数据对象在各存储层中迁移。
3.根据权利要求2所述方法，其特征在于，将各存储介质分成N存储层，其中，N为自然数且N≥2 ; 预设置N-1个访问频率的阈值； 周期对某一数据对象作迁移判断:判断其访问频率大于第M阈值时，将其从第M存储层迁移至第M+1存储层，否则，判断其访问频率小于第M阈值时，将其从第M+1存储层迁移至第M存储层，其中，M为自然数且MS N-1。
4.根据权利要求3所述方法，其特征在于，在所述迁移判断时，采用所述数据对象在一预设时间段内的平均访问频率作为判断时采用的访问频率。
5.根据权利要求4所述方法，其特征在于，所述数据对象在迁移后，还在原存储层中保留一预设时间。
6.根据权利要求5所述方法，其特征在于，还包括步骤: 根据数据对象的数据类型设置若干对应相异存储层的数据对象级别； 当数据对象进入存储系统时，根据所述数据对象的数据类型，获取所述数据对象的数据对象级别，根据所述数据对象级别将其存储到对应的存储层。
7.根据权利要求6所述方法，其特征在于子，所述数据对象在迁移到第I层时，选择是否分配一预设的租期； 对于具有所述租期的所述数据对象，判断其在所述租期内未被访问，则在所述租期到期后，将所述数据对象删除。
8.根据权利要求7所述方法，其特征在于，还包括步骤:根据各存储层的负载情况，对于负载程度超过预设百分比值的第X存储层，根据各数据对象的平均访问频率，将平均访问频率最高的数据对象迁移至第X+1存储层，继续判断第X存储层的负载程度是否超过预设百分比值，是则将平均访问频率最低的数据对象迁移至第X-1存储层，直至第X存储层的负载程度低于所述预设百分比值。
9.根据权利要求1至8任一所述方法，其特征在于，所述存储系统中的某一数据对象被访问时，在所述存储系统的元数据中进行记录，以计算其访问频率。
10.一种存储系统分层管理的系统，其特征在于，包括若干存储介质以及至少二存储层； 各所述存储介质分别设置于一存储层； 各存储层分别用于根据数据对象的数据类型，存储所述数据对象。
【文档编号】G06F17/30GK103914516SQ201410064357
【公开日】2014年7月9日 申请日期:2014年2月25日 优先权日:2014年2月25日
【发明者】张勤 申请人:深圳市中博科创信息技术有限公司