专利名称：一种用于共享存储的资源分配方法和分配系统的制作方法
技术领域：
本发明涉及共享存储系统的资源分配技术，特别涉及一种基于文件存储属性的资源分配系统和分配方法。
背景技术：
随着存储容量的扩展，系统中不可避免的出现了各种异构的存储资源，如FC设备、iSCSI设备、IDE设备、SATA设备、TAPE设备等、这些异构资源在容量、性能、稳定性、可靠性、安全性等方面都存在着差异，如何在系统中有效的使用这些异构资源日益变得重要。
并且，随着计算机的广泛应用，随着网络、多媒体技术的发展，在共享的存储系统中会并存多种数据，特别是在IDC(Internet Data Center)的环境中，已经是不可避免多种数据并存，如WEB、EMAIL、流媒体数据等。每种类型数据的特点不同，如WEB数据平均大小为13KB，大量的读操作；流媒体数据基本在数十MB，数据不需要缓存，但需要保证一定的预读量。这样，在目前IDC、企业等环境中均存在支持不同属性数据的问题.
现有存储系统和文件系统没有对以上两个问题进行系统的很好的解决，往往在系统中只有同构的存储资源，并且不能对不同属性的文件提供有力的支持，不能很好的解决多种属性文件共享时，有效支持不同属性文件高性能访问的问题，如本地系统UFS、XFS、JFS、FFS、EXT2、EXT3等；另外，目前分布式网络文件系统的设计基本是基于本地文件系统的，如NFS，后端完全基于本地系统；Lustre，后端基于EXT3；CXFS，后端基于XFS；Storage Tank，后端基于JFS。因此本地系统的资源管理分配策略直接决定了存储系统的分配策略。
针对现有技术的不足，本发明提出了一种能够有效使用异构资源并且有效支持不同属性文件高性能访问的资源分配方法。
发明内容
本发明要解决的技术问题是现有技术中存储系统不能有效使用异构存储资源和仅对单一存储属性支持的问题，提供一种能够有效支持不同属性文件高性能访问的资源分配装置和分配方法。
为了达到上述目的，本发明采取如下技术方案一种用于共享存储的资源分配方法，包括如下步骤1)异构存储设备注册的步骤；2)根据异构存储设备的属性对异构存储设备的存储资源划分文件卷的步骤；3)文件属性同存储属性的映射关系以及文件属性访问操作的规则库建立步骤；4)按照规则进行资源分配的步骤。
在上述技术方案中，进一步地，所述步骤4)具体包括如下步骤(1)抽象文件属性的步骤；(2)根据抽象的文件属性，查询规则库，获取规则；(3)根据获取的规则，对文件进行资源分配操作；(4)当删除文件进行资源回收时，按照规则中的释放粒度进行释放。
一种用于共享存储的资源分配系统，包括存储资源池；与所述存储资源池连接的资源管理装置；与所述资源管理装置连接的控制装置；与所述控制装置连接的规则管理装置；一规则库连接到所述规则管理装置；所述控制装置具有接收待处理的具有不同属性的文件集的接口；所述资源管理装置和所述规则管理装置设有用户操作访问接口。
在上述技术方案中，进一步地，所述存储资源池由多个异构存储设备组成，在存储资源池上根据不同的异构存储设备的属性划分不同的文件卷。
在上述技术方案中，进一步地，所述资源管理装置，包括异构资源的加入、退出、异构资源信息的查询、异构资源的分配回收、文件卷划分等操作部件。
在上述技术方案中，进一步地，所述控制装置由对文件属性进行抽象的部件、根据文件属性查询规则库和获取适当规则的部件和按照规则进行异构资源的分配回收的部件组成。
在上述技术方案中，进一步地，所述规则库由至少一条规则组成；规则表示文件属性同存储属性的映射关系以及文件属性的访问操作。
在上述技术方案中，进一步地，所述文件集是不同属性文件经过按属性分类后的文件的集合，文件属性包括属主、组、ACL(Access Control List)、文件名、目录、扩展名、位置要求、权限类型、创建时间、修改时间等，不同属性的文件具有不同的处理方式，需要存储在满足文件要求的存储资源，并按照规则要求方式进行访问。
在上述技术方案中，进一步地，所述异构存储设备包括不同类型的存储资源，该存储资源具有不同的属性，包括容量、数据传输性能、可靠性、物理位置、安全性等。
在上述技术方案中，进一步地，所述规则库管理装置包括初始化规则库操作部件、默认规则的建立操作部件、规则的建立和删除操作部件、规则的生效和禁止操作部件、接收规则查询并返回结果操作部件。
本发明根据不同的文件属性，按照事先确定好的策略规则，对文件提供相应的异构资源分配和访问接口，从而有效使用异构存储资源，满足不同属性文件的性能要求，从整体上提高文件系统的性能。
与现有技术相比，本发明的有益效果在于通过对不同属性文件按照策略进行不同的资源分配，使在多种属性文件共享环境中所有类型文件都能够具有高的性能，并且有效管理了异构存储资源。本发明具有广泛的适应性，在不同的存储环境中，针对不同的存储需求，本发明都根据属性和资源的配合满足存储需求。
图1是本发明用于共享存储系统的资源分配系统结构图。
具体实施例方式
下面结合附图和具体实施方式
对本发明作进一步详细描述。
如图1所示，用于共享存储系统的资源分配系统，包括存储资源池1；与所述存储资源池1连接的资源管理装置6；与所述资源管理装置6连接的控制装置3；与所述控制装置3连接的规则管理装置5；一规则库4连接到所述规则管理装置5；所述控制装置3具有接收待处理的具有不同属性的文件集2的接口；所述资源管理装置6和所述规则管理装置5设有用户操作访问接口。下面对各部分进行详细说明所述存储资源池1由多个异构存储设备组成，比如磁盘、磁带、iSCSI、FC等设备，在存储资源池上根据不同的异构存储设备的属性划分不同的文件卷。异构存储资源，包括不同类型的存储资源，存储资源具有不同的属性，包括容量、数据传输性能、可靠性、物理位置、安全性等，存储资源池1是以上存储资源的集合，存储资源的划分就是根据存储资源的不同属性把存储资源池划分为不同类别的部分——文件卷分别进行管理。文件卷是具有相同服务质量(QoS)(物理属性)的存储资源集合，资源操作基于文件卷进行；文件卷提供程序接口，为程序提供访问该文件卷资源操作接口。
所述资源管理装置6，负责维护系统中的异构资源，包括异构资源的加入、退出、异构资源信息的查询、异构资源的分配回收、文件卷划分等操作部件，该装置提供给用户操作访问接口。
所述控制装置3由对文件属性进行抽象的部件、根据文件属性查询规则库和获取适当规则的部件和按照规则进行异构资源的分配回收的部件组成。控制装置3实现对不同属性文件的按策略进行异构存储资源的分配管理，控制装置首先对文件属性进行抽象，然后根据文件属性查询规则库，获取适当的规则，并按照规则进行异构资源的分配回收等操作。
所述规则库4由至少一条规则组成；规则表示文件属性同存储属性的映射关系以及文件属性的访问操作。规则是用户配置的分配策略，并将分配策略具体化，表示文件属性同存储属性的映射关系以及文件属性的访问操作。
所述文件集2是不同属性文件经过按属性分类后的文件的集合，文件属性包括属主、组、ACL(Access Control List)、文件名、目录、扩展名、位置要求、权限类型、创建时间、修改时间等，不同属性的文件具有不同的处理方式，需要存储在满足文件要求的存储资源，并按照规则要求方式进行访问。
所述规则库管理装置5包括初始化规则库操作部件、默认规则的建立操作部件、规则的建立和删除操作部件、规则的生效和禁止操作部件、接收规则查询并返回结果操作部件。规则库管理装置5负责维护和查询规则库中的规则，具体包括初始化规则库操作、默认规则的建立操作、规则的建立和删除操作、规则的生效和禁止操作、接收其他模块的规则查询并返回结果操作等。该装置5还提供给用户操作访问接口。
本发明中，由异构资源组成存储资源池1，在存储资源池上根据不同的资源属性划分为不同的文件卷，各个文件卷继承存储设备的相应属性，对不同属性的文件的资源操作都以文件卷为基础；通过异构资源管理装置6，用户可以处理异构资源的加入、退出，划分文件卷等操作。由各种资源操作规则组成规则库4，用户可以通过规则库管理装置5的接口，对规则库4中的规则进行添加、删除等操作，并且规则库接收资源操作中的规则查询。具有不同属性的文件集2，是待处理的具有不同属性的文件。控制装置3，包括文件属性抽象、规则查询、资源操作等部分，完成根据文件属性查询规则，并根据规则进行资源操作的控制功能。规则库管理装置5，提供用户接口，接收用户的配置管理命令，接收控制模块的查询命令；资源管理装置6，提供用户接口，接收用户的配置管理命令，接收控制模块的资源操作。
具体实施方式
中，用于共享存储系统的资源分配方法，包括如下步骤一、异构资源管理、文件卷划分的步骤1.异构设备注册步骤首先，需要把异构设备注册到存储池中；注册过程可以由用户使用资源管理装置提供的命令行工具手工完成或者通过配置文件让该模块自动完成。注册过程中，一般只需要提供设备名称即可，可以在后续过程中获取设备的各种属性，或者在注册过程中由用户手工提供各种属性。存储设备的属性包括以下几种(1)数据传输性能IOPS，带宽，延迟等；(2)可靠性RAID级别，复制(远程拷贝)，备份等；(3)物理位置位于哪个集群(物理连接)等；(4)安全性是否加密等。
(5)物理特性存储设备的容量，存储设备的块大小，存储设备介质，访问存储设备接口等。
当资源管理装置接收到以上设备注册命令后，对以上属性分别进行量化，并创建代表设备的数据结构，名称为DEVICE，包括设备名称和量化的各种属性，存储到设备链表，名称为DEVICE_LIST的链表中，作为存储池中的存储资源。至此，设备注册过程完毕。
2.文件卷划分步骤文件卷划分步骤，根据存储池中的各种异构存储资源，按照一定的要求划分为不同的文件卷，为文件系统提供具体的存储资源。文件卷可以包含一个或多个存储设备，文件卷中的设备可以具有单一属性，或者具有多种属性；比如只具有性能的属性，而没有安全性属性，或两者都有。文件卷的划分可以通过用户接口输入条件手工划分，或者由用户直接操作存储设备进行文件卷划分，或者通过配置文件由存储资源管理装置自动完成。划分为文件卷后，创建代表文件卷的数据结构，名称为FILESET，连接到文件卷链表，名称为FILESET_LIST的链表中。
文件卷可以动态增加数量，也可以动态增加容量。文件卷可以在需要时刻动态划分，以增加数量；文件卷不必对存储设备进行按整体分配，可以只使用存储设备的一部分资源，按照要求进行划分；并且文件卷的划分可以动态扩展，当某个文件卷容量不足或性能不能满足要求时，文件卷可以进行扩展以满足要求。
二、规则库管理步骤；1.规则建立步骤规则可以用五元组来表示(文件属性、文件卷集合、分配粒度、预分粒度、释放粒度)，表示具有“文件属性”的文件，应当被分配到“文件卷集合”中，并按照“分配粒度”、“预分粒度”、“释放粒度”进行分配释放。规则可以由用户通过规则库管理装置接口输入五元组的各个部分参数创建，或者通过复制已经存在的规则来创建，或者通过配置文件自动创建规则。
2.规则查询步骤规则可以通过用户接口被用户查询，也可以通过接口被资源分配模块查询使用。规则查询过程中，可能存在文件属性对应多条规则的情况，这时需要根据优先级来确定最优规则；最优规则确定中，根据最关注的属性，确定多条规则，然后根据其他的属性从以上确定的多条规则中进行最优的选取。
3.规则删除步骤用户可以通过接口对过时的规则进行删除。
三、资源分配步骤1.抽象文件属性的步骤把对文件的要求进行抽象，抽象为文件的具体属性，从而为基于属性的分配提供基础。从以下方面，进行了抽象(1)根据属主、组、ACL等文件属性不同，抽象出文件的用户属性；(2)根据文件名称、目录、扩展名文件属性不同，抽象出文件的内部属性。
(3)根据位置(客户机位于哪个集群)、权限类型(如安全性考虑)等文件要求不同，抽象出文件的安全属性、位置属性。
并且把以上要求根据关注程度进行量化排序，从而为选择最优策略做好准备。
2.基于存储属性的资源分配流程根据抽象出来的不同文件属性，确定文件的存储需求，进行资源分配；在应用中，对不同属性的文件会存在不同的存储需求，如·属主为abc的文件需要进行加密并存储在RAID6以上级别的介质上；·扩展名为.mp3的文件每次分配数据块的粒度为64MB，并存储在RAIDO级别的存储介质上，其IOPS和随机访问性能为存储系统中最高的；·权限为只读类型的文件需要存储在具有定时备份功能的介质上；·其他属性的文件。
因此针对不同的存储需求、文件属性、资源属性，制定相应的资源分配策略和方法，这样就具有广泛的适用性。
资源分配的策略和方法主要解决文件属性与资源的映射，不同属性的文件与不同文件卷相互对应，管理粒度以文件和文件卷为单位。资源分配的具体流程如下(1)根据抽象的文件属性，查询规则库管理模块，获取最优的规则。
(2)按照获取的规则，对文件进行资源分配操作。按照规则，访问目标文件卷，如果目标文件卷不能分配空间，则返回出错；否则在目标文件卷中对资源进行分配，修改目标文件卷中的资源状况。
(3)当删除文件，进行资源回收时，按照策略中的释放粒度进行释放。
总之，通过以上步骤的配合，首先，用户定义资源属性、文件属性和策略，然后系统就可以根据策略进行资源的分配管理，达到满足不同类型文件存储需求的目的。从而，本发明能够满足在不同类型文件共享存储情况下的存储、安全性、性能等方面的需求，具有广泛的适用性。
最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。
权利要求
1.一种用于共享存储的资源分配方法，包括如下步骤1)异构存储设备注册的步骤；2)根据异构存储设备的属性对异构存储设备的存储资源划分文件卷的步骤；3)文件属性同存储属性的映射关系以及文件属性访问操作的规则库建立的步骤；4)按照规则进行资源分配的步骤。
2.根据权利要求1所述用于共享存储的资源分配方法，所述步骤4)具体包括如下步骤(1)抽象文件属性的步骤；(2)根据抽象的文件属性，查询规则库，获取规则；(3)根据获取的规则，对文件进行资源分配操作；(4)当删除文件进行资源回收时，按照规则中的释放粒度进行释放。
3.一种用于共享存储的资源分配系统，包括存储资源池；其特征在于，还包括与所述存储资源池连接的资源管理装置；与所述资源管理装置连接的控制装置；与所述控制装置连接的规则管理装置；一规则库连接到所述规则管理装置；所述控制装置具有接收待处理的具有不同属性的文件集的接口；所述资源管理装置和所述规则管理装置具有用户操作访问接口。
4.根据权利要求3所述用于共享存储的资源分配系统，其特征在于，所述存储资源池由多个异构存储设备组成，在存储资源池上根据不同的异构存储设备的属性划分不同的文件卷。
5.根据权利要求3所述用于共享存储的资源分配系统，其特征在于，所述资源管理装置包括异构资源的加入操作部件、退出操作部件、异构资源信息的查询操作部件、异构资源的分配回收操作部件和文件卷划分操作部件。
6.根据权利要求3所述用于共享存储的资源分配系统，其特征在于，所述控制装置包括对文件属性进行抽象的部件、根据文件属性查询规则库和获取适当规则的部件和按照规则进行异构资源的分配回收的部件。
7.根据权利要求3所述用于共享存储的资源分配系统，其特征在于，所述规则库由至少一条表示文件属性同存储属性的映射关系以及文件属性的访问操作的规则组成。
8.根据权利要求3所述用于共享存储的资源分配系统，其特征在于，所述文件集是不同属性文件经过按属性分类后的文件的集合。
9.根据权利要求4所述用于共享存储的资源分配系统，其特征在于，所述异构存储设备包括不同类型的存储资源，该存储资源具有不同的属性，属性包括容量、数据传输性能、可靠性、物理位置、安全性。
10.根据权利要求3所述用于共享存储的资源分配系统，其特征在于，所述规则库管理装置包括初始化规则库操作部件、默认规则的建立操作部件、规则的建立和删除操作部件、规则的生效和禁止操作部件、接收规则查询并返回结果操作部件。
全文摘要
本发明公开了一种用于共享存储的资源分配方法和分配系统，该方法包括异构存储设备注册的步骤；根据异构存储设备的属性对异构存储设备的存储资源划分文件卷的步骤；文件属性同存储属性的映射关系以及文件属性访问操作的规则库建立的步骤；按照规则进行资源分配的步骤。该分配系统，包括存储资源池，与所述存储资源池连接的资源管理装置；与所述资源管理装置连接的控制装置；与所述控制装置连接的规则管理装置；一规则库连接到所述规则管理装置；所述控制装置具有接收待处理的具有不同属性的文件集的接口；所述资源管理装置和所述规则管理装置具有用户操作访问接口。本发明使所有类型文件都能够具有高的性能，有效管理了异构存储资源。
文档编号G06F12/00GK1952941SQ20061014993
公开日2007年4月25日 申请日期2006年10月17日 优先权日2005年10月21日
发明者张军伟, 许鲁, 张建刚 申请人:中国科学院计算技术研究所