网络存储系统中的数据管理方法及其构建的网络存储系统的制作方法

专利名称：网络存储系统中的数据管理方法及其构建的网络存储系统的制作方法
技术领域：
本发明涉及网络存储技术领域，特别涉及一种网络存储系统中的数据管理方法及其构建的网络存储系统。
背景技术：
网络存储系统是基于存储网络，以存储服务器为核心，为应用服务器提供数据存储服务的数据存储系统，该系统强调数据服务的可扩展性、高可靠性和动态处理能力，目前常用的技术是存储区域网络(SAN)。
存储区域网络是由若干存储服务器和存储设备以及存储网络设备组成的一个单独的数据网络，通过专用的互连方式连接，是一种高速、专用、集中式管理且具有安全性的信息系统构架。
在存储区域网络中，对外提供数据服务的存储服务器在进行扩展时会导致系统的I/O性能下降，因此限制了该类型服务器的应用。特别是随着具有独立的元数据服务器结构的存储系统的发展，存储服务器(例如元数据服务器)的动态扩展问题就更成为影响系统整体性能扩展的重要因素。
在目前元数据服务器(即存储服务器，以下同)的设计中，通常每个元数据服务器都使用自己对应的存储空间来存储元数据，该对应的存储空间是元数据服务器对应的本地存储装置中的存储空间。一般来说，元数据管理器集群(即存储服务器集群)主要使用两种元数据存储和管理方法。
方法一，集群中的每个元数据服务器保存部分的全局元数据表，即全局元数据表由集群中所有的元数据服务器上的子表合并而成。这样，每个元数据服务器可以具备高的元数据访问性能和元数据存储效率，并且无需其他同步机制。但是，这种设计使得元数据服务器集群的容灾性和负载均衡能力很差。因为，一个元数据服务器的失效，将导致部分元数据表的丢失。而元数据动态负载不均衡将导致大量的元数据从某一个服务器上存取，会降低元数据服务器集群的性能。
方法二，集群中的每个元数据服务器在本地保存一个被同步的全局的元数据表的拷贝，即每个元数据服务器都可以访问全局元数据表，包括读访问和写访问。而元数据服务器之间采用一定的同步机制来保证全局元数据的实时性和完整性。这样，元数据服务器集群就可以具有很好的负载均衡能力和容灾能力。但是因为通常元数据的访问是一种很频繁的小I/O请求，这种元数据服务器之间同步机制将损坏元数据服务器集群整体性能，进而使整个存储系统性能下降。而且由于这种同步机制的开销，也使得元数据服务器集群的扩展性受到限制。因为加入新的元数据服务器意味着有更多的全局元数据表需要同步。这种元数据管理机制也使得元数据的存储效率降低，因为每个元数据记录在每个服务器上都有对应的本地拷贝。

发明内容
本发明的目的在于提供一种网络存储系统中的数据管理方法，该方法可有效地解决现有网络存储系统中的存储服务器的扩展问题，同时还解决了存储服务器失效的动态处理和恢复，存储服务器集群的负载均衡、重构等技术难题，可以在最大程度上发挥出系统的动态处理能力，因此极大地提高了数据的可靠性和可用性。
本发明的另一个目的在于提供该方法构建的网络存储系统，该系统中的存储服务器具有优越的动态扩展功能，同时能动态处理和恢复存储服务器的失效，即具有较好的容灾性能，还能在保证系统高的存储效率的条件下实现存储服务器集群的负载均衡和重构。
实现本发明第一个目的的技术方案是这样一种网络存储系统中的数据管理方法，所述网络存储系统包括互连网络、与所述互连网络相连的为应用服务器提供数据存储服务的存储服务器集群及其中各存储服务器对应的存储空间，所述各存储服务器存储和管理的数据包括应用服务器需要存取的原始数据和储存在所述对应的存储空间的元数据，其特征在于，在所述存储服务器内设置核心管理器，由所述核心管理器将所述各存储服务器对应的存储空间组成共有存储空间，并使各存储服务器与其对应的元数据分离而成为存储管理器，所述存储管理器中的所述核心管理器对元数据在所述共有存储空间的存储位置和元数据与所述各存储管理器的对应关系进行管理。
技术效果本发明由于将各存储服务器对应的存储空间集中而构成共有存储空间，这样各存储服务器原来各自对应的存储空间不再成为各存储服务器的私有空间，而是通过核心管理器的管理组合成根据数据高效管理需要而安排的共有存储空间，同时各存储服务器对应的存储空间内的元数据也相应地与各自存储服务器分离，成为在核心管理器分配下，根据高效管理需要安排给各存储服务器管理的可分配元数据。将只对元数据进行管理的存储服务器定义为存储管理器，相应存储服务器集群成为存储管理器集群，即各存储管理器不再拥有对应的存储空间和对应的元数据，而是只对核心管理器分配给它的元数据进行管理。
由于各存储管理器不自己拥有各自的元数据，即实现了与元数据的分离，因此存储管理器的扩展、失效处理，存储管理器集群的动态负载均衡和重构都变成与元数据无关的操作，故本发明能有效地解决现有设计方案中的扩展性问题，同时还解决了存储管理器失效的动态处理和恢复、存储管理器集群的负载均衡、存储管理器集群重构等技术难题。
更优化的设计是，所述共有存储空间设置有分区，所述存储管理器与所述分区具有一对一和/或一对多的映射关系。在共有存储空间设置有分区的方案下，核心管理器的管理更方便，即只需对分区进行编号，设置好分区与各存储管理器的对应关系，就可使数据的管理有序而高效，使得共有存储空间的每一个分区都可以映射在任何一个存储管理器上，但在同一时刻，只可以有一个存储管理器安装该分区并对其进行独占式的访问。
特别是，所述核心管理器由设置在存储管理器中的分配控制器、映射控制器和分区管理控制器组成，所述分配控制器实现文件的元数据在共有存储空间的分区上的分布，所述映射控制器实现共有存储空间的分区与各存储管理器的映射管理，并通过一张映射表来维护这种映射关系，所述分区管理控制器管理共有存储空间的分区。
本发明方法能高效实现系统的信息访问、存储管理器的扩展、失效处理，存储管理器集群的动态负载均衡和重构的详细过程见具体实施方式
的详细描述。
本发明的第二个目的是这样实现的上述数据管理方法构建的网络存储系统，包括互连网络、与所述互连网络相连的为应用服务器提供数据存储服务的存储管理器集群及存储元数据的存储空间，其特征在于各存储管理器内设置有核心管理器；所述存储空间为存储管理器集群中所有存储管理器共同使用的共有存储空间，所述核心管理器对元数据在所述共有存储空间的存储位置和元数据与所述各存储管理器的对应关系进行管理。
技术效果本发明方法所构建的网络存储系统，由于存储管理器没有对应的存储空间存储对应的元数据，而是受核心管理器分配使用共有存储空间，即各存储管理器实现了与元数据的分离，成为可替换的服务器，因此存储管理器的扩展、失效处理，存储管理器集群的动态负载均衡和重构都变成与元数据无关的操作，因此系统中的存储管理器具有优越的动态扩展功能，同时能动态处理和恢复存储服务器的失效，即具有较好的容灾性能，还能在保证系统高的存储效率的条件下实现存储服务器集群的负载均衡和重构。
本发明方法所构建的网络存储系统优选地在所述共有存储空间设置分区，所述存储管理器与所述分区具有一对一和/或一对多的映射关系；所述核心管理器由设置在存储管理器中的分配控制器、映射控制器和分区管理控制器组成，所述分配控制器实现文件在共有存储空间的分区上的分布，所述映射控制器实现共有存储空间的分区与存储管理器的映射管理，并通过一张映射表来维护这种映射关系，所述分区管理控制器管理共有存储空间的分区。
上述优选的方案在实际运行时，每一个存储管理器都缓存着其所管理分区上的数据，但该数据的元数据则是集中在共有存储空间上。所以存储管理服务器扩展、失效处理以及动态负载均衡等过程无需移动实际数据，而只需要调整存储管理器和分区间的映射关系。数据存储的分布也变成为基于分区而不是基于存储管理器，即数据的存储位置通过其所存储的分区号来决定，而和存储时所使用的存储管理器无关。显然，本发明网络存储系统使存储管理器集群成为具有优异可无缝扩展性能的体系架构，存储管理服务器的扩展、失效处理以及动态负载均衡等过程是一种与数据无关的操作过程，最大程度上发挥出存储管理器集群的动态处理能力，极大地提高了数据的可靠性和可用性。
此外，本发明中的共有存储空间里的每个分区只可以被一个存储管理器独占访问，这就使存储管理器在访问过程中，不需要考虑共享访问时(例如分布式文件系统)的同步问题。这样存取过程就可以取得和本地文件系统类似的性能，并最大程度上利用存储管理器的缓存，极大的提高了数据访问性能。


图1本发明方法构建的网络存储系统的逻辑结构示意图。
图2本发明方法构建的网络存储系统的功能分开的逻辑结构示意图。
图3本发明方法实现的信息访问流程图。
图4本发明方法实现存储管理器扩展的流程图。
图5本发明方法实现存储管理器集群重构流程图。
图6本发明方法对存储管理器失效的处理流程图。
图7本发明方法实现存储管理器集群动态负载均衡流程图。
图8本发明方法针对元数据服务器构建的存储系统结构示意图。
图9本发明方法针对文件服务器构建的存储系统结构示意图。
具体实施例方式
下面结合附图来详细说明本发明的具体技术方案。
图1描述了本发明方法构建的优选的网络存储系统的逻辑结构示意图，所述网络存储系统包括互连网络(图1中未画出，见图7、图8中的存储网络103)、与所述互连网络相连的为应用服务器1提供数据存储服务的存储管理器集群2及存储元数据的存储空间，所述存储管理器集群2中各存储管理器内设置有核心管理器；所述存储空间为存储管理器集群中所有存储管理器共同使用的共有存储空间3，所述核心管理器对元数据在所述共有存储空间的存储位置和元数据与各存储管理器的对应关系进行管理，本实施例所述核心管理器由分配控制器10、映射控制器20和分区管理控制器30组成，共有存储空间3同时被划分为分区100。分配控制器10用于实现文件在共有存储空间3的分区100上的分布，并可以实现一种基于分区100的静态的存储负载均衡。映射控制器20用于实现共有存储空间3的分区100与存储管理器集群2之间的映射管理，并通过一张映射表来维护这种映射关系。分区管理控制器30实现对共有存储空间3的分区100的管理功能，例如从各存储管理器上安装或卸载共有存储空间3的分区100。映射控制器20所维护的关于共有存储空间3中的分区100与各存储管理器之间的映射表可以被所有服务器共享。
图2描述了本发明方法构建的优选的网络存储系统的功能分开的逻辑结构示意图。分配控制器10和映射控制器20运行在应用服务器端，分区管理控制器30运行在共有存储空间端。
各种各样的基于文件的应用服务器1对外部提供相应的服务，对网络存储系统内部可以产生I/O请求，是存储过程中的发起者。所述的应用服务器集群包括视频服务器、网页服务器、数据库服务器、电邮服务器和文件服务器等，见图8，图9。上述服务器和管理器都是分布式的，通过互连交换网络通讯。图1中应用程序50是运行在应用服务器1上的应用程序。
本发明方法技术方案实现存储管理器集群无缝扩展的指导思想是集中存储和管理，集中指形成共有存储空间，优化方案对共有存储空间进行分区管理。即在原存储服务器内设置核心管理器，由所述核心管理器将所述存储服务器对应的存储空间组成共有存储空间，并使各存储服务器与其管理的的元数据分离而成为存储管理器，各存储管理器中的所述核心管理器对元数据在所述共有存储空间的存储位置和元数据与所述存储管理器的对应关系进行管理，由于各存储管理器中不再是由对应的存储空间存储元数据即与元数据分离，因此虽然各存储管理器内均设置核心管理器，需要采用同步机制，但是由于同步与元数据无关，因此不会影响存储管理器集群2的整体性能，也不会使整个存储系统性能下降。
共有存储空间3通过分区的方式来使存储资源得到最高效的独占的访问。在该指导思想下实现的技术方案使各种存储管理器本质上就成为了不实际包含元数据的可以动态更换的服务器。基于这种技术方案的特性，存储管理器集群2的扩展、失效处理以及动态负载均衡过程就可以简单高效地通过调整共有存储空间3的分区100与各存储管理器之间的映射关系来解决。上述动态扩展等过程被简化为一些简单的分区安装和卸载工作，而且无需任何数据移动，从而实现存储管理器集群2的无缝动态扩展。
一般来说，一个比较大的分区数可以保证集群的无缝动态扩展性。根据前述可知，分区的数目限制了存储管理器集群的数目，例如1024个分区就表明系统中最多可以有1024个存储管理器。在某些特殊的情况下，当集群要突破分区数来进行扩展的时候，例如需要将集群扩展到大于1024个，系统就需要产生扩展共有存储空间，并产生更多的分区，如4096个。然后在进行存储管理器集群重构以后，就可以实现管理器集群的更大的扩展。
本发明中所指的分区100类似逻辑分区的概念，每一个分区都可以映射在任何一个存储管理器上，但是在同一时刻，只可以有一个存储管理器映射该分区并对其进行独占式的访问。一个存储管理器可以同时映射一个或者多个共有存储空间中的分区。分区管理控制器30则可以实现对共有存储空间3的所有分区的管理。其主要功能包括对分区的映射安装和卸载、分区的备份和日志功能等。
上述技术方案的技术效果是显而易见的。共有存储空间3分区100的创建，使存储管理器2成为一个不包含元数据、可替换的服务器，这是因为数据存储的分布是基于分区而不是基于存储管理器，即数据的存储位置通过其所存储的分区号来决定，而和存储时所使用的存储管理器无关。因此存储管理服务器扩展、失效处理和动态负载均衡等过程都变成一些与数据无关的操作，即上述过程的实现无需移动实际数据，而只需要调整共有存储空间的分区间与存储管理器之间的映射关系。因此，本发明技术方案使基于网络存储的存储管理器集群架构具有优异的可无缝扩展性能，最大程度上发挥出存储管理器集群的动态处理能力，极大地提高了数据的可靠性和可用性。
此外，由于本发明中的共有存储空间里的每个分区只可以被一个存储管理器独占访问，这就使存储管理器在访问过程中，不需要考虑共享访问时(例如分布式文件系统)的同步问题。这样存取过程就可以取得和本地文件系统类似的性能，并最大程度上利用存储管理器的缓存，极大的提高了数据访问性能。
另外关于数据安全，只要集中保证了共有存储空间的数据安全，整个系统的所有数据就都会是安全的。当然相对于分散的数据，一个集中的存储空间更容易实现数据的安全。
图3描述了本发明方法中系统实现信息访问的流程图。对于各种基于文件的应用服务器1的应用程序50都可以产生对文件信息请求。对于这种文件请求，分配控制器10可以使用相应的算法来根据文件请求得到存储该文件的分区的区号。例如，文件名可通过使用哈希运算得到一个分区的区号。当然在这一个过程中，是允许不同的文件名被计算出相同的分区号的。因为，一个分区往往要保存许多文件的信息。
在得到被请求文件对应的分区号后，映射控制器20将在存储管理器与分区的映射表中，查找该分区号所对应的存储管理器。然后通过网络传输信息请求。对于写类型请求，还要传递被写信息到相应存储管理器中。各存储管理器会通过数据访问控制器40来完成相应的访问。对于读类型请求的被请求信息，最后访问结果将通过网络传输到应用服务器1。
图4描述了本发明方法实现存储管理器2扩展的过程。当整个系统需要进行相应的存储管理器扩展的时候，如当前的存储管理器集群2不能高效地完成过多的请求，管理员可以动态地物理加入一个新的存储管理器。在这种基于网络的环境中，加入新的存储管理器，就是简单的将该存储管理器接入系统。系统可以自动发现这个新的存储管理器。映射控制器20根据一定的算法来调整映射表，将一些分区从映射表中的原有的存储管理器集群对应的记录中删除，并加入与新存储管理器相关的映射关系。然后，分区管理控制器30锁住这些需要转移的分区的访问队列，停止对访问队列中的请求处理。在此情况下，将需转移的分区从当前管理该分区的存储管理器上卸下，并将这些分区安装在新加入的存储管理器上。最后，对需转移的分区的访问队列解锁。随后，所有对这些被转移到新的存储管理器上分区的信息请求，都将通过这个新加入的存储管理器完成。而相应的其他的管理器的负载就会降低，而整个存储管理器集群的性能就会提高。这个扩展的过程可以动态地进行，而且不涉及任何数据的移动，效率很高。
图5描述了本发明方法实现存储管理器集群重构的流程。当存储管理器集群2的扩展要突破当前分区的数目时，存储管理器集群2的扩展与一般的扩展(如图4所示的扩展流程)不同，而是要先进行存储管理器集群重构来提供分区的数据。例如，分区从128个提高到1024个，这样就可以支持最多有1024个存储管理器的集群了。然后再通过图4所示的扩展流程进行相应的扩展。在存储管理器集群重构的过程中，需要进行数据的移动，但是通过本发明的管理方法，可以使这种重构操作具有很快的响应时间。
首先需要在在共有存储空间中加入新的分区，例如，分区从128个提高到1024个，则需要加入1024-128＝896个新的分区。当管理员发出重构命令后，分配控制器会保存原有的分配算法，并产生一个可以将文件名映射到扩大的分区数的新的分配算法，同时映射控制器产生一个新的使用所有分区的映射表。分区管理控制器根据新的映射表转移或者安装所有的分区。上述流程的操作可以很快完成，系统返回集群重构命令的完成信息，而系统进入存储管理器集群重构状态。
系统在重构状态时，需要将所有在重构前存在的数据根据新的分配算法转移到不同的分区上。在重构过程中，当存储管理器收到应用服务器的数据访问请求时，如果所请求的信息存在，则进行正常的如图3所示的操作。如果所请求的信息不存在，则可能是因为该信息还没有被转移。因此该存储管理器就可以根据保存的旧的分配算法，计算出该文件原先存储的分区号，该存储管理器再根据当前的映射表得到当前管理该分区的存储管理器，数据则会从原先的分区转移到新的分区。最后，应用服务器的请求就可以被响应了。
显然，上述过程表明，本发明方法中存储管理器集群重构的过程不影响系统的正常操作。
图6描述了本发明方法对存储管理器失效处理的流程。当存在一个失效存储管理器情况下，无论失效的原因是什么，系统都可以发现该存储管理器不能响应信息请求。根据映射管理器的映射表，所有该存储管理器管理的分区所对应的访问队列将被锁定。映射管理器调整映射表，把受影响的分区转移到集群中其他存储管理器的记录中，并删除失效存储管理器所对应的记录。然后，分区管理控制器将转移该失效存储管理器所管理的分区到这些分区在新映射表中所对应的存储管理器上。此外，还可以使用类似日志的技术来对各个分区进行数据恢复。最后，重新激活这些受影响分区的访问队列。显然，系统可以无缝地实现存储管理器失效处理，而不影响数据的访问。
图7描述了本发明方法实现存储管理器动态负载均衡的流程。动态负载均衡用于在运行时动态的重新分配存储管理器所管理的分区，来解决一些存储管理器负载过重，而其他的管理器负载太轻的不均衡的问题。系统可以自我监视每个存储管理器的负载情况。当有管理器的负载超过一个预设的警成负载值时，映射控制器调整映射表，将负载过重的存储管理器所管理的一部分分区转移到一些负载较轻的存储管理器中。分区管理控制器在锁住这些需要转移的分区的访问队列的情况下，将需转移的分区从当前的管理该分区的存储管理器上卸载，并将这些分区安装在新分配的存储管理器上。最后对需转移的分区的访问队列解锁。
这样就实现了负载的动态均衡调整，也无需任何数据在分区间的移动。
图8和图9描述了本发明针对两种典型体系的结构图，当然本发明所涉及的管理方法绝不局限于上述两种应用。
图8描述了本发明在使用元数据服务器的应用环境中的网络存储系统体系结构。在这种应用环境中的体系结构中，各种应用服务器1所访问的存储系统是由分离的元数据服务器集群5和存储设备集群7组成的。系统中各个设备通过存储网络103相互连接。元数据服务器5处理应用服务器1对元数据的请求，而数据的传输是通过存储设备集群7和应用服务器集群1之间的高速数据通道完成。在这种应用中，元数据服务器5就相当于本发明中存储管理器。在这个系统中，共有存储空间3就是用于元数据服务器5的元数据存储。
现在越来越多的存储系统采用这种具有分离的元数据服务器和存储设备的结构。例如基于对象的存储系统。在这样的体系结构中，采用本发明可扩展的存储管理器集群管理方法，都可以有效的解决元数据服务器的扩展性、错误处理和动态负载均衡等问题。
图9描述了本发明在基于文件服务器集群的网络存储系统体系结构。在这种情况下，应用服务器1可以通过文件服务器集群8来访问存储网络中存储设备7。由于这些文件服务器集群8在I/O路径上，所以对该文件服务器集群的可扩展性的要求更加紧迫。在这个系统中，文件服务器集群8就相当于本发明中的存储管理器集群。而存储设备集群7通过存储网络103可以实现一个共有存储空间3。所有的数据和元数据都是通过文件服务器集群8存储在共有存储空间3上。文件服务器集群8和共有存储空间3之间通过存储网络相连接，而应用服务器1和文件服务器集群8之间通过网络102相连，而且应用服务器1的请求级别为文件级的请求。
本发明虽对技术方案进行了详细说明，但不应限于此。本领域一般技术人员按本发明基本指导思想对其作出的修改或变动，均应属于本发明的保护范围。
权利要求
1.一种网络存储系统中的数据管理方法，所述网络存储系统包括互连网络、与所述互连网络相连的为应用服务器提供数据存储服务的存储服务器集群及各存储服务器对应的存储空间，所述各存储服务器存储和管理的数据包括应用服务器需要存取的原始数据和储存在所述对应的存储空间的元数据，其特征在于，在所述存储服务器内设置核心管理器，由所述核心管理器将所述各存储服务器对应的存储空间组成共有存储空间，并使各存储服务器与其管理的对应的元数据分离而成为存储管理器，所述存储管理器中的所述核心管理器对元数据在所述共有存储空间的存储位置和元数据与所述各存储管理器的对应关系进行管理。
2.根据权利要求1所述的网络存储系统中的数据管理方法，其特征在于所述共有存储空间设置有分区，所述存储管理器与所述分区具有一对一和/或一对多的映射关系。
3.根据权利要求2所述的网络存储系统中的数据管理方法，其特征在于所述核心管理器由设置在存储管理器中的分配控制器、映射控制器和分区管理控制器组成，所述分配控制器实现文件在共有存储空间的分区上的分布，所述映射控制器实现共有存储空间的分区与存储管理器的映射管理，并通过一张映射表来维护这种映射关系，所述分区管理控制器管理共有存储空间的分区。
4.根据权利要求3所述网络存储系统中的数据管理方法，其特征在于，实现系统信息访问过程包括如下步骤(1)、应用服务器产生信息请求；(2)、分配控制器决定信息存储的分区；(3)、映射控制器根据映射表决定当前管理该分区的存储管理器；(4)、通过网络传输信息请求和/或被写信息到该存储管理器；(5)、存储管理器在该分区上完成该信息访问；(6)、返回信息访问结果和/或被写结果到应用服务器。
5.根据权利要求3所述网络存储系统中的数据管理方法，其特征在于，实现所述存储管理器的扩展包括如下步骤(1)、系统接入新存储管理器；(2)、系统发现该新存储管理器；(3)、映射控制器调整映射表，加入与新存储管理器相关的映射关系；(4)、分区管理控制器锁住对需转移的分区的访问队列；(5)、分区管理控制器将需转移的分区从当前管理该分区的存储管理器上卸载；(6)、分区管理控制器将被卸载的需转移的分区安装在新存储管理器上；(7)、对需转移的分区的访问队列解锁。
6.根据权利要求3所述网络存储系统中的数据管理方法，其特征在于，实现所述存储管理器集群重构包括如下步骤(1)、共有存储空间加入新的分区；(2)、系统收到集群重构命令；(3)、分配控制器保存原有的分配算法，并产生一个新的分配算法；(4)、映射控制器产生一个新的使用所有分区的映射表；(5)、分区管理控制器根据新的映射表转移或者安装所有的分区；(6)、返回集群重构命令完成信息，系统进入存储管理器集群重构状态。
7.根据权利要求3所述网络存储系统中的数据管理方法，其特征在于，所述存储管理器失效处理过程通过如下步骤完成(1)、系统发现失效存储管理器不能响应信息请求；(2)、分区管理控制器锁住对失效存储管理器所管理的分区的访问队列；(3)、映射管理器调整映射表，转移该失效存储管理器所管理的分区；(4)、分区管理控制器根据新的映射表，转移该失效存储管理器所管理的分区，并安装在相应的存储管理器上；(5)、对失效存储管理器所管理的分区进行数据恢复；(6)、对需转移的分区的访问队列解锁。
8.根据权利要求3所述网络存储系统中的数据管理方法，其特征在于，所述存储管理器动态负载均衡通过如下步骤实现(1)、一个存储管理器负载过重，超过预设的警戒负载值；(2)、映射控制器调整映射表；(3)、分区管理控制器锁住对需转移的分区的访问队列；(4)、分区管理控制器将需转移的分区从当前管理该分区的存储管理器上卸载；(5)、并将该分区安装在新的映射表指定的存储管理器上；(6)、对需转移的分区的访问队列解锁。
9.权利要求1-8之一所述网络存储系统中的数据管理方法构建的网络存储系统，包括互连网络、与所述互连网络相连的为应用服务器提供数据存储服务的存储管理器集群及存储元数据的存储空间，其特征在于各存储管理器内设置有核心管理器，所述存储空间为存储管理器集群中所有存储管理器共同使用的共有存储空间，所述核心管理器对元数据在所述共有存储空间的存储位置和元数据与所述各存储管理器的对应关系进行管理。
10.根据权利要求9所述的网络存储系统，其特征在于所述共有存储空间设置有分区，所述存储管理器与所述分区具有一对一和/或一对多的映射关系；所述核心管理器由设置在存储管理器中的分配控制器、映射控制器和分区管理控制器组成，所述分配控制器实现文件在共有存储空间的分区上的分布，所述映射控制器实现共有存储空间的分区与存储管理器的映射管理，并通过一张映射表来维护这种映射关系，所述分区管理控制器管理共有存储空间的分区。
全文摘要
本发明一种网络存储系统中的数据管理方法，是在网络存储系统中的存储服务器内设置核心管理器，由所述核心管理器将所述存储服务器对应的存储空间组成共有存储空间，并使各存储服务器与其管理的对应的元数据分离而成为存储管理器，所述各存储管理器中的所述核心管理器对元数据在所述共有存储空间的存储位置和元数据与所述存储管理器的对应关系进行管理。通过调整所述的对应关系，即可简单、有效地实现存储管理器的扩展、失效处理、动态负载均衡和/或集群重构等过程。本发明有效的解决了现有网络存储系统的扩展性问题，最大程度上发挥出存储管理器集群的动态处理能力，因此极大地提高了数据的可靠性和可用性。
文档编号G06F17/30GK1652090SQ200510011340
公开日2005年8月10日 申请日期2005年2月23日 优先权日2005年2月23日
发明者祝夭龙, 严杰, 熊晖 申请人:北京邦诺存储科技有限公司