一种非集中式集群存储系统的制作方法
【专利摘要】本发明公开一种非集中式集群存储系统，该非集中式集群存储系统包括M个控制器和N个磁盘组，其中M为大于2的正整数，N为大于1的正整数；M等于N+1，或者M等于N；任意相邻的两个控制器均与同一个磁盘组链接；M个控制器之间通过链接实现内部互联。本发明的所述非集中式集群存储系统具有开环或闭环结构，其中任意相邻的两个控制器均与同一个磁盘组链接，在不损失数据的可用性和可靠性的前提下能够单个节点横向扩展，同时降低控制器与磁盘组的比例。
【专利说明】
一种非集中式集群存储系统
技术领域
[0001]本发明涉及云计算技术领域。更具体地，涉及一种非集中式集群存储系统。
【背景技术】
[0002]随着云计算和大数据的迅猛发展，为了提供高带宽、低延迟数据存取访问和使能存储空间透明横向扩展，诞生出了各种各样的集群存储。从架构上区分，可以大体上划分为集中式集群存储(centralized distributed storage)和非集中式集群存储(decentrialized distributed storage)两种。
[0003]其中，非集中式集群存储，由于没有集中的中央节点，获得了较好的扩展性和可用性。
[0004]现有技术中，非集中式集群存储系统基本上可以分为如下两种:
[0005](— )完全非共享(share nothing)存储系统。如图1所示，完全非共享存储系统中，所有的节点完全无共享，多个节点之间通过互联技术，例如以太网络和IB网络分布数据，每个节点之间的数据或者为复本关系，或者通过纠删码技术保证各个节点之间的数据的可用性和可靠性。目前已经商业化的存储系统，如EMC ISILON和Scale1就是这种完全非共享存储系统的典型代表;开源存储系统，如CEPH和GlusterFS也是这种完全非共享存储系统的代表。这种完全非共享存储系统的好处是，所有的存储节点完全对称，部署比较灵活。其缺点是，对于标准的工业访问协议NFS/CIFS/iSCSI等，为了保证数据的可靠性和可用性，要通过内部互联网络存取非入口存储节点来操作数据冗余，这样会带来较多的跨内部互联的操作，从而带来延迟上的较大损失。
[0006](二)双控存储系统。如图2所示，这种双控存储系统包括多个双控单元，每一个双控单元包括两个控制器，且每一个双控单元的两个控制器共享一个磁盘组。每一个双控单元的两个控制器通过SAS或者光纤共享后端的一个磁盘组，且每一个双控单元的两个控制器之间通过内部互联技术例如以太网络或IB(Infiniband)网络分布数据到该双控单元后端的磁盘组。数据的可靠性通过在后端的磁盘组上的各个硬盘之间编码例如各种磁盘阵列(RAID-Redundant Arrays of Independent Disks)技术来容忍有限磁盘损毁，在有限磁盘损毁的情况下数据依旧可以恢复出来。数据的可用性通过双控制器来保证，一旦一个双控单元中的一个控制器发生故障，由该双控单元的另一个控制器临时接管发生故障的控制器向用户所提供的数据服务。同时，通过控制器的内部互联，根据策略将数据分布到多个双控单元。目前已经商业化的存储系统，如NetAPP ONTAP GX和Xtreme1都是这种双控存储系统的典型代表。与完全非共享存储系统相比，这种双控存储系统可以尽可能的降低跨网络的操作，数据可靠性通过RAID技术保证，可用性通过双控制器来保证。因而，双控存储系统可以尽可能的不跨内部互联来完成一次数据存取服务。这种双控存储系统的缺点是，为了保证数据的可用性，在横向扩展的时候需要逐个双控单元扩展，而无法像完全非共享存储系统那样逐个横向扩展。此外，由于两个控制器共享一个磁盘组，控制器与磁盘组的比例只能为2:1。
[0007]因此，需要提供一种新型的非集中式集群存储系统，以克服上述两种非集中式集群存储系统的缺点。
【发明内容】
[0008]本发明的目的在于提供一种非集中式集群存储系统。
[0009]为达到上述目的，本发明采用下述技术方案:
[0010]—种非集中式集群存储系统，该非集中式集群存储系统包括M个控制器和N个磁盘组，其中M为大于2的正整数，N为大于I的正整数；
[0011]M等于N+1，或者M等于N;
[0012]任意相邻的两个控制器均与同一个磁盘组链接；
[0013]M个控制器之间通过链接实现内部互联。
[0014]优选地，M等于N+1，所述非集中式集群存储系统具有开环结构。
[0015]进一步优选地，任意相邻的两个控制器向用户提供的服务互为高可靠备份，当其中一个控制器出现故障时，按照开环向前或开环向后的策略由与之相邻的另一个控制器接管其向用户提供的服务。
[0016]优选地，M等于N，所述非集中式集群存储系统具有闭环结构。
[0017]进一步优选地，所述非集中式集群存储系统将所有的节点纳入一个环，或者所述非集中式集群存储系统包括多个子环，且任意两个子环之间通过内部互联分布数据。
[0018]进一步优选地，任意相邻的两个控制器向用户提供的服务互为高可靠备份，当其中一个控制器出现故障时，按照闭环顺时针方向或闭环逆时针方向的策略由与之相邻的另一个控制器接管其向用户提供的服务。
[0019]进一步优选地，当所述非集中式集群存储系统处于工作状态时，数据通过哈希策略、分布式哈希策略或一致性哈希策略分布在任意相邻的两个控制器共享的磁盘组中。
[0020]进一步优选地，所述控制器扩展的粒度为任意个数的控制器。
[0021 ]优选地，所述磁盘组来自于磁盘扩展模组或集联的多个磁盘扩展模组。
[0022]优选地，实现所述M个控制器之间内部互联的方式包括:将所述M个控制器链接至同一个交换机，或者将所述M个控制器链接至同一个节点，或者直接将所述M个控制器两两链接。
[0023]进一步优选地，利用以太网络、IB网络、PCIE网络或FC网络实现所述M个控制器之间的内部互联。
[0024]—种非集中式集群存储系统，该非集中式集群存储系统为由上述的分布式集群存储系统组成的组。
[0025]本发明的有益效果如下:
[0026]与现有技术的非集中式集群存储系统相比，本发明的所述非集中式集群存储系统具有开环或闭环结构，其中任意相邻的两个控制器均与同一个磁盘组链接，在不损失数据的可用性和可靠性的前提下能够单个节点横向扩展，同时降低控制器与磁盘组的比例。
【附图说明】
[0027]下面结合附图对本发明的【具体实施方式】作进一步详细的说明。
[0028]图1为现有技术的完全非共孚存储系统的不意图。
[0029]图2为现有技术的双控存储系统的示意图。
[0030]图3为本发明实施例1提供的具有开环结构的非集中式集群存储系统的示意图，其中 M=3，且 N=2。
[0031]图4为本发明实施例3提供的具有闭环结构的非集中式集群存储系统的示意图，其中 M=4，且 N=4。
[0032]图5为本发明实施例4提供的具有闭环结构的非集中式集群存储系统的示意图。
【具体实施方式】
[0033]为了更清楚地说明本发明，下面结合优选实施例和附图对本发明做进一步的说明。附图中相似的部件以相同的附图标记进行表示。本领域技术人员应当理解，下面所具体描述的内容是说明性的而非限制性的，不应以此限制本发明的保护范围。
[0034]实施例1:
[0035]如图3所示，本实施例提供的非集中式集群存储系统为开环结构，其包括例如3个控制器和2个磁盘组，S卩M = 3，N = 2。其中，任意相邻的两个控制器均与同一个磁盘组链接，即任意相邻的两个控制器共享同一个磁盘组。
[0036]例如，1#控制器与2#控制器相邻，1#控制器和2#控制器均与1#磁盘组链接，S卩1#控制器和2#控制器共享1#磁盘组;2#控制器与3#控制器相邻，2#控制器和3#控制器均与2#磁盘组链接，即2#控制器和3#控制器共享2柿兹盘组。
[0037]3个控制器之间通过链接实现内部互联。在本实施例的一种优选实施方式中，实现3个控制器之间内部互联的方式包括:将3个控制器链接至同一个交换机，或者将3个控制器链接至同一个节点，或者直接将3个控制器两两链接。除此之外，本领域技术人员很容易理解，可以采用现有技术的任意方式来实现3个控制器之间内部互联。在本实施例的一种优选实施方式中，利用以太网络、IB网络、PCIE网络或FC网络实现3个控制器之间内部互联。
[0038]任意相邻的两个控制器向用户提供的服务互为高可靠备份，当其中一个控制器出现故障时，按照开环向前或开环向后的策略由与之相邻的另一个控制器接管其向用户提供的服务。例如，1#控制器和2#控制器相邻向用户提供的服务互为高可靠备份，当1#控制器出现故障时，按照开环向前的策略由与1#控制器相邻的2#控制器接管1#控制器向用户提供的服务。
[0039]当所述非集中式集群存储系统处于工作状态时，数据通过哈希策略、分布式哈希策略或一致性哈希策略分布在任意相邻的两个控制器共享的磁盘组中。
[0040]在本实施例的一种优选实施方式中，磁盘组来自于磁盘扩展模组(JBOD)或集联的多个磁盘扩展模组。当利用所述非集中式集群存储系统进行数据冗余编码时，参与数据冗余编码的磁盘可以是与一个控制器链接的单一磁盘扩展模组，参与数据冗余编码的磁盘也可以是与一个控制器链接的不同磁盘扩展模组。数据冗余策略为任意RAID级别或者纠删码编码。
[0041]对于本实施例的所述非集中式集群存储系统，控制器扩展的粒度为任意个数的控制器，即控制器扩展的粒度可以为奇数个控制器，也可以为偶数个控制器。这一点明显优于现有技术的双控存储系统。
[0042]本实施例以3个控制器和2个磁盘组为例介绍具有开环结构的非集中式集群存储系统，本领域技术人员可以理解，可以根据需要设置具有开环结构的非集中式集群存储系统所包括的控制器和磁盘组的个数。
[0043]实施例2:
[0044]本实施例提供的非集中式集群存储系统为由如实施例1所述的分布式集群存储系统组成的组(图中未示出)。
[0045]实施例3:
[0046]如图4所示，本实施例提供的非集中式集群存储系统为闭环结构，其包括例如4个控制器和4个磁盘组，S卩M=4，N=4。其中，4个控制器链接构成一个闭环，任意相邻的两个控制器均与同一个磁盘组链接，即任意相邻的两个控制器共享同一个磁盘组。
[0047]例如，1#控制器、2#控制器、3#控制器和4#控制器链接构成一个闭环，1#控制器与2#控制器相邻，1#控制器和2#控制器均与1#磁盘组链接，即1#控制器和2#控制器共享1#磁盘组;2#控制器与3#控制器相邻，2#控制器和3#控制器均与2柿兹盘组链接，S卩2#控制器和3#控制器共享2#磁盘组;3#控制器与4#控制器相邻，3#控制器和4#控制器均与3柿兹盘组链接，即3#控制器和4#控制器共享3#磁盘组;4#控制器与1#控制器相邻，4#控制器和1#控制器均与4#磁盘组链接，S卩4#控制器和1#控制器共享4柿兹盘组。
[0048]4个控制器之间通过链接实现内部互联。在本实施例的一种优选实施方式中，实现4个控制器之间内部互联的方式包括:将4个控制器链接至同一个交换机，或者将4个控制器链接至同一个节点，或者直接将4个控制器两两链接。除此之外，本领域技术人员很容易理解，可以采用现有技术的任意方式来实现4个控制器之间内部互联。在本实施例的一种优选实施方式中，利用以太网络、IB网络、PCIE网络或FC网络实现4个控制器之间内部互联。
[0049]任意相邻的两个控制器向用户提供的服务互为高可靠备份，当其中一个控制器出现故障时，按照闭环顺时针方向或闭环逆时针方向的策略由与之相邻的另一个控制器接管其向用户提供的服务。例如，1#控制器和2#控制器相邻向用户提供的服务互为高可靠备份，当1#控制器出现故障时，按照闭环顺时针方向的策略由与1#控制器相邻的2#控制器接管1#控制器向用户提供的服务。
[0050]当所述非集中式集群存储系统处于工作状态时，数据通过哈希策略、分布式哈希策略或一致性哈希策略分布在任意相邻的两个控制器共享的磁盘组中。
[0051 ]在本实施例的一种优选实施方式中，磁盘组来自于磁盘扩展模组(JBOD)或集联的多个磁盘扩展模组。当利用所述非集中式集群存储系统进行数据冗余编码时，参与数据冗余编码的磁盘可以是与一个控制器链接的单一磁盘扩展模组，参与数据冗余编码的磁盘也可以是与一个控制器链接的不同磁盘扩展模组。数据冗余策略为任意RAID级别或者纠删码编码。
[0052]对于本实施例的所述非集中式集群存储系统，控制器扩展的粒度为任意个数的控制器，即控制器扩展的粒度可以为奇数个控制器，也可以为偶数个控制器。这一点明显优于现有技术的基于双控的非集中式集群存储系统。
[0053]本实施例以4个控制器和4个磁盘组为例介绍具有闭环结构的非集中式集群存储系统，本领域技术人员可以理解，可以根据需要设置具有闭环结构的非集中式集群存储系统所包括的控制器和磁盘组的个数。
[0054]实施例4:
[0055]如图5所示，本实施例提供的非集中式集群存储系统为由实施例3所述的非集中式集群存储系统组成的组。换言之，本实施例提供的非集中式集群存储系统为实施例3所述的非集中式集群存储系统的横向扩展(Scale-out)。
[0056]如图5所示，本实施例提供的非集中式集群存储系统为由4个如实施例3所述的非集中式集群存储系统组成的组，其中每一个如实施例3所述的非集中式集群存储系统构成一个子环。
[0057]本实施例的具有闭环结构的非集中式集群存储系统包括4个子环，本领域技术人员可以理解，可以根据需要设置具有闭环结构的非集中式集群存储系统所包括的子环的个数。
[0058]显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定，对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。
【主权项】
1.一种非集中式集群存储系统，其特征在于，该非集中式集群存储系统包括M个控制器和N个磁盘组，其中M为大于2的正整数，N为大于I的正整数； M等于N+1，或者M等于N; 任意相邻的两个控制器均与同一个磁盘组链接； M个控制器之间通过链接实现内部互联。2.根据权利要求1所述的非集中式集群存储系统，其特征在于，M等于N+1，所述非集中式集群存储系统具有开环结构。3.根据权利要求2所述的非集中式集群存储系统，其特征在于，任意相邻的两个控制器向用户提供的服务互为高可靠备份，当其中一个控制器出现故障时，按照开环向前或开环向后的策略由与之相邻的另一个控制器接管其向用户提供的服务。4.根据权利要求1所述的非集中式集群存储系统，其特征在于，M等于N，所述非集中式集群存储系统具有闭环结构。5.根据权利要求3所述的非集中式集群存储系统，其特征在于，所述非集中式集群存储系统将所有的节点纳入一个环，或者所述非集中式集群存储系统包括多个子环，且任意两个子环之间通过内部互联分布数据。6.根据权利要求3所述的非集中式集群存储系统，其特征在于，任意相邻的两个控制器向用户提供的服务互为高可靠备份，当其中一个控制器出现故障时，按照闭环顺时针方向或闭环逆时针方向的策略由与之相邻的另一个控制器接管其向用户提供的服务。7.根据权利要求2-6中任一项所述的非集中式集群存储系统，其特征在于，当所述非集中式集群存储系统处于工作状态时，数据通过哈希策略、分布式哈希策略或一致性哈希策略分布在任意相邻的两个控制器共享的磁盘组中。8.根据权利要求2-6中任一项所述的非集中式集群存储系统，其特征在于，所述控制器扩展的粒度为任意个数的控制器。9.根据权利要求1所述的非集中式集群存储系统，其特征在于，所述磁盘组来自于磁盘扩展模组或集联的多个磁盘扩展模组。10.根据权利要求1所述的非集中式集群存储系统，其特征在于，实现所述M个控制器之间内部互联的方式包括:将所述M个控制器链接至同一个交换机，或者将所述M个控制器链接至同一个节点，或者直接将所述M个控制器两两链接。11.根据权利要求10所述的非集中式集群存储系统，其特征在于，利用以太网络、IB网络、PCIE网络或FC网络实现所述M个控制器之间的内部互联。12.—种非集中式集群存储系统，其特征在于，该非集中式集群存储系统为由如权利要求1-11中任一项所述的分布式集群存储系统组成的组。
【文档编号】G06F3/06GK106055276SQ201610354120
【公开日】2016年10月26日
【申请日】2016年5月25日
【发明人】吴江, 李焱
【申请人】极道科技（北京）有限公司