一种基于高密度微服务器实现多路并发存储的方法和装置制造方法
【专利摘要】本发明涉及计算机存储【技术领域】，特别涉及一种基于高密度微服务器实现多路并发存储的方法和装置。本发明的技术方案实现了在性能较低的微服务器上实现存储性能的大幅提升，通过将微服务器和交换机之间的以太网络聚合成一个高带宽的并行传输总线，把所有微服务器当作是一个存储介质，然后由管理服务器进行数据转发和校验计算，达到了数据吞吐量翻番的目的。
【专利说明】—种基于高密度微服务器实现多路并发存储的方法和装置
【技术领域】
[0001]本发明涉及计算机存储【技术领域】，特别涉及一种基于高密度微服务器实现多路并发存储的方法和装置。
【背景技术】
[0002]随着云计算、互联网等信息技术的发展，对数据存储的形式提出了新的要求，面对不同应用场景需要不同类型的计算机系统。例如面向高性能计算可能就需要海量存储系统，其特点是要求高带宽、高容量和高容错等；同时面向互联网的微服务器器也应运而生，微服务器一般采用ATOM、ARM或其他低端CPU作为处理单元，性能不高但具有高密度、低成本等特点，在对性能不要求的冷存储领域越来越受到广泛应用。如何将成本和性能都较低的微服务器应用到其他更多领域，现实性能大幅提升是一大技术难点。
【发明内容】
[0003]为了解决现有技术的问题，本发明提供了一种基于高密度微服务器实现多路并发存储的方法和装置，其通过将微服务器和交换机之间的以太网络聚合成一个高带宽的并行传输总线，把所有微服务器当作是一个存储介质，然后由管理服务器进行数据转发和校验计算，达到数据吞吐量翻番的目的。
[0004]本发明所采用的技术方案如下:
一种基于高密度微服务器实现多路并发存储的方法，包括以下步骤:
A、首先将多台微服务器的网络聚合成一组高速并行总线，利用聚合总线同时传输数
据；
B、管理服务器将数据进行计算和校验处理，根据每个网络的目标地址将数据分别存储在不同的服务器上。
[0005]步骤A中，聚合总线里的每个网络通道都有一个目标地址，所述的目标地址是用于数据存储时的地址。
[0006]步骤B中，管理服务器提供一种存储校验算法，即每一笔被传输的数据都通过“异或”算法计算出校验信息位，数据和校验信息位带状分布存储在不同的通道下。
[0007]步骤B中，管理服务器中还包含一个文件目录系统，文件目录系统用于存放数据的目录、结构和存储信息。
[0008]方法还包括步骤C:当聚合总线里面某个网络通道出现故障时，管理服务器立刻将故障通道剔除出聚合总线，并重新计算生成新的聚合总线、目标地址等，由其他正常的数据转由其他的传输路径来重传。
[0009]方法还包括步骤D:当聚合总线里面又有新的通道加入时，管理服务器将尝试对新加入的通道初始化，然后重新生成新的聚合总线，然后重新计算数据的传输和校验规则，最后由新的通道继续传输。
[0010]一种基于高密度微服务器实现多路并发存储的装置，由以下部分构成，I)、若干台微服务器；2)、一台互连交换机；3、一台管理服务器；4、一台柜顶交换机,其中:
所述的微服务器是组成多路并发存储系统的主体，每台微服务器都有自己的CPU、内存、硬盘和网络接口，通过将所有微服务器的以太网网络聚合成一组并行总线，同时进行数据传输；
所述的互连的交换机用于微服务器的互连，形成聚合以太网网络；
所述的管理服务器负责存储通道的配置以及数据转发实现，还负责数据目录文件的建立和存储校验算法；
所述的柜顶交换机负责与外部的业务系统通信，管理服务器通过IOGb或更高速率的接口连接到柜顶交换机。
[0011 ] 互连交换机的下行通过IGb带宽端口与微服务器互连，上行通过IOGb或更高速率的接口与管理服务器相连。
[0012]管理服务器首先可动态配置网络聚合微服务器的数量及多路并发存储系统的规模；其次通过互连交换机的下行IGb存储通道，将数据块同时并发的存储到不同的微服务器上。
[0013]本发明提供的技术方案带来的有益效果是:
1、利用微服务器密度高的特点，首先将多台微服务器的网络聚合成一组高速并行总线，利用聚合总线同时传输数据。当进行读或写操作时，同时对这些服务器进行操作，从而可以达到数据同时多路并发传输的目的，提高存储性能；
2、若干台微服务器是组成多路并发存储系统的主体，每台微服务器都有自己的CPU、内存、硬盘和网络接口。本发明中通过将所有微服务器的以太网网络聚合成一组并行总线，同时进行数据传输；
3、互连交换机用于微服务器的互连，形成聚合以太网网络。为了保证数据带宽的无阻塞性，互连交换机的下行通过IGb带宽端口与微服务器互连，上行通过IOGb或更高速率的接口与管理服务器相连；
4、管理服务器首先可动态配置网络聚合微服务器的数量及多路并发存储系统的规模；其次通过互连交换机的下行IGb存储通道，将数据块同时并发的存储到不同的微服务器上，从而实现将所有微服务器组成一个性能优越、成本低廉的存储服务器群；
管理服务器还负责数据目录文件的建立和存储校验算法。目录文件用于记录数据文件的大小、数量、类型等信息，以便可以对被传数据的快速查找；
5、存储校验算法用于提高系统文件传输的容错性，通过异或计算产生校验信息，校验信息跟数据同时存储，保证链路失效时(包括微服务器故障、硬盘故障等)数据的完整性。
[0014]本发明的技术方案实现了在性能较低的微服务器上实现存储性能的大幅提升，通过将微服务器和交换机之间的以太网络聚合成一个高带宽的并行传输总线，把所有微服务器当作是一个存储介质，然后由管理服务器进行数据转发和校验计算，最后达到了数据吞吐量翻番的目的。
【专利附图】
【附图说明】
[0015]图1为本发明的系统配置拓扑图；
图2为本发明的数据文件多路并发存储示意图。【具体实施方式】
[0016]为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
[0017]实施例一
一种基于高密度微服务器实现数据多路径并发存储的方法和装置，具体实现方式是将多台微服务器的以太网络聚合成一个高速并行的总线，管理服务器根据每个微服务器的目标地址，将数据通过聚合总线同时传输，分别存储在不同的微服务器上，从而提高存储带宽。
[0018]其系统组成如图1所示，包括:1、若干台微服务器；2、一台互连交换机；3、一台管理服务器；4、一台柜顶交换机。
[0019]因为本发明中微服务器是当作存储服务器来使用，所以称之为Storage Server(存储服务器)，每个Storage Server都是一个独立的硬件系统，包括CPU、内存、硬盘(HDD或SSD)、网络等。
[0020]Storage Server I到Storage Server N的IGb以太网都连接到交换机,N取决于Storage Server的数量。为了保证带宽的匹配,交换机通过更高速的IOGb或40Gb网络连接到“管理服务器”。
[0021]管理服务器将Storage Server I到N的以太网络聚合成有一个高速并行总线，并分配每个以太网口的目标地址，此目标地址用于数据存储时的地址。
[0022]管理服务器对待传数据进行计算，生成很多个数据块，每个数据块都有一个其对应的目标地址信息，在进行数据传输时，这些数据块将根据地址信息被分别存储到N个Storage Server 里面。
[0023]为了保证数据在并行传输时的可靠性，管理服务器提供一种存储校验算法，即每一笔被传输的数据都通过“异或”算法计算出校验信息位，数据和校验信息位带状分布存储在不同的通道下。采用校验信息存储的好处在于校验信息分别存在不同通道下的硬盘里，不会因为某一条通道出现问题而出现数据不完整。
[0024]管理服务器中还包含一个文件目录系统，文件目录系统用于存放数据的目录、结构和存储信息。举例来说，当系统进行一笔数据传输时，这些数据会被存进不同的存储服务器里面。为了便于对这些数据进行管理，原始数据和分布数据块信息都被存放在“数据目录系统”中。
[0025]柜顶交换机负责“多路并发存储装置”与外部的业务系统通信，管理服务器通过IOGb或更高速率的接口连接到柜顶交换机。当有外部业务进来时，由管理服务器进行统筹分配，然后由聚合总线存储到不同的Storage Server上面。
[0026]基于高密度微服务器的多路并发存储方法和装置具有负载均衡传输功能，聚合总线里的N个以太网通道同时传输，且每个通道上的数据均匀分配，即保证各个通道的数据量是一致的。
[0027]当聚合总线里面某个网络通道出现故障时，管理服务器立刻将故障通道剔除出聚合总线，并重新计算生成新的聚合总线、目标地址等，由其他正常的数据转由其他的传输路径来重传,可快速恢复数据的传输。[0028]当聚合总线里面又有新的通道加入时，管理服务器将尝试对新加入的通道初始化，然后重新生成新的聚合总线，然后重新计算数据的传输和校验规则，最后由新的通道继续传输。
[0029]通过管理服务器设置，可以灵活地将多台Storage Server聚合成一组并行总线或几组并行总线，从而提高系统的灵活性。
[0030]以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
【权利要求】
1.一种基于高密度微服务器实现多路并发存储的方法，包括以下步骤: A、首先将多台微服务器的网络聚合成一组高速并行总线，利用聚合总线同时传输数据； B、管理服务器将数据进行计算和校验处理，根据每个网络的目标地址将数据分别存储在不同的服务器上。
2.根据权利要求1所述的一种基于高密度微服务器实现多路并发存储的方法，其特征在于，所述的步骤A中，聚合总线里的每个网络通道都有一个目标地址，所述的目标地址是用于数据存储时的地址。
3.根据权利要求1所述的一种基于高密度微服务器实现多路并发存储的方法，其特征在于，所述的步骤B中，管理服务器提供一种存储校验算法，即每一笔被传输的数据都通过“异或”算法计算出校验信息位，数据和校验信息位带状分布存储在不同的通道下。
4.根据权利要求3所述的一种基于高密度微服务器实现多路并发存储的方法，其特征在于，所述的步骤B中，管理服务器中还包含一个文件目录系统，文件目录系统用于存放数据的目录、结构和存储信息。
5.根据权利要求1所述的一种基于高密度微服务器实现多路并发存储的方法，其特征在于，所述方法还包括步骤C:当聚合总线里面某个网络通道出现故障时，管理服务器立刻将故障通道剔除出聚合总线，并重新计算生成新的聚合总线、目标地址等，由其他正常的数据转由其他的传输路径来重传。
6.根据权利要求1所述的一种基于高密度微服务器实现多路并发存储的方法，其特征在于，所述方法还包括步骤D:当聚合总线里面又有新的通道加入时，管理服务器将尝试对新加入的通道初始化，然后重新生成新的聚合总线，然后重新计算数据的传输和校验规则，最后由新的通道继续传输。
7.一种基于高密度微服务器实现多路并发存储的装置，由以下部分构成，I)、若干台微服务器；2)、一台互连交换机；3、一台管理服务器；4、一台柜顶交换机，其中: 所述的微服务器是组成多路并发存储系统的主体，每台微服务器都有自己的CPU、内存、硬盘和网络接口，通过将所有微服务器的以太网网络聚合成一组并行总线，同时进行数据传输； 所述的互连的交换机用于微服务器的互连，形成聚合以太网网络； 所述的管理服务器负责存储通道的配置以及数据转发实现，还负责数据目录文件的建立和存储校验算法； 所述的柜顶交换机负责与外部的业务系统通信，管理服务器通过IOGb或更高速率的接口连接到柜顶交换机。
8.根据权利要求7所述的一种基于高密度微服务器实现多路并发存储的装置，其特征在于，互连交换机的下行通过IGb带宽端口与微服务器互连，上行通过IOGb或更高速率的接口与管理服务器相连。
9.根据权利要求7所述的一种基于高密度微服务器实现多路并发存储的装置，其特征在于，所述的管理服务器首先可动态配置网络聚合微服务器的数量及多路并发存储系统的规模；其次通过互连交换机的下行IGb存储通道，将数据块同时并发的存储到不同的微服务器上。
【文档编号】H04L12/28GK103973497SQ201410220203
【公开日】2014年8月6日 申请日期:2014年5月23日 优先权日:2014年5月23日
【发明者】王恩东, 胡雷钧, 邹定国, 林楷智, 贡维 申请人:浪潮电子信息产业股份有限公司