一种基于图的数据中心模块互联方法与流程

本发明涉及信息工程领域，具体为一种基于图的数据中心模块互联方法。

背景技术：

随着it建设成本和用户需求的增长,越来越多的大型网络服务业由于模块化数据中心(modulardatacenter,简称mdc)的模块内、外结构可以分开设计,因此极大地降低了超大规模数据中心构建和维护的复杂度.然而,当前对于数据中心网络结构的研究主要集中在单个数据中心网络的大规模构造以及mdc的模块内互连结构,而对于模块间应采用什么样的互连方式以支持超大规模数据中心构建的研究较少，如何设计模块之间的互连结构是一个极其困难的问题,原因主要有以下3点：

1.高带宽需求：数据中心需要支撑许多带宽密集型的应用,如分布式文件系统、分布式执行引擎以及一些在线数据密集型应用,这些典型应用往往需要在上千个模块中的成千上万台服务器上处理数据,因此,一个好的设计方案应确保在各种互连设置下模块间均具备较高的通信容量。

2.平缓的性能下降：目前提出的数据中心网络普遍采用廉价的商业硬件搭建而成,由于集装箱内的设备是工厂预制的,空间和操作上的限制使其出现故障不易在线维护,因此,模块间互连网络的设计不仅应具有高容错特性,还应确保网络设备出现故障时网络容量不会迅速下降。

3.灵活、可持续的扩展性：随着数据中心网络承载的数据量不断增长,数据中心的规模持续扩大,不可避免地需要对数据中心网络进行增量部署.因此,不仅要求mdc网络具有可持续、可扩展能力,还要尽量减少扩展过程中对已有结构的影响。

技术实现要素：

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种基于图的数据中心模块互联方法，解决了在现有技术中，通信容量不足、容错特性不佳和不同结构之间影响程度较大的问题。

(二)技术方案

为实现以上目的，本发明通过以下技术方案予以实现：一种基于图的数据中心模块互联方法，包括如下步骤：

s1、建立中心结构：使用服务器作为结构中心建立网络结构。

s2、建立模块内互连结构：采用层次图作为模块内互连结构，并对模块内互连结构进行内编号。

s3、建立模块间互连结构：采用常量度数图作为模块间的互连结构，并对模块间互连结构进行外编号。

s4、结构组合：将中心结构与每个模块间互连结构连接，根据步骤s2内编号和步骤s3的外编号通过模块间互连结构未被使用的交换机预留的高速端口将单个模块内互连结构连接，随后生成每个模块内互连结构的总编号。

s5、互联结构测试：使用中心结构向随机总编号的模块内互连结构发送测试信号，模块内互连结构收到测试信号后发送反馈信号发送至中心结构，通过测试信号的发送量与反馈信号的收集量的比值计算当前互联结构连接情况。

优选的，在步骤s2中，使用16位二进制数字为模块内互连结构编号，从而生成内编号。

优选的，在步骤s3中，使用8位二进制数字为模块间互连结构编号，从而生成外编号。

优选的，在步骤s4中，交换机仅作为交叉结构连接模块内部和模块之间的服务器，每个交换机提供1一个高速端口作为模块内互连结构对外连接的端口。

优选的，在步骤s4中，总编号的生成规则为对应的模块间互连结构的编号(外编号)加上模块内互连结构的编号(内编号)，即一个24位二级制数字作为总编号。

(三)有益效果

本发明提供了一种基于图的数据中心模块互联方法，具备以下有益效果：

该基于图的数据中心模块互联方法，与现有技术相比，本发明的有益效果是：本发明结构设置合理，功能性强，具有以下优点：

1.互联网络将模块看作黑盒以适应各类模块内互连结构,因此，要求模块间的互连和路由与模块内部无关；

2.模块内部能够提供足够的空闲端口用于更大规模的网络互连,

提供可持续扩展能力；

3.模块之间有足够的链路,以提高网络的容量和可靠性；

4.合理分配模块提供的端口,使端口的使用率较为平均,确保当通信的源端和目的端过于密集的情况下,流量能够被分流至不同的端口上,从而达到均衡流量、减少热点的目的。

附图说明

图1为2层直径为2的互联结构示意图；

图2为基于图的互联网络模块间通信聚合瓶颈吞吐量数据图；

图3和图4均为基于图的互联网络与mdcube互联网络性能数据比较图；

具体实施方式

所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

一种基于图的数据中心模块互联方法，包括如下步骤：

s1、建立中心结构：使用服务器作为结构中心建立网络结构。

s2、建立模块内互连结构：采用层次图作为模块内互连结构，并对模块内互连结构进行内编号(使用16位二进制数字为模块内互连结构编号，从而生成内编号)。

s3、建立模块间互连结构：采用常量度数图作为模块间的互连结构，并对模块间互连结构进行外编号(使用8位二进制数字为模块间互连结构编号，从而生成外编号)。

s4、结构组合：将中心结构与每个模块间互连结构连接，根据步骤s2内编号和步骤s3的外编号通过模块间互连结构未被使用的交换机预留的高速端口将单个模块内互连结构连接，随后生成每个模块内互连结构的总编号(交换机仅作为交叉结构连接模块内部和模块之间的服务器，每个交换机提供1一个高速端口作为模块内互连结构对外连接的端口，总编号的生成规则为对应的模块间互连结构的编号(外编号)加上模块内互连结构的编号(内编号)，即一个24位二级制数字作为总编号)。

s5、互联结构测试：使用中心结构向随机总编号的模块内互连结构发送测试信号，模块内互连结构收到测试信号后发送反馈信号发送至中心结构，通过测试信号的发送量与反馈信号的收集量的比值计算当前互联结构连接情况。

有益效果验证实验流程：

实验一：

测试不同规模基于图的互联网络模块间通信聚合瓶颈吞吐量数据。该实验模拟mapreduce的reduce过程,即每个reducer从所有mapper中取回数据,产生一个all-to-all的流量模式.在该流量模式下,当服务器/交换机的失效率从0％达到20％时,观察2个模块间通信时网络的聚合瓶颈吞吐量的变化情况.假设模块内部普通链路的速率为1gbps,而不同模块间高速链路的速率为10gbps。

从图2中可以看出：单个模块的大小(采用参数t的值表示)越大,基于图的互联网络中2个模块之间的聚合瓶颈吞吐量越大.因为当服务器的网络端口数一定时,单个模块中交换机的数量随规模的增大而增加,因此能够提供给模块间的通信链路也随之增多.与此同时,随着链路故障率的上升,网络的性能始终是平缓下降的,这是因为网络的模块内部和模块之间均存在多条并行路径,因此任意一对服务器间存在多条富连接,在网络失效的情况下,冗余的通信路径确保任意两台服务器间总有一条连通的链路.根据聚合瓶颈吞吐量还可以算出每台服务器实际获得的吞吐量,以规模为2304为例,当链路失效率为0时,2个模块间(共64台服务器)的最大聚合瓶颈吞吐量为45.304。因此,在网卡线速为1gbps的条件下,每台服务器实际获得的吞吐量为0.71gbps。

实验二：

在目前提出的模块间互连结构中,wu等采用的mdcube结构拥有最优聚合瓶颈吞吐量性能,因此,第2个实验比较单个模块规模相同、网络规模不同的基于图的互联网络和mdcube互联网络中2个模块间通信的聚合瓶颈吞吐量。

从图3和图4中看出,针对不同的互联网络规模，即不同的模块大小(采用参数t的值表示)和网络中总服务器数量(采用参数n的值表示)，基于图的互联网络的聚合瓶颈吞吐量大于mdcube互联网络。同时,随着网络失效率的增加,基于图的互联网络的性能下降更为平缓。

综上所述，该基于图的数据中心模块互联方法，结构设置合理，功能性强，具有以下优点：

1.dc网络将模块看作黑盒以适应各类模块内互连结构,因此，要求模块间的互连和路由与模块内部无关；

2.模块内部能够提供足够的空闲端口用于更大规模的网络互连,

提供可持续扩展能力；

3.模块之间有足够的链路,以提高网络的容量和可靠性；

4.合理分配模块提供的端口,使端口的使用率较为平均,确保当通信的源端和目的端过于密集的情况下,流量能够被分流至不同的端口上,从而达到均衡流量、减少热点的目的。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。