可配置的clos网络的制作方法
【专利摘要】一种可配置的Clos网络包括叶和主干，以及连接叶和主干的交换机构造。所述交换机构造将每个叶的每个叶端口耦合到每个主干的至少一个主干端口。
【专利说明】可配置的CLOS网络
【背景技术】
[0001] Clos架构特征可以用来构建大规模网络；S卩，Clos网络。Clos网络使用多级交换 电路。当物理交换需求超过最大可行单纵横交换机的容量时，Clos网络是有用的。Clos网 络的另外的优势是所需的交叉点(其组成每个纵横交换机）的数量可以比用一个大型纵横 交换机实现的整个交换系统少得多。
【专利附图】
【附图说明】
[0002] 详细描述将参考下述附图，其中同样的标号指代同样的项，并且其中： 图1A-1D是Clos网络的各方面的示意性表示； 图2是可配置Clos网络的区段的实施例的透视图； 图3图示用于图2的可配置Clos网络的控制系统实施例； 图4A-4D图示用于图2的可配置Clos网络的编程实施例； 图5-9图示用于图2的可配置Clos网络的编程实施例； 图10图示与图2的可配置Clos网络一起使用的可编程交换机的实施例；以及 图11是图示用于配置Clos网络的方法的示例的流程图。
【具体实施方式】
[0003] 在它被部署之后，大型Clos网络可能需要添加更多的网络设备，包括更多计算机 架（rack)或附加的网络交换机。传统的方法在添加新设备时需要相当多的重新布线。
[0004] 本文公开的是可配置Clos网络，其允许通过使用电路交换机重配置而扩展或收 缩计算和联网设备并且不对现有网络线缆进行重新布线。本文公开的可配置Clos网络使 用小规模、可编程和双向电路交换机来连接主干（spine )和叶卡。在示例中，交换机是光学 交换机。在另一示例中，交换机是电交换机。因为它们比当前的Clos交换机小得多，所以 本文公开的交换机是便宜的且易于制造、安装和编程，从而提供优于较大Clos交换机的显 著优势。此外，因为如下所公开的，可配置的Clos网络使用许多的这些小规模交换机，所以 促进对交换机进行编程以使得可用的主干和叶端口被使用。本文公开的可配置Clos网络 比现有Clos网络更高效，至少是因为它可以充分利用叶和主干连接，如下文将描述的。
[0005] 如本文所使用的，叶、叶交换机或叶卡指的是到主机（host)的连接。主机可以是 具有连接到叶交换机端口的网络接口控制器（NIC)的计算机系统。存储设备也具有连接到 叶并允许存储设备与主机进行通信的NIC。主干(或构造（fabric))、主干交换机或主干卡 使叶交换机互连在一起并允许叶交换机之间的通信。
[0006] 可配置的Clos网络的一个特定使用是在大规模数据中心中，并且如果数据中心 足够大，则可以部署多于一个这样的Clos网络。传统上通过使用分别优化的主机机架和核 心交换机来构建数据中心。可配置的Clos网络能够优化整个数据中心，从而减少安装和维 护成本并增加对于数据中心的未来扩展的灵活性。此外，理想地，数据中心网络被针对特定 客户需求而定制，包括主机数量、访问带宽、QoS、可用性和其它因素。数据中心通常需要多 个网络，诸如用于以下各项的网络：主要的和故障转移（failover)、生产和研究、控制和数 据、LAN和SAN、或交互的和批量的。在针对特殊化需求而购买网络组件和对其架设线缆时， 这些多个网络要求可能使复杂的规划和现场定制是必要的。定制的网络难以在演进的规模 和需求的情况下重新布线。虽然逻辑拓扑是复杂的并且依赖配置的，但物理连接性理想地 应当仍然是简单的并独立于配置。例如，可以通过使用低成本不过时的（future proof)线 缆在容易安装和替换的情况下来连接机柜。
[0007] Clos网络还被用来通过使用较小端口计数交换机ASIC来构建大端口计数核心交 换机。公开的可配置Clos网络可以用于允许叶卡的模块化添加以提供附加的网络端口，并 允许主干卡的模块化添加以在这样的核心交换机中提供附加的网络带宽。
[0008] 可配置的Clos网络通过使用电路交换而解决了大规模数据中心中的设计问题。 可配置的Clos网络提供可配置的互连拓扑来解决至少两个关键问题。第一，非可配置的互 连在安装叶机柜和主干卡的子集时损失性能。例如，当主干和叶的一半安装在Clos网络上 时，叶端口的一半连接到缺失的主干，并且主干端口的一半连接到缺失的叶。第二，电路交 换使得能够使硬件分区从而实现冗余网络以用于故障容忍以及独立网络以用于异构业务 分离。由于机柜和主干卡的数量变化，故障容忍需要谨慎的拓扑设计来将端口指派到故障 区。可以使用独立的网路例如用以从有损LAN业务中分离无损SAN业务或者克服当前的 ASIC限制和对收敛的构造网络所需的管理软件的缺乏。朴素的电路交换机系统使用全纵横 以用于在将架顶式（TOR)上行链路连接到主干中的灵活性。然而，这样的解决方案是昂贵 的。为了降低成本，本文公开的可配置Clos网络使用多个小规模光学交换机(例如，48个 12端口交换机来互连576个TOR交换机端口）。
[0009] 图1A-1D是假设的Clos网络的各方面的示意性表示。图IA是在假设的Clos网络 中8个叶卡和8个主干卡之中的连接的示意性表示。图示的连接在八个8端口主干卡(列） 和八个8端口叶卡(行）之间。图IA中的每个"X"表示主干和叶之间的连接，并且存在64 个连接。如图IA中可见的，使用主干卡的所有八个端口和叶卡的所有八个端口。
[0010] 图IB是假设的Clos网络中4个叶卡和4个主干卡之间的连接的示意性表示，其 中图IB的相同的8端口主干和叶卡被连接。由"X"表示连接，并且由方块表示未使用的端 口。如图IB中可见的，每个卡仅使用4个端口，并且主干卡的4个端口和叶卡的4个端口 未使用。这些未使用的连接浪费硬件资源并且与当所有端口都连接时的每连接带宽相比导 致降低的每连接带宽。
[0011] 图IC图示6X6连接，其中使用每个卡上的可用端口的3/4。图ID图示2X2连 接，其中使用每个卡上的端口的1/4。因而，图1B-1D中示出的连接是非高效的，因为可用硬 件将未使用，并且导致较低的每连接带宽。
[0012] 可配置的Clos网络解决了在图1B-1D的连接中图示的问题。此外，公开的可配置 Clos网络提供优于图1A-1D的假设的Clos网络中示出的连接的在连接Clos组件（S卩，主干 和叶卡）中的增强的灵活性。
[0013] 更具体地，可配置的Clos网络提供将每个叶卡的每个端口连接到每个主干卡，无 论在网络中使用多少主干卡和叶卡。可配置的Clos网络在交换机构造中使用小规模、可编 程的光学交换机布置以双向连接主干卡和叶卡。公开的交换机构造允许图1B-1D中示出的 每个叶中的每个未使用端口和每个主干中的每个未使用端口分别连接到对应的主干和叶。
[0014] 下文公开的主干和叶卡配置适用于变化数量的叶和主干卡。通过使用多个公开的 小规模交换机，可配置的Clos网络允许将叶业务均匀分布到主干卡上以用于这些配置中 的每一个。类似地，主干卡可以按客户应用所需要的而跨任意带宽的分离网络而被供应。 叶和主干卡数目不需要对应。例如，24个叶ASIC的全补充（complement)能够跨具有以成 本比例的方式按需添加的带宽的12个主干的全补充当中的仅8个而被负载平衡。部分硬 件配置经常导致不规则网络。例如，如果来自一个叶的12个上行链路跨5个主干被均匀分 布，则叶具有到2个主干的3个连接和到3个主干的2个连接。
[0015] 图2是可配置的Clos网络的区段的实施例的透视图，其中使用小规模、可编程交 换机用于主干卡和叶卡之间的双向信令或通信。在实施例中，可配置的Clos网络的区段被 结构化使得布置许多叶卡，其中每个叶卡耦合到许多互连中的每一个，并且互连中的每一 个进而耦合到许多主干中的每一个。
[0016] 在图2中，可配置的Clos网络10的区段100包括通过交换机构造120连接到叶连 接150的主干卡110,所述交换机构造120包括其上形成小规模、可编程电路交换机140的 基板130。在实施例中，电路交换机140是电交换机。在另一个实施例中，电路交换机140 是光学交换机。图10图示这样的光学交换机的实施例。图2中示出的区段100可以被重 复以形成用于可配置的Clos网络10的完整中央机柜结构。然而，为了易于图示，仅示出一 个区段100。此外，主干卡110可以被放置在主干机架中，并且叶卡154在分离的叶机架中。 叶卡ASIC可以连接到通过可配置的Clos网络进行通信的主机计算机或其它设备。这些结 构和设备的图示对于解释可配置的Clos网络的操作和功能不是必要的，并且因此将它们 从图2中省略。
[0017] 在图2中，图示出四个主干卡110、三个基板130、三个电路交换机140和四个叶连 接150。每个叶连接用12个双向光纤152耦合到对应的叶卡154。每个叶卡154已在其上 形成有ASIC 156。12个基板130中的每一个具有通过连接并通过双向光纤152之一到不 同的叶ASIC端口的信号路径。然而，如将关于图5-9所讨论的，区段100包括卡、基板、连 接和交换机中的每一个的十二个，并且示出较少以易于图示。此外，区段100不限于12X12 矩阵，并且可以使用更多或更少的卡、基板、连接和交换机。仍另外地，在可配置的Clos网 络10的区段100中，主干卡110和叶连接150和叶卡154的数量并不必相等，如将关于图 5-9所解释的。还另外地，区段100可以被构造有12个叶连接150和12个叶卡154以及 12个主干卡110,但多于12个基板130和电路交换机140。例如，区段100可以被构造有 24个这样的基板130和电路交换机140。甚至另外地，在实施例中，区段100可以包括12 个主干卡、与12个叶卡、12个叶连接器和12个互连130的子区段、与被复制任何次数的电 路交换机140 (目卩，12个主干卡110各自连接到更多于12个互连130)。
[0018] 如图2中可见，主干卡110、叶连接150和叶卡154并联于彼此，并且主干卡110和 叶连接150之间的连接是通过基板130及其相关联的小规模、可编程电路交换机140,并且 其中基板130被定位成与卡110和连接150正交。
[0019] 在实施例中，因为存在各十二个卡110和连接150,区段100包括12个基板130， 其中的每一个已在其上形成有12X 12的小规模、可编程光学交换机140,其提供主干卡110 和叶连接150之间的双向信令。然而，如上所指出，区段100可以包括如存在的主干卡110 和叶卡154的两倍之多的交换机140和基板130。通常，基板130的数量被选择为至少匹配 卡边缘上端口的数量。
[0020] 在实施例中，基板130是塑料、硅或其它适合的材料，在其上形成到光学电路交换 机140的光学通路或光纤。可替换地，基板130是印刷电路板，其具有在印刷电路板上形成 的到电气电路交换机140的电气通路或电线。
[0021] 最后，主干卡110已在其上形成有ASIC 112,并且叶连接150通过线缆152连接到 叶卡154 (其可以包括ASIC 156)。线缆152可以是高带宽光纤或电缆。带宽可以是每秒 40GB或更多。ASIC 112和156可以是以太网ASIC。
[0022] 可配置的Clos网络的配置可以由在被定位在叶连接和主干卡之间的基板上形成 的交换机的操作来控制。图3图示用于图2的可配置Clos网络的控制系统实施例。电路 交换机140可以被控制器160所控制或操作，所述控制器160执行在数据存储装置162中 存储的编程代码以操作交换机140以断开或闭合交换机构造120中的信号路径。在替换方 案中，控制器执行编程以激活或去激活静电设备164来断开和闭合交换机构造120中的光 学信号路径。光学交换机可以被实现有可移动的镜件(见图10)，并且控制器160可以控制 静电设备164来定位可移动的镜件（mirror)。
[0023] 由控制器160执行的编程代码可以使控制器160确定所安装的叶和主干卡的数量 并因而确定可用的叶和主干端口的数量。然后控制器160可以执行编程代码的机器指令以 对准被连接到可配置Clos网络的交换机构造120的叶和主干之间的双向信号路径的最大 数量。可替换地，控制器160可以执行机器指令以从交换机构造120中的连接移除具有故 障的组件的叶或主干。
[0024] 电路交换机可以具有12个双向20Gb/s数据端口。两个12X12的电路交换机卡 被用来交换40Gb/s通道。48个电路交换机的垂直堆叠提供11. 5兆兆位的可配置带宽。当 与常规（即，非可配置）数据中心相比，如实现在数据中心中的可配置Clos网络降低成本并 增加灵活性。第一节省产生自小规模光学交换机，所述小规模光学交换机比大型全纵横光 学交换机便宜得多。第二节省产生自改进的模块化可扩展性。在没有配置能力的情况下，充 分使用潜在的带宽需要主干的全补充，甚至当主机机柜和叶的数量被降低时。利用配置，主 干的数量可以与主机机柜的数量成比例地降低。超额订购的配置通过进一步与超额订购因 子成比例地降低主干的数量而被支持。第三节省产生自主干机柜的跨多个网络而部署组件 的能力。例如，当传统网络需要分离的备用主干以用于LAN和SAN故障转移时，利用本文公 开的可配置的Clos网络，一个备用主干可以在LAN和SAN故障转移功能之间共享。最后， 重要的节省产生自降低的部署成本，这是由于传统物理定制的许多复杂性通过对可配置的 Clos网络进行编程来执行。
[0025] 图4A-4D图示用于图2的可配置Clos网络的编程实施例。在图4A-4D中示出的 示例编程基于具有四个4端口主干卡和四个4端口叶卡的可配置Clos网络。为了易于图 示，使用各自具有四个端口的四个卡。图4A-4D图示可配置Clos网络的连接分段的自顶向 下（top-down)、简化的示意性视图。在图4A-4D中的每一个中，主干卡和叶卡被编号为0-3。 主干卡和叶卡通过已在其上形成有可编程交换机ASIC的基板而连接。图10图示出可以根 据图4A-4D进行编程的可编程交换机ASIC的不例。
[0026] 图4A图示在可配置Clos网络的分段的第0层处的编程的连接。叶卡被标明为 0-3,主干卡0-3,并且互连基板和交换机ASIC被标明为0。然而，这些标明仅仅是任意的。 为了图示的简单，互连基板和交换机ASIC的连接的一些细节被省略；然而，图4A足以图示 第〇个交换机ASIC的编程。
[0027] 如在图4A中可见，第0叶卡的端口 0双向耦合到第0主干卡的端口 0,其中互连基 板和交换机ASIC的边界内的虚线表示叶卡和主干卡之间的信号路径。类似地，叶卡1、2和 3的第0端口分别耦合到主干卡1、2和3的第0端口。
[0028] 图4B图示第一交换机ASIC的编程的示例。如可见的，第0叶卡的第1端口耦合 到第1主干卡的第1端口，第1叶卡的第1端口耦合到第2主干卡的第1端口，第2叶卡的 第1端口耦合到第3主干卡的第1端口，并且第3叶卡的第1端口耦合到第0主干卡的第 1端口。
[0029] 图4C图示第2交换机ASIC的编程的示例。如可见的，叶和主干卡的第2端口之 间的编程的信号路径与图4B的编程的信号路径相比被移位一个。
[0030] 图4D图示第3且最后的交换机ASIC的编程的示例。如可见的，叶和主干卡的第 3端口之间的编程的信号路径与图4C的编程的信号路径相比被移位一个。
[0031] 因而，图4A-4D图示交换机ASIC编程的示例，其中叶卡的每个端口至少一次耦合 到每个主干卡，并且主干卡的每个端口至少一次耦合到每个叶卡。该信号路径移位可以通 过使用图10中示出的示例机制来实现。信号路径移位可以提供叶和主干卡之间略均匀的 信号分布。
[0032] 图4A-4D中示出的示例编程被总结在表I中。
【权利要求】
1. 一种可重配置的Clos网络，包括：多个主干，主干中的每一个具有多个主干端口；多 个叶，叶中的每一个具有多个叶端口；以及多个互连，其连接主干和叶，互连中的每一个包 括：可编程电路交换机，所述电路交换机在主干端口和叶端口之间，所述电路交换机包括： 多个主干输入端；多个主干输出端；多个叶输入端；多个叶输出端，其中所述电路交换机进 行操作以在主干端口和叶端口之间输运数据。
2.根据权利要求1所述的可配置的Clos网络，还包括多个叶连接器，叶连接器中的每 一个耦合到多个叶中对应的一个，其中每个叶耦合到互连中的每一个，并且其中互连中的 每一个耦合到主干中的每一个。
3.根据权利要求1所述的可重配置的Clos网络，其中所述电路交换机包括电交换机。
4.根据权利要求1所述的可重配置的Clos网络，其中所述电路交换机包括光学交换 机，并且其中所述光学交换机包括双面可移动镜件。
5.根据权利要求4所述的可重配置的Clos网络，其中在第一位置中，可移动双面镜件 将来自叶输出端的第一信号引导到主干输入端，并将来自主干输出端的第二信号引导到叶 输入端。
6.根据权利要求5所述的可重配置的Clos网络，其中：叶端口的数量小于叶的数量， 并且主干的数量等于叶的数量。
7.根据权利要求6所述的可重配置的Clos网络，其中所述电路交换机将每个叶的每个 端口耦合到每个主干的端口，并且将每个主干的每个端口耦合到每个叶的端口。
8.根据权利要求5所述的可重配置的Clos网络，其中：叶端口的数量等于叶的数量， 并且主干的数量等于叶的数量。
9.根据权利要求7所述的可重配置的Clos网络，其中所述电路交换机将每个叶的每个 端口耦合到每个主干的端口，并且将每个主干的每个端口耦合到每个叶的端口。
10. -种可重配置的Clos网络，包括：叶；主干；交换机构造，其连接叶和主干，其中所 述交换机构造将每个叶的每个叶端口耦合到每个主干的至少一个主干端口。
11.根据权利要求10所述的可重配置的Clos网络，其中所述交换机构造包括多个互连 基板，并且其中基板的数量等于叶的数量。
12.根据权利要求11所述的可配置的Clos网络，其中可配置交换机中的每一个包括断 开或闭合叶和主干之间的双向信号路径的机制。
13.根据权利要求12所述的可配置的Clos网络，其中所述可配置交换机被编程为将 每个叶的每个端口耦合到每个主干的端口，并且将每个主干的每个端口耦合到每个叶的端 □。
14. 一种用于配置Clos网络的方法，包括：确定叶的数量和主干的数量，叶中的每一个 和主干中的每一个具有多个端口；并且操作交换机以将每个叶的每个端口耦合到每个主干 的至少一个端口，并且将每个主干的每个端口耦合到每个叶的至少一个端口。
15.根据权利要求14所述的方法，其中叶的数量小于叶中端口的数量，并且主干的数 量等于叶的数量。
【文档编号】H04L12/28GK104380679SQ201280074442
【公开日】2015年2月25日 申请日期:2012年5月1日 优先权日:2012年5月1日
【发明者】M.施兰斯克, J.R.G.桑托斯, M.R.T.谭, G.张, S-Y.王, J.托里尔赫斯 申请人:惠普发展公司，有限责任合伙企业