专利名称：丛集系统的网络切换架构的制作方法
丛集系统的网络切换架构
技术领域：
本发明有关种电脑系统的网络接口，特别是一种丛集系统的弹性网络切 换架构。背景技术：
典型的丛集电脑通常使用专属的网络接口作为其丛集切换装置，并需在千 兆位组以太网络(Gigabit Ethernet),无限宽带(InfiniBand)、百亿字节以 太网络(10 Gigabit Ethernet)等等不同类型的网络接口之间切换。某胜具有 弹性的丛集系统，如升阳刀锋8000系列(Sun Blade 8000 series),升阳微系 统公司(Sun Microsystems Inc.)的产品具有弹性化的隔间配置供其丛集切换 装置与网络接口使用。不过，其被分配的实体空间太过狭小，且其需要完全不 同的设计才能支持不同的网络接口 。
在一个具有多个1U刀锋型(lU-blade; U指刀锋服务器领域常用的单一刀 锋特定高度)计算节点(computation nodes)的典型丛集系统，网络接口控制 器(Network Interface Controller, NIC;其中'种常见的型态即是俗称的网 络芯片)通常被安装在主机板上，成为每个计算节点都有的一部份；且每个计 算节点被提供至少一种网络接口，以连接此丛集系统的一个集中化网络切换模 块(centralized network switch module)。其屮网络切换模块与网络接口控 制器间的实际连接方式，可通过传输线(cable)或印刷电路板(printed circuit board)如背板(backpl雄)、中板(middle plane)或其它电路板类的连结方 式。
图1显示丛集系统的一种典型实施例子。该系统包含一丛集网络切换器、 连结装置(如传输线或电路板)、 一主节点与四个计算节点。每个节点都内建有 一专属的网络接口控制器；在该例中，网络接口控制器成为每个计算节点的一 部份，通常因而影响了运算密度(computation density)。不过，为了要达到 一个较为密实的设计，实体上每个计算节点并没有足够的空间可以允许多种网 络接口，包括网络接口控制器与其对应的连接器。也就是说，每个节点仅使用 单一型式的网络接口，而由其丛集网络切换器处理所有的网络切换工作。所以， 如果要在该丛集系统中达到不同接口间的网络切换工作，例如千兆位组以太网 络(Gigabit Ethernet)、无限宽带(Inf iniBand)、百亿字节以太网络(10 Gigabit Ethernet)等等，通常需要截然不同的系统设计。
某些其它具有弹性的实施例子如升阳刀锋8000系列，将其系统输入输出接 口 (system Input/Output interface)如高速周边组件连接(PCI Express;Peripheral Component Interconnect Express)连接至ll一个高速网络模块
(Network Express Module)。不过，所分配的实体空间过于狭小且此高速网络
模块的功能也相当有限。基于所能使用的空间，大多数的网络接口设计需要被
一起安装在各节点上；这样一来，如果系统改用其它不同的网络接口，整个模
块将需要被重新设计。
上述的典型实施例子包括了以下的缺点(1)大多数的系统设计是针对单
一型式网络接口进行最佳化的；(2)在某些实施例子中，其网络接口对于计算 节点的设计存在着严重的依赖性；(3)即使丛集系统具备空间配置上的弹性， 被分配的实体空间也不足以支持多种网络接口 。
发明内容
为解决上述现有的技术问题，本发明提供一种丛集系统的弹性网络切换架 构。本发明基本上允许丛集系统支持不同的网络接口，以建立一弹性的丛集网 络。本发明中，共享的网络接口插槽将能应用于不同的网络接口。
于本发明的一实施例中，网络切换架构应用于具有多个节点的丛集系统上， 该网络切换架构包含基板、 一或多个网络切换器、多个网络插槽，以及第一网 络适配卡(或第二网络适配卡)。网络切换器安装于基板上；网络插槽也安装于 基板上、且分别具有总和数量的差动对，网络插槽通过电路连接网络切换器， 并分别经由系统输入输出总线连接各节点；第一网络适配卡或第二网络适配卡 选择性的插置于网络插槽中其中一个，第一网络适配卡具有第一数量的差动对 而第二网络适配卡具有第二数量的差动对，其中总和数量为第一数量或第二数 量的超集。
于本发明的一实施例中，网络切换器包含一切换插槽，该切换插槽可选择性 的被插置一第一网络切换卡或一第二网络切换卡。该第一网络切换卡与第一网 络适配卡兼容；而第二网络切换卡与第二网络适配卡兼容。
于本发明的一实施例中，网络切换架构更包含一穿越卡，其具有一连接器接 口用以直接连接外部网络，而不需通过网络切换器。
简言之，本发明具有以下优点
(1) 允许根据不同功能进行空间配置；
(2) 使「输入输出」与「网络j功能独立于「运算」功能之外；
(3) 借由超集-子集关系的建立，使得信号分配可以最佳化；
(4) 使用相近电子特性的组件以分享同一实体的路由路径；
(5) 提供最佳化的实体配置与空间分配以达到不同的系统组态。
图1绘示现有技术中丛集系统典型实例的系统方块图。
图2绘示本发明一较佳实施例所揭露的丛集系统与其弹性网络切换架构的方块示意图。
图3绘示本发明另一较佳实施例所揭露的网络适配卡与网络插槽的信号分
配示意图。
图4绘示本发明另一较佳实施例所揭露的弹性网络切换架构的方块示意图。
具体实施方式
参请参照图2，根据本发明一较佳实施例的丛集系统10主要包括一主节点 110与四个计算节点120， 130， 140， 150，以及一网络切换架构200。 类似规模 的丛集系统，目前是被典型的实施于单一机壳内，如一个人超级电脑(personal supercomputer)。
每个节点110 150基本上包括两个处理器(CPU; central processing units) 111/121/131/141/151、系统内存(图未示)与南桥(SB; South bridge) 112/122/132/142/152。节点110 150的系统架构取决于使用者需求，并不限 定于本发明所揭露者；某些例子中可能会有北桥(North Bridge)或整合的桥 接芯片(integrated bridge chip),而系统内存的存取架构也可能会有不同的 设计(视内存控制器是整合于处理器或是北桥芯片中)。节点110 150通过两 个(第一与第二)输入输出总线(113， 114)/(123， 124)/(133, 134)/(143， 144) / (153,154)与可用的板X寸板连接器(board-to-board connectors;图未示) 连接到网络切换架构。系统输入输出总线(113， 114) / (123， 124) / (133， 134) / (143,144) / (153,154)的其中一个例子是高速周边组件连接(PCI Express; Peripheral Component Interconnect Express), 其为今日典型电月茵系统中常 用的典型高速输入输出连接规格，借以提供系统层级(system-level)的输入 输出总线连结。某些系统可进一步使用 一连接电路板(interconnect ion Printed Circuit Board)作为节点110 150与网络切换架构200间的连接接口。此类 电路板通常被称做背板(backplane),中板(middle plane),底板(bottom plane)
或其它型态的内连接板。
网络切换架构200的功能如同「输入输出船(1/0boat)」 一般，其主要包 括第一网络切换器210、多个(5个)第一网络接口 211， 212， 213， 214， 215，第 二网络切换器220、多个(5个)第二网络接口 221， 222， 223， 224， 225，全部都 安装在基板230上。有了相同的第一与第二系统输入输出总线(113,114) / (123,124) / (133,134) / (143,144) / (153,154)在基板230上提供路由路 线，第一与第二网络接口 211 215，221 225便能分别与节点110 150连接。 第一与第二网络接口 211 215， 221 225同时也分别与第一网络切换器210、第 二网络切换器220电路连接(in circuit connection)。通过第一与第二网络 切换器210，220，节点110 150将能通过以下两个路径彼此通信(1)第一网 络接口 211 215与第一网络切换器210;及(2)第二网络接口 221 225与第二网络切换器220。同时，第一网络切换器210连接一第一外部网络，例如因特 网(internet),局部局域网络(local area network; LAN)或大型丛集网络 (clustering network);类似的，第二网络切换器220将能连接一第二外部网 络。
第一网络接口 211 215、第一网络切换器210与第一外部网络将兼容于一 同一通信协议，例如无限宽带(InfiniBand)、千兆位组以太网络(Gigabit Ethernet)等等。而第二网络接口 221 225、第二网络切换器220与第二外部 网络将兼容于一同一通信协议，例如无限宽带、千兆位组以太网络等等。也即 网络切换架构200将允许其节点110 150通过相同或不同型态/通信协议的网 络接口彼此通信或向上连结(uplink)。
为了要在向上连接/内部连接协议上具有弹性，第一网络切换器210与第二 网络切换器220分别被设计为是可置换的。在某些例子中，第一网络切换器210 可进一步包括第一切换插槽(图未示)与插置其中的第一网络切换卡(图未示)； 类似的，第二网络切换器220可进一步包含第二切换插槽(图未示)与插置其 中的第二网络切换卡(图未示)。如果该些切换插槽是与多种网络接口型态兼 容，如无限宽带、千兆位组以太网络等等，该些切换插槽将能选择性的支持并 连接第一网络切换卡或第二网络切换卡。
一般而言，第一与第二网络接口 211 215，221 225可借由「在板 (on-board)J网络接口控制器(network interface controller; NIC)或所 谓的网络芯片加以实现。不过，为了在向上连接/内部连接种类上增加更多的弹 性，每个第一或第二网络接口 211 215， 221 225可实现为「同一插槽(图未 示)与选择性插置其中的第一网络适配卡(图未示)或第二网络适配卡(图未 示)」。第一网络适配卡与第二网络适配卡上皆分别具有其网络接口控制器，但 分属不同的连接协议规格。欲实现此实施方式，该些网络适配卡与网络插槽(即 插槽型态的连接器)的实体层(physical layers)将需要具备特定的特征。
其中一个重要的特征是差动对(differential pair)的数量。例如，该网 络插槽所具备的差动对数量为「总和数量(sum number)」；同时，该些第一网 络卡(第一网络切换卡或第一网络适配卡)具有「第一数量(first number)」 的差动对，而那些第二网络卡(第二网络适配卡或网络切换卡)具有「第二数 量(second number)」的差动对。为了要确保其兼容性，该「总和数量(sum n咖ber)」必须为「第一数量(first number)J或「第二数量(second number)」 的超集(superset )。
图3显示本发明另一实施例，其中仅一部份的网络切换架构40揭露于图3。 该图中使用了三种箭号图案来代表通过差动对形成的连结中空箭号与实心箭 号代表不同的连结用途，虚线箭号则代表未使用。
7在本实施例中，高速周边组件连结(PC工Express)被选为系统输入输出总 线的连接规格(图未示)。这表示网络插槽410，420，430的物理层也将遵循「高 速周边组件连结」的规范。从系统输入输出接口端来看，「高速周边组件连结」 信道通常被分类为xl/x2/x4/x8/xl6;较大数字(如x16)是较小数字(如 x2/x4/x8)的超集(superset)。本实施例中，每个网络插槽410/420/430都分 别提供8对的差动对411/421/431。那么，考虑上述提及差动对的需求，网络切 换架构40将需要可以支持至少某几种的连结，例如无限宽带(InfiniBand)、 千兆位组以太网络(Gigabit Ethernet)等等。千兆位组以太网络是一种低成 本的网络接口，而无限宽带则是一种高频宽的网络接口。通常来说，千兆位组 以太网络在其实体层上需要四对差动对；而无限宽带在其铜实体层的连街上， 则分别使用四对差动对在每个发送/接收(Tx/Rx)方向上。
既然网络切换架构40的网络插槽410，420，430可提供「足够数量」的差动 对给每个网络适配卡310， 320， 330，例如今日典型高速网络接口大多使用x8 (即 提供八对差动对411/421/431)，如此将足以支持无限宽带、千兆位组以太网络 等等，且多数的共同网络接口均可被涵盖。对于每个网络适配卡与网络插槽的 实体层而言，通常都会使用到连接交流电的差动信号接口。其通信协议与实体 层在不同接口间的使用将只有些微的不同，但基础的电性需求时十分类似的； 因此，此处的线路连接是可以共享的。如果某个网络接口所需要的差动对数量 小于八对，未被使用的差动对将保持开放状态。
有了上述的考虑，使用者可如图3选择无限宽带-主机信道适配器 (InfiniBand HCA; Host Channel Adapter)(如网络适配卡310在接收链路(Rx link)使用四对差动对，而发送链路(Tx link)使用另外四对差动对)、双端 口千兆位组以太网络(如网络适配卡320使用2乘4 (2*4)对差动对给两个通 信端口)，单端口千兆位组以太网络(如网络适配卡330使用4对差动对，剩下 的四对则任其开放)；甚至是百亿字节以太网络(图未示)也可。因此，本发 明网络切换架构的共享基础设计将保持相同；不论丛集系统何时需要使用不同 的网络接口，只要简单更换网络适配卡与网络切换卡即可。
请参阅图4，对于那些不需要将切换器内建于机壳内的大型丛集系统，网络 切换架构50将备用来满足其需求；图中仅有一部分的网络切换架构50被揭露。 在一个大型的丛集系统中，使用者通常会使用「外部」网络切换器(独立于本 发明丛集系统之外)，以避免因增加了切换层造成额外费用增加。
在图4中，网络切换架构50包括网络插槽511，521，531，541，551用以插 置一穿越卡560与多个标准的网络适配卡520， 530， 540， 550。实际上，穿越卡 560可选择性的被插置在任意一个网络插槽511， 521， 531， 541， 551，而置换任一 个网络适配卡520， 530， 540， 550。 一般而言网络插槽511， 521， 531， 541， 551可提供到达切换插槽571与网络切换卡的连接570，且该些标准的网络适配卡 520 550可通过网络切换卡570与安装在机壳500上的切换连接器连接到外部 网络。如今既然穿越卡560本质上只是一张长度较长、且具有-一个外部连接器 561安装在机壳500上的网络适配卡(其上配置有网络接口控制器或网络芯片)， 穿越卡560将可直接连接外部网络。
在图4中，所有的模块都是平行排列的。即使使用者是使用一穿越卡来作 为直接的外部网络接口、而非通过网络切换模块，此设计也不会存在任何机构 上的干涉。如此穿越卡的配置可允许小型的丛集系统加入大型丛集运算中，而 不需修改任何的系统基础架构。也就是说，此具备穿越卡的网络切换架构，将
使得丛集系统可以进一步升级。
以下为本发明的优点总览。首先，本发明在相同的系统基础架构下提供了
弹性的网络选择。同一组的网络接口插槽与网络切换插槽在相同的基板设计下， 可使用不同的网络接口。同时，相同的基板设计下又提供了穿越卡直接连接外 部网络的功能。其次，该切换架构可被应用为网络切换架构之外，也兼有输入 输出架构的功能，例如储存架构(storage fabric)。再者，此设计非常易于追 踪错误与制造；由于要更换个别模块如网络适配卡或网络切换器是相当容易的， 故也有助于隔离失效区、组装更加顺畅。
总而言之，与解决现有技术的缺点与技术问题，本发明具有以下的实施特
点
(1) 可视功能来进行隔间配置本发明縮小了不同功能间彼此的依赖性， 例如输入输出、网络接口与运算；如此一来，便允许使用者可以基于功能来独
立升级。由于处理器与输入输出接口的技术发展/迁徙通常是独立的，有了本发 明的设计与造成的隔间便利性，二者的升级将可独立被完成。而且，本发明所 揭露被隔开的网络组件与网络功能，让使用者可以只单独更换网络组件，而其
余的系统设计则无须更改；
(2) 分配足够的实体空间给输入输出部分，以达到多功能的实施如此为
输入输出部分提供更大的弹性。只要有足够的空间，系统就可允许像网络接口、 网络切换器这样的另一个功能隔间配置存在于系统中。为了达到相同的功能，
我们不需像升阳刀锋8000系列一样，把所有组件都配置在输入输出架构上；
(3) 在不同的网络接口上共享实体的路由大多数的网络接口具有相似的
电性特征，如在交流电连接下有相似的差动信号收发。如此，相同的路由线路
就可被共享；这样就提供了在同一丛集系统选择不同网络接口的弹性；
(4) 最佳化的信号分配以支持不同网络接口某些状况下每个网络接口 的信号数量是不同的。如果系统设计者从一网络接口小心分配一组信号到网络切换器，即使每个网络接口的信号数量不相同，同一控制器上仍可支持不同的 网络接口。
权利要求
1、一种网络切换架构，应用于具有若干节点的一丛集系统上，其特征在于，该架构包含一基板；至少一网络切换器，安装于该基板上；若干网络插槽，安装于该基板上且分别具有一总和数量的差动对，该些网络插槽通过电路连接该网络切换器，并分别经由至少一系统输入输出总线连接各该节点；一第一网络适配卡或一第二网络适配卡选择性的插置于该些网络插槽中至少其中一个，该第一网络适配卡具有一第一数量的差动对而该第二网络适配卡具有一第二数量的差动对，该总和数量为该第一数量或该第二数量的超集。
2、 如权利要求l所述的网络切换架构，其特征在于该网络切换器包含一 切换插槽，该切换插槽选择性的插置有一第一网络切换卡或一第二网络切换卡。
3、 如权利要求2所述的网络切换架构，其特征在于该第一网络切换卡与 该第一网络适配卡兼容，而该第二网络切换卡与该第二网络适配卡兼容。
4、 如权利要求2所述的网络切换架构，其特征在于该第一网络适配卡及 该第一网络切换卡与千兆位组以太网络兼容，该第二网络适配卡及该第二网络 切换卡与无限宽带兼容。
5、 如权利要求l所述的网络切换架构，其特征在于更包含一穿越卡选择 性的插置于该些网络插槽其中一个，以直接连接一外部网络、而不需通过该网 络切换器。
6、 如权利要求5所述的网络切换架构，其特征在于该穿越卡为另一网络 适配卡，其具有较长的长度并具有一外部连接器以直接连接该外部网络。
7、 一种网络切换架构，应用于具有若干节点的一丛集系统，其特征在于,，该架构包含 一基板；至少一网络切换器安装于该基板上；若干网络插槽，安装于该基板上且分别具有一总和数量的差动对，该网络 插槽通过电路连接该网络切换器、并经由一第一系统输入输出总线或一第二系统输入输出系统总线连接各该节点；一第一网络适配卡或一第二网络适配卡选择性的插置于该些网络插槽中至 少其中一个，该第一网络适配卡具有一第一数量的差动对而该第二网络适配卡 具有一第二数量的差动对，该总和数量为该第一数量或该第二数量的超集。
8、 如权利要求7所述的网络切换架构，其特征在于该网络切换器包含一 切换插槽，该切换插槽选择性的插置有一第一网络切换卡或一第二网络切换卡。
9、 如权利要求8所述的网络切换架构，其特征在于该第一网络切换卡与 该第一网络适配卡兼容，且该第二网络切换卡与该第二网络适配卡兼容。
10、 如权利要求8所述的网络切换架构，其特征在于该第一网络适配卡. 及该第一网络切换卡与千兆位组以太网络兼容，该第二网络适配卡及该第二网 络切换卡与无限宽带兼容。
11、 如权利要求8所述的网络切换架构，其特征在于更包含一穿越卡选 择性的插置于该些网络插槽其中一个，以直接连接一外部网络、而不需通过该 网络切换器。
12、 如权利要求ll所述的网络切换架构，其特征在于该穿越卡为另一网 络适配卡，其具有较长的长度并具有一外部连接器以直接连接该外部网络。
13、 一种网络切换架构，应用于具有若干节点的一丛集系统，其特征在于， 该架构包含一基板；一第一网络切换器与一第二网络切换器安装于该基板上； 若干第一网络接口安装于该基板上，各该第一网络接口分别通过电路连接该第一网络切换器、并通过一第一系统输入输出总线连接各该节点，以允许该些节点彼此连接、并连接至一第一外部网络；若干第二网络接口安装于该基板上，各该第二网络接口分别通过电路连接该第二网络切换器、并通过一第二系统输入输出总线连接各该节点，以允许该些节点彼此连接、并连接至一第二外部网络。
14、 如权利要求13所述的网络切换架构，其特征在于各该第一网络接口 包含一网络插槽、其中插置有一第一网络适配卡，且各该第二网络接口包含另 一相同的网络插槽、其中插置有一第二网络适配卡。
15、 如权利要求14所述的网络切换架构，其特征在于更包含一穿越卡， 选择性的插置于该网络插槽，以直接连接该第一外部网络或该第二外部网络， 而不需经由该第一网络切换器或该第二网络切换器。
16、 如权利要求15所述的网络切换架构，其特征在于该穿越卡为另一网 络适配卡，其具有较长的长度并具有一外部连接器以直接连接该第一外部网络 或该第二外部网络。
17、 如权利要求13所述的网络切换架构，其特征在于该第一网络切换器包含一切换插槽选择性的插置有该第一网络切换卡或该第二网络切换卡。
18、 如权利要求13所述的网络切换架构，其特征在于该第二网络切换器包含另一切换插槽选择性的插置有该第一网络切换卡或该第二网络切换卡。
全文摘要
一种应用于丛集系统的弹性网络切换架构，用以提供网络相关的连结选择弹性与系统可升级性。该网络切换架构包含可置换的网络切换器与网络接口，选择性的配置于基板上。具有类似特性的多种不同型式的连结协议，将能被使用在此网络切换架构的一个共同基础架构上。在该网络切换架构上也可使用一穿越卡，该穿越卡可作为网络接口，以直接与一外部网络连接。穿越卡可让该网络切换架构支持丛集系统的可升级性，借该而能支持大型丛集运算。
文档编号G06F3/00GK101599837SQ20081002858
公开日2009年12月9日 申请日期2008年6月6日 优先权日2008年6月6日
发明者平井智则, 游明哲, 黄宏城 申请人:佛山市顺德区顺达电脑厂有限公司