阶数灵活的低直径大规模互连网络拓扑结构及路由方法
【技术领域】
[0001] 本发明涉及通信领域中的互连网络，具体涉及一种用于大规模互连网络的阶数灵 活的低直径拓扑结构及其路由方法。
【背景技术】
[0002] 当下，大规模计算系统的规模已经超过几万个节点，如我国的天河2号超级计算机 系统和IBM的蓝色基因 （Blue Gene/Q)系统。这些大规模计算系统对系统的整体性能、构造 成本以及功耗都有严格的要求和需求。互连网络是大规模计算系统的重要组成部分，而且 在完成整个系统的设计目标中占有重要地位。端到端的网络延迟、网络带宽以及成本和功 耗开销都是用来评估互连网络的重要指标。设计网络拓扑结构对构造大规模计算系统的互 连网络非常重要。
[0003] 为满足更多不同应用和规模的大规模计算系统，网络拓扑结构设计需要考虑以下 三个指标：
[0004] 1.成本开销和能耗开销性价比。对于E(Exascale= IO18 =百亿亿（IO2X IO8X IO8) Flops)级高性能计算(High Performance Computing，HPC)系统，系统平台成本要求在200M 美元以下和功耗开销要在20MW以下。在整个E级HPC系统构造中，构造互连网络的成本开销 和功耗开销能占到整个系统的33%和50%。所以，一个成本开销和能耗开销性价比高的拓 扑结构对E级HPC系统必不可少。
[0005] 2.端到端延迟。端到端的延迟主要决定于网络直径和实际系统的物理部署。一个 好的拓扑结构不仅要求网络直径低还要求便于部署，因此，更低的端到端延迟也是优化网 络性能的重要指标。
[0006] 3.拓扑结构的灵活性。高性能计算系统因为应用需求不同，从几百到几万个节点 的规模需求也不一样。所以，拓扑结构的灵活性也是拓扑设计中的重要指标，需要拓扑结构 的灵活性可以在有限的路由器工艺下支持不同的网络规模。
[0007] 但是，在有限功耗、面积约束下，满足不断增长的互连带宽及性能需求，实现大规 模、高密度、高性能的系统互连网络，完成上述目标存在一些挑战。端到端的延迟主要决定 于网络直径和实际系统的物理部署。所以，一些拓扑结构已经被提出来解决低网络直径的 拓扑结构，如:Dragonfly、HyperX、Skywalk和Slim Fly等，可是这些拓扑结构在现有的路由 器工艺条件下难以实现E级计算系统。目前，构造低直径拓扑结构的都是基于高阶路由器， 但是，由于芯片的物理资源和功耗开销限制路由芯片阶数的增长，这些低直径拓扑结构难 以任意扩展规模。在电信号互连的路由芯片中，SerDes的面积、Crossbar的复杂性以及芯片 边界带宽的限制使得芯片在保证每个端口带宽的同时阶数增长困难。而且，阶数的增长会 导致路由芯片更大的功耗负担。例如，一个单向SerDes链路传输一个数据位(bit)的数据需 要消耗20pJ，那么Intel最新提出来的Omni-path架构需要在SerDes上消耗160W。因此，目前 有研究提出使用娃光子学来解决芯片带宽、电能耗等问题。Altera和Avago已经生产出一款 应用了嵌入式并行光模块MicroPOD的FPGA芯片。尽管相关光信号技术日渐成熟，但是因为 光模块聚合的限制使得每个路由芯片仍然不能引出更多的端口。随着E级计算时代的到来， 路由器阶数的问题越来越重要。另外一个挑战则是如何折中设计互连网络。为了控制系统 的复杂性，数据中心提出使用机柜规模的计算系统代替传统的模块系统，机柜规模的计算 系统可以提供高带宽，针对机柜级的应用提出灵活有效的路由机制和拥塞控制。这样的系 统同样适用于高性能计算系统的一些固定应用。但是，如何折中机柜间和机柜内部的带宽 来实现整个系统的最优性能仍是一个开放性课题。
[0008]自从Flattened ButterfIy结构的提出，使用高阶路由器搭建互连网络系统是主 要手段。很多高阶拓扑也相继提出，如Fat tree结构、Dragonf Iy结构、HyperX结构、Skywalk 结构、SI i m FI y结构等。高阶拓扑结构相比低阶拓扑结构能够获得更小的网络直径，比如 Torus和Mesh。然而，目前这些高阶拓扑结构采用当前工艺的路由器不能够支持E级HPC系 统。Fat tree结构是最经典的高阶拓扑结构之一，可以通过添加层数来增加规模且不使用 更高阶的路由器，但Fat tree拓扑结构难以扩展，且在物理实现时，布线密度和布线不规整 是其非常大的缺点。Dragonf Iy结构不仅网络直径低而且结合了电线通信和光缆通信的优 势减少成本开销，但是，一旦路由器阶数确定，其所能搭建的最大规模一定。HyperX结构是 一个可以灵活配置的拓扑结构，但是每一维结构上都是全互连导致扩展性受限。Skywalk结 构虽然可以支持任意规模并且限制链路的长度，但是路由策略等因素都是不可控制的。 Slim Fly是直径为2能近似支持最大规模的结构，但是受限于固定的路径和网络规模。
【发明内容】
[0009] 本发明的一个目的在于针对基于已有互连网络拓扑结构无法克服现有路由器工 艺的缺点与不足，无法支持E级HPC系统，提供一种阶数灵活的低直径大规模互连网络拓扑 结构。
[0010] 本发明另一个目的是在所设计的拓扑结构上提供一种路由方法。
[0011]为了达到第一个目的，本发明采用以下技术方案实现:阶数灵活的低直径大规模 互连网络拓扑结构，整个拓扑分成两层结构，由a个路由节点全互连组成一个大的超级路由 节点作为第一层结构，超级路由节点中的a个路由节点分别记为第0路由节点、第1路由节 点、…、第t路由节点、…、第a-Ι路由节点，0 < t ^ a_l，a、t均为整数。第二层结构则是以第一 层结构为基础，将每个超级路由节点按Galaxy图的方式连接其它超级路由节点，其中所述 的连接是由第一层结构中a个路由节点各引出的h条链路提供，h为整数。Galaxy图是一个可 以灵活配置的图，根据实际系统的配置需求，调整Galaxy图的参数配置，从而构建整个网络 拓扑。
[0012]本发明Galaxy图由参数n、q决定，n、q均为整数。
[0013] Galaxy图中有η个簇(cluster)，记为第0簇、第1簇，…，第k簇，…，第η-I簇， n-1，k为整数。每个簇内有q个节点且满足f = _似+ ，其中δ e {-1，〇，I}，^为整数，q个节点 分别记为第〇节点、第1节点、…、第i节点、…、第q-Ι节点。〇 < i ^ q_l，i为整数。每个节点引 出（q-S)/2条链路连接同一簇的其它(q_S)/2个节点，并引出η-I条链路分别连接其它η-I个 簇中的节点。
[0014] 每个节点用二维坐标表示，第k簇内的第i节点的二维坐标记为（aioau…曰^… ai(n-i)，k)，第一维的η元组ai〇air"ais"_ai(n-i)表示的是当前超级路由节点分别与其他η-I个 簇有连接关系的超级路由节点的编号，i表示该节点为第k簇内的第i节点，其中als表示第k 簇的第i节点（ai〇air"ais'"ai(n-I)，k)连接第s簇的节点（aj〇ajr"ajk'"aj( n-i)，s)，其中ajk = ais，0 < ais < q-1，0 < j < q-1，aik=i，0 < s < n-1，s、j均为整数。第二维的k表示该节点位于 第k簇内。
[0015] Galaxy图中第k簇跟第s簇两个节点之间相连的条件如下：
[0016] (1)若k〈s，那么：
[001 7]当且仅^Elis-Eljs E X，（aiOElil· · .Elis· · ·Eli(n-1)，k)与（EljOEljl· · .Eljs· · ·Elj (η-1)，k)相连 〇 [0018]当且仅当aik-ajk^X'，（ai〇aii...aik...ai(n-1)，s)与（aj〇aji...ajk...aj(n-i)，s^l^^。
[001 9]当且仅^Elis - Eljk，（EliOElil· · .Elis· · ·Eli(n-1)，k)与（EljOEljl· · · ·Elj (n-1)，S )相连。
[0020] (2)若 k = s，那么：
[0021 ]当且仅^Elis-Eljs E X，（aiOElil· · .Elis· · ·Eli(n-1)，k)与（EljOEljl· · .Eljs^ · ·Elj (η-1)，k)相连。
[0022] (3)若 k>s，那么：
[0023] 当且仅当ais-ajs^X'，（ai〇aii...ais...ai(n-1)，k)与（aj〇aji...aj s...aj(n-i)，k^l^^。
[0024] 当且仅当aik-ajk^X，（ai〇aii."aik."ai(n-1)，s)与（aj〇aji."ajk."aj(n-1)，s)相连。
[0025] 当且仅 ^Elis - Eljk，（ EliOElil · · .Elis ^ · · Eli (η-1)，k )与（EljOEljl · · .Eljk· · · Elj (η-1)，S )相连。
[0026] 其中，X和f定义如下，ξ为有限域Fq的生成元：
[0031] 需要说明的是，在求集合X和X'时候，都需要对集合中的元素作模q运算得出的值 才是集合的内容;Galaxy图中第k簇跟第s簇两个节点之间相连条件判断时，表达式ai s_ajs 等是否属于集合X或f，也是对als_a#作模q运算再判断是否属于集合X或X'，但为了表达的 简洁性，相关数学论文中没有特别说明要作模q运算[Maciej Besta等,Slim Fly:A Cost Effective Low-Diameter Network Topology"（一种成本有效的低直径网络拓扑Slim Fly), International Conference for High Performance Computing,Networking, Storage and Analysis2014(SC2014),第二章节第二部分]。因此，本发明中在求集合X和 V、以及判断Galaxy图中第k簇跟第s簇两个节点之间是否相连时，没有特别说明要作模q操 作。
[0032] 实际结构中，每个路由节点由三维坐标(aioau. · .aik. · .ai(n-i)，k，t