专利名称：一种大规模集群网络布线的方法
技术领域：
本发明涉及大规模集群的网络设计和部署，具体的说是一种大规模集群网络布线的方法。
背景技术：
高性能计算(HPC)通常使用计算节点，在高速互联网络中，使用MPI等并行计算环境，运行并行计算软件，加速科学运算的效率。伴随着高性能计算能力的的需求，大规模集群越来越多的被应用于高校和科研院所。大规模集群的网络布线的设计，对于实现网络冗余，提高网络带宽，减少网络延迟是一项极为重要的工作。绝大部分HPC计算集群都在100个节点以内，机柜数量多维持在4个机柜以内，对于网络拓扑和机柜拓扑都比较直观，复杂度较低，网络设计对网络性能不会带来太大的影响。对于200个节点以上大规模集群，一般需要6个以上的机柜和交换机；针对infiniband铜缆线缆成本较高，材质较粗的特点，需要详细制定出线缆数量规划，以便进行线缆的定制和采购。网络拓扑和网络线缆的数量和长度的不确定性，对于网络部署也是很大的挑战，设计不合理会导致大量的人力和物力的浪费。
发明内容
本发明的技术任务是解决现有技术的不足，提供一种大规模集群网络布线的方法。本发明的技术方案是按以下方式实现的，该一种大规模集群网络布线的方法，是将计算网、管理网和ipmi网络三种网络分离进行布线，其具体布线过程为
第一步，集群设备规划结合计算设备，制定计算网络拓扑；
第二步，针对管理网和ipmi网络设备特点，制定管理网和ipmi网络的拓扑架构； 第三步，结合网络拓扑及机房环境，制定机柜拓扑；
第四步，计算线缆数量；
第五步，进行网络布线；
第六步，使用测试工具进行集群网络性能测试。所述第四步中计算线缆数量的具体过程为针对机柜拓扑，采用excel工具，从左至右，依次统计每2个机柜之间的线缆数量，结合机柜高度及长度确定线缆长度，汇总最终数据，确定所需线缆具体数据。所述第五步中的网络布线是指针对实际拓扑机构进行设备上架和线缆部署工作。所述第六步中的集群网络性能测试是指使用pingpong工具测试网络带宽和网络延迟。所述计算网是指infiniband网络、管理网和IPMI网络均为千兆以太网。本发明与现有技术相比所产生的有益效果是
本发明的一种大规模集群网络布线的方法通过三网分离的原则，保证计算、管理和IPMI网络的独立性，独立的网络不仅保证了不同需求对应不同的网络，保证网络安全性和稳定性，同时避免产生网络风暴；infiniband计算网络采用一二级网络分离保证计算网络的冗余性；IB线缆采用聚合模式，起到增加网络带宽，保证集群计算性能的特点；针对infiniband铜缆线缆数量的计算,采用excel工具结合机柜拓扑,从左至右,依次统计每2个机柜之间的线缆数量，结合机柜高度及长度确定线缆长度，汇总最终数据；IB线缆能保证通讯性能的同时，不同长度的线缆成本差距太大，采购周期很长，根据该网络拓扑架构方法和布线设计方法能够准确快速的计算出线缆的长度和数量，以便提前进行采购和线缆的定制，满足高性能计算客户的实际需求。
附图1是本发明的分布流程图。附图2是本发明实施例的计算网络拓扑架构图。附图3是本发明实施例的管理网络拓扑架构图。附图4是本发明实施例的IPMI网络拓扑架构图。附图5是本发明实施例的机柜拓扑架构图。附图6是本发明实施例的线缆计算示意图。
具体实施例方式下面结合附图对本发明的一种大规模集群网络布线的方法作以下详细说明。如附图1所示，该 一种大规模集群网络布线的方法，采用计算网、管理网和IPMI网络三种网络分离，所述计算网是指infiniband网络、管理网和IPMI网络均为千兆以太网。其具体布线过程为
第一步，集群设备规划结合计算设备，制定计算网络拓扑，在保证全线速的网络带宽前提下，确定ib交换机之间的级联线缆数量，保证infiniband高速网络的冗余性和网络带宽。第二步，针对管理网和ipmi网络设备特点，制定管理网和ipmi网络的拓扑架构，保证节点之间的正常通讯和网络带宽，三网分离，互不干扰。第三步，结合网络拓扑及机房环境，制定机柜拓扑，保证机柜之间线缆分布均匀和计算设备散热良好。第四步，针对机柜拓扑，采用excel工具，从左至右，依次统计每2个机柜之间的线缆数量，结合机柜高度及长度确定线缆长度，汇总最终数据，提起准备采购对应型号的线缆。第五步，针对实际拓扑机构进行设备上架和线缆部署工作。第六步,使用pingpong工具测试网络带宽和网络延迟。
实施例本发明以某279节点的HPC集群为例，该集群包含I个管理结点、I个登录结点、16个IO结点、261个计算刀片节点,具体布线如下。首先设置计算网络拓扑构架，该构架结构如附图2所示，该计算网络拓扑构架包括两层结构，一层为9个二级IB交换机链路冗余，另一层为16个一级IB交换机(含8个IB交换模块)直连刀片和机架服务器，在附图中具体表示为1、9个36 口交换机，2、IB线缆，3、8个36 口交换机，4、I个36 口交换机，5、7个36 口交换机，6、与5连接的双子星服务器(含125个节点)，7、与3连接的刀片服务器(含136个节点)，8、IO服务器。其次设置管理网络拓扑构架和IPMI网络拓扑构架，如附图3、图4所示，其中管理网络拓扑构架采用7个48 口 H3C千兆交换机通过六类网线互相级联而成，图3中9即为48口千兆交换机；IPMI网络拓扑构架采用4个H3C千兆交换机通过六类网线互相级联而成，图4中10即为4个千兆交换机。
设置机柜拓扑构架，如附图5所述，该集群包含7个标准机柜，3个30cm宽空调、3个60cm宽空调。如附图6所示,结合机柜拓扑指定infiniband线缆计算方式使用excel工具,结合标准机柜信息，保证散热和强弱电分离的原则，进行线缆长度和数量的估算，以便提前定制和米购，缩短米购周期和缩减米购成本。本发明通过高效的HPC实施方法，降低实施成本，增强HPC集群网络的稳定性和可靠性，实现对HPC项目的保护·。
权利要求
1.一种大规模集群网络布线的方法，其特征在于是将计算网、管理网和ipmi网络三种网络分离进行布线，其具体布线过程为 第一步，集群设备规划结合计算设备，制定计算网络拓扑； 第二步，针对管理网和ipmi网络设备特点，制定管理网和ipmi网络的拓扑架构； 第三步，结合网络拓扑及机房环境，制定机柜拓扑； 第四步，计算线缆数量； 第五步，进行网络布线； 第六步，使用测试工具进行集群网络性能测试。
2.根据权利要求1所述的一种大规模集群网络布线的方法，其特征在于所述第四步中计算线缆数量的具体过程为针对机柜拓扑，采用excel工具，从左至右，依次统计每2个机柜之间的线缆数量，结合机柜高度及长度确定线缆长度，汇总最终数据，确定所需线缆具体数据。
3.根据权利要求1所述的一种大规模集群网络布线的方法，其特征在于所述第五步中的网络布线是指针对实际拓扑机构进行设备上架和线缆部署工作。
4.根据权利要求1所述的一种大规模集群网络布线的方法，其特征在于所述第六步中的集群网络性能测试是指使用pingpong工具测试网络带宽和网络延迟。
5.根据权利要求1 4中任一所述的一种大规模集群网络布线的方法,其特征在于所述计算网是指infiniband网络、管理网和IPMI网络均为千兆以太网。
全文摘要
本发明提供一种大规模集群网络布线的方法，是将计算网、管理网和ipmi网络三种网络分离进行布线，其具体布线过程为集群设备规划结合计算设备，制定计算网络拓扑；制定管理网和ipmi网络的拓扑架构；制定机柜拓扑；第四步，计算线缆数量；进行网络布线；使用测试工具进行集群网络性能测试。该一种大规模集群网络布线的方法和现有技术相比，独立的网络不仅保证了不同需求对应不同的网络，保证网络安全性和稳定性，同时避免产生网络风暴，满足高性能计算客户的实际需求。
文档编号H04L12/24GK103051474SQ20121055389
公开日2013年4月17日 申请日期2012年12月19日 优先权日2012年12月19日
发明者陈良华, 陈哲, 杜彦魁 申请人:浪潮电子信息产业股份有限公司