支持热插拔的输入和输出子系统的制作方法

本发明的实施例一般地涉及数据中心的电子机柜。更具体地，本发明的实施例涉及电子机柜的支持热插拔的输入和输出子系统。

背景技术：

已经投入努力对计算机服务器添加热插拔能力。因为在设计时通常难以确定每个服务器的热插拔要求和使用率，所以即使仅将要占用一个或两个插槽，对系统中的每个pcie插槽(例如，每服务器4-8个插槽)添加热插拔硬件也代价昂贵。大多数服务器不搭载任何插件卡运行。插件卡还可以具有与服务器所提供的形状因子不同的形状因子。例如，服务器可以仅提供半高的外设部件高速互连(pcie)插槽，由此导致无法处理全高pcie卡。

通常，一个或多个pcie交换机被布置在计算机机架内。因为常规pcie构造仅允许单个根复合体，每个机架仅可以连接到一个服务器。为了升级(例如，从一代pcie到另一代)到新的pcie交换机，机架内的全部部件(例如，托管pcie交换机和插槽的主板和/或卡、管理处理器)需要被更换。这多数是由于全部部件被测试和绑定到pcie交换机而导致。这样的配置不灵活且性价比不高。

附图说明

在附图中通过示例而不是限制的方式说明本发明的实施例，在附图中相同的附图标记指示相同的元件。

图1a-1b是图示根据本发明的一个实施例可以在数据中心中使用的服务器的电子机柜的框图。

图2是根据本发明的一个实施例的io子系统机架的示例的立体图。

图3a-3b示出了根据本发明的特定实施例的io子系统机架的主视图和后视图。

图4a-4b示出了根据本发明的一个实施例的io子系统机架的立体图。

图5a-5b示出了根据本发明的特定实施例的io模块的立体图和分解图。

具体实施方式

参考以下说明的细节来描述本发明的各种实施例和方面，附图将图示各种实施例。下面的描述和附图说明本发明，并且不应当被解释为限制本发明。描述很多具体细节以提供对本发明的各种实施例的透彻理解。然而，在特定情况下，没有描述公知或常规细节，以便于提供对本发明的实施例的简明讨论。

在本说明书中所称的“一个实施例”或“实施例”是指结合实施例描述的具体特征、结构或特性可以被包括在本发明的至少一个实施例中。在说明书中各处出现的表述“在一个实施例中”不必全部指同一个实施例。

根据本发明的一些实施例，输入和输出(以下简称io)子系统机架用于托管io插件卡(例如，pcie卡)。每个卡可以独立地热插入机架或从机架热移除。每个卡可以经由与相应的io插入卡的信令协议兼容的电缆独立地连接到电子机柜的服务器机架的服务器。io子系统机架包括热部件(例如，风扇和风道)、电源以及监视和管理环境的必要管理电路。热插拔硬件符合pci热插拔规范，包括提示led、提示按钮、电源led等。机械模块(例如，设备保持器或适配器)用于托管独立的pcie插件卡。io模块可以通过匹配在io模块和机架之间的配对连接器被热插入机架中。电路板用于在pcie插入卡和安装在机架内部的电缆连接器之间转换信号。注意，在本申请中，pcie卡用作io卡或外围设备的示例。然而，本文描述的技术还可以适用于其他类型的io或外围设备，诸如pci设备、pci-x设备、通用串行总线(usb)设备等。

在一个实施例中，io子系统机架包括一个或多个io模块以及具有前端和后端的壳体。壳体或容器包含用于接纳从壳体前端插入的io模块的多个io插槽。io子系统机架进一步包括布置在壳体内的基板。基板包括对应于用于接纳和连接插入的io模块的io插槽的第一连接器阵列。io模块中的每一个可以使用电缆经由后端面板被耦合到服务器。io模块中的每一个包括安装有外围设备的io卡以及具有第一接纳插口的卡保持器，第一接纳插口用于接纳和保持垂直向下插入的io卡。卡保持器进一步包括第二连接器，所述第二连接器用于当io模块从前端被插入相应的io插槽或从其移除时，在不必移除壳体的情况下，水平地与基板的第一连接器中的相应一个接合或分离。

根据另一实施例，io模块包括安装有外围设备的io卡以及布置有第一连接器和第二连接器的卡保持器。第一连接器被布置为沿水平定向的接纳插口，用于接纳和保持垂直向下插入的io卡。保持io卡的卡保持器的第二连接器用于当io模块从io子系统机架的前端被插入io插槽中的一个或从其移除时，在不必移除其中容纳io模块的壳体的情况下，水平地与布置在io子系统机架的基板上的第三连接器接合或分离。io子系统机架被布置在电子机柜内，电子机柜具有经由电缆耦合到io子系统的io模块的服务器机架。服务器机架包括多个服务器刀片，每一个服务器刀片代表服务器。

根据一个实施例，可以作为数据中心的一部分的一种电子机柜，包括具有多个服务器刀片的服务器机架。每个服务器刀片包括一个或多个处理器、存储器和/或本地存储器(例如，持久性存储设备，诸如硬盘)，并且每个服务器刀片代表服务器。电子机柜进一步包括上述io子系统机架中的至少一个。io子系统机架的io模块使用电缆被耦合到服务器机架的服务器刀片。

图1a和图1b是图示根据本发明的特定实施例的电子机柜的示例的图。参考图1a，根据一个实施例，图1a示出了电子机柜100的主视图。电子机柜100包括io子系统机架101和服务器机架102。io子系统机架101包括插入其中的io模块阵列，例如，沿垂直定向从io子系统机架101的前端插入。类似地，服务器机架102包括插入其中的服务器刀片的阵列，例如，沿水平定向从服务器机架102的前端插入。

io子系统机架101的io模块中的每一个可以使用电缆(例如，pcie链接电缆)被耦合到服务器机架102的服务器刀片中的任何一个，该电缆与安装在io模块内的相应io设备相关联的信号协议电兼容。服务器机架102的服务器刀片中的每一个可以被耦合到io子系统机架101的io模块中的一个或多个。io模块可以使用从电子机柜100的后端布置在电子机柜100的前端上的电缆被耦合到服务器刀片。在一个实施例中，使用电缆轨道或隧道将耦合io子系统101的io模块的电缆耦合到io子系统机架101的后端和服务器机架102的前端，该电缆轨道或隧道在电子机柜100的前端和后端之间延伸。

根据一个实施例，io模块中的每一个可以经由前端在不必从电子机柜100移除io子系统机架101或者移除其中容纳io模块的io子系统机架101的壳体的情况下被插入io子系统机架101或从其移除。也就是说，io模块中的每一个可以被动态地插入io子系统机架101或从其移除(例如，热插拔)。结果，可以在不显著影响电子机柜100的其余部件的操作的情况下，替换、修复和/或升级独立io模块和服务器刀片。

这样的配置的一个优点是，用户可以配置将io模块中的任何一个从电子机柜的前端连接到服务器刀片中的任何一个。通常，电子机柜的后端可以包括安装在其上的其他辅助部件(例如，热部件，诸如冷却风扇)。结果，这可能不便于从电子机柜的后端访问io模块和/或服务器刀片。

图1b示出了电子机柜的替代实施例。参考图1b，除了io子系统机架101和服务器机架102，电子机柜150进一步包括网络交换机103(例如，以太网交换机或集线器)，其允许io模块和/或服务器刀片中的任何一个连接到网络，该网络可以是内部网络(例如，出于管理的目的)、外部网络(例如，因特网)或其组合。

根据一个实施例，服务器机架102的每个服务器刀片包括一个或多个处理器、存储器和/或本地存储(例如，持久性存储设备，诸如硬盘)，并且每个服务器刀片代表服务器(如，web服务器、云服务器、应用服务器或后端服务器)。将io模块和服务器刀片分离在分立的机架中的一个优点是，服务器刀片和io模块可以被独立地管理、维修和/或升级，而不会显著影响其他机架。此外，机架通常提供集中式电力、热和冷却管理。pcie插件卡可能超过常规pcie规范的功率限制(例如，25瓦)，并且可能由于功耗而不在服务器机架内很好地工作。通过从服务器机架分离io子系统机架，机架设计还可以适应特定机柜配置，其中冷却和电力可以通过依赖于外部部件或与外部部件合作地从外部递送，例如，集中式风扇墙、机柜级dc电源。由于改善的冷却环境，专为这样的机架设计的pcie插件卡可以省略有源冷却部件，诸如风扇，并且替代地使用无源散热器，由此提高了可靠性。

当由io子系统机架101表示的io子系统是pcie子系统时，根据一个实施例，服务器机架102中的服务器刀片中的每一个可以包括pcie根复合体和/或至少一个pcie集线器或交换机设备，其允许其中具有pcie设备的io子系统机架101的pcie模块使用pcie链接电缆从其相应的pcie子系统机架被连接到服务器刀片。在这样的配置中，pcie模块可以包括作为pcie端点的一个pcie设备，而不包括pcie集线器/交换机或pcie根复合体。替代地，pcie模块可以进一步包括pcie集线器/交换机设备以及作为pcie端点的多个pcie设备。pcie设备被耦合到pcie集线器/交换机设备的下行链路端口，而pcie集线器/交换机设备的上行链路端口被耦合到服务器机架102中的服务器刀片中的一个的另一pcie集线器/交换机设备或pcie根复合体。在这样的配置中，多个pcie端点或功能可以在单个pcie模块内被实现。其他配置可以存在。

图2是根据本发明的一个实施例的io子系统机架的示例的立体图。io子系统200可以被实现为图1a和图1b的io子系统101的一部分。参考图2，在一个实施例中，io子系统200包括具有顶面板201和u形面板202的壳体，其中顶面板201可以使用诸如螺钉203a-203d的一个或多个螺钉被附连到u形面板202，形成具有前端204和后端205的壳体或容器。壳体被配置为容纳、包含或包围布置在其中的io插槽阵列中的io模块211a-211n阵列。io模块211a-211n可以如方向215上所指示地，经由壳体的前端204被插入在壳体内配置的各个io插槽或从其移除。

在一个实施例中，io模块211a-211n可以在不必移除至少壳体的顶面板201的情况下被插入壳体的io插槽或从其移除。如上所述，io子系统机架200中的一个或多个可以在电子机柜以及至少一个服务器机架(诸如图1a-1b中所示的服务器机架102)中被堆叠。在常规io子系统中，整个io子系统机架必须从电子机柜移除，并且io子系统机架的壳体必须被移除，以便于拔出io子系统模块。通过如图2中所示的配置，io模块可以被热插入io子系统机架200的io插槽或从其热拔出，而io子系统机架200仍然被堆叠在电子机柜中。io模块可以在不必移除io子系统机架的壳体的情况下，被插入相应的io插槽中或从其移除。这样的配置的一个优点是，如果独立的io模块发生故障，则可以在不显著影响io子系统机架200的其余io模块的操作的情况下，通过将io模块拔出并且远离io子系统机架200的前端204来移除该特定io模块。

在一个实施例中，耦合io子系统模块211a-211n的电缆可以被耦合到布置在io子系统机架(未示出)的基板上(也称为基面板、底板或基平面)的对应的连接器，这将在以下进一步具体描述。诸如pcie链接电缆的一组电缆235可以从电子机柜的前端，经由基板并且通过电缆轨道230将io模块211a-211n连接到服务器机架(例如，服务器机架102)的服务器刀片。

图3a-3b示出了根据本发明的特定实施例的io子系统机架的主视图和后视图。参考图3a-3b，io子系统机架200进一步包括插入在电源模块插槽中的电源模块302。然而，电源模块302仅占用电源模块插槽的一部分，在该示例中，电源模块插槽的上部，其形成在io子系统机架200的前端和后端之间延伸的电缆轨道或电缆隧道230。在后端上，存在在io子系统机架200的后面板303上安装的一个或多个冷却风扇305-306，以提供对io模块211a-211n的冷却。

此外，电缆连接器301a-301n的阵列被安装在io子系统200的背面板303上。连接器301a-301n中的每一个在其被插入相应的io插槽时，经由布置在机壳的基板(未示出)被耦合到io模块211a-211n中的一个。一组链接电缆(例如，pcie链接电缆)可以被插入连接器301a-301n，并且连接到布置在服务器机架的服务器刀片上的相应的连接器。在一个实施例中，链接电缆可以经由电缆轨道或电缆隧道230达到io子系统机架200的前端，以与服务器机架的服务器刀片的前端连接。此外，一个或多个网络连接器310(例如，以太网连接器)被安装在后面板303上，其可以经由网络电缆(例如，以太网电缆)被耦合到网络交换机或路由器，诸如图1b的交换机103。网络连接器被耦合到io模块211a-211n中的至少一些，以允许用户或管理员访问io模块211a-211n，例如用于通过网络进行io模块211a-211n的维护、配置和/或管理操作。在一个实施例中，连接器301a-301n可以是oculink^tm兼容的连接器。

图4a-4b示出了根据本发明的一个实施例的io子系统机架的立体图。图4a示出了io子系统机架200部分打开的立体图。参考图4a-4b，io子系统机架200包括布置在机架的壳体内的基板401。基板401包括布置在基板401的前边缘上的诸如连接器402a-402n(也统称为连接器402)的连接器阵列。连接器中的每一个对应于io模块211中的一个，以用于接纳插入其中的相应io模块。在一个实施例中，基板401沿水平定向被安装在壳体的底面板304上，使得基板401不会显著阻断或干扰由安装在壳体的后面板上的冷却风扇305-306生成气流。

如图4a所示，冷却气流可以在基板401上流动到达io模块211之间的空气间隙以降低io模块211的温度。结果，io模块可能不需要安装在io设备上的局部冷却风扇。相反，可以利用散热片(未示出)。在一个实施例中，基板401包括印刷电路板(pcb)或电路，用于根据与io模块211a-211n的io设备相关联的信令协议或规范(例如，pcie规范)来在连接器402a-402n和连接器301a-301n之间转换电信号。在该示例中，连接器301a-301n可以被安装在基板401的后边缘上，并且经由在机架背面板上的相应开口或切口被暴露到机架的外部。基板401进一步包括一个或多个电源连接器405，用于使用电源电缆与电源模块302连接以向io模块211a-211n提供电力。

在一个实施例中，壳体的底部面板304被配置为形成io插槽阵列403，该io插槽阵列403允许相应的io模块211a-211n(也统称为io模块或模块211)从壳体的前端204插入或滑入壳体。每个io插槽可以使用翅片(fin)或设置在底部面板304上的滑动导轨限定，以引导或对齐相应的io模块滑进和滑出。在一个实施例中，如图4a所示，io插槽可以通过从底部面板切割u字形开口并且将作为向上切割结果的翅片以相对于底面板304成大致直角弯曲或倾斜而形成。倾斜式翅片形成相应的io插槽的滑动导轨，该滑动导轨引导io模块滑入io插槽，并且与底板401的相应的连接器(例如，连接器402)对准和连接。

图5a-5b示出了根据本发明的特定实施例的io模块的立体图和分解图。io模块500可以代表上述io模块211a-211n中的任何一个。参考图5a-5b，io模块500包括安装在卡保持器502(也被称为适配器、固位器或定位器)上的io卡501。在一个实施例中，如图5b所示，卡保持器502包括用于接纳要垂直向下插入的io卡501的接纳插口503。卡保持器502进一步包括安装在卡保持器502的后端的连接器504。在io模块500被插入机架的io插槽之前，io卡501通过将io卡501插入接纳插口503形成io模块500来安装到卡保持器502上。然后，具有io卡501和被安装在一起的卡保持器502的io模块500被插入io插槽。在一个实施例中，当io模块500被插入图4a的io插槽403中的一个时，连接器504与连接器402中的相应一个接合或配对。可以通过向外和远离io插槽拔出io模块500来从io插槽移除io模块500，在此过程中，连接器504与io插槽的连接器402中的相应一个分离。

注意，尽管未示出，外围设备中的任何一个可以被安装在io卡501上。如上所述，根据本说明书，一个或多个外围设备可以被安装在io卡501上。外围设备可以是各种外围设备，包括但不限于，网络接口设备、存储接口设备、现场可编程门阵列(fpga)设备、图形处理单元(gpu)、闪速驱动器或任何其他专有或定制设备。例如，安装在io卡501上的外围设备可以是pci/pci-x/pcie兼容的设备。在一个实施例中，该卡保持器包括用于在接纳插口503和连接器504之间转换电子信号的必要电路。

在一个实施例中，在pcie配置中，每个io模块具有专用的pcie电缆连接器，其将允许与外部pcie交换机连接或直接与服务器连接。机架本身可以被设计为完全没有交换机。还可以设计具有交换机的机架，以便于将多个模块与特定量的pcie端口连接。例如，每4个模块可以通过6端口pcie交换机连接到两个服务器。

因为io卡直接对应于没有交换机的机架设计中的pcie端口，所以断开和连接pcie电缆可以用于改变pcie构造的拓扑。相比之下，具有交换机的机架将具有被机架板设计所固定的pcie构造拓扑。根据pcie标准，模块内的pcie插槽可以是x1、x4、x8或x16插槽。所采用的pcie电缆可以是x4、x8。多个pcie端口(例如，1、2或4)可以用于每个io模块。在每个模块多个端口的情况下，pcie设备可以在内部使其pcie端口二分叉或四分叉为2个或4个端口。

最终的效果是，通过改变用于pcie端口和电缆的配置，pcie设备可以作为没有分叉的单个端口端点、多个端口作为独立端点出现的多端口端点、一些端口作为端点出现而其他端口直接连接到作为上游设备的其他设备的专用网关、或者标准pcie交换机而进行工作。在一些情况下，拓扑变化甚至可以不移动电缆的情况下被修改。简言之，可能有利于特定工作负载的构造拓扑可以通过移动电缆或重新配置设备上的pcie端口来更动态地进行配置。当多个模块(从机架)内部或外部连接到pcie交换机时，其可以被独立地或成组地配置和指派给(通过pcie构造或直接地)连接到同一交换机的多个服务器，而不重新启动服务器或移动电缆。

现在参考图5b，io卡501包括安装到安装板512的pcb511，其中，pcb511包括用于安装或焊接io设备或芯片的足够的电路，诸如fpga和/或其上的交换机(例如，pcie交换机)。pcb511进一步包括以与卡保持器502的接纳插口503的引脚配置兼容的形状因子配置的触点513阵列。在一个实施例中，卡保持器502包括具有水平部分或水平板521以及垂直部分或垂直板522的l形金属框架。卡保持器502进一步包括安装在用于防止短路的水平板521的电气非导电支架532上的pcb530。接纳插槽503被安装或焊接在pcb530上。pcb530包括用于根据与io卡501相关联的信令协议来在插口503和连接器504之间转换电信号的必要电路。插口503可以接纳具有1个pcie通道(x1)、2个pcie通道(x2)，4个pcie通道(x4)，8个pcie通道(x8)或16个pcie通道(x16)的pcie设备。

当io卡501由卡保持器502保持时，触点513被插入插口503中，并且安装板512使用螺丝528被固定地安装和紧固到板522。板522进一步包括布置在顶部以允许用户将io模块推进机架并且从其拔出的把手525。卡保持器502进一步包括安装在板525和板521上以提供l形框架的支撑的保持器板541。保持器板541进一步包括安装在其上的分离器542(由电气非导电材料制成，诸如橡胶)以将保持器板541与pcb511分离来避免短路。如在图5b所示，io卡501被垂直地插入卡保持器502的插口503并且从其移除，而具有与彼此附接的io卡501和卡保持器502的io模块500被水平插入io子系统机架或从其移除。

在上述附图中描绘的处理或方法可以通过处理逻辑来执行，处理逻辑包括硬件(例如电路、专用逻辑等)、软件(例如，在非暂时性计算机可读介质上实现)或其组合。虽然以上根据一些顺序操作描述了处理和方法，但是应当理解，所描述的操作中的一些可以以不同的顺序来执行。此外，一些操作可以并行地而不是顺序地被执行。

在前述说明书中，已经参考本发明的具体示例性实施例描述了本发明的实施例。明显的是，可以在不背离如以下权利要求中所阐释的更宽的精神和范围的情况下对其进行各种修改。因此，本说明书和附图可以在说明性意义而非限制性意义上被考虑。