液体冷却设备、数据中心及调节电子设备的方法与流程

1.本发明的实施例大体上涉及服务器和数据中心冷却。更具体地，发明的实施例涉及具有自调节能力的集成热和电系统设计，以向具有高电力密度机架和集群的数据中心提供冷却和电力。


背景技术：

2.冷却是计算机系统和数据中心设计中的关键考虑因素。诸如封装在服务器内的高性能处理器的高性能电子组件的数量已经稳定地增加，增加了所产生的热量并且在服务器的常规运行期间被消散。如果允许数据中心运行的热环境随时间增加温度，则数据中心内使用的服务器的可靠性降低。保持适当的热环境对于这些服务器在数据中心中的正常运行以及对于最大化服务器性能、可靠性和寿命是至关重要的。它需要更有效和高效的冷却解决方案，特别是在冷却这些高性能服务器的情况下。
3.服务器和诸如中央处理单元(cpu)、图形处理单元(gpu)等的其它高性能电子组件通常被紧密地封装在高度集成的芯片、板或机架的集群中，以产生非常高的电力和热密度。除了满足不断增加的冷却容量之外，增加电力密度还要求数据中心能够灵活地增加它们的电力容量。需要提高能量和电力效率以降低为高性能数据中心供电的运行成本，减轻环境影响并满足可持续性目标和调节要求。满足增加的电力密度和冷却能力的双重需求的现有解决方案可能需要设计大量的电力和冷却缓冲器，这些缓冲器在数据中心的寿命期间难以缩放或低效地使用。电力和冷却系统也可以不被集成和控制以满足短期波动的需求。因此，需要一种集成的热和电系统设计，其可扩展、可靠、有效、可服务且低成本以满足数据中心中高性能电子组件的热和电力管理需求。此外，由于环境规章，开发和部署用于为数据中心供电的可再生能量源变得更加重要。


技术实现要素：

4.根据本发明的一个方面，公开了一种数据中心的液体冷却设备。该液体冷却设备包括：主冷却回路，具有主冷凝器，以使用冷却液体从一个或多个信息技术组件移除热量；传感器，用于监测所述冷却液体的蒸汽压力；次级冷却回路，具有次级冷凝器，所述次级冷凝器被连接成关闭所述次级冷却回路，从而在所述冷却液体的所述蒸汽压力超过阈值时补充所述主冷却回路以从所述信息技术组件移除热量；以及电力分配系统，包括可再生能量源和能量存储系统，所述电力分配系统被配置为分配电力以响应于所述蒸汽压力将所述次级冷凝器连接到所述次级冷却回路，并控制所述次级冷却回路的冷却能力。
5.根据本发明的另一个方面，公开了一种数据中心。该数据中心包括：电力分配系统，包括至少一个可再生能量源和至少一个能量存储系统；多个电子机架，每个电子机架包含多个服务器机箱，并且每个服务器机箱对应于一个或多个服务器，其中，每个电子机架包括：主冷却回路，具有主冷凝器以使用冷却液体从所述服务器移除热量；传感器，用于监测所述冷却液体的蒸汽压力；以及次级冷却回路，具有次级冷凝器，所述次级冷凝器被连接成
关闭所述次级冷却回路，从而在所述冷却液体的所述蒸汽压力超过阈值时补充所述主冷却回路以从所述服务器移除热量；其中，所述电力分配系统被配置为分配电力以响应于所述蒸汽压力来将所述次级冷凝器连接到所述次级冷却回路，并控制所述次级冷却回路的冷却能力。
6.根据本发明的又一个方面，公开了一种调节电子设备的热负荷和电负荷的方法。该方法包括：连接主冷却回路的主冷凝器以循环冷却液体来从所述电子设备移除热量；连接可再生能量源以对能量存储系统充电；监测所述冷却液体的蒸汽压力；当所述冷却液体的所述蒸汽压力超过阈值时，将次级冷凝器连接到次级冷却回路，以在从所述电子设备移除热量中补充所述主冷却回路；以及从所述可再生能量源和所述能量存储系统分配电力以基于所述蒸汽压力调节所述次级冷却回路的冷却能力。
附图说明
7.发明的实施例在附图的图中以示例的方式而不是限制的方式示出，在附图中同样的附图标记表示类似的元件。
8.图1是示出根据一个实施例的数据中心设施的示例的框图。
9.图2是示出根据一个实施例的电子机架的示例的框图。
10.图3是示出根据一个实施例的冷板配置的示例的框图。
11.图4示出了根据一个实施例的用于为数据中心的电子组件的机架提供增强的冷却能力和辅助电力的集成系统的热、电力和控制架构的示例。
12.图5示出了根据一个实施例的共用光伏系统和能量存储系统以调节多个机架之中的冷却能力和电负荷的集成系统的热、电力和控制架构的示例。
13.图6示出了根据一个实施例的集成系统的热，电力和控制架构的示例，该集成系统为每个机架提供专用光伏系统，但是在多个机架之中共用能量存储系统以调节机架的冷却能力和电负荷。
14.图7示出了根据一个实施例的共用光伏系统和能量存储系统以调节多个机架之中的冷却能力和电负荷的集成系统的热、电力和控制架构的示例，在集成系统中机架也共用次级冷却回路的冷凝器和流体存储系统。
15.图8是示出根据一个实施例的用于响应于热和电力密度来调节数据中心或计算机系统中的电子设备的冷却能力和电负荷的方法的示例的流程图。
具体实施方式
16.将参照下面讨论的细节描述发明的各种实施例和方面，并且附图将示出各种实施例。下面的描述和附图是对发明的说明，并不构成对发明的限制。描述了许多具体细节以提供对本发明的各种实施例的透彻理解。然而，在某些情况下，为了提供本发明的实施例的简洁讨论，没有描述公知的或常规的细节。
17.在说明书中提及“一个实施例”或“实施例”意味着结合该实施例描述的特定特征、结构或特性可以包括在发明的至少一个实施例中。在说明书的各个地方出现的短语“在一个实施例中”不一定都指同一实施例。
18.公开的是一种用于具有自调节能力的集成热和电系统的设计，以提供增强的冷却
能力和辅助电力，从而支持计算机系统或数据中心的高热密度和电力密度要求。在一个方面中，集成设计的热系统包括两个冷却回路，即主冷却回路和次级冷却回路，主冷却回路的冷却能力固定用于正常运行，次级冷却回路在主冷却回路的固定冷却能力不足时补充主冷却回路。主冷却回路和次级冷却回路都具有充当热交换单元的相应冷凝器。每个冷凝器可以具有次级回路，以将冷却液体输送到数据中心的电子机架，从而移除由机架的服务器或其它电子组件产生的热量。每个冷凝器可以具有连接到外部冷却液体供应和返回管线的主回路，以携带流体与次级回路进行热交换。每个冷凝器的次级回路可以使用相变流体，该相变流体的蒸汽压力由于服务器或电子组件的热负荷而变化。当连接次级冷却回路以补充主冷却回路的冷却能力时，系统可以基于相变流体的蒸汽压力控制次级冷凝器的主回路中的流体流速或通过次级冷凝器的气流速率以响应热负荷的波动。
19.在一个方面中，电气系统包括光伏系统和电力存储系统，以提供辅助电力来补充主要公用电力。光伏系统可以基于相变流体的蒸汽压力对次级冷凝器的主回路供电，以控制通过次级冷凝器的流体流速或气流速率。光伏系统可以在不对次级冷却回路供电时对电力存储系统充电。电力存储系统可以是用于在光伏系统的电力不可用或不足时为次级冷凝器的主回路供电的电池。在一个方面中，电力存储系统可以为主冷却回路供电。在一个方面中，电力存储系统可以响应于计算机系统或数据中心的增加的电力需求向电子组件提供辅助电力。具有自调节能力的集成热和电系统提供高性能it集群的有效热和电力管理，增加冷却性能、冷却可靠性、电力效率、系统可扩展性、可持续性要求并降低成本以满足高热和电力密度的要求。
20.在一个方面中，光伏系统和电力存储系统在多个机架或it集群之间共用以调节机架或it集群的冷却能力和电负荷。控制器可以接收蒸汽压力以单独连接和控制次级冷却回路到每个机架的冷却能力，以响应于由于其相应的热负荷而引起的蒸汽压力的变化。控制器还可以接收光伏系统和电力存储系统的电压和可用性，以便与来自每个机架的蒸汽压力信息结合使用，以调节从光伏系统或电力存储系统到每个机架的次级冷凝器的主回路的电力。
21.在一个方面中，光伏系统专用于每个机架，但是电力存储系统在多个机架之中共用以调节机架的冷却能力和电负荷。控制器可以接收蒸汽压力以响应于由于其相应的热负荷而引起的蒸汽压力的变化而单独地连接和控制次级冷却回路到每个机架的冷却能力。控制器还可以接收专用光伏系统和共用电力存储系统的电压，以便与来自每个机架的蒸汽压力信息结合使用，以调节从每个机架的专用光伏系统或共用电力存储系统到每个机架的次级冷凝器的主回路的电力。
22.在一个方面中，次级冷却回路的次级冷凝器和流体存储系统在多个机架之中共用。多个机架也共用光伏系统和电力存储系统。控制器可以接收来自每个机架的蒸汽压力，以单独地连接和控制来自共用的次级冷凝器和流体存储系统的次级冷却回路到每个机架的冷却能力。来自每个机架的次级冷却回路的流体蒸汽管线连接到共用次级冷凝器。共用次级冷凝器的返回连接到流体存储系统。用于每个机架的次级冷却回路的液体流体供应管线连接到流体存储系统，并且由控制器基于机架的相应蒸汽压力响应于其热负荷来调节。控制器可以调节从光伏系统或电力存储系统到共用次级冷凝器的主回路的电力。电力存储系统可以由光伏系统或主要公用电力充电，以给主冷却回路或机架的电子组件供电。
23.图1是示出根据一个实施例的数据中心或数据中心单元的示例的框图。在该示例中，图1示出了数据中心的至少一部分的俯视图。参照图1，根据一个实施例，数据中心系统100包括信息技术(it)组件、设备或仪器(诸如例如通过网络(例如，因特网)向各种客户端提供数据服务的计算机服务器或计算节点)的电子机架的一行或多行101-102。在该实施例中，每行包括诸如电子机架110a-110n的电子机架阵列。然而，可以实现电子机架的更多或更少的行。通常，行101-102平行对齐，其前端彼此面对且后端彼此背对，在中间形成过道103，以允许管理人员在其中行走。然而，也可以应用其它配置或布置。例如，两行电子机架可以背对背地彼此面对，而不在中间形成过道，同时它们的前端彼此背对。电子机架的后端可以连接到房间冷却液体歧管。
24.在一个实施例中，电子机架(例如，电子机架110a-110n)中的每个包括壳体，以容纳布置在其中运行的堆叠件中的多个it组件。电子机架可以包括冷却液体歧管，多个服务器插槽(例如，配置有相同或类似形状因数的标准货架或机箱)，以及能够插入到服务器插槽中和从服务器插槽中移除的多个服务器机箱(也称为服务器刀片或服务器货架)。每个服务器机箱表示具有一个或多个处理器、存储器和/或永久存储装置(例如，硬盘)的计算节点，其中计算节点可以包括在其中运行的一个或多个服务器。至少一个处理器附接到液体冷板(也称为冷板组件)以接收冷却液体。此外，一个或多个可选的冷却风扇与服务器机箱相关联，以向其中包含的计算节点提供空气冷却。注意，冷却系统120可以连接到多个数据中心系统，诸如数据中心系统100。
25.在一个实施例中，冷却系统120包括外部液体回路，该外部液体回路连接到建筑物/壳体容器外部的冷却塔或干式冷却器。冷却系统120可以包括但不限于蒸发冷却、自由空气、对大热质量的拒绝以及废热回收设计。冷却系统120可以包括或连接到提供冷却液体的冷却液体源。
26.在一个实施例中，每个服务器机箱模块化地连接到冷却液体歧管，使得服务器机箱可以从电子机架中移除而不影响电子机架中的剩余服务器机箱和冷却液体歧管的运行。在另一实施例中，每个服务器机箱通过快速释放连接组件连接到冷却液体歧管，该快速释放连接组件具有服务器液体入口连接器和服务器液体出口连接器，该服务器液体出口连接器连接到柔性软管以将冷却液体分配到处理器。服务器液体入口连接器经由机架液体入口连接器从安装在电子机架后端上的冷却液体歧管接收冷却液体。服务器液体出口连接器将携带从处理器交换的热量的较暖或较热的液体经由机架液体出口连接器出射到冷却液体歧管，然后回到电子机架内的冷却剂分配单元(cdu)。
27.在一个实施例中，设置在每个电子机架的后端上的冷却液体歧管连接到液体供应管线132(也称为房间供应歧管)以接收来自冷却系统120的冷却液体。冷却液体通过附接到冷板组件的液体分配回路分配，在冷板组件上安装处理器以从处理器移除热量。冷板被配置成类似于其中附接有或嵌入有液体分配管的热沉。所得到的携带从处理器交换的热的较暖或较热的液体经由液体返回管线131(也称为房间返回歧管)传输回到冷却系统120。
28.液体供应/返回管线131-132被称为数据中心或房间液体供应/返回管线(例如，全局液体供应/返回管线)，其向行101-102的所有电子机架供应冷却液体。液体供应管线132和液体返回管线131连接到位于每个电子机架内的cdu的热交换器，形成主回路。热交换器的次级回路连接到电子机架中的每个服务器机箱，以将冷却液体输送到处理器的冷板。在
一个实施例中，液体供应/返回管线131-132可以连接到具有将要讨论的两个冷却回路的集成热和电系统的主冷却回路或次级冷却回路的冷凝器的主回路。
29.在一个实施例中，数据中心系统100还包括可选的气流输送系统135(也称为空气供应系统)，该气流输送系统135用于产生气流，以使气流通过电子机架的服务器机箱的空气空间，从而交换由于计算节点(例如，服务器)的运行而由计算节点产生的热量，并将经气流交换的热量排放到外部环境或冷却系统(例如，空气到液体热交换器)，以降低气流的温度。例如，空气供应系统135产生凉/冷空气的气流，以从过道103通过电子机架110a-110n循环，从而带走交换的热量。在一个实施例中，凉/冷空气的气流可以被输送到具有将要讨论的两个冷却回路的集成热和电系统的主冷却回路或次级冷却回路的冷凝器。
30.凉气流通过电子机架的前端进入电子机架，而暖/热气流从电子机架的后端离开电子机架。具有交换的热量的暖/热空气从房间/建筑物排出或使用诸如空气到液体热交换器的单独的冷却系统冷却。因此，冷却系统是混合液体-空气冷却系统，其中由处理器产生的一部分热量通过相应的冷板由冷却液体移除，而由处理器(或其它电子装置或处理装置)产生的剩余部分热量通过气流冷却移除。
31.图2是示出根据一个实施例的电子机架的框图。电子机架200可以代表如图1所示的任何电子机架，诸如以电子机架110a-110n为例。参照图2，根据一个实施例，电子机架200包括但不限于cdu 201、机架管理单元(rmu)202和一个或多个服务器机箱203a-203e(统称为服务器机箱203)。服务器机箱203可以分别从电子机架200的前端204或后端205插入到服务器插槽(例如，标准货架)的阵列中。注意，尽管这里示出了五个服务器机箱203a-203e，但是可以在电子机架200内保持更多或更少的服务器机箱。还应注意，cdu 201、rmu202和/或服务器机箱203的特定位置仅出于说明的目的而示出；也可以实现cdu 201、rmu 202和/或服务器机箱203的其它布置或配置。在一个实施例中，电子机架200可以对环境开放或者部分地由机架容器容纳，只要冷却风扇可以产生从前端到后端的气流即可。
32.此外，对于至少一些服务器机箱203，可选的风扇模块(未示出)与服务器机箱相关联。每个风扇模块包括一个或多个冷却风扇。风扇模块可以安装在服务器机箱203的后端或电子机架上，以产生从前端204流出，行进通过服务器机箱203的空气空间，并存在于电子机架200的后端205处的气流。
33.在一个实施例中，cdu 201主要包括热交换器211、液体泵212和泵控制器(未示出)，以及一些其它组件，诸如贮液器，电源，监测传感器等。热交换器211可以是液体到液体的热交换器。热交换器211包括具有入口端口和出口端口的第一回路，所述入口端口和出口端口具有与外部液体供应/返回管线131-132连接以形成主回路的第一对液体连接器。连接到外部液体供应/返回管线131-132的连接器可以设置或安装在电子机架200的后端205上。液体供给/返回管线131-132，也称为房间液体供给/返回管线，可以如上所述地连接到冷却系统120。
34.此外，热交换器211还包括具有两个端口的次级回路，所述两个端口具有连接到液体歧管225(也称为机架歧管)以形成次级回路的第二对液体连接器，所述次级回路可包括供应歧管(也称为机架液体供应管线或机架供应歧管)和返回歧管(也称为机架液体返回管线或机架返回歧管)，所述供应歧管将冷却液体供应到服务器机箱203，所述返回歧管将较暖的液体返回到cdu 201。注意，cdu 201可以是任何种类的市场上可买到的或定制的cdu。
因此，这里将不描述cdu201的细节。在一个实施例中，cdu 201中的热交换器211可以是具有将讨论的两个冷却回路的集成热和电系统的主冷却回路或次级冷却回路的冷凝器。
35.每个服务器机箱203可以包括一个或多个it组件(例如，中央处理单元或cpu、通用/图形处理单元(gpu)、存储器和/或存储装置)。每个it组件可以执行数据处理任务，其中it组件可以包括安装在存储装置中、加载到存储器中并且由一个或多个处理器执行以执行数据处理任务的软件。服务器机箱203可以包括连接到一个或多个计算服务器(也称为计算节点，诸如cpu服务器和gpu服务器)的宿主服务器(称为宿主节点)。宿主服务器(具有一个或多个cpu)通常通过网络(例如，因特网)与客户端联接以接收对特定服务的请求，所述特定服务诸如存储服务(例如，基于云的存储服务，诸如备份和/或恢复)，执行应用以执行某些运行(例如，图像处理、深度数据学习算法或建模等，作为软件即服务或saas平台的一部分)。响应于该请求，宿主服务器将任务分配给由宿主服务器管理的一个或多个计算节点或计算服务器(具有一个或多个gpu)。计算服务器执行实际任务，其可以在运行期间产生热量。
36.电子机架200还包括可选的rmu 202，其被配置为提供和管理供应给服务器203和cdu 201的电力。rmu 202可以连接到电源单元(未示出)以管理电源单元的功耗。电源单元可以包括必要的电路(例如，交流(ac)到直流(dc)或dc到dc电力转换器、电池、变压器或调节器等)，以向电子机架200的其余组件提供电力。
37.在一个实施例中，rmu 202包括优化模块221和机架管理控制器(rmc)222。rmc 222可以包括监测器以监测电子机架200内的各种组件的运行状态，诸如以计算节点203、cdu 201和风扇模块为例。具体地，监测器从表示电子机架200的运行环境的各种传感器接收运行数据。例如，监测器可以接收表示处理器的温度、冷却液体和气流的运行数据，这些数据可以经由各种温度传感器来捕获和收集。监测器还可以接收表示由风扇模块和液体泵212产生的风扇电力和泵电力的数据，其可以与它们各自的速度成比例。这些运行数据被称为实时运行数据。注意，监测器可以实现为rmu 202内的单独模块。在一个实施例中，rmu 202或rmc 222可以是控制器，该控制器监测在具有将要讨论的两个冷却回路的集成热和电系统的次级冷却回路的冷凝器的次级回路中的相变流体的蒸汽压力。
38.基于运行数据，优化模块221使用预定的优化函数或优化模型执行优化，以导出用于风扇模块的一组最佳风扇速度和用于液体泵212的最佳泵速度，使得液体泵212和风扇模块的总功耗达到最小，而与液体泵212和风扇模块的冷却风扇相关联的运行数据在它们各自的设计规范内。一旦已经确定了最佳泵速度和最佳风扇速度，rmc 222就基于最佳泵速度和风扇速度配置液体泵212和风扇模块的冷却风扇。在一个实施例中，rmu 202、rmc 222或优化模块222可以是控制具有将讨论的两个冷却回路的集成热和电系统的次级冷却回路的冷凝器的主回路中的流体流速的控制器，或者可以控制通过次级冷却回路的冷凝器的气流速率。
39.作为示例，基于最佳泵速度，rmc 222与cdu 201的泵控制器通信以控制液体泵212的速度，这反过来控制供应到液体歧管225的冷却液体的液体流速以分配到至少一些服务器机箱203。类似地，基于最佳风扇速度，rmc 222与每个风扇模块通信以控制风扇模块的每个冷却风扇的速度，这反过来控制风扇模块的气流速率。注意，每个风扇模块可以用其特定的最佳风扇速度单独控制，并且不同的风扇模块和/或相同风扇模块内的不同冷却风扇可
以具有不同的最佳风扇速度。
40.注意，如图2中所示的机架配置仅为了说明的目的而示出和描述；也可应用其它配置或布置。例如，cdu 201可以是可选单元。服务器机箱203的冷板可以连接到机架歧管，该机架歧管可以直接连接到房间歧管131-132，而不使用cdu。尽管未示出，但是电源单元可以设置在电子机架200内。电源单元可以被实现为与服务器机箱相同或类似的标准机箱，其中电源机箱可以被插入到任何标准货架中，以代替任何服务器机箱203。此外，电源机箱还可以包括电池备用单元(bbu)，以在主电力不可用时向服务器机箱203提供电池电力。bbu可以包括一个或多个电池组，并且每个电池组包括一个或多个电池单元，以及用于对电池单元进行充电和放电的必要的充电和放电电路。
41.图3是示出根据一个实施例的处理器冷板配置的框图。处理器/冷板组件300可以表示如图2中所示的服务器机箱203的任何处理器/冷板结构。参照图3，处理器301(也成为处理器芯片)被插塞到安装在连接到数据处理系统或服务器的其它电子组件或电路的印刷电路板(pcb)或母板302上的处理器插座上。处理器301还包括附接到其的冷板303，该冷板303连接到机架歧管，该机架歧管连接到液体供应管线和/或蒸汽返回管线。在一个实施例中，冷板303可以是冷却装置，其连接到将在图4中讨论的主冷却回路或次级冷却回路的冷凝器的次级回路。液体供应管线可以将相变流体的冷却液体供应到冷却装置。返回管线可以从冷却装置返回相变流体的加热蒸汽。由处理器301产生的一部分热量由冷却液体经由冷板303移除。热量的剩余部分进入下面或上面的空气空间，该空气空间可以由冷却风扇304产生的气流移除。
42.图4示出了根据一个实施例的用于为数据中心的电子组件机架提供增强的冷却能力和辅助电力的集成系统400的热、电力和控制架构的示例。该集成系统包括：热子系统，用于移除由电子组件产生的热量；电气子系统，用于为热子系统和电子组件供电；以及控制子系统，用于响应于热和电负荷的波动来控制热和电气子系统的运行。机架中的电子组件可以包括服务器401或插入机架的相应标准货架中的服务器机箱上的其它it组件。
43.热子系统包括两个冷却回路，即主冷却回路和次级冷却回路，该主冷却回路的冷却能力对于正常运行是固定的，该次级冷却回路在主冷却回路的固定冷却能力不足以移除由电子组件产生的热量时补充主冷却回路。控制子系统仅控制或调节次级冷却回路的冷却能力以响应热负荷的波动。主冷却回路和次级冷却回路都可以使用相变流体，当热能被吸收时，相变流体将其相从液体变为蒸汽，而当热能被消散时，相变流体将其相从蒸汽变为液体。相变流体的蒸汽压力可以对应于所吸收的热能的量。
44.主冷却回路和次级冷却回路都具有充当热交换器的相应冷凝器。每个冷凝器可以具有次级回路，该次级回路连接到电子机架中的服务器机箱以将冷却液体输送到冷却装置403或冷板以移除由服务器401或其它it组件产生的热量。每个冷凝器可以具有与外部液体供应和返回管线连接的主回路，以携带流体与次级回路进行热交换。例如，主冷却回路具有主冷凝器415，主冷凝器415具有连接到外部液体供应和返回管线的主回路(未示出)，所述外部液体供应和返回管线使流体再循环以移除由次级回路的相变流体的加热的蒸汽携带的热量，从而将次级回路中的相变流体的相从蒸汽改变为液体。在热交换之后，主冷凝器415的次级回路中的冷却液体通过主液体返回回路411返回到冷却装置403。主冷凝器415中的冷却液体的流速或通过主冷凝器415的冷却气流速率是恒定的，以为主冷却回路提供恒
定的冷却能力。
45.类似地，次级冷却回路具有次级冷凝器425，该次级冷凝器425具有与外部液体供应和返回管线连接的主回路431，该外部液体供应和返回管线使流体再循环以移除由次级回路的加热蒸汽所携带的热量。
46.在一个方面中，控制子系统通过调节通过次级冷凝器阀433供应到主回路431的液体流速来控制次级冷凝器425的主回路431的冷却能力。在一个方面中，控制子系统可以通过调节变速泵(未示出)的泵送速度或频率来改变流体的流速，从而控制次级冷凝器425的主回路的冷却能力。在一个方面中，控制子系统可以通过调节次级冷凝器风扇429的速度来控制次级冷凝器425的主回路的冷却能力，以改变到次级冷凝器425的气流速率。
47.在与主回路431进行热交换之后，次级冷凝器425的次级回路中的冷却液体通过次级液体返回回路421返回到冷却装置403。来自主液体返回回路411的液体与来自次级液体返回回路421的液体组合以形成机架液体系统405，该机架液体系统405将相变流体供应到机架中的多个服务器机箱中的冷却装置403。机架液体系统405还将相变流体从多个服务器机箱通过主蒸汽管线413返回到主冷凝器415以完成主冷凝器415的次级回路，或者将相变流体通过次级蒸汽管线423返回到次级冷凝器425以完成次级冷凝器425的次级回路。次级蒸汽管线423通过压力阀427连接到次级冷凝器。当蒸汽压力低时，压力阀427在正常运行下关闭，以防止次级蒸汽管线423中的相变流体返回到次级冷凝器425。当蒸汽压力达到触发压力阈值时，压力阀427可以打开以将次级蒸汽管线423中的相变流体排放到次级冷凝器425。
48.当机架液体系统405中的相变流体从冷却装置403吸收服务器401内产生的热量时，相变流体可以将其相从液体改变为蒸汽。在正常运行条件下，相变流体通过主蒸汽管线413返回到主冷凝器415以与主冷凝器415的主回路进行热交换。如果主冷却回路的冷却能力基于当前机架密度是足够的，则次级蒸汽管线423中的蒸汽压力保持低于压力阀427的触发压力阈值。结果，压力阀427关闭，相变流体不通过次级冷凝器425的次级回路循环。当次级冷凝器阀433关闭时，次级冷凝器425的主回路431也可以关闭以节省电力。在一个实施例中，次级冷凝器风扇429被断电。在一个实施例中，次级冷凝器425配备有次级冷凝器风扇429或次级冷凝器主回路431。如果次级冷凝器是使用冷却液体来冷却次级回路中的蒸汽的液体冷却冷凝器，则次级冷凝器主回路431用于供应冷却液体。如果次级冷凝器是使用冷却气流来冷却次级回路中的蒸汽(诸如数据中心房间冷却空气)的空气冷却冷凝器，则次级冷凝器风扇429用于吹送气流以将蒸汽冷却回到液体。在这种情况下，不需要次级冷凝器主回路431。
49.电气子系统包括光伏系统407和存储系统409(也称为能量存储系统)，以响应于机架的热负荷为次级冷凝器425的主回路供电。光伏系统407或存储系统409可以通过电线455向次级冷凝器425的主回路供电到次级冷凝器阀433或次级冷凝器风扇429。存储系统409可以是基于电池的能量存储系统，其包括一个或多个电池单元，以及用于对电池单元进行充电和放电的必要的充电和放电电路。测量压力阀427的排出侧上的次级蒸汽管线423的蒸汽压力的压力传感器441控制光伏系统407和存储系统409的电力分配。在主冷却回路提供足够的冷却能力的正常运行条件期间，压力阀427关闭，因为次级蒸汽管线423中的蒸汽压力不超过压力阀427的触发压力阈值。来自压力传感器441的低压力读数443使电开关处于极1
(451)到极2(452)开关位置，以使光伏系统407能够对存储系统409充电。在这种情况下，光伏系统407不向次级冷却回路供电。
50.当主冷却回路的冷却能力不足以从主冷凝器415的次级回路移除热量时，诸如当环境温度高时，次级蒸汽管线423中的蒸汽压力增加。当蒸汽压力超过压力阀427的触发压力阈值时，压力阀427打开以将次级蒸汽管线423的加热蒸汽排放到次级冷凝器425的次级回路和压力传感器441。来自压力传感器441的蒸汽压力的高压力读数443可以使电开关切换到极1(451)到极3(453)位置，以对次级冷凝器425的主回路431供电。次级冷凝器阀433打开以向次级冷凝器425的主回路431供应冷却流体，从而使次级冷却回路能够增强主冷却回路的冷却能力。在一个实施例中，次级冷凝器风扇429通电以供应空气流来冷却次级冷凝器425。
51.在一个方面中，压力读数443控制流向次级冷凝器425的主回路431的电力量，以响应次级蒸汽管线423的蒸汽压力改变通过次级冷凝器阀433的冷却液体的体积流速，或者改变来自次级冷凝器风扇429的气流速率，以调节次级冷却回路的冷却能力。在一个方面中，电开关可以切换到极2(452)到极3(453)位置，以在来自光伏系统407的电力不够时使用存储系统409来为次级冷凝器425的主回路431供电。在一个方面中，如果服务器401或服务器机箱的其它it组件的增加的电力负荷导致压力读数443增加到超过与标称电力负荷相关联的压力读数443，则存储系统409可以向it负荷提供辅助电力以及向次级冷却回路供电。在一个方面中，存储系统409可以为主冷凝器415的主冷却回路或主回路供电。具有自调节能力的集成热和电系统400提供有效的热和电力管理，增强冷却性能、冷却可靠性、电力效率、系统可扩展性、可持续性要求并降低成本。
52.图5示出了根据一个实施例的共用光伏系统407和能量存储系统409以调节多个机架之中的冷却能力和电负荷的集成系统500的热，电力和控制架构的示例。示出了两个机架，即第一机架561和第二机架563。每个机架具有主冷却回路和增强主冷却回路的冷却能力的次级冷却回路。主冷却回路和次级冷却回路均具有相应的冷凝器，以在主回路和次级回路之间进行热交换，如图4中所描述，为了简洁起见，省略了其详细的运行。即使用于液体冷却次级冷凝器的阀和用于空气冷却次级冷凝器的风扇在图5中示出用于两个机架，也只需要一种类型的次级冷凝器。如关于图4所讨论的，可以省略阀或风扇。
53.第一机架561具有第一机架次级冷凝器阀533，以调节供应到其次级冷凝器的主回路的流体的体积流速。在一个实施例中，第一机架561具有第一机架次级冷凝器风扇529，以调节到次级冷凝器的气流速率。类似地，第二机架563具有第二机架次级冷凝器阀573，以调节供应到其次级冷凝器的主回路的流体的体积流速。在一个实施例中，第二机架563具有第二机架次级冷凝器风扇569，以调节到其次级冷凝器的气流速率。
54.在主冷却回路向第一机架561或第二机架563提供足够的冷却能力的正常运行条件期间，第一机架压力阀527或第二机架压力阀567分别被关闭，因为次级冷凝器的次级回路中的蒸汽压力不超过触发压力阈值。第一机架压力传感器541可以测量第一机架压力读数543上的低压值，这是由于蒸汽压力低于用于打开第一机架压力阀527的触发压力阈值。第二机架压力传感器581可以测量第二机架压力读数583上的低压值，这是由于蒸汽压力低于用于打开第二机架压力阀567的触发压力阈值。控制器562可以读取第一机架压力读数543或第二机架压力读数583，以使电开关处于极1(551)到极2(552)开关位置，从而使光伏
系统407能够对存储系统409充电。在这种情况下，光伏系统407不向第一机架561或第二机架563的次级冷却回路供电。
55.当第一机架561或第二机架563的主冷却回路的冷却能力不足以从相应的主冷凝器的次级回路移除热量时，相应的次级冷凝器的次级回路中的蒸汽压力可以分别超过第一机架压力阀527或第二机架压力阀567的触发压力阈值。第一机架压力阀527或第二机架压力阀567可以打开以将加热的蒸汽排放到相应的次级冷凝器的次级回路。第一机架压力传感器541或第二机架压力传感器581可以产生高压力读数。
56.控制器562可以读取第一机架压力读数543，以将电开关切换到极1(551)到极4(554)位置，从而从光伏系统407向第一机架561的次级冷凝器的主回路供电。第一机架次级冷凝器阀533打开以向第一机架561的次级冷凝器的主回路供应冷却流体，从而使次级冷却回路能够增强第一机架561的主冷却回路的冷却能力。在一个实施例中，第一机架次级冷凝器风扇529通电以供应空气流来冷却第一机架561的次级冷凝器。
57.类似地，控制器562可以读取第二机架压力读数583，以将电开关切换到极1(551)到极3(553)位置，从而从光伏系统407对第二机架563的次级冷凝器的主回路供电。第二机架次级冷凝器阀573打开以向第二机架563的次级冷凝器的主回路供应冷却流体，从而使次级冷却回路能够增强第二机架563的主冷却回路的冷却能力。在一个实施例中，第二机架次级冷凝器风扇569通电以供应空气流来冷却第二机架563的次级冷凝器。
58.控制器562控制流到第一机架561或第二机架563的次级冷凝器的主回路的电力量，以响应于在位于相应的机架中的指定位置(例如，第一机架压力传感器541或第二机架压力传感器583)处测量的蒸汽压力改变通过第一机架次级冷凝器阀533或第二机架次级冷凝器阀573的冷却液体的体积流速，从而单独调节每个机架的次级冷却回路的冷却能力。在一个实施例中，控制器562响应于相应机架中的蒸汽压力分别调节来自第一机架次级冷凝器风扇529或第二机架次级冷凝器风扇569的气流速率。在一个方面中，控制器562可以监测光伏系统407和存储系统409的电压，以在来自光伏系统407的电力不足时，将电开关切换到极2(552)到极4(554)和/或极2(552)到极3(553)位置，从而使用存储系统409为第一机架562和第二机架563中的一个或两个的次级冷凝器的主回路供电。在一个方面中，存储系统409可以向it负荷提供辅助电力，以及向第一机架561或第二机架563的次级冷却回路供电。
59.图6示出了根据一个实施例的集成系统600的热、电力和控制架构的示例，该集成系统600为每个机架提供专用光伏系统，但是在多个机架之中共用能量存储系统以调节机架的冷却能力和电负荷。示出了两个机架，第一机架561和第二机架563。第一机架561和第二机架563的热架构类似于图5中的热架构，为简洁起见省略了其详细的运行。
60.电气架构包括专用于第一机架561的第一机架光伏系统407、专用于第二机架563的第二机架光伏系统408，以及在第一机架561和第二机架563之间共用的存储系统409。在主冷却回路向第一机架561提供足够的冷却能力的正常运行期间，控制器661可以从第一机架压力传感器541读取第一机架压力读数543的低压值，以产生第一机架开关控制信号655。第一机架开关控制信号655可以使第一机架561的电力分配系统的电开关处于极1(651)到极2(652)开关位置，以使第一机架光伏系统407能够对存储系统409充电。在这种情况下，第一机架光伏系统407不向第一机架561的次级冷却回路供电。
61.当第一机架561的主冷却回路的冷却能力不足以从主冷凝器的次级回路移除热量
时，控制器661可以读取第一机架压力读数543的高压值以产生第一机架开关控制信号655。第一机架开关控制信号655可以将第一机架561的电力分配系统的电开关切换到极1(651)到极3(653)位置，以从第一机架光伏系统407向第一机架561的次级冷凝器的主回路供电。第一机架次级冷凝器阀533打开以向第一机架561的次级冷凝器的主回路供应冷却流体，从而使次级冷却回路能够增强第一机架561的主冷却回路的冷却能力。在一个实施例中，第一机架次级冷凝器风扇529通电以供应空气流来冷却第一机架561的次级冷凝器。
62.类似地，当主冷却回路向第二机架563提供足够的冷却能力时，控制器661可以从第二机架压力传感器581读取第二机架压力读数583的低压值，以产生第二机架开关控制信号695。第二机架开关控制信号695可以使第二机架563的电力分配系统的电开关处于极1(691)到极2(692)开关位置，以使第二机架光伏系统408能够对存储系统409充电。在这种情况下，第二机架光伏系统408不向第二机架563的次级冷却回路供电。
63.当第二机架563的主冷却回路的冷却能力不足以从主冷凝器的次级回路移除热量时，控制器661可以读取第二机架压力读数583的高压值以产生第二机架开关控制信号695。第二机架开关控制信号695可以将第二机架563的电力分配系统的电开关切换到极1(691)到极3(693)位置，以从第二机架光伏系统408向第二机架563的次级冷凝器的主回路供电。第二机架次级冷凝器阀573打开以向第二机架563的次级冷凝器的主回路供应冷却流体，从而使次级冷却回路能够增强第二机架563的主冷却回路的冷却能力。在一个实施例中，第二机架次级冷凝器风扇569通电以供应空气流来冷却第二机架563的次级冷凝器。
64.控制器661通过第一机架开关控制信号655控制流到第一机架561的次级冷凝器的主回路的电力量，以响应于第一机架压力读数543改变通过第一机架次级冷凝器阀533的冷却液体的体积流速，从而调节第一机架561的次级冷却回路的冷却能力。在一个实施例中，第一机架开关控制信号655响应于第一机架压力读数543调节来自第一机架次级冷凝器风扇529的气流速率。类似地，控制器661通过第二机架开关控制信号695控制流到第二机架563的次级冷凝器的主回路的电力量，以响应于第二机架压力读数583改变通过第二机架次级冷凝器阀573的冷却液体的体积流速，从而调节第二机架563的次级冷却回路的冷却能力。在一个实施例中，第二机架开关控制信号695响应于第二机架压力读数583调节来自第二机架次级冷凝器风扇569的气流速率。
65.在一个方面中，控制器661可以通过存储系统状态信号663来监测存储系统409的电压并且监测第一机架光伏系统407的电压以产生第一机架开关控制信号655。当来自第一机架光伏系统407的电力不足时，第一机架开关控制信号655可以将第一机架561的电力分配系统的电开关切换到极2(652)到极3(653)位置，以从存储系统409向第一机架561的次级冷凝器的主回路供电。类似地，控制器661可以通过存储系统状态信号663来监测存储系统409的电压并且监测第二机架光伏系统408的电压以产生第二机架开关控制信号695。当来自第二机架光伏系统408的电力不足时，第二机架开关控制信号695可以将第二机架563的电力分配系统的电开关切换到极2(692)到极3(693)位置，以从存储系统409向第二机架563的次级冷凝器的主回路供电。在一个方面中，存储系统409可以向it负荷提供辅助电力，以及向第一机架561或第二机架563的次级冷却回路供电。
66.图7示出了根据一个实施例的共用光伏系统407和能量存储系统409以调节多个机架之中的冷却能力和电负荷的集成系统700的热、电力和控制架构的示例，在集成系统700
中机架也共用次级冷却回路的次级冷凝器725和流体存储系统726。每个机架可以具有专用的主冷却回路(未示出)，该主冷却回路具有相应的冷凝器以执行主回路和次级回路之间的热交换。如在图4-图6的其它结构中，主冷却回路的冷却能力对于每个机架是固定的。然而，与其它架构不同，次级冷却回路在机架之间共用，以增强每个主冷却回路的冷却能力。
67.对于次级冷却回路，控制器761可以控制次级冷凝器主回路阀733以将冷却液体供应到次级冷凝器725的主回路。在一个实施例中，控制器761可以控制次级冷凝器风扇729的速度以改变到次级冷凝器725的气流速率。在与主回路进行热交换之后，次级冷凝器725的次级回路中的冷却液体返回到流体存储系统726。流体存储系统726充当用于次级冷凝器725的次级回路中的相变流体的系统级液体缓冲器。次级液体供应管线721通过相应的次级冷凝器次级回路阀722将相变流体从流体存储系统726供应到每个机架。次级蒸汽返回管线723将加热的蒸汽从每个机架返回到次级冷凝器725，以完成次级冷凝器725的次级回路。
68.每个次级蒸汽返回管线723通过压力阀727连接到次级冷凝器725。当蒸汽压力低时，压力阀727在正常运行下关闭。当蒸汽压力达到触发压力阈值时，压力阀727可以打开以将次级蒸汽返回管线725中的加热蒸汽从机架排放到次级冷凝器725。压力传感器741测量压力阀727的排出侧上的每个次级蒸汽返回管线723的蒸汽压力。控制器761可以从每个压力传感器741读取压力读数743，以产生次级冷凝器次级回路控制信号757。次级冷凝器次级回路控制信号757控制次级冷凝器次级回路阀722，以响应于用于机架的相应次级蒸汽返回管线723的蒸汽压力来调节供应到用于机架的次级液体供应管线721的相变流体的体积流速。如所示的，由于在机架之间存在共用的流体存储系统726，所以在流体存储系统726和机架之间的每个单独的次级液体供应管线721与次级冷凝器次级回路阀722组装在一起。然后，次级冷凝器725连接到流体存储系统726。专用于每个机架的每个主冷凝器可以直接连接到机架液体冷却分配单元。对来自共用次级冷凝器725的每个机架的次级冷却回路的冷却能力的单独控制提高了冷却效率和性能，同时降低了成本。
69.在每个机架的主冷却回路提供足够的冷却能力的正常运行条件期间，所有机架的压力阀727可以关闭。控制器761可以从所有机架读取压力读数743上的低压值，以使电开关处于极1(751)到极3(753)开关位置，从而使光伏系统407能够对能量存储系统409充电。在这种情况下，光伏系统407不向所有机架的次级冷却回路供电。
70.当用于机架的主冷却回路的冷却能力不足以从相应主冷凝器的次级回路中移除热量时，用于机架的次级蒸汽返回管线723中的蒸汽压力可能超过相应压力阀727的触发压力阈值。压力阀727可以打开以将加热的蒸汽排放到次级冷凝器725。用于机架的压力传感器741可以产生高压读数。控制器761可以读取机架的压力读数743，以将电开关切换到极1(751)到极2(752)位置，从而为次级冷凝器725的主回路供电。次级冷凝器主回路阀733打开以向次级冷凝器725的主回路供应冷却液体。如所讨论的，控制器761还可以打开次级冷凝器次级回路阀722，以响应于压力读数743来调节供应到机架的相变流体的体积流速，从而使次级冷却回路能够增强用于机架的主冷却回路的冷却能力。在一个实施例中，第一机架次级冷凝器风扇729通电以供应空气流来冷却次级冷凝器725。
71.在一个方面中，控制器761可以监测光伏系统407和能量存储系统409的电压，以在来自光伏系统407的电力不足时将电开关切换到极3(753)和极2(752)位置，从而使用能量存储系统409来为次级冷凝器725的主回路供电。在一个方面中，能量存储系统409可以由主
要公用电力供电。在一个方面中，能量存储系统409可以向it负荷提供辅助电力以及为机架的次级冷却回路供电。在一个方面中，能量存储系统409可以为机架的主冷却回路供电。光伏系统407和能量存储系统409充当电力分配系统的系统级电缓冲器。
72.图8是示出根据一个实施例的用于响应于热和电力密度来调节数据中心或计算机系统中的电子设备的冷却能力和电负荷的方法800的示例的流程图。在一个实施例中，方法800可以由图4、图5、图6或图7的集成热和电系统400、500、600、700执行。在一个方面中，方法800可以利用硬件逻辑或硬件逻辑与存储配置值的可编程寄存器的组合来执行。
73.在运行801中，方法800连接主冷却回路的主冷凝器，主冷却回路将冷却流体循环到电子设备的热负荷。在一个方面中，冷却液体可以是相变流体。运行801可以连接主冷凝器的次级回路的液体供应管线和蒸汽返回管线，以从热负荷中移除热量。
74.在运行803中，方法800连接可再生能量源以对能量存储系统充电。在一个方面中，可再生能量源可以是光伏系统，能量存储系统可以是可再充电电池。
75.在运行805中，方法800监测冷却液体的蒸汽压力，诸如在基于压力的阀的排出侧处的相变流体的蒸汽压力。当主冷却回路的冷却能力不足以用于热负荷时或者当存在与电子设备相关联的高电力负荷时，蒸汽压力可能增加。
76.在运行807中，当蒸汽压力超过阈值压力值时，方法800将次级冷却回路的次级冷凝器连接到热负荷。在一个方面中，当蒸汽压力超过阈值压力值时，可以触发压力阀打开。当压力阀打开时，次级冷凝器的次级回路可以连接到热负荷，并且次级冷凝器的主回路可以连接到液体供应管线。次级冷却回路的冷却能力补充了主冷却回路的冷却能力。
77.在运行809中，方法800基于蒸汽压力控制来自可再生能量源和能量存储系统的电力的分配，以调节次级冷却回路。在一个方面中，如果来自可再生能量源的电力足够，则可再生能量源可以响应于蒸汽压力向次级冷却回路供电以控制次级冷却回路的冷却能力。在一个方面中，如果来自可再生能量源的电力不足，则能量存储系统可以响应于蒸汽压力向次级冷却回路供电以控制次级冷却回路的冷却能力。
78.如所描述的具有自调节能力的集成热和电系统的各种配置、布局和组件提供增强的冷却能力和辅助电力，以支持计算机系统或数据中心的高热和电力密度要求。用于电力分配系统的热系统、光伏系统和能量存储系统的主冷却回路和次级冷却回路的集成设计以及热和存储系统的自调节控制提供了高性能it集群的高效热和电力管理，提高了冷却性能、冷却可靠性、电力效率、系统可扩展性、可持续性要求，并降低成本以满足高热量和电力密度的要求。
79.在前面的说明书中，已经参照发明的特定示例性实施例描述了发明的实施例。将显然，可以对其进行各种修改，而不背离如权利要求书中所阐述的发明的更宽的精神和范围。例如，主冷却回路和次级冷却回路可以监测冷却流体的流体温度以调节次级冷却回路的冷却能力，而不是监测相变流体的蒸汽压力。光伏系统可以是由来自冷却回路的热能、风、生物质能等提供动力的另一可再生能量源。因此，说明书和附图是以说明性含义而不是限制性含义被看待。