专利名称：数据中心控制的制作方法
数据中心控制相关申请的交叉引用本申请是2009年2月13日提交的标题为“Data Center Control”的美国申请序列号12/371，355的部分继续，且在35U.S.C.§ 120下要求该美国申请的利益，该美国申请特此通过引用被全部并入本文。本申请还特此通过引用将2009年2月13日提交的标题为“Power Supply and Data Center Control”并转让给本申请的受让人的美国专利申请序列号12/370，969全部并入本文。所引用的申请总体上公开用于控制数据中心的系统和方法。
背景技术：
1.发明领域本发明的至少一个实施方式通常涉及控制设施活动，且更具体地涉及管理数据中心。2.
背景技术：
作为对增加的工业要求、发展和基于信息的经济的响应，数据中心和信息技术网络继续在全球激增。这个扩张呈 现各种形式，包括将在地理上无联系的计算资源链接在一起的广泛分配的计算机网络以及向各种应用提供功率、冷却和计算基础设施的数据中心。一般数据中心包含需要功率、冷却和对外部通信设施的连接的设备的多个机架。在现代数据中心和网络房间中，在这些设施中使用的计算设备的增加的密度对其相关的电力系统加了负担。因为这个计算设备在操作中产生热，这些设施的冷却系统也被过分使用。当数据中心的类型、尺寸和复杂性增长时，与其操作相关的成本也增长。这些成本包括与电力使用相关的能量成本、用于获取电子装置和基础设施的成本、相关的冷却或热耗散系统的成本、以及维护和管理人员的薪水。发明概述本发明的方面和实施方式目的在于数据中心控制的系统和方法。数据中心布局可被确定或修改，且资源可基于数据中心部件的机架功率消耗或冷却单元功率消耗而被分配或再分配以最小化数据中心的功率消耗。至少一个方面目的在于计算机实现的数据中心控制方法。数据中心包括多个机架和至少一个冷却单元。机架包括至少一个服务器。该方法包括接收关于至少一个冷却单元、至少一个服务器、多个机架和至少一个应用的信息的行动。该方法还接收基于机架的冷却度量阈值并确定数据中心的布局，该布局最小化多个机架和冷却单元的总功率消耗，同时基于阈值将冷却性能维持在可接受的水平。至少一个其它方面目的在于包括多个机架和至少一个冷却单元的数据中心的数据中心控制系统。机架包括至少一个服务器。控制系统包括可接收关于至少一个冷却单元、至少一个服务器、多个机架和至少一个应用的信息的数据中心控制器。数据中心控制器还可接收基于机架的冷却度量阈值，并可确定数据中心的布局。该布局最小化多个机架和冷却单元的总功率消耗，同时基于阈值将冷却性能维持在可接受的水平。至少一个其它方面目的在于计算可读介质，其上存储有指令序列。指令使处理器接收关于至少一个冷却单元、服务器、多个机架和应用的信息。指令还使处理器接收基于机架的冷却度量阈值，并确定数据中心的布局，该布局最小化多个机架和冷却单兀的总功率消耗，同时基于阈值将冷却性能维持在可接受的水平。在各种实施方式中，确定在多个服务器之间的至少一个应用的工作负载分配。工作负载分配满足基于机架的冷却度量阈值。基于机架的冷却度量阈值可包括可被实时地确定的热通道捕获指数阈值和冷通道捕获指数阈值中的至少一个。应用可基于热通道捕获指数阈值和冷通道捕获指数阈值中的至少一个而分配到至少一个服务器。在一些实施方式中，可基于多个机架中的每个的工作负载利用率来确定多个机架中的每个的单独功率消耗。也可基于至少一个冷却单元的冷却利用率来确定至少一个冷却单元的功率消耗，且可确定多个机架和至少一个冷却单元的总功率消耗。可基于总功率消耗、多个机架中的每个的功率消耗和至少一个冷却单元的功率消耗来确定数据中心的布局。在一些实施方式中，可基于机架的工作负载利用率和冷却单元的冷却利用率中的至少一个来实时地确定数据中心的总功率消耗。工作负载可分配在多个服务器之间，而冷却负载可分配在多个冷却单元之间，同时基于阈值将冷却性能分配维持在可接受的水平处。应用可从一个服务器分配到第二机架的第二服务器。第二机架可定位在第一服务器所在的同一数据中心或定位在不同的数据中心。可提供重新定位在数据中心内的机架或显示数据中心的布局的指令。在一些实施方式中，数据中心的布局是初始布局，且数据中心控制器可将工作负载从第一服务器分配到第二服务器，并可确定数据中心的第二布局。在各种实施方式中，基于机架的冷却度量阈值包括热通道捕获指数阈值或冷通道捕获指数阈值，且数据中心控制器可确定热通道捕获指数阈值或冷通道捕获指数阈值，并可基于热通道捕获指数阈值或冷通道捕获指数阈值将应用分配到服务器。数据中心控制器还可基于多个机架中的每个的工作负载利用率来确定多个机架中的每个的单独功率消耗，并可基于至少一个冷却单元的冷却利用率来确定至少一个冷却单元的功率消耗。数据中心控制器还可确定多个机架和至少一个冷却单元的总功率消耗，并基于总功率消耗、多个机架中的每个的功率消耗和至少一个冷却单元的功率消耗来确定数据中心的布局。在一些实施方式中，数据中心控制器可确定数据中心的集群的总功率消耗，并可识别最小化总功率消耗的集群的工作负载分配，该集群包括多个机架和至少一个冷却单元。在一个实施方式中，数据中心控制器可确定数据中心的总功率消耗。该确定可基于多个机架的工作负载利用率和冷却单元的冷却利用率，且数据中心控制器可在多个服务器之间分配工作负载，同时基于阈值将冷却性能维持在可接受的水平处。数据中心控制器还可将至少一个应用从至少一个服务器转移到第二服务器。冷却可包括行内冷却单元或基于房间的冷却单元。从结合附图理解的下面的详细描述中，这些示例性方面和实施方式的其它方面、实施方式和优点将变得明显，附图仅作为例子示出本发明的原理。前述信息和下面的详细描述包括各种方面和实施方式的例证性例子，且旨在提供用于理解所主张的方面和实施方式的性质和特征的概述或框架。附图连同说明书的其余部分一起用来解释所述和所主张的方面和实施方式。附图的简要说明
附图并没有被规定为按比例绘制。在附图中，在不同图中示出的每个相同或几乎相同的部件由相似的数字表示。为了清楚的目的，不是每个部件可都在每个附图中标出。当连同附图一起阅读时，从各种实施方式的下面描述中，将更充分理解本文公开的系统和方法的前述和其它目的、特征和优点，其中:
图1是描绘根据实施方式的数据中心的例子的顶视图；图2是描绘根据实施方式的数据中心控制系统的例子的方框图；图3是描绘根据实施方式的数据中心控制系统的例子的方框图；图4是描绘根据实施方式的一个或多个数据中心中的服务器配置的例子的方框图；图5是描绘根据实施方式的数据中心中的服务器配置的例子的方框图；图6是示出根据实施方式的数据中心控制的示例性方法的流程图；图7描绘根据实施方式的数据中心100的工作负载分配布局；图8描绘根据实施方式的数据中心100的工作负载分配布局；图9描绘示出根据实施方式的数据中心控制的示例性方法的流程图；图10是根据实施方式的计算机系统的功能方框图；以及图11是根据实施方式的存储系统的功能方框图。详细描述本文所述的系统和方法在其应用中不限于在描述中阐述或在附图中示出的部件的结构和布置的细节。本发明能够有其它实施方式并能够以各种方式被实践或实施。此外，本文使用的措辞和术语是为了描述的目的，且不应被视为限制性的。“包括(including)”、“包括(comprising)”,具有”、“包含”、“涉及”及其变形在本文意指包括其后列出的项目和其等效形式以及额外的项目。各种方面和实施方式目的在于数据中心控制。一个或多个数据中心的特征可经由网络由一个或多个数据中心控制器识别、监测和控制。数据中心可以是地理上无联系的，并可具有不同的特征和部件。数据中心控制器可评估数据中心的特征和可由数据中心部件执行的应用。这些评估可包括例如数据中心供应的评价(例如可用数据中心处理或冷却容量)或要求(例如，可由数据中心提供的应用的参数，用于执行)。至少部分地基于这些评估，数据中心控制器可将应用导向一个或多个数据中心用于执行。本文所述的实施方式可用于设计、管理和改进数据中心，例如图1所示的数据中心100。数据中心100可包括支持或确保数据中心设备功能的资源、设备或装置。数据中心100的资源的例子包括电力、冷却、物理空间、重量支承、远程设备控制能力、物理和逻辑安全以及物理和逻辑网络连通性。电力数据中心资源可包括电力分配资源例如变压器、电力分配单元、电源插座和可用于分配的电力例如供应到数据中心100的公用事业电力、由外部发电机产生的电力和由电力分配单元供应的电力。数据中心100中的物理空间资源可包括数据中心占地空间和机架U空间。数据中心100中的冷却资源可包括冷却分配容量和冷却产生容量。数据中心100中的物理安全资源可包括安全摄像机和门锁。数据中心100中的逻辑网络连通性资源可包括虚拟局域网、域名服务器和动态主机配置协议服务。物理网络连通性资源可包括网络布线和插线板。数据中心100中的远程设备控制能力可包括键盘视频鼠标服务。
数据中心100是代表性数据中心，且本文描述的各种实施方式不限于数据中心，例如数据中心100。可使用例如不包括高架地板的各种其它数据中心和设施。数据中心100或其它数据中心可与容纳更多、更少或不同设备或除了计算设备以外的设备的设施一包括远程通信设施和其它设施一一起使用。在一个实施方式中，数据中心100包括由子系统支持的计算机。数据中心100可以但不需要是专用空间或房间。此外，数据中心设备布局不需要被整洁地布置，如图1所示。数据中心100可包括行102、冷却单元104和至少一个高架地板106。行102可包括至少一个机架108，其在操作中可从机架108的前方抽入冷空气，并使暖空气返回到机架108的后部或顶部。在一个实施方式中，机架108可包含U空间位置，其例如设计成容纳安装在机架上的数据中心设备，例如服务器、计算机、冷却设备或网络连通性设备。在一个实施方式中，数据中心100的行102可定位成产生交替的冷通道和热通道。如在图1的实施方式中所示的，通道Iio是热通道，而通道112是冷通道。为了向机架108提供冷却，在冷通道112中的每个机架108的前面，穿孔地板砖114可用于从高架地板106下提供冷空气。在数据中心100中，除了穿孔地板砖114以外，高架地板106还可包括实心地板砖。冷却单元104可向高架地板106下的区域提供冷空气，并可从与数据中心的天花板相邻的空间接收暖空气。冷却单元104还可朝着数据中心的天花板排出冷空气，并从数据中心的地板吸入暖空气。在一个实施方式中，除了或代替冷却单元104，还可使用行内冷却单元，例如从罗德岛的West Kingston的美国电力转换(APC)公司可得到的冷却单元。在一个实施方式中，可使用具有例如12英寸的宽度的半机架行内冷却单元，该宽度为标准数据中心机架的宽度的大约一半。数据中心100可包括多种不同类型的服务器。例如，服务器可以是物理服务器、专用服务器或虚拟服务器。物理服务器通常包括硬件，其中操作系统运行。专用服务器通常包括在物理服务器上运行的服务应用。例如，专用服务器可包括在操作系统上的网络服务或文件传输协议(FTP)服务，其中服务应用可耦合到物理服务器。虚拟服务器可包括独立于物理服务器硬件的服务。例如，虚拟服务器可包括将物理服务器划分为多个服务器，每个服务器具有好像它们正在其自己的专用服务器上运行一样的表现和能力。在一个实施方式中，可能有每物理服务器一个专用服务器操作系统和每物理服务器多个虚拟服务器。虚拟服务器可与专用服务器一起(例如在专用服务器之上)同时运行。多个服务器或机架108可形成集群以共同运行应用或程序。集群可具有至少一个专用冷却单元104，或多个集群可共享同一冷却单元104。图2是根据实施方式的数据中心控制系统200的方框图。在一个实施方式中，系统200包括至少一个数据中心100。多个数据中心100可能与至少一个网络205和至少一个数据中心控制器210彼此相关。网络205可包括互连计算机例如互联网、任何广域网、局域网、城域网、无线网、电话网、蜂窝网、卫星网或其它区域网、或其组合中的至少一个网络。网络205可包括例如网络基础设施装置，例如服务器、路由器或交换机。在一个实施方式中，数据中心100的部件经由至少一个网络205彼此互连或与数据中心控制器210互连。数据中心100中的服务器和网络205的网络基础设施设备可被分组成网络区或集群，使得网络205的安全性在服务器添加或改变期间和之前保持完好无损。
在各种实施方式中，数据中心控制器210可位于一个或多个数据中心100内，或远离地位于数据中心100外部。例如，数据中心控制器210可位于数据中心100外部并经由网络205连接到数据中心100。在一个实施方式中，数据中心控制器210包括装置例如处理器、微芯片或电路以识别、管理和控制数据中心特征。在一个实施方式中，数据中心控制器210可接收关于至少一个数据中心100的数据。例如，数据中心控制器210可接收、测量或监测表示数据中心100的温度、容量、功率或电流消耗的数据或指示数据中心100及其部件的操作状态的其它数据。在一个实施方式中，数据中心控制器210可模拟数据中心100的操作。数据中心特征可基于模拟的或估计的数据中心条件——而不是测量的数据中心条件——例如温度、容量或能量数据。这个模拟数据可由数据中心控制器210产生或接收。数据中心控制器210还可包含指示数据中心100的最大容限或容量的数据。在一个实施方式中，至少一个数据库215存储指示数据中心100的容限或最大容量的数据。数据库215可以是数据中心控制器210的部分，或可以位于其它地方并且是数据中心控制器210经由例如网络205可访问的。数据库215可包括来自多于一个数据中心100的数据。在一个实施方式中，每个数据中心100包括至少一个数据库215，其存储指示数据中心100的信息例如容限或容量范围的数据。数据中心控制器210在一个实施方式中可包括从罗得岛的West Kingston的美国电力转换公司⑩可得到的丨nfraStruXure 管理或设计平台。在一个实施方式中，数据中心控制器210评估来自一个或多个数据中心100的实时或接近实时数据。例如，数据中心控制器210可确定数据中心100是否以最大容量操作。数据中心控制器210还可确定或接收指示数据中心100的单独的装置、部件或子系统的操作状态的信息。例如，数据中心100可包括多个服务器。经由网络205，数据中心100可向数据中心控制器210提供指示数据中心100中的特定服务器不以最大容量操作的数据，且因此可能能够执行额外的应用。在一个实施方式中，数据中心100包括一个或多个子系统。子系统的例子包括一个或多个设备子系统220、发电子系统225、不间断电源子系统230、冷却子系统235、安全子系统240、能量存储子系统245和通信子系统250。子系统通常包括被分派了功能任务的一个或多个数据中心100的装置。例如，如图1和2的实施方式中所示的，冷却子系统235可包括被分派了调节数据中心100的温度的任务的一个或多个冷却单元104。在另一例子中，设备子系统220可包括执行计算功能的服务器或其它逻辑装置。在一个实施方式中，通信子系统250包括经由网络205向至少一个数据中心控制器210提供数据的计算机硬件。例如，通信子系统250可至少部分地基于例如在数据中心100上执行的冷却容量分析来指示数据中心100正以其容量的80%操作。在另一例子中，通信子系统250可指示特定的装置例如来自设备子系统220的服务器正以其处理容量的45%操作。在这个例子中，服务器可用于进一步的处理操作。在一个实施方式中，通信子系统250可向数据中心控制器210提供数据中心100、其相关子系统或单独数据中心部件或装置的最大、最小或容限和操作数据。通信子系统250还可指示数据中心100有或没有足够的物理空间用于额外部件的插入。在一个实施方式中，通信子系统250包括至少一个数据库215。通信子系统250通常还可指示数据中心100或其相关子系统的状态。例如，通信子系统250可指示电源故障已出现。电源故障可能是由于例如本地电网的故障或数据中心100的装置或子系统的失灵。通信子系统250可接着向数据中心控制器210提供指示电源故障已出现的信息。在一个实施方式中，数据中心控制器210连续或周期性地接收关于一个或多个数据中心100的信息。从这个信息中，数据中心控制器210可确定数据中心100作为整体以及其单独装置(例如，服务器)或子系统的操作状态、范围和容限。至少部分地基于所接收或监测的信息，数据中心控制器210可接着在一个或多个数据中心100之间再分配应用，识别一个或多个数据中心100作为运行应用的位置，或识别数据中心100中的位置作为添加新的硬件或可用于运行应用的虚拟服务器的位置。在一个实施方式中，所接收的信息包括模拟或估计的数据中心信息。例如，第一数据中心100可以以大于其最大冷却容量的90%操作。该信息可从通信子系统250提供到数据中心控制器210。第二数据中心100可以以其最大冷却容量的30%操作，且这个信息也可被提供到数据中心控制器210。在本例中，数据中心控制器210，已经识别出第一和第二数据中心100的冷却容量参数后，可确定第二数据中心100可运行目前由第一数据中心100运行的应用。数据中心控制器210可接着指示应用从第一数据中心100转移到第二数据中心100。在本例中，将应用从第一数据中心100转移到第二数据中心100减小了第一数据中心活动，其可降低第一数据中心100的温度，并增加可用冷却容量和可用功率容量。在一个实施方式中，数据中心控制器210可识别数据中心100之一作为执行新应用的位置。例如，一个或多个数据中心100可以以关于温度、功率或其它参数的各种容量操作。数据中心控制器210可评估一个或多个数据中心100的操作条件以确定适合于执行新应用的数据中心100。在各种实施方式中，该确定可基于温度、功率、电流、冷却、能量、安全性或其它数据中心100的参数例如位置的任何组合。例如，两个数据中心100可实质上消耗相同数量的功率，但可位于不同的地理位置上。数据中心控制器210可识别这两个数据中心100之一作为执行新应用的位置，因为例如数据中心控制器210评估指示在第二位置处的能量成本小于在第一位置处的能量成本的信息。在本例中，这两个数据中心100都能够执行新应用，然而能量成本使在第二位置处的数据中心100在本例中成为更合适的位置。当数据中心控制器210识别运行应用的位置时，能量成本和其它外部因素不需要是确定性的。数据中心控制器210可评估一个或多个数据中心100的操作数据(例如，实时数据)、数据中心参数(例如，功率消耗、冷却容量、效率、可靠性、冗余性、备份运行时间、数据中心100、其子系统或单独部件的容限)以及外部因素(例如，当地能量、安全性或劳动力成本)的组合以识别一个或多个数据中心100作为运行应用的位置。数据中心控制器210可评估一个或多个数据中心100、其子系统或单独部件的模拟数据例如模拟功率消耗、模拟冷却容量、模拟效率、模拟冗余性和模拟备份运行时间的组合。在图3中，示出了示例性数据中心控制系统200。在一个实施方式中，数据中心控制器210实时地和在计划的事件例如例程维护或非计划的事件例如断电或其它非计划的中断期间提供数据中心100的操作的概述。在一个实施方式中，数据中心控制器210包括可确定数据中心100的功率和冷却特征的变化和容量管理器305，如在2006年I月27日递交的、标题为 “Methods and Systems for Managing Facility Power and Cooling，，的美国专利申请序列号11/342，300中所述的，该专利申请通过引用被全部并入本文。变化和容量管理器305可确定数据中心100的容量。例如，变化和容量管理器305可包括处理器或逻辑装置例如识别数据中心容量的电路或微控制器。在一个实施方式中，通信子系统250向变化和容量管理器305提供关于数据中心100的容量的信息。例如，变化和容量管理器305可指示数据中心100的实时容量。显示器可向负责数据中心100的管理的技术人员或人提供该信息。至少一个设备容量和状态管理器310可采样或监测数据中心100的设设备，并确定数据中心100的设备例如服务器的操作状态(例如，多个状态)和操作范围(例如，容量)。例如，设备容量和状态管理器310可指示数据中心100的特定机架中的虚拟服务器正以95%的容量操作。在另一例子中，参考图1和3，设备容量和状态管理器310可确定冷却单元104正以100%的容量操作，或例如冷却单元104在一段确定量的时间内正以大于90%的容量操作。在一个实施方式中，设备和容量管理器310向变化和容量管理器305提供信息用于进一步评估。数据中心控制器210还可包括至少一个服务器和网络管理器315，其为了方便起见而被称为服务器管理器315。在一个实施方式中，服务器管理器315管理并监测位于数据中心100中的物理、专用或虚拟服务器的性能数据。例如，服务器管理器315可监测服务器性能并确定服务器正以其处理容量的某个百分比操作。在一个实施方式中，服务器管理器315维持并配置网络设备，使得服务器位于特定的网络、集群或区内。服务器管理器315还可指示服务器将被添加到一个或多个数据中心100、从一个或多个数据中心100移除，或从一个数据中心100移动到另一数据中心100。在一个实施方式中，服务器管理器315可包括在多个虚拟服务器上运行的冗余应用。例如，为了备份目的，应用可具有冗余要求。这样的应用的例子包括工资单、会计、安全、投资、银行业务或其它应用，其中应用故障通常将被避免。在本例中，服务器管理器315可识别并管理一个或多个服务器的冗余能力。在一个实施方式中，服务器管理器315可在一个或多个物理位置上运行。服务器管理器315还可例如通过在不同的服务器上操作而在物理位置之间移动。在另一例子中，服务器管理器315可在位于数据中心控制器210中或数据中心100中的专用硬件上实现。此外，服务器管理器315可指示应用被提供到特定的服务器用于响应于来自技术人员的输入而执行或例如在特定的时间执行。在一个实施方式中，服务器管理器315可指示应用的全部或部分从第一服务器移动到第二服务器。在这个例证性实施方式中，第一和第二服务器可位于相同或不同的数据中心100中。例如，服务器管理器315可指示应用分配在位于多于一个的数据中心100中的多个虚拟服务器中。数据中心控制器210还可包括至少一个硬件管理器320。硬件管理器320通常通过监测设备参数、能量效率、拥有总成本、维护和灾难事件来优化数据中心100，以在数据中心100中和之间分配资源。在一个实施方式中，硬件管理器320联合变化和容量管理器305与服务器管理器315的功能。例如，硬件管理器320可评估来自变化和容量管理器305及服务器管理器315的信息以提供关于在哪里定位服务器的指令。硬件管理器320在识别一个或多个数据中心100中的服务器位置时考虑的因素包括电网断电、维护、环境变化、本地时间、现场员工的有空性、数据中心100的增加或减少的利用。其它因素可由例如变化和容量管理器305、设备容量和状态管理器310或服务器管理器315提供。
在一个实施方式中，技术人员可提供执行应用的指令或数据中心100的操作要求。例如，技术人员可将指示没有新的物理服务器将被添加到一个或多个数据中心100的指令输入到硬件管理器320。在本例中，硬件管理器320可识别执行应用的虚拟服务器位置。在另一例子中，由于向数据中心100供应电力的不可靠的本地电网，技术人员可为数据中心100提供最大功率消耗。在本例中，硬件管理器320可将应用时移或分配到其它数据中心100以将数据中心100的功率消耗保持在特定的最大功率消耗之下。在一个实施方式中，硬件管理器320提供将服务器从第一数据中心100中的第一位置移动到第一或第二数据中心100中的第二位置的指令。例如，硬件管理器320可将服务器例如虚拟服务器从第一数据中心100中的第一位置自动移动到第一或第二数据中心100中的第二位置。在一个实施方式中，至少部分地基于数据中心100的信息，硬件管理器320可将服务器移动到数据中心100中的位置或提供将服务器移动到数据中心100中的位置的指令。数据中心100的信息可包括数据中心部件的状态和参数信息、拥有总成本因素例如劳动力和能量成本、安全性、可用性要求、以及动态要求例如电力、冷却、延长的运行时间和冗余性要求。硬件管理器320还可识别服务器、网络设备或数据中心100中的其它装置的可靠性或其它要求。这些要求的例子包括冗余性、运行时间、功率使用、处理速度或容量、热生成、安全性、电力供应、电力需量和与数据中心装置或应用相关的网络区。在一个实施方式中，在识别在一个或多个数据中心100内执行应用的位置时，硬件管理器320可评估待执行的应用的性质。在一个实施方式中，硬件管理器320包括在与变化和容量管理器305、设备容量和状态管理器310以及服务器和网络管理器315中的一个或多个通信的客户端平台上的应用。例如，硬件管理器应用可与管理器305和310中的一个或多个交互作用以识别数据中心100的状态和位于数据中心100中的服务器的配置信息。硬件管理器应用还可识别形成网络205的部分的网络设备、拥有总成本因素、以及数据中心100的发电、存储和冷却信息。在一个实施方式中，数据中心控制器210包括至少一个共享数据中心网络管理器325。共享数据中心网络管理器325可监测一个或多个网络205的要求和操作。例如，网络205的基础设施或设备可具有操作限制或功能要求。网络基础设施限制例如容量、可靠性或带宽可由网络管理器325确定并被提供到硬件管理器320或其它数据中心控制器210的部件，作为可在识别执行应用的位置时被考虑的因素。数据中心控制器210不需要包括变化管理器305、设备容量和状态管理器310、服务器管理器315、硬件管理器320和共享数据中心网络管理器325的单独元件。数据中心控制器210可包括其它元件，例如可监测数据中心100及其部件一包括服务器一的参数、要求和使用的一个或多个处理器或电路。在一个实施方式中，响应于从数据中心接收的信息，数据中心控制器210识别至少一个数据中心100作为执行应用的位置。应用可在现有设备上执行，或新设备例如虚拟服务器可添加到数据中心100以执行应用。在一个实施方式中，数据中心控制器210—包括其子系统和管理器305-325的任何组合——可识别并跟踪服务器的物理位置。例如，可给数据中心控制器210提供指示特定的服务器位于特定的数据中心100中的信息。数据中心控制器210可通过评估服务器、数据中心100和网络205的信息例如参数、要求和操作状态信息来优化数据中心内的服务器的位置。在一个实施方式中，数据中心控制器210请求虚拟、专用或物理服务器的移动、放置、添加或再定位。这可以是例如响应于应用要求、数据中心100的操作条件例如计划或非计划的服务或维护、或网络205的操作条件例如电网断电。对服务器移动的请求可响应于数据系统100的电力、冷却或容量操作条件。由数据中心控制器210请求的服务器移动可增加数据中心100的效率、可靠性和性能，并可减少操作成本。在一个实施方式中，数据中心控制器210可识别服务器将被插入在其中的特定的数据中心100或特定的机架108。例如，数据中心控制器210可识别数据中心100中的现有物理服务器，并指示现有物理服务器被修改以包括虚拟或专用服务器。在一个实施方式中，数据中心控制器210评估来自多个数据中心100的信息，并识别可用于执行一个或多个应用或执行一个或多个操作的最小数量的虚拟服务器。这可包括虚拟服务器的集群。在这个例证性实施方式中，其余的数据中心100物理硬件可被关闭或置于较低功率待机模式中。这节省能量并减小数据中心100的冷却要求。在一个实施方式中，数据中心控制器210提供电网断电、数据中心100的故障或其它中断的指示。例如，数据中心控制器210可识别电池断路、警告或数据中心100或网络205的其它问题。数据中心控制器120可向技术人员提供数据中心100的维护请求的指示。在一个例子中，数据中心100可能布置成使得冷却单元104是无效或低效的。在本例中，基于从数据中心100接收的信息例如温度数据或冷却信息，数据中心控制器210可识别产生过多数量的热的一个或多个服务器(或其它装置)。继续这个例子，数据中心控制器210可用于识别服务器以再定位为较接近冷却单元104。数据中心控制器210也可将物理服务器识别为产生过多数量的热，且作为响应可将与该物理服务器相关的一个或多个虚拟服务器转移到在同一或不同的数据中心100中的不同位置。可评估数据中心部件以提高数据中心性能或操作。例如，数据中心控制器210可识别低效地操作的服务器。在本例中，数据中心控制器210可识别硬件升级或软件升级。数据中心控制器210可接着继续进行安装或请求服务器的升级。在一个实施方式中，数据中心控制器210可评估数据中心信息以识别或确定可用的数据中心容量。例如，数据中心控制器210可识别数据中心100作为整体或单独的数据中心部件例如服务器或机架108的可用容量。数据中心控制器210可指示可用数据中心容量可用来出租、租借或出售。在一个实施方式中，多余的数据中心容量的出租经由可识别并指示在一个或多个数据中心100中的容量的可用性的集中式数据中心容量出租系统而发生。在一个实施方式中，多余的数据中心容量可被分配到一个或多个数据中心100以增加数据中心100的性能或降低成本。数据中心控制器210还可指示对额外容量的需要以运行应用，并可从一个或多个数据中心100输入或输出数据中心容量。这个额外的容量可以起商品的作用。例如，像电和其它能量资源一样，数据中心容量可被出售、出租或预订。数据中心100可使用三相电源，其中不间断电源子系统230包括三相不间断电源(UPS)。在本例中，三相UPS可将三相功率分配给数据中心100的电力分配单元(PDU)或断路器面板。从rou中，电力经由一个或多个单相或三相分支电路输送到机架108。在本例中，通过数据中心装置(例如，子系统、服务器或设备)的电力利用可以是单相或三相的，或服务器或其它设备可能不知道它正使用的相。在一个实施方式中，数据中心控制器210可监测来自数据中心100的服务器的服务器报告的功率消耗值。在另一实施方式中，数据中心控制器210监测在数据中心100的三相电力系统内的相载荷。使用三相电力系统，除了指示功率消耗而没有指定相的任何服务器报告的功率消耗信息以外，还可给数据中心控制器210提供相特定的信息(例如，服务器连接到的相)。在一个实施方式中，可确定机架108的可用的未被利用的UPS容量。在另一实施方式(其中例如三相UPS的可用的未被利用的容量未提供数据中心100的电力特征的足够准确的指示)中，可确定在UPS处、在PDU输入处和在分支电路处的单独相的负载。例如，在三相电力分配系统中，最有效地确定数据中心可用容量的电力容量测量可以是分支电路电力容量(例如，IT装置或其它数据中心设备连接到电源的点)。在本例中，数据中心设备可以是单相的，并连接到三相UPS电力系统的三相之一。在一个实施方式中，除了在分支电路处的可用功率容量以外，数据中心控制器210还可确定或被提供在与分支电路相关的UPS处的相应相的可用电力容量数据或与分支电路相关的PDU处的相应相的可用电力容量数据。在一个实施方式中，当容量在分支电路本身和在与该分支电路相关的PDU和UPS处的其相应相处可得到时，在分支电路处的容量是可得到的。容量可在rou、ups和分支电路之间变得无法被利用。一些数据中心100的装置可具有可用容量，但这个可用容量可能对由其它数据中心装置使用是难达到的。例如，机柜例如设备机架108之一可能没有IT负载，并可具有由三相UPS的相A提供的单相分支电路，其中UPS被装载到33%且这个负载的全部处于相A上。在本例中，没有对相A的剩余的UPS功率，且因此将没有对机架108的可用容量。在本例中，机架108可被重装电线以从不同的相提供相关的分支电路。在另一例子中，没有IT负载的机架108可具有由相A提供的单相分支电路，其中相关的PDU被装载到33%且所有负载处于相A上。在本例中，没有对相A的剩余PDU功率，且因此将没有对机架108的可用容量。在本例中，机架108可被重装电线以从不同的相提供相关的分支电路。在另一例子中，具有到机架108的、额定值为15kW的三相电力分配的机架108可装载有9kW容量的设备且9kW容量被在所有三相中同等地分配。在本例中，每相将具有2kW的可用容量，因为电力分配在这三相中平衡。在本例中，虽然可能看起来6kW的容量(SP，15kff - 9kW)是可用的，但由于平衡的分配，每相具有2kW的容量，且在本例中，大于2kW的装置不能够安装在机架108中。数据中心设备可连接到230V分支电路。在北美，三相电力分配可连接负载，例如具有120V或208V的数据中心设备。在一个实施方式中，120V和208V负载可在数据中心100的分支电路上混合。120V和230V负载都可与特定的相相关，且208V负载可横跨两个相而连接，并可消耗在这两个相上的电流容量。因此，在数据中心100消耗来自北美电网的功率的一个实施方式中，可基于在分支电路以及在连接到负载的两个相关相上的其相关的UPS和PDU处的容量的可用性来确定在分支电路处的容量。在各种实施方式中，数据中心100的控制包括关于数据中心100的电力供应和数据中心100的电力需量的信息。例如，数据中心控制器210可管理关于数据中心100的结构例如其电力分配系统、其与IT负载例如数据中心设备的连接、以及连接的相关相的信息。在一个实施方式中，数据中心设备例如服务器可包括允许报告服务器电流和服务器功率消耗信息的仪器。此外，数据中心设备的物理位置可存储在与设备相关的数据库或另一数据库例如数据库215中。在一个实施方式中，可基于所报告的设备和设备的功率消耗信息来确定机架108的功率消耗，数据库指示该设备位于机架108中。例如，数据中心控制器210可使用来自位于数据中心100的机架108中的服务器的服务器仪器的这个所报告的功率消耗来确定数据中心100的全部或部分的冷却容量。设立于一些服务器内的服务器仪器可能提供不充分的信息以向数据中心控制器210指示它连接到哪个分支电路或相。在本例中，在没有这个信息的情况下，例如由于本文讨论的无法被利用的电力容量情况，数据中心控制器210可能不能识别服务器或机架108的可用电力容量。在本例中，仪器可被引入到数据中心100以向数据中心控制器210提供信息。在一个实施方式中，可至少部分地基于设备制造商数据来确定机架108或其它数据中心设备的功率消耗。例如，当设备的相连接是已知的时，可至少部分地基于制造商提供的设备参数来确定分支电路、UPS和PDU容量。为了简化这些确定，在一个实施方式中，分支电路可专用于单个数据中心装置或单件设备，且分支电路电流负载也可被测量。在一个实施方式中，例如由于高数量的相连接和分支电路配置(其中分支电路可专用于单个装置)，基于制造商数据的电力容量确定可能对一些较高密度的数据中心是不够的。在一个实施方式中，仪器可在整个电力分配系统中实现。例如仪器可被引入到具有新装置的数据中心100中，或现有的数据中心设备可被改进。在一个实施方式中，电流可在数据中心100的电力分配系统的一个或多个分支电路、PDU输入和UPS输出处被测量,且这个信息可被提供给数据中心控制器210，其可至少部分地基于这个信息来量化数据中心100的电力需量。当例如数据中心控制器210包括数据中心100的机架108、PDU和UPS之间的互连的逻辑表示时，可为数据中心100的所有分支电路确定考虑相载荷效应的可用电力容量。如所讨论的，数据中心控制器210可帮助新的数据中心设备、装置或IT装置的部署。在一个实施方式中，数据中心控制器210可识别数据中心100中的位置用于以平衡三相电源的相之间的负载的方式来放置装置。当数据中心设备被添加到数据中心或在数据中心内移动时，数据中心控制器210可指示设备将耦合到服务于数据中心100的电力系统的未充分使用的相。例如，以高于平均数据中心设计密度的电力密度操作的设备负载可由数据中心控制器210指引以耦合到未充分使用的相。类似地，以低于平均数据中心设计密度的电力密度操作的设备负载可由数据中心控制器210指引以耦合到过度使用的相。在一个实施方式中，对添加到数据中心100或在数据中心100内移动的装置重复这个基于相-利用的方法可优化相平衡和机架108的空间利用。以平衡的方式部署数据中心设备的失败可导致无法被利用的电力容量，其看起来存在于一些数据中心设备例如rou、分支电路或ups中，但由于数据中心设备或电力系统的配置而不能被利用，因而减小数据中心100的效率和可被部署的设备的数量。平衡三相电源的相利用可影响机架108的电力分配和数据中心100的电力密度。在一个实施方式中，数据中心控制器210可识别在数据中心100内的设备外壳的区。例如，行102可以是数据中心100的区。在本例中，数据中心控制器210可确定或指定每个区的平均机架功率或峰均机架比。继续这个例子，峰均比可影响可能存在的无法被利用的电力容量的量。在一个实施方式中，数据中心控制器210可将峰均比增加到比从一般机架108的变化预期的值大20%的值。这能减小由于分支电路之间的不平衡而导致的无法被利用的电力容量的量。在一个实施方式中，到机架108的三相电力分配使数据中心控制器210能够将设备分派给该机架108的不同相，导致电力相的平衡应用。在具有到机架108的单相电力分配的实施方式中，数据中心控制器210可指导机架108之间的分支电路的再分配。转到图4，示出了在数据中心100中的示例性服务器配置。在图4的例子中所示的每个服务器可包括至少一个物理、专用或虚拟服务器，且如图4所示的服务器可物理地位于一个或多于一个数据中心100中。在一个实施方式中，数据中心服务器可包括FTP服务器405、文件和备份服务器410、网络服务器415、订单服务器420、数据库服务器425、电子邮件服务器430和流式服务器435。该服务器配置是例子而不是限制性的。其它服务器功能、应用和配置是可能的。虽然在图4中被示为位于一个数据中心100内，图4的服务器配置和其它服务器配置可位于多于一个数据中心100中。在一个实施方式中，将在图4所不的一个或多个服务器405到435上执行的不同应用可具有不同的可靠性参数。此外，将服务器插入服务器配置内可能需要不同的可靠性参数，并可改变现有的可靠性参数。如图4所示的，FTP服务器405以及文件和备份服务器410可具有低水平的可靠性，电子邮件服务器430和流式服务器435可具有中等水平的可靠性，且网络服务器415、订单服务器420和数据库服务器425可具有高水平的可靠性。其它配置和可靠性参数是可能的。在一个实施方式中，连接在一个或多个数据中心100中的服务器的信息技术(IT)或网络基础设施设备可包括足以支持必要水平的可靠性的连接。例如，FTP服务器405可具有低可靠性参数。因此，FTP服务器405与在本例中也具有低可靠性要求的文件和备份服务器410相关可能就足够了。在一个实施方式中，具有例如中等可靠性参数的流式服务器435可被添加到图4的服务器配置。在本例中，所添加的流式服务器435可包括可执行流式应用的服务器。然而，所插入的流式服务器435将取决于文件和备份服务器410，其在本例中具有在本例中不足以执行中等可靠性流式应用的低可靠性参数。参考图3和4，数据中心控制器210的部件例如服务器和网络管理器315可识别服务器之间的网络或IT连接。在本例中，服务器和网络管理器315可指示文件和备份服务器410或在所添加的流式服务器435以及文件和备份服务器410之间的连接将具有被视为执行流式应用的不足的可靠性。响应于这个确定，服务器和网络管理器315可指示文件和备份服务器410的可靠性增加到足以允许插入流式服务器435用于执行流式应用的水平。在一个实施方式中，在服务器或数据中心100或网络205的其它元件之间的相关性可由数据中心控制器210或相关部件识别以识别执行应用的位置，并识别可对数据中心100做出的修改来以低成本有效地执行应用。在图5中，示出了在数据中心100中的服务器配置的例子。在一个实施方式中，图5包括第一服务器505和第二服务器510,参考图1,这两个服务器可位于一个或多个机架108中。第一服务器505和第二服务器510可每个包括一个或多个虚拟、物理或专用服务器。在一个实施方式中，第一服务器505和第二服务器510可以是形成网络205的部分的物理基础设施部件。
如图5所示，第二服务器510包括被实现为第二服务器510内的专用硬件的服务器和网络管理器315。在一个实施方式中，服务器和网络管理器315可在应用中实现，该应用在被包括在第一服务器505、第二服务器510或两者内的虚拟或物理服务器上运行。数据中心100可包括多于一个服务器和网络管理器315以提供足够水平的冗余性和可靠性。例如，如图5所示，第一服务器505位于不间断电源(UPS)区I中，而第二服务器510位于UPS区2中。在一个实施方式中，第一和第二服务器505和510都包括以虚拟或物理服务器应用的形式的服务器管理器315。在例如第一和第二区之一中的电力故障的情况下，具有服务器管理器315的第一和第二服务器505和510之一可保持在操作中。因此，服务器管理器315可跟踪并优化服务器的物理位置以识别或请求服务器在断电、服务或维护中断的情况下移动。可给服务器和网络管理器315提供第二服务器510的参数、要求或操作信息以及第一服务器505或其它服务器的那些信息。在一个实施方式中，服务器和网络管理器315可指示第一和第二服务器505和510中的一个或多个至少部分地基于服务器或数据中心参数来执行应用。图6是示出用于数据中心控制的示例性计算机实现的方法600的流程图。在一个实施方式中，方法600包括识别数据中心的参数的行动(行动605)，其中每个数据中心包括至少一个装置。例如，识别数据中心参数(行动605)可包括识别数据中心功率消耗、能量使用、冷却容量、处理能力、操作容量、容限、要求或操作范围。识别数据中心参数(行动605)可包括总体上识别数据中心作为整体的参数以及识别数据中心部件例如服务器、机架或冷却单元的参数。识别数据中心参数(行动605)可包括识别与数据中心相关的一个或多个网络的参数。例如，多个数据中心可由一个或多个网络互连并由控制器控制。识别数据中心参数(行动605)可包括识别网络的参数，其中网络参数可限制数据中心操作。在一个实施方式中，识别数据中心参数(行动605)包括识别选定数据中心装置的参数或特征。数据中心装置的例子包括冷却子系统、电力子系统、发电子系统、安全子系统、不间断电源、服务器、处理器和计算机。这个列表不是详尽的，以及数据中心装置包括例如其它部件和逻辑装置。识别数据中心参数(行动605)可包括识别或确定数据中心、其子系统和单独部件的单独的状态、要求、依从关系和操作信息。在一个实施方式中，识别数据中心参数(行动605)包括识别电网的电网参数，数据中心从电网消耗电力。也可识别其它这样的外部参数。例如，识别数据中心参数(行动605)可包括识别劳动力条件、政治或经济骚动、或可影响数据中心操作的其它外部因素。数据中心参数的另外的例子包括数据中心环境数据、数据中心内部的温度、数据中心外部的温度、电力成本、冷却成本、数据中心设施出租、租借或拥有成本、服务成本、维护成本和劳动力成本中的任一个。这些列表是例子而不是详尽的。在各种实施方式中，数据中心参数可包括当前或历史数据。在一个实施方式中，识别数据中心参数(行动605)可实时地或以周期性间隔出现。识别数据中心参数(行动605)还可包括识别工厂提供的或内置装置容限数据。识别数据中心参数(行动605)可包括监测或采样数据中心或其设备以确定参数。在一个实施方式中，识别数据中心参数(行动605)包括接收识别参数的信息。在一个实施方式中,所识别(行动605)的数据中心参数可被存储用于随后在一个或多个数据库或存储器存储装置中取回。在一个实施方式中，识别数据中心参数(行动605)包括识别哪个数据中心或数据中心部件可用来执行额外的应用。例如，可用数据中心的列表可被提供并以可用容量的顺序或以操作费用的顺序排列。这样的列表可存储在数据库中，并在数据中心参数改变时实时地或周期性地更新。在一个实施方式中，识别数据中心参数(行动605)包括确定任何添加的部件例如子系统、硬件或虚拟服务器对数据中心的影响。例如，识别数据中心参数(行动605)可包括任何添加的数据中心部件对数据中心冷却容量、功率消耗或性能的影响。在一个实施方式中，方法600包括指示一个或多个数据中心的额外数据中心容量的行动(行动610)。例如,指示额外的数据中心容量(行动610)可包括向技术人员或向与具有较少的容量或没有额外容量的不同数据中心相关的逻辑装置提供额外的数据中心容量的指示。在一个实施方式中，指示额外的数据中心容量(行动610 )包括数据中心操作容量或额外容量的实时图形显示。例如，指示额外的数据中心容量(行动610)可包括提供指示数据中心正以例如80%的容量操作且因此具有20%的额外数据容量的信息。通过再分配数据中心应用或关闭数据中心设备，额外的数据容量可被提供到其它数据中心、被减少或消除。方法600还可包括探测应用故障的行动(行动615)。在一个实施方式中，探测应用故障(行动615)包括探测由于可用数据中心的缺乏、数据中心操作问题、维护、网络问题或电源问题而引起的应用故障。在一个实施方式中，在数据中心处的应用故障的指示可在应用故障出现的数据中心内部或远离该数据中心的位置处被探测到(行动615)。在一个实施方式中，探测应用故障(行动615)包括定位与故障相关或被故障影响的数据中心或网络设备。例如，应用当在服务器上运行时可能不能如预期的执行。在本例中，服务器可被识别出，且识别信息可被提供给技术人员、控制器或与相同或不同的数据中心相关的逻辑。在一个实施方式中，在应用未能正确地在物理服务器上执行的一个实施方式中，在虚拟服务器之上运行的一个或多个虚拟服务器也可被识别出。虚拟服务器可接着被转移到同一数据中心内的不同位置或不同的数据中心。在一个实施方式中，响应于探测到应用故障(行动615)，临时位置可被找到用于应用转移。这个临时位置可能不是对长期应用执行最适当的位置。例如，在临时位置处运行应用可能将对数据中心部件的负担增加到无法承受的水平。在本例中，应用可在临时位置处运行，直到更适当的位置可被识别出。在一个实施方式中，探测应用故障(行动615)包括向技术人员提供关于故障的信息。该信息可识别例如出故障的数据中心或网络设备、转移的虚拟服务器、新硬件、维护操作和关闭信号。方法600可包括产生将硬件添加到数据中心的请求的行动(行动620)。在一个实施方式中，响应于探测到应用故障(行动615)，方法600包括产生添加硬件的请求(行动620)。例如，应用可能由于数据中心中的服务器处理容量的缺乏而失败。响应于探测到这个失败(行动615)，方法600可产生将硬件添加到应用发生失败的数据中心的请求(行动620)。接着试图响应于请求(行动620)使用添加到数据中心的新硬件来执行失败的应用。产生将硬件添加到数据中心的请求(行动620)也可包括向数据中心技术人员提供请求。在一个实施方式中，所产生(行动620)的请求可显示在图形界面上。产生请求(行动620)可包括产生将虚拟服务器添加到数据中心的请求。方法600可包括禁用一个或多个数据中心装置的行动(行动625)。在一个实施方式中，数据中心装置例如服务器或其它部件可以不在使用中，或可以以其容量的一部分被使用。禁用数据中心装置(行动625)可增加数据中心效率，减少功率消耗，并减少热生成，所有这些可降低数据中心操作的成本。禁用数据中心装置(行动625)可包括关闭装置、从数据中心移除装置例如物理或虚拟服务器、或将装置置于减少该装置的功率消耗的睡眠模式中。在一个实施方式中，禁用数据中心装置(行动625)包括在禁用该装置之前将在该数据中心装置上运行的应用转移到可位于同一或不同的数据中心中的不同装置。在一个实施方式中，方法600包括监测网络设备参数(行动630)的行动。例如，网络限制可限制数据中心操作。这可包括形成网络的至少部分的网络基础设施设备的限制。监测网络设备(行动630)可包括接收网络设备要求、相关性、容量、速度、功能或带宽的指示的任一个。例子的这个列表不是详尽的。监测网络参数(行动630)可包括探测网络故障或中断，并可包括探测可向数据中心提供电力的电网的电网中断。在一个实施方式中,监测网络设备(行动630)包括监测单独网络元件、装置或部件例如服务器、交换机或路由器的状态。方法600可包括接收警告消息的行动(行动635)。例如，接收警告消息(行动635)可包括接收计划或未计划的数据中心维护或在包括数据中心的场所上的电力中断的消息。在一个实施方式中，接收警告消息(行动635)可包括识别数据中心的问题。例如，接收警告消息(行动635)可包括接收数据中心部件或子系统正以最大容量或接近最大容量操作的消
肩、O在一个实施方式中，接收警告消息(行动635)可包括接收指示数据中心、其子系统(例如冷却单元)或部件(例如服务器)未充分使用的消息。例如，可接收(行动635)数据中心或其部件(例如装置)当前正使用其可用处理容量的5%的警告消息。响应于这个警告消息，数据中心可至少暂时关闭。在该数据中心运行的任何应用可停止，且技术人员可被警告。当多个数据中心同时操作时,这样的行动可增加总效率并降低成本。在一个实施方式中，方法600包括接收执行应用的命令的行动(行动645)。接收执行应用的命令(行动645)可包括接收执行应用的请求。可从例如数据中心、与数据中心相关的网络或技术人员接收请求或命令(行动645)。在一个实施方式中，接收执行应用的命令(行动645)包括接收请求以在数据中心之间或在一个或多个数据中心的数据中心部件之间转移应用。在一个实施方式中，接收执行应用的请求(行动645)可响应于在一个或多个数据中心处探测到应用故障(行动615)的行动。在一个实施方式中，接收执行应用的请求(行动645)包括控制器产生请求。在一个实施方式中，接收执行应用的命令(行动645)包括在数据中心接收执行应用的命令，其中应用由不同的数据中心提供。在一个实施方式中，方法600包括识别应用的要求的行动(行动650)。例如,识别应用的要求(行动650)可包括识别应用在其执行期间所使用的系统资源。系统资源可包括例如所使用的存储器或处理器容量以及所产生的热、控制产生的热所需的冷却容量、或用于运行、存储或执行应用的设备的功率消耗。在一个实施方式中，应用的要求响应于执行应用的所接收(行动645)的命令或连同该命令一起而被识别(行动650)。识别应用的要求(行动650)可包括识别应用将被执行的时间段。在一个实施方式中，识别应用的要求(行动650)包括识别应用的冗余性、准确性、可靠性或故障容忍要求。在一个实施方式中，方法600包括识别作为运行应用的位置的数据中心(行动655)。这可包括至少部分地基于多个数据中心的参数的评估来从多个数据中心识别一个数据中心(行动655)。这些参数可包括例如数据中心作为整体、数据中心设备、和将控制器连接到一个或多个数据中心的网络的网络设备的电力、电流、能量、冷却和装置特征。识别数据中心(行动655)可包括识别数据中心或单独的部件或其子系统，例如服务器。在一个实施方式中，识别数据中心(行动655)包括至少部分地基于可在数据中心内执行的应用的要求来识别数据中心。在一个例子中，多个数据中心可经由至少一个网络连接到彼此并也连接到至少一个控制器。这些数据中心可以在地理上是无联系的。第一数据中心可例如以其处理容量的35%操作，但可使用其冷却容量的98%，且因此可能消耗高数量的电力。第二数据中心可例如以其处理容量的90%操作，但可使用其冷却容量的60%，且在本例中可比第一数据中心消耗更少的电力。继续这个例子，控制器可评估这两个数据中心的容量和功率消耗数据，并将第二数据中心识别(行动655)为执行应用的位置。在本例中，应用可以是新应用，或可从第一数据中心转移到第二数据中心。识别数据中心(行动655)可包括多于数据中心处理、冷却和电力容量的评估。例如，当识别一个或多个数据中心以执行应用(行动655)时，网络设备和单独数据中心子系统和装置可被评估。上面的例子不是限制性的，且其它因素、参数和要求可在识别数据中心(行动655)时被考虑。例如，两个或多个数据中心可消耗相等的电力，但数据中心之一可位于具有较不昂贵的电力的国家或地区中。在本例中，识别数据中心(行动655)可包括识别消耗来自较不昂贵的源的电力的数据中心，因为这降低了数据中心操作的总成本。在另一例子中，从环境上较安全的源(例如，太阳能、风、水力发电或原子核)产生的电力可能影响识别数据中心的行动(行动655)。地理和政治顾虑以及劳动力成本是当识别数据中心(行动655)时可考虑的因素的另外的例子。在一个实施方式中，识别数据中心(行动655)可包括在包括数据中心的区域中的气候或当地天气条件的评估。例如，在冷气候中，可以用最小化冷却数据中心所必需的冷却设备的数量的方式来设计数据中心。在另一例子中，极端天气条件例如飓风或暴风雪的可能性可导致电网中断，并可在识别数据中心(行动655)时被考虑。在一个实施方式中，识别数据中心(行动655)可包括将特定的数据中心子系统或设备装置识别为执行应用的至少部分的位置。例如，识别数据中心(行动655)可包括识别第一数据中心或其部件以运行应用的部分，并识别第一数据中心的不同部件以运行应用的另一部分。此外，应用的另一部分可在第二数据中心或其部件处运行。在一个实施方式中，识别数据中心(行动655)包括识别在一个或多个数据中心处执行应用的时间。例如，由于例如数据中心使用条件或运行应用所需的资源，在半夜在特定的数据中心处执行应用可能是最有成本效益的。在一个实施方式中，将数据中心识别为执行应用的位置(行动655)包括识别应用对数据中心将有的影响，假定数据中心部件执行该应用。例如，数据中心可以以其容量的77%操作。将数据中心识别为执行应用的位置(行动655)可包括一确定:在所识别的数据中心处执行应用将使该数据中心以其服务器、机架、冷却或总容量的不同百分比操作。在另一例子中，识别数据中心(行动655)可包括如果应用在办公时间期间被执行则确定在数据中心上执行应用将引起数据中心功率消耗的0.5%的增加。可使用指示数据中心或网络功能的其它百分比或值。
在一个实施方式中，应用可能对数据中心有的影响的指示可被显示或提供给技术人员。在本例中，识别数据中心(行动655)可响应于来自技术人员的、指示应用对数据中的影响是可接受的指示而出现。在另一例子中，识别数据中心(行动655)可响应于来自控制器或任何数据中心的数据中心部件的、指示应用对数据中的影响是可接受的指示而出现。在一个实施方式中，识别数据中心(行动655)包括识别具有足够容量(例如，服务器或冷却)以执行应用的多个数据中心。例如，所识别的数据中心参数可被评估以产生在一个或多个数据中心内执行应用的适当位置的列表。在本例中，该列表可被排序，使得至少一个位置被识别为主要位置。继续这个例子，在一个或多个数据中心内的多个服务器可按具有最低操作费用的服务器到具有最高操作费用的服务器来识别。数据中心本身或其单独的部件或子系统可被识别(行动655 )。在一个实施方式中，在一个或多个数据中心中的虚拟服务器的集群可被识别(行动655)。识别数据中心(行动655)可包括识别数据中心的虚拟服务器的位置，其中虚拟服务器具有足够的容量来执行应用。在一个实施方式中，识别数据中心(行动655)包括识别数据中心中的虚拟服务器，以及识别该虚拟服务器的适当的替代位置。这样的替代位置可以在具有比另一数据中心更低的操作费用或更低的拥有总成本的数据中心内。例如，能够执行应用的虚拟服务器可以在具有不可靠的电网的数据中心中，或虚拟服务器可依赖于不足或不可靠的其它数据中心部件。在本例中，识别数据中心(行动655)包括识别虚拟服务器的替代位置。替代位置可以在同一或不同数据中心中。虚拟服务器或虚拟服务器的集群可接着转移到替代位置以执行应用。在一个实施方式中，识别数据中心(行动655)包括将数据中心识别为需要维护。在该例证性实施方式中，技术人员可同意在数据中心、其部件或其相关的网络或控制器上升级或执行维护的请求。例如，如果基本物理服务器的硬件被升级，则虚拟服务器性能可增力口。在本例中，识别数据中心(行动655)可包括或响应于升级服务器硬件的请求。在一个实施方式中，当识别数据中心(行动655)时可考虑当升级设备或添加硬件时的硬件、维护或安装活动的成本。这可例如响应于将硬件添加(行动620)到数据中心的请求而出现。特定的应用不需要被提供来在识别数据中心(行动655)之前执行。例如，识别数据中心(行动655)可包括识别具有例如可用服务器处理容量的多个数据中心。这些数据中心的列表可例如按照处理容量的数量、操作的成本、位置或其它因素来排列。该列表可周期性地或实时地更新。该列表可从它被存储的存储器存储单元或数据库取回。在一个实施方式中，方法600可包括转移数据中心应用的行动(行动658)。数据中心应用可在一个数据中心内的设备之间或从第一数据中心到第二数据中心转移(行动658)。在一个实施方式中，转移数据中心应用可响应于从数据中心接收警告信息的行动(行动635)。在一个实施方式中，为了接收所转移(行动658)的应用的目的，部件例如虚拟、物理或专用服务器可被添加到数据中心。转移应用(行动658)可包括将应用转移到两个或多个物理或虚拟位置或虚拟服务器的集群。在一个实施方式中，转移应用(行动658)包括转移应用的一部分，而应用的另一部分保留在现有的物理或虚拟位置处。在一个实施方式中，转移数据中心应用(行动658)包括将数据中心识别为能够执行当前被分配或指派给不同的数据中心的设备的应用。例如，多个数据中心可同时操作。多个数据中心之一可在一位置(在该位置，能量成本低于在其它数据中心的位置处的能量成本)上操作。在本例中，转移数据中心应用(行动658)包括将具有较低能量成本的数据中心识别为执行由具有较高能量成本的不同数据中心当前执行的应用的位置。在本例中，应用可以从具有较高能量成本的数据中心转移(行动658)到具有较低能量成本的数据中心。这减小了多个数据中心的总操作成本。能量成本的这个例子不是限制性的，因为当从数据中心转移(行动658)到执行应用的位置时，其它因素例如劳动力成本、维护、处理容量、可靠性或电网持久性可被评估。在一个实施方式中，方法600包括向数据中心提供应用的行动(行动660)。例如，向数据提供应用(行动660)可包括经由网络将应用传输到数据中心或其部件，例如具有执行应用的足够容量的服务器。应用可以经由网络、另一数据中心、技术人员或控制器被提供(行动660)到数据中心。在一个实施方式中，向数据中心提供应用(行动660)包括向响应于产生添加硬件的请求(行动620)的行动而添加到数据中心的硬件提供应用。向数据中心提供应用(行动660)可改变数据中心操作特征和其它参数。在一个实施方式中，方法600包括指示服务器或其它数据中心部件执行应用的行动(行动665)。例如，应用可被提供到数据中心(行动660)用于由服务器或其它数据中心部件立即执行。指示服务器执行应用(行动665)还可包括关于应用如何被执行的指令。例如，指令可包括可靠性或故障容忍规范。在各种实施方式中，指示数据中心执行应用(行动665)可响应于例如转移应用(行动658)、向数据中心提供应用(行动660)、向第二数据中心提供应用(行动680)或识别数据中心(行动655)。在一个实施方式中，方法600包括使应用的执行时移的行动(行动670)。应用的时移执行(行动670)可包括使应用的执行延迟。例如，当识别应用的要求(行动650)时，可确定应用的执行不是时间敏感的。此外，数据中心可在某些天例如假日或周末或在一天的某些时间例如在股票市场被关闭之后或在工作时间之后具有额外的容量。在例如这些情况下，应用可被时移(行动670)以在减少的数据中心活动期期间使用数据中心。在一个实施方式中，执行应用(行动665)的指令包括使应用的执行时移(行动670)的指令。在一个实施方式中，应用的时移执行(行动670)可响应于数据中心参数的识别(行动605)。此外，应用的时移执行(行动670)可响应于警告消息的接收(行动635)。警告消息可指示例如数据中心或其部件在最大容量处或接近最大容量，数据中心维护被安排，与数据中心相关的电网被中断，有劳动力或安全忧虑，或其它因素。方法600可包括确定第一数据中心容量的行动(行动675)。例如，确定第一数据中心容量(行动675)可包括确定所使用的数据中心容量的量、或可用的数据中心容量的量。所确定(行动675)的数据中心容量可包括数据中心作为整体或单独子系统或其中的元件的处理容量、电力容量或冷却容量。例如，识别第一数据中心(行动675)可包括将数据中心中的服务器识别为具有执行应用的足够容量。可基于第一数据中心或其设备所提供的信息来确定第一数据中心容量(行动675),或基于已知的设备容限和关于第一数据中心可正在执行的多个应用的信息通过外推法来确定。确定第一数据中心容量(行动675)可包括将数据中心识别为具有额外或可用的容量。确定第一数据中心容量(行动675)还可包括确定数据中心正以最大容量操作。例如，数据中心可消耗其可用电力的100%，或数据中心冷却单元可以以最大容量操作。此外，服务器或其它部件可以以其最大处理容量操作，或存储器设备可以是满的。在一个实施方式中，识别数据中心参数(行动605)包括确定第一数据中心容量的行动(行动675)。在一个实施方式中，确定第一数据中心容量(行动675)可通过参考数据中心模型实现。例如，在数据中心外部的数据中心控制器可模拟数据中心操作。在本例中，确定第一数据中心容量(行动675 )可包括基于模拟数据中心数据——而不是测量数据中心数据——来确定数据中心容量。在一个实施方式中，方法600包括向第二数据中心提供应用的行动(行动680)。向第二数据中心提供应用(行动680)可例如响应于下列操作中的至少一个而出现:确定第一数据中心容量(行动675)、接收警告消息(行动635)、探测到应用故障(行动615)、监测网络设备参数(行动630)、指示额外的数据中心容量(行动610)以及识别数据中心参数(行动605)。在一个实施方式中，向第二数据中心提供应用(行动680)包括向作为服务器的第二数据中心部件提供应用用于执行。在一个实施方式中，向第二数据中心提供应用(行动680)包括向第二数据中心提供应用的一部分。可通过将工作负载合并到较少的机架108或在其中包括的服务器中来减少数据中心例如图1的数据中心100的能量消耗。例如，服务器可在空闲状态中可消耗其最大电力的大约一半，且使未使用的服务器和其它设备断电减少了总能量消耗。在多个机架108和服务器当中分配工作负载(例如，应用)也可减少服务器和机架108的功率消耗。在一个实施方式中，数据中心控制器210 基于最小化单独的服务器功率消耗的服务器利用阈值来在服务器当中分配工作负载。例如，数据中心控制器210可将工作负载分配给多个服务器，使得它们以其总计算能力的大约68%操作。在O-100%之间的其它百分比是可能的。这合并一个或多个数据中心100的一些服务器上的工作负载，允许其它服务器断电。虽然这个例子最小化服务器(或机架108)功率消耗，在本例中的工作负载分配可主要基于服务器或机架电力利用，且不一定最小化冷却单元104的消耗或总数据中心100的功率消耗。当工作负载分配不考虑冷却功率消耗时，冷却单元104可能必须消耗额外的电力来补偿在多个服务器当中的工作负载分配，或额外的冷却单元104可能是需要的。这可弥补服务器电力节省，并防止数据中心100在其最小总功率消耗处操作。在一个实施方式中，通过控制冷却单元和机架的功率消耗来最小化数据中心的总功率消耗。例如，数据中心控制器210可确定最小化数据中心100的总功率消耗的机架108 (包括服务器)和冷却单元104的使用、操作状态和组合。也可通过将冷却单元负载合并到较少的冷却单元104中来减小数据中心能量消耗。机架108和冷却单元104可以被完全或部分地利用或断电。数据中心100或其部件例如机架108和冷却单元104可分成多个区或集群。例如，机架108的集群可包括群集在数据中心100的区域中的多个机架108。这可相应于完整的行102、行102的一部分、或多行102的部分。冷却单元104的集群可包括基于房间的或包括在数据中心100的至少一行102中的一组设备。集群还可包括至少一个机架108和至少一个冷却单元104的组。在一个实施方式中，数据中心控制器210确定至少一个机架108的实际或模拟利用率UiK。这些确定可实时地进行。机架利用率UiK表示被分配给每个机架的最大计算负载的部分。机架利用率UiK可被表示为例如以每秒百万指令数(MIPS)的从O - 100%的百分比，或被表示为在零和一之间的数字。数据中心控制器210还可确定至少一个冷却单元104的实际或模拟利用率ιιΛ其表示由冷却器输送的最大空气流的部分。冷却利用率Uie可例如被表示为在0%和100%之间的百分比，或被表示为大于最小阈值并小于或等于一的数字。在一个实施方式中，最小阈值大于零。机架功率消耗PiK由方程(I)表示，其中表示在待机或空闲状态中的最小机架功率，PmaxE表示最大机架功率，且UiE表示机架利用率。
权利要求
1.一种计算机实现的数据中心控制方法，所述数据中心包括多个机架和至少一个冷却单元，所述机架包括至少一个服务器，所述方法包括: 接收关于所述至少一个冷却单元、所述至少一个服务器、所述多个机架和至少一个应用的信息； 接收基于机架的冷却度量阈值；以及 确定所述数据中心的布局，所述布局最小化所述多个机架和所述冷却单元的总功率消耗，同时基于所述阈值将冷却性能维持在可接受的水平。
2.如权利要求1所述的方法，包括: 确定在满足所述基于机架的冷却度量阈值的多个服务器之间的所述至少一个应用的工作负载分配。
3.如权利要求1所述的方法，其中所述基于机架的冷却度量阈值包括热通道捕获指数阈值和冷通道捕获指数阈值中的至少一个，所述方法包括: 实时地确定所述热通道捕获指数阈值和所述冷通道捕获指数阈值中的至少一个；以及 基于所述热通道捕获指数阈值和所述冷通道捕获指数阈值中的至少一个将所述应用分配到所述至少一个服务器。
4.如权利要求1所述的方法，包括: 基于所述多个机架中的每个的工作负载利用率来确定所述多个机架中的每个的单独功率消耗； 基于所述至少一个冷却单元的冷却利用率来确定所述至少一个冷却单元的功率消耗； 确定所述多个机架和所述至少一个冷却单元的总功率消耗；以及 基于所述总功率消耗、所述多个机架中的每个的功率消耗以及所述至少一个冷却单元的功率消耗来确定所述数据中心的所述布局。
5.如权利要求1所述的方法，包括: 基于所述机架的工作负载利用率和所述冷却单元的冷却利用率中的至少一个来实时地确定所述数据中心的总功率消耗； 在多个服务器之间分配工作负载和在多个冷却单元之间分配冷却负载，同时基于所述阈值将冷却性能维持在所述可接受的水平。
6.如权利要求1所述的方法，包括: 将所述应用从所述至少一个服务器分配到第二机架的第二服务器，其中所述第二机架位于所述数据中心和第二数据中心之一中。
7.如权利要求1所述的方法，包括: 提供在所述数据中心内重新定位所述机架的指令。
8.如权利要求1所述的方法，包括: 显示所述数据中心的所述布局。
9.一种包括多个机架和至少一个冷却单元的数据中心的数据中心控制系统，所述多个机架包括至少一个服务器，所述系统包括: 数据中心控制器，其配置成: 接收关于所述至少一个冷却单元、所述至少一个服务器、所述多个机架和至少一个应用的信息； 接收基于机架的冷却度量阈值；以及 确定所述数据中心的布局，所述布局最小化所述多个机架和所述至少一个冷却单元的总功率消耗，同时基于所述阈值将冷却性能维持在可接受的水平。
10.如权利要求9所述的系统，其中所述布局包括初始布局，其中所述数据中心控制器配置成: 将工作负载从所述至少一个服务器分配到第二服务器；以及 确定所述数据中心的第二布局。
11.如权利要求9所述的系统，其中所述基于机架的冷却度量阈值包括热通道捕获指数阈值和冷通道捕获指数阈值中的至少一个，且其中所述数据中心控制器配置成: 确定所述热通道捕获指数阈值和所述冷通道捕获指数阈值中的至少一个；以及基于所述热通道捕获指数阈值和所述冷通道捕获指数阈值中的至少一个将所述应用分配到所述至少一个服务器。
12.如权利要求9所述的系统，其中所述数据中心控制器配置成: 基于所述多个机架中的每个的工作负载利用率来确定所述多个机架中的每个的单独功率消耗； 基于所述至少一个冷却单元的冷却利用率来确定所述至少一个冷却单元的功率消 耗； 确定所述多个机架和所述至少一个冷却单元的总功率消耗；以及基于所述总功率消耗、所述多个机架中的每个的功率消耗以及所述至少一个冷却单元的功率消耗来确定所述数据中心的所述布局。
13.如权利要求9所述的系统，其中所述数据中心控制器配置成: 确定所述数据中心的集群的总功率消耗，所述集群包括所述多个机架和所述至少一个冷却单元；以及 识别最小化所述总功率消耗的所述集群的工作负载分配。
14.如权利要求9所述的系统，其中所述数据中心控制器配置成: 基于所述多个机架中的至少一个的工作负载利用率和所述至少一个冷却单元的冷却利用率中的至少一个来确定所述数据中心的总功率消耗；以及 在多个服务器之间分配工作负载，同时基于所述阈值将冷却性能维持在所述可接受的水平。
15.如权利要求9所述的系统，其中所述数据中心控制器配置成将所述至少一个应用从所述至少一个服务器分配到第二服务器。
16.如权利要求9所述的系统，其中所述至少一个冷却单元包括行内冷却单元。
17.一种计算机可读介质，其上存储有指令序列，所述指令序列包括使处理器执行下列操作的指令: 接收关于至少一个冷却单元、至少一个服务器、多个机架和至少一个应用的信息； 接收基于机架的冷却度量阈值；以及 确定所述数据中心的布局，所述布局最小化所述多个机架和所述冷却单元的总功率消耗，同时基于所述阈值将冷却性能维持在可接受的水平。
18.如权利要求17所述的计算机可读介质，包括使所述处理器执行下列操作的指令: 确定热通道捕获指数阈值和冷通道捕获指数阈值中的至少一个；以及 基于所述热通道捕获指数阈值和所述冷通道捕获指数阈值中的至少一个将所述应用分配到所述至少一个服务器。
19.如权利要求17所述的计算机可读介质，包括使所述处理器执行下列操作的指令: 基于所述多个机架中的每个的工作负载利用率来确定所述多个机架中的每个的单独功率消耗； 基于所述至少一个冷却单元的冷却利用率来确定所述至少一个冷却单元的功率消耗； 确定所述多个机架 和所述冷却单元的总功率消耗；以及 基于所述总功率消耗、所述多个机架中的每个的功率消耗以及所述至少一个冷却单元的功率消耗来确定所述数据中心的所述布局。
20.如权利要求17所述的计算机可读介质，包括使所述处理器执行下列操作的指令: 将工作负载从所述多个机架中的第一机架的服务器分配到所述多个机架中的第二机架的服务器。
全文摘要
本发明提供了用于数据中心控制的系统和方法。数据中心包括多个机架和至少一个冷却单元。机架包括至少一个服务器。关于至少一个冷却单元、至少一个服务器、多个机架和至少一个应用的信息被接收到。
文档编号G06F1/20GK103221898SQ201180055880
公开日2013年7月24日 申请日期2011年9月21日 优先权日2010年9月22日
发明者J·W·范吉尔德, M·戴尔加斯, 张轩杭 申请人:施耐德电气It公司