专利名称：使用无线通信的数据中心的制作方法
使用无线通信的数据中心
背景技术：
数据中心通常使用计算单元的分层组织来处理计算任务。在该组织中，数据中心可包括多个机架。每个机架包括多个计算单元(诸如，用于实现可访问网络的服务的多个服务器)。每个机架还可包括用于在机架内将数据路由到计算单元或路由来自计算单元的数据的机架级切换机制。一个或多个更高级的切换机制可将各机架耦合在一起。因此，数据中心中各计算单元之间的通信可包括通过分层切换结构“向上”和“向下”发送数据。数据中心使用硬连线链路在物理上实现这些通信路径。计算单元的分层组织已经证明对于许多数据中心应用来说是有效的。然而，它也有缺点。在其他潜在的问题中，切换结构的分层性质可导致对于某些应用在数据流上的瓶颈，尤其是涉及不同机架中的各计算单元之间的通信的那些应用。
发明内容
此处描述了数据中心，该数据中心包括彼此经由无线通信来交互的多个计算单元。例如但不限于，数据中心可使用高频RF信号、光信号等来实现无线通信。在一个实现中，数据中心可包括三个或更多个计算单元。每个计算单元可包括处理资源、通用存储器资源、和切换资源。此外，每个计算单元可包括用于与至少一个其他计算单元无线通信的两个或更多个无线通信元件。这些通信元件通过提供相应的在方向上聚焦的束，例如在一个实现中通过使用57GHz-64GHz范围中的高衰减信号，来实现无线通信。根据另一个说明性方面，数据中心可包括组成结构的至少一组计算单元。例如，该结构可组成具有内部空闲区域以便容纳组内各计算单元间的组内通信的支柱(例如，圆柱体)。根据另一个说明性方面，可将计算单元相对于彼此来放置以避免永久干扰。当第一计算单元可与第二计算单元通信，但该第二计算单元无法与该第一计算单元直接通信时存在所述永久干扰。根据另一个说明性方面，计算单元组成(在某些情形中)经由至少一个中间计算单元将有效载荷数据从源计算单元传输到目的计算单元的无线切换结构。该切换结构可使用任何类型的路由技术或路由技术的任何组合来实现这些功能。根据另一个说明性方面，在传输有效载荷数据中涉及的计算单元可使用其存储器资源的至少一部分(如果可用的话)作为临时存储正被传输的有效载荷数据的缓冲器。因此，计算单元的存储器资源既可担任执行计算中的传统角色，又可担任缓冲角色。根据另一个说明性方面，计算单元被配置成使用媒体访问协议来彼此通信，该媒体访问协议解决各种隐式终端场景。数据中心可在不同环境中提供各种优势。根据一个优势，(与固定分层方法相比)数据中心更容易且更灵活地容纳计算单元之间的通信。数据中心可因此为许多应用提供经改善的吞吐量。根据另一个优势，数据中心可减少硬连线链路和专用路由基础结构的量。该特征可降低数据中心的成本，以及简化数据中心的安装、重新配置和维护。根据另一个优势，计算单元在执行无线通信时使用相对低的电量。这降低了运行数据中心的成本。上面的方法可以体现在各种类型的系统、组件，方法、计算机可读介质、数据中心、制品等中。提供本发明内容是为了以简化的形式介绍特征的非穷尽性选集及其附带的好处；这些特征在以下具体实施方式
中进一步描述。本发明内容并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。
图1示出具有一个或多个无线通信元件的说明性计算单元。图2是两个通信元件之间双工通信的图示。图3示出使用楔形外壳的计算单元的一个实现。图4示出了可用来实现图3的计算单元的组件集合。图5示出使用立方体形状外壳的计算单元的一个实现。图6示出了可用来实现图5的计算单元的组件集合。图7是多组计算单元的三维视图，每个计算单元是图3和4中示出的类型。图8是图7中示出的组中的两个组的横截面视图。图9示出使用图5和6中示出的类型的计算单元所组成的数据中心。图10是影响两个通信元件的永久干扰的图示。图11是用于在数据中心内部署计算单元以避免永久干扰的方法的图示。图12是补充图11的图示的流程图。图13是示出一种将通信频谱分割成多个隙(slot)的频率-时间图。图14是示出一种在使用无线通信的数据中心内传输控制数据和有效载荷数据的方法的频率-时间图。图15提供信令协议的概览，该信令协议可用于处理数据中心中各计算单元之间的通信，并且具体而言，可用于解决各种隐式终端场景。图16示出各通信参与者之间不存在冲突的第一交互场景。图17示出存在信号重叠、但各通信参与者之间仍不存在冲突的第二交互场景。图18示出用于解决各通信参与者之间的第一类型冲突(例如，“已占有冲突”)的第三交互场景。图19示出用于解决各通信参与者之间的第二类型冲突(例如，“已覆盖冲突”)的第四交互场景。图20是两组计算单元的横截面视图，指示了如何使用这些计算单元来路由数据。图21示出通过切换资源来共同提供的切换结构，该切换资源由数据中心中的各个计算单元来提供。图22示出一组中的计算单元，该组的第一子集被指派用于处理第一方向上的通信，并且该组的第二子集被指派用于处理第二方向上的通信。图23示出分组单元的组的集合，指示了由此组成的切换结构如何用于避开具有非最优性能的计算单元。贯穿本公开和附图使用相同的附图标记来引用相同的组件和特征。100系列标号指的是最初在图1中找到的特征，200系列标号指的是最初在图2中找到的特征，300系列标号指的是最初在图3中找到的特征，以此类推。
具体实施例方式本发明是按如下方式来组织的。章节A描述在数据中心内提供无线通信的不同类型的计算单元。章节B描述可使用章节A的计算单元来构建的说明性数据中心。章节C描述用于解决永久干扰问题的功能。章节D描述用于实现各计算单元之间的信号传递的功能。章节E提供在使用无线通信的数据中心内路由数据的功能。作为预备，一些附图在被不同地称为功能、模块、特征、元素等的一个或多个结构组件的上下文中描述概念。附图中示出的各组件可以用各种方式来实现。在一种情况下，附图中所示出的将各种组件分离为不同的单元可以反映在实际实现中使用对应的不同的组件。另选地或者另外地，附图中所示出的任何单个组件都可以通过多个实际组件来实现。可另选地，或者另外地，对附图中的任何两个或更多个单独的组件的描绘可以反映由单个实际组件所执行的不同的功能。其他附图以流程图形式描述了概念。以此形式，某些操作被描述为构成以某一顺序执行的不同的框。这样的实现是说明性的而非限制性的。此处描述的某些框可被分组在一起并在单个操作中执行，某些框可被分成多个组件框，并且某些框可以按与此处所示出的不同的次序来执行(包括以并行方式执行这些框)。流程图中所示的各个框可以用任何方式来实现。下列的说明可以将一个或多个特征标识为“可选”。这种类型的陈述不应该被解释为可以被视为可选的特征的穷尽的指示；也就是说，其他特征也可以被视为可选，虽然在文本中没有明确地标识。类似地，说明可以指出一个或多个特征可以以复数实现(即，通过提供一个以上的特征)。这种陈述不应该被解释为可以重复的特征的详尽的指示。最后，术语“示例性”或“说明性”指的是可能多个实现中的一个实现。A.说明性计算单元图1示出在数据中心内使用的计算单元102。计算单元102包括处理资源104和存储器资源106，以便共同执行任何类型的处理任务。例如，处理资源104和存储器资源106可实现一个或多个应用，该一个或多个应用可由用户或其他实体经由广域网(例如，因特网)或通过任何其他耦合机制来访问。处理资源104可由一个或多个处理设备(例如，CPU)来实现。存储器资源106 (也被称为通用存储器资源)可由动态和/或静态存储器设备(诸如，DRAM存储器设备)的任意组合来实现。计算单元102还可包括数据存储资源108 (诸如，磁盘和/或光盘)，以及相关联的驱动机制。计算单元102的其他实现可省略上述特征中的一个或多个。另外，计算单元102的其他实现可提供额外的资源(例如，“其他资源” 110)。可在具有任意形状的外壳112中提供计算单元102。一般而言，外壳112被配置成使得计算单元102可与相似设计的其他计算单元高效地组合，以组成一个组(例如，机架)。作为概览，本章节说明外壳112具有楔形形状的第一示例，以及外壳112具有立方体形状的第二示例。这些实现不是穷尽性的。计算单元102可包括任意数量K个无线通信元件114。例如，无线通信元件114可在射频(RF)频谱内通信。具体而言，通信元件114可在频谱的极高频(EHF)部分(例如，30GHz到300GHz)的任意部分内通信。例如但不限于，无线通信元件114可在频谱的57-64GHZ部分内提供通信。在另一个情形中，通信元件114可在电磁频谱的光学或红外部分内通信。这些示例是代表性的而非穷尽性的；不对K个无线通信元件114发射的信号的物理性质进行限制。每个无线通信元件可以发射在方向上聚焦的能束。可相对于束的能量降至规定水平处的空间中的那些点来定义这种束的“形状”。例如，注意示出了起到收发器作用的说明性通信元件202的图2，该通信元件202具有用于发射信号的发送模块(TX)以及用于接收另一个通信元件(例如，由通信元件204)所发送的信号的接收模块(RX)。通信元件202发射相对于第一角度(α )和第二角度(β，未示出)来定义的电磁能束206，该第一角度确定该束的横向扩散(spread),而第二角度确定该束的垂直扩散。该束延伸距离L。最后,通信元件202花费能量P。α、β、L和P的值将针对不同的实现而变化。在一个实现中而非限制，α和β各自小于或等于30度，L小于两米，并且P小于一瓦特。一般而言，束206相对较窄且经明确定义，尤其是在通信发生在频谱的57GHz-64GHz部分内的示例中。在该范围中，束206面临空气中的剧烈衰减。使用窄束允许通信元件与一个或多个其他通信元件选择性地通信，而不会引起相对于其他通信元件的干扰。例如，通信元件202可与通信元件204成功地交互。但是，束206是经明确定义的，足以使得附近的点208将不会用足以(在点208)引起干扰的强度来接收信号。在一个实现中，每个通信元件提供指向固定方向并具有固定的α、β和L的静态束。在设置期间，用户可通过在期望的方向“指向”计算单元外壳112来将束定向到期望的方向上。另选地或另外地，用户可通过调整通信元件本身(作为整体相对于计算单元102)的定向来将束定向到期望的方向上。无线通信元件本身可包括用于发送和接收信号的组件的任意组合。不作为限制，组件可包括一个或多个天线、一个或多个透镜或其他聚焦设备(在光学通信的情形中)、功率放大器功能、调制和解调功能、纠错功能(和任意类型的过滤功能)等。在一种情形中，每个无线通信元件可被实现为在公共基板上形成的组件集合，该基板附连到(或单片集成到)与计算单元102本身相关联的主板。返回到对图1的解释，K个无线通信元件114被示为包括两组通信元件。第一组指向第一方向，而另一组指向相反的方向。这只仅仅表不一种选项。在(下面参考图3和4所描述的)一个特定的实现中，计算单元102包括指向第一方向的第一单个通信元件和指向第二方向的第二单个通信元件。在(下面参考图5和6所描述的)另一个特定的实现中，计算单元102包括指向四个相应方向的四个通信元件。在某些实现中，计算单元102可以是一组计算单元(例如，机架)中的一个成员。并且作为整体的数据中心可包括多个这样的组。在该设置中，一个组中的计算单元可包括用于与同一组内一个或多个其他计算单元交互的至少一个通信元件。这种类型的通信元件被称为组内通信元件。计算单元还可包括用于与一个或多个空间上邻近的组中的一个或多个计算单元交互的至少一个通信元件。这种类型的通信元件被称为组间通信元件。其他计算单元可以只包括一个或多个组内通信元件，或者一个或多个组间通信元件。一般而言，每个通信元件可被称为与一个或多个其他计算单元通信；这些通信参与者之间的关系可针对不同的数据中心拓扑结构而改变。计算单元102还可包括一个或多个有线通信元件116。有线通信元件116可提供计算单元102与任意实体(诸如，另一个通信元件、路由装置等)之间的硬连线连接。例如，数据中心内计算单元的子集可使用相应的有线通信元件116与任意类型的网络交互，并通过该网络与任意远程实体交互。然而，图4和6示出的实现不具有有线通信元件。为了便于讨论，此后术语“通信元件”将指无线通信元件，除非以其他方式显式地有资格作为“有线”通信元件。虽然未示出，但计算单元102也可包括一个或多个全方向通信元件。计算设备102还可包括切换资源118。一般而言，切换资源118可包括将计算单元102内的各种组件动态地连接到一起的任意类型的连接机制。例如，切换资源118可控制在计算单元102内路由数据的方式。在时间上的一个点处，切换资源118可将通过通信元件接收到的数据路由到处理资源104和存储器资源106，使得该功能可对数据执行计算。在另一个情形中，切换资源118可将给期望的通信元件的输出数据路由到该通信元件。在另一个情形中，切换资源118可以配置计算单元102使得它主要用作将馈送给它的数据进行转发的中间代理等。数据中心内多个计算单元所提供的切换资源118包括无线切换结构。如将在章节D中所描述的，切换结构使得源计算单元任选地经由例如一个或多个跳步(hop)中的一个或多个中间计算单元来将数据传输到目标计算单元(或任何其他目标实体)。为了实现这个目标，切换资源118还可包括用于使用任意类型的路由策略或路由策略的任意组合来路由数据的路由功能。此外，计算单元102可使用存储器资源106的至少一部分作为缓冲器120。计算单元102在当在路由模式中操作时使用该缓冲器120来临时存储数据。例如，假设计算单元在将源计算单元连接到目标计算单元的路径中用作中间计算单元。此外，假设计算单元102无法将其接收的数据沿着该路径立即传送到下一个计算单元。如果是，则计算单元102可将数据临时地存储在缓冲器120。在该情形中，假如存储器资源106在那个特定的时间可用作缓冲器120，则计算单元102出于缓冲目的以按需的方式来使用存储器资源106 (例如，当在传输数据的过程中需要缓冲时)。因此，计算单元102的存储器资源106服务于至少两个目的。第一，存储器资源106结合处理资源104工作以例如通过实现任意类型的一个或多个应用来执行计算。第二，存储器资源106使用缓冲器120来在路由模式中临时存储数据。存储器资源106的双重用途是有优势的，因为它消除或减少了数据中心提供单独的专用切换基础结构的需要。图3示出表示图1中所示的一个版本的通用计算单元102的计算单元302。计算单元302包括具有像楔形形状的外壳304。在处理板306上提供(上面描述的)组件(但未在图3中具体示出)。组内通信元件308提供与本地组中一个或多个其他计算单元的无线通信。组内通信元件308位于内表面310上。组间通信元件312提供与相邻组中一个或多个其他计算单元的无线通信。组间通信元件312位于外表面314上。章节B提供附加的细节，该细节澄清了具有多个组的数据中心内组内通信元件308和组间通信元件312的功能。图4示出图3的楔形计算单元302内的各组件。各组件包括处理资源402、存储器资源404、数据存储资源406、切换资源408、组内通信元件308和组间通信元件312。该组件集合是代表性的，其他实现可省略图4中所示的组件的一个或多个和/或提供附加的组件。图5示出表示图1中所示的另一个版本的通用计算单元102的计算单元502。计算单元502包括具有像立方体形状的外壳504。在处理板506上提供(上面描述的)组件(但未在图5中具体示出)。该计算单元502包括用于与分别被定位到计算单元502的前、后、左和右的计算单元(或其他实体)通信的四个通信元件(508、510、512、514)。章节B提供附加的细节，该细节澄清了具有多个组的数据中心内的通信元件(508、510、512和514 )的功倉泛。图6示出图5的立方体形状的计算单元502内的各组件。各组件包括处理资源602、存储器资源604、数据存储资源606、切换资源608、以及各种通信元件(508、510、512和514)。该组件集合是代表性的，其他实现可省略图6中所示的组件的一个或多个和/或提供附加的组件。B.说明性数据中心图7示出多组计算单元。用更传统的语言来说，每组可被认为是一个机架。例如，考虑代表性组702。组702中的每个计算单元(诸如，代表性计算单元704)对应于图3中所示的楔形计算单元302。在单个层(诸如，代表性层706 )中将多个这种楔形计算单元组合到一起以形成像环的形状。可以堆叠多个这种层708，以形成类似支柱(例如，柱形结构)的结构。组702包括由楔形计算单元的集体内表面(诸如，图3中所示的各个内表面310)所定义的内部区域710。组702包括由楔形计算单元的集体外表面(诸如，图3中所示的各个外表面314)所定义的外表面。在该描绘中，每个支柱具有圆柱形状。但是其他实现的结构可具有其他相应的形状。为了仅引用一个替换的示例，一个组可具有带有或不带有具有任意轮廓的内部空闲空间腔的八边形横截面(或任何其他多边形横截面)。图8是图7中的两个组(即组702和组712)的横截面视图。参考组712，横截面揭示了特定层中楔形计算单元的集合，集体提供了圆形内周界802和圆形外周界804。内周界802定义空闲空间区域806。因此，组712的横截面类似于具有从空闲空间中枢辐射的轮辐的轮子。组内通信元件(诸如，代表性通信元件808)被置于内周界802上。每个这样的组内通信元件使对应的计算单元能够跨空闲空间区域806与一个或多个其他计算单元通信。例如，图8示出从通信元件808延伸跨过空闲空间区域806的说明性发射束810。组内通信元件812位于束810的路径“内部”，并因此能够接收该束810所发送的信号。组间通信元件(诸如，代表性通信元件814)被置于外周界804上。每个这样的组间通信元件使对应的计算单元能够与相邻组中的一个或多个其他计算单元(诸如，组702中的计算单元)通信。例如，图8示出从(组712的)通信元件814投射到组702的说明性发射束816。组内通信元件818位于束816的路径“内部”，并因此能够接收该束816所发送的信号。空闲空间区域806的直径由z来表示，而任意两个组之间的最接近分隔由d来表示。选择距离z和d以分别容纳组内和组间通信。距离针对不同的技术环境而变化，但在一个实现中，这些距离中的每个都小于两米。图9示出包括多个组(例如，组904、906、908等)的另一个数据中心902。例如，考虑代表性组904。组904包括计算单元的类似网格阵列，其中每个计算单元具有图5中所示的像立方体的形状。此外，图9示出单层的组904 ;可在该层顶部堆叠计算单元的附加的类似网格阵列。组904可因此形成多列计算单元。每列具有正方形横截面(其他更一般地，多边形横截面)。组904作为整体也形成一列。例如，取决于组内的计算单元的放置，每个计算单元所提供的通信元件可与组内计算单元和/或组间通信元件通信。例如，计算单元910具有用于与第一相邻组内计算单元912交互的第一无线通信元件(未示出)。计算单元910包括用于与第二相邻组内计算单元914通信的第二无线通信元件(未示出)。计算单元910包括用于与相邻组906的一个计算单元916通信的第三无线通信元件(未示出)。计算单元和组的这种组织仅是代表性的，其他数据中心可采用其他布局。还要注意的是，计算单元910包括用于与路由装置918交互的硬连线通信元件(未示出)。具体而言，计算单元910是连接到路由装置918的计算单元的子集中的一个成员。路由装置918将数据中心902内的计算单元连接到外部实体。例如，数据中心902可经由路由装置918被耦合到外部网络920 (诸如，因特网)。用户和其他实体可使用外部网络920，例如通过经由外部网络920向数据中心902提交请求以及经由外部网络920从数据中心902接收响应，来与数据中心902交互。图9中所示的数据中心902因此包括一些硬连线通信链路。然而，数据中心902将不会像传统数据中心那样呈现同一类型的瓶颈问题。这是因为传统的数据中心经由单个接入点将通信路由到机架路并从机架路由通信。相反，组904包括将路由装置918连接到组904的多个接入点。例如，组904示出连接到路由装置918的三个接入点。假设组904包括五层(未示出);因此，该组将包括个3 X 5接入点，从而形成输入-输出接入点墙。未被直接地有线连接到路由装置918的计算单元可经由一个或多个无线跳步与路由装置918间接地交互。因此，图9中示出的架构减少了通过任意单个接入点的数据量。图9示出计算单元的类似网格阵列的上下文中的路由装置918。但是，同一原理可被应用到具有任意形状的组的数据中心。例如，再次考虑使用圆柱形的组，如图7所示。假设数据中心将这些圆柱形组安排成多个行。数据中心可将路由装置连接到该数据中心的外部行中的计算单元的至少一个子集。该路由装置以上面描述的方式将数据中心与外部实体相率禹合。C.用于解决永久干扰的说明性功能图10描绘了可能影响任何两个通信元件(1002、1004)的永久干扰的概念。假设通信元件1004能够成功地接收通信元件1002所发送的信号。但是，假设通信元件1002无法类似地接收通信元件1004所发送的信号。通俗地说，通信元件1002可与通信元件1004对话，但通信元件1004无法对通信元件1002回话。这种现象被称为永久干扰；目前它是永久的，因为它产生于结合通信元件(1002、1004)所发射的束的形状来对通信元件(1002、1004)的放置和定向。永久接口是不期望的，因为它将两个计算机单元之间的交互降为单向通信(同双向通信相比)。单向通信无法用于携带许多通信任务一至少不高效。解决永久干扰问题的一种方法是提供间接路由，通信元件1004通过该间接路由将数据传输到通信元件1002。例如，该间接路由可包括通过一个或多个中间计算单元(未示出)来发送数据。然而，该选择不是完全令人满意的，因为它增加了数据中心所使用的路由装置的复杂度。
图11示出数据中心可避免永久干扰的另一种机制。在该方法中，用户通过将计算单元逐个地添加到外壳结构来构建一组计算单元(例如，机架)。在添加每个计算单元时，用户可确定该放置是否产生永久干扰。如果永久干扰发生了，则用户可将该计算单元放在另一个位置。例如，如所描绘的，目前用户正在尝试将楔形计算单元1102添加到圆柱形组1106的开放槽1104。如果该用户确定永久干扰将由于这个放置而发生，则他或她将拒绝作出这个放置，并探索将计算单元1102插入到另一个槽(未示出)中的可能性。各种机制可帮助用户确定对计算单元1102的放置是否将产生永久干扰。在一种方法中，计算单元1102本身可包括检测装置(未示出)，该检测装置确定在将计算单元1102添加到组1106时是否产生图10中示出的永久干扰现象。例如，检测装置可指示计算单元1102向附近的计算单元发送测试信号；该检测装置随后可确定计算单元1102是否未能从这些附近的计算单元接收确认信号(在附近的计算单元已经接收到测试信号的情况下)。检测装置还可确定互补的问题是否存在，例如，计算单元1102可从附近的计算单元接收测试信号，但它无法将确认信号成功地转发到附近的计算单元。检测装置还可检测对计算单元1102的引入是否引起组1106中两个或更多个已经放置的计算单元间的永久干扰(即使永久干扰可能不直接影响计算单元1102)。已经放置的计算单元可包括它们各自相应的检测装置，该检测装置可从它们各自相应的“角度”来评估干扰。计算单元1102可包括警告装置1108，该警告装置1108 (例如可通过提供音频和/或视觉警告来)向用户警告永久干扰的问题。已经放置的计算单元可包括类似的警告装置。另选地或另外地，组1106的外壳可包括检测装置(未示出)和相关联的警告装置1110，以便向用户警告永久干扰的问题。具体而言，组1106的外壳可包括与组1106内各个计算单元相关联的多个这种检测装置以及警告装置。警告标识受所建议的放置影响的计算单元。图12示出了总结上面以流程图形式说明的概念的过程1200。在框1202中，用户将最初的计算单元置于与组(例如，机架)相关联的外壳内的初始位置。在框1204中，用户将新的计算单元置于外壳内的一个候选位置。在框1206中，用户确定(框1204中的)该放置是否引起永久干扰(以上面描述的方式中的任一种)。若没有，则在框1208中，用户将该新的计算单元置于该候选位置(就意味着用户只是将计算单元放在该位置)。如果引起永久干扰，则在框1210中，用户将该计算单元移至新的候选位置，并重复框1206中的检查操作。可以重复该过程一次或多次，直到用户标识出该新的计算单元的无干扰位置。在框1212中，用户确定是否存在要置于与组相关联的外壳中的任何新的计算单元。如果是，则用户对新的计算单元重复上述操作。在框1214中，用户确定要对组内的空隙(如果有)做什么。这些空隙由于永久干扰的存在而缺少计算单元。在一个情形中，用户可使这些隙空着。在另一情形中，用户可用不涉及无线通信的任意类型的计算单元来填充这些隙。例如，用户可为执行专用数据存储角色的计算单元分配空隙。过程1200可以以不同的方式变化。例如，用户可通过改变一个或多个先前放置的计算单元(而不是新引入的计算单元)的位置来解决干扰情况。例如，用户可确定对计算单元的先前放置不成比例地约束了对接下来的计算单元的放置。在此情形中，用户可移走该先前的计算单元，以启用对接下来的计算单元的更高效的放置。如在框1216中所概括地指示的，在建立数据中心(或在建立数据中心之后)的任一点处，可例如通过确定每个计算单元可在没有永久干扰的情况下与之交互的那组通信元件(如果有)，来评估每个计算单元的交互能力。可通过聚集这些交互能力来得出关于数据中各节点(计算单元)的互连的拓扑结构信息。D.计算单元之间的说明性信令任何类型的媒体访问控制策略可用于在计算单元之间传送数据。例如，上面描述的数据中心可使用时分多址(TDMA )、频分多址(FDMA )、码分多址(CDMA )等、或其组合中的任一种。例如，图13示出组合时分和频分技术来定义用于在各计算单元间进行通信的时隙-频隙集合的示例。保护区域在频率维度和时间维度上分隔各隙。这些保护区域用作缓冲器，以降低各隙之间干扰的风险。在一个方法中，数据中心使用图13中所示的分隙技术在各计算单元间传送控制数据。具体而言，数据中心可以指派用于在各对计算单元之间传送控制数据的隙。因此，假设第一计算单元希望与其附近的第二计算单元交互。该第一计算单元等待，直到合适的隙变成可用(该隙专用于在第一计算单元与第二计算单元之间控制数据的传送)。第一计算单元随后使用所指派的控制隙将控制数据传送到第二计算单元。第二计算单元读取控制数据并基于该数据采取动作。在一个情形中，第一计算单元可将控制数据作为发送有效载荷数据的前序发送到第二控制单元。第二计算单元可(以下面描述的方式)通过提供确认信号来响应。数据中心可使用任意技术来传送实际的有效载荷数据。在一个方法中，数据中心使用上面描述(用于控制数据的情形)的同一时-频复用方法来传送有效载荷数据。在第二个方法中，数据中心在发送有效载荷数据时不执行复用。即，在第二方法中，一旦第一计算单元接收发送有效载荷数据的许可，它就可使用该数据通道来发送它的全部数据。一旦第一计算单元已结束发送其有效载荷数据，它就可释放该数据通道以供由另一个计算单元使用。图14示出上面描述的后一场景。在该场景中，数据中心使用间歇性控制块(例如，块1402、1404)来处理各计算单元间的控制数据交换。每个控制块具有图13中所示的隙结构。数据中心使用非复用的数据通道1406来处理有效载荷数据的交换。然而，为了重复，图13和14示出许多可能的访问控制策略中的一个媒体访问控制策略。一般而言，数据中心可分配用于处理控制信令的一定量的通信资源、以及用于处理有效载荷数据的传送的一定量的通信资源。存在在选择与控制有关的资源同与有效载荷有关的资源的特定比率时考虑的环境专用的折衷。增加控制信令减少了计算单元可获得控制隙的等待时间，但这降低了可用于处理数据传送的资源的量。设计者可选择提供目标与等待时间有关且与容量有关的性能的比率。图15-19下面示出各计算单元间的说明性信令协议。该说明性协议描述了一个计算单元可与一个或多个其他计算单元建立连接以便与那些其他计算单元交换有效载荷数据的方式。该计算单元的请求可能与或者可能不与数据中心内各计算单元间的预先存在的连接相冲突。因此，说明性协议描述了数据中心可解决潜在冲突的(其他可能的方式中的)
一种方式。图15-19也解决不同类型的隐式终端场景。在一个隐式终端场景中，第一计算单元和第二计算单元可与第三计算单元通信。然而，第一和第二计算单元可能不具有彼此的直接知识；即，第一计算单元可能不知道第二计算单元，并且第二计算单元可能不知道第一计算单元。这可能会产生不期望的干扰，因为第一和第二计算单元将冲突的需求置于第三计算单元。可在相对于更大数量的计算单元的更大范围上展示这个相同的现象。作为开始，图15用作说明将用于描述多个信令场景的术语的工具。该图示出六个说明性参与者计算单元，即PO、P1、P2、P3、P4和P5。如果任一个参与者计算单元X正从任一个参与者计算单元Y接收数据，则称X被Y “占据”。如果任一个参与者计算单元X未从任一个参与者计算单元Y接收数据，但受到来自参与者计算单元Y的数据信号的影响，则称参与者计算单元X被参与者计算单元Y “覆盖”。在图15的情形中，参与者计算单元P4被参与者计算单元Pl占据。参与者计算单元P3和P5各自被参与者计算单元Pl覆盖。计算单元将仅被称为P0-P5以简化下面的解释。图16示出没有冲突发生的信令场景。在实例A处，PO发送控制数据，该控制数据传达连接到P3的请求。在实例B处，P3和P4 二者确认PO的请求。在该点，P3变为被PO占据，并且P4变为被PO覆盖。在实例C处，PO发送指示它正在断开连接的控制数据。P3和P4将接收该控制数据，该控制数据将分别移除它们相对于PO的被占据和被覆盖的状态。图17示出存在信号重叠，但没有冲突的信令场景。在实例A之前，假设PO已经建立了与P3的连接；因此，P3被PO占据，并且P4被PO覆盖。接着，P2发送控制数据，该控制数据传达连接到P5的请求。在实例B处，P4和P5 二者确认连接到P5。在实例C处，由此，P5变为被P2占据，并且P4变为被PO和P2 二者覆盖。图18示出存在被占据类型的冲突的信令场景。在实例A之前，假设PO已经建立了与P4的连接；因此，P4被PO占据，并且P3被PO覆盖。接着，P2发送控制数据，该控制数据传达连接到P5的请求。在实例B处，P5确认连接到P5的请求。在实例C处，P4确认P2所发送的请求。PO接收该信号并识别出它已被另一个计算单元抢占。因此，它发送断开连接的消息，该消息由P3和P4接收。在实例D处，由此，P3未被任一个参与者计算单元占据或覆盖，P4被P2覆盖，并且P5被P2占据。图19示出存在被覆盖类型的冲突的信令场景。在实例A之前，假设PO已经建立了与P3的连接；因此，P3被PO占据，并且P4被PO覆盖。接着，P2发送控制数据，该控制数据传达连接到P4的请求。在实例B处，P5确认连接到P4的请求。在实例C处，P4也确认P2所发送的请求。PO接收该信号并识别出它已被另一个计算单元抢占。因此，它发送断开连接的消息，该消息由P3和P4接收。在实例D处，由此，P3未被任一个参与者计算单元占据或覆盖，P4被P2占据，并且P5被P2覆盖。E.说明性路由功能总之，数据中心包括多个组(例如，机架)。每个机架进而包括多个计算单元。在一个情形中，数据中心使用无线通信将机架耦合在一起，以例如执行组间通信。此外，数据中心使用无线通信将一个组内的各个计算单元耦合在一起，以例如执行组内通信。数据中心可利用上面描述的连接通过包括多个段或跳步的通信路径，将数据从第一组中的源计算单元转送到第二组中的目的计算单元。一个特定的组可存在一个或多个段；两个不同的组之间可存在一个或多个其他的段。此外，路径可穿过一个或多个中间组。例如，注意图20的示例。在此，组A中的一个计算单元将数据发送到组B中的第一计算单元。组B中的该第一计算单元将该数据发送到组B中的第二计算单元，该第二计算单元随后进而将该数据发送到组B中的第三计算单元。组B中的该第三计算单元随后将数据发送到某个其他组中的某个其他计算单元，以此类推。每一单个计算单元的切换资源集体组成数据中心内的切换结构。该切换结构包括用于实现上面描述的类型的传送的路由功能。图21提供了该概念的高级描绘。S卩，图21示出包括多组计算单元的数据中心2102。每个计算单元的切换资源集体提供了切换结构2104。一般而言，切换结构2104可形成表示数据中心内的可能连接的图。图中分布的节点表示计算单元；边表示计算单元之间的连接。切换结构2104可通过确定每个计算单元能建立什么双工通信链路来形成此图。具体而言，切换结构2104能在执行组内路由的链路与执行组间路由的链路之间进行区分。此外，切换结构2104还能标识要避免的单向链路(因为它们与永久干扰相关联)。切换结构2104可按照(每个节点收集关于切换结构2104中其他节点的连接性信息的)分布式的方式、和/或(一个或多个代理监视切换结构2104中的连接的)集中式的方式来形成此图。在一个情形中，每个节点可仅知道它的邻居。在另一个情形中，每个节点可知道作为整体的切换结构2104内的连接性。具体而言，节点例如使用任意算法或其组合(例如，距离或路径向量协议算法、链路状态向量算法等)来维护传达连接性信息的路由表。切换结构2104可使用任何类型的一般路由策略或路由策略的任何组合来实现路由。一般而言，例如，切换结构2104可提取以下路由策略中的一个或多个:单播，其中第一计算单元将数据仅发送到第二计算单元；广播，其中一个计算单元将数据发送到数据中心中的全部其他计算单元；多播，其中一个计算单元将数据发送到计算单元的子集；以及任意播，其中一个计算单元将数据发送到(例如，基于随机选择考虑等)从一组计算单元中选择的任一个计算单元，等。具体而言，切换结构2104可在在数据中心2012内路由消息时使用静态或动态考虑的任意组合。切换结构2104可在选择路径时使用任意度量或度量的组合。此外，切换结构2104可在路由消息时使用不限制的任意算法或算法的组合，包括基于最短路径考虑(例如，基于Dijkstra算法)、启发考虑、基于策略的考虑、I旲糊逻辑考虑、分层路由考虑、地理路由考虑、动态学习考虑、服务质量考虑等的算法。例如，在图20所示的场景中，切换结构2104可使用随机路径选择和最短路径分析的组合来路由数据穿过切换结构2104。另外，切换结构2104可采用任意数量的以下特征来便于路由。直通式切换。切换结构2104可采用直通式切换。在该方法中，切换结构2104内的任意参与者(例如，节点)在其已接收到完整的消息之前就开始传输该消息。死锁和活锁预防(或降低)。切换结构2104可使用降低或消除死锁和活锁的发生的各种机制。在这些情况中，由于消息进入无限循环，或由于它遇到切换结构2104中任意类型的低效，该消息变成被挂起。切换结构2104可通过使用(设置用于传输消息的最大时间量的)任意类型的超时机制、和/或(设置消息在从源节点前进到目的节点中采取的最大跳步数的)跳步限制机制等来解决此情形。一旦遇到这种超时或跳步限制，切换结构2104就可重新发送该消息。图22示出可用来降低死锁风险等的另一规定。在此情形中，数据中心指派用于处理第一方向上的通信的通信元件的第一子集，以及用于处理第二方向上的通信的通信元件的第二子集。例如，图22示出圆柱形组的内表面2202的一部分。通信元件的第一子集(诸如，通信元件2204 )被指派为在向上方向上转发数据，并且通信元件的第二子集(诸如，通信元件2206)被指派为在向下方向上转发数据。数据中心可按照任意方式，例如通过基于任意类型的规则图案(诸如，棋盘图案等)来使具有不同角色的元件交错，来向不同的通信元件指派角色。或者，数据中心可使用随机指派技术等来向不同的通信元件指派角色。当在特定方向上前进时，切换结构2104可在每一步从具有适当的路由方向的各节点中选择(例如，通过在各节点间作出随机选择)。一般而言，此规定降低了在使消息从源节点前进到目的节点时将建立无限循环的可能性。故障保险机制。数据中心2102的无线架构非常适用于处理故障。第一类型的故障可能在组内的一个或多个单独计算单元内发生。第二类型的故障可能影响数据中心2102内的整个组(例如，机架)。故障可以表示使功能完全无法操作、或使功能表现出非最优的性能的任何情况。切换结构2104可通过在发生故障的组件“周围”路由消息来解决这些情况。例如，在图23中，假设组2302和组2304在数据中心内发生故障。在没有该故障的情况下，切换结构2104可沿着由A、B和C定义的路径来路由消息。在发生故障时，切换结构2104可沿着更绕行的路线(诸如，由V、W、X、Y和Z定义的路径)来路由该消息，从而避开发生故障的组(2302、2304)。任意路由协议可用于实现该故障保险行为。最后，说明书在说明性挑战或问题的上下文中描述了各种概念。这种说明方式不构成对其他人已经以此处所指定的方式理解和/或明确表达挑战或问题的承认。尽管用结构特征和/或方法动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。更确切而言，上述具体特征和动作是作为实现权利要求的示例形式公开的。
权利要求
1.一种数据中心，包括: 至少三个计算单元，每个计算单元包括: 用于执行计算功能的处理资源； 用于存储数据的存储器资源； 至少两个无线通信元件，每个通信元件使用无线通信与至少一个其他计算单元通信，并且每个通信元件形成在方向上聚焦的束；以及 用于将所述处理资源、所述存储器资源和所述至少两个无线通信元件耦合在一起的切换资源。
2.按权利要求1所述的数据中心，其特征在于，所述至少三个计算单元包括至少两组计算单元，并且每个计算单元包括用于与本地组中至少一个其他计算单元通信的至少一个组内无线通信元件以及用于与至少一个邻近组中的至少一个其他计算单元通信的至少一个组间通信元件。
3.按权利要求1所述的数据中心，其特征在于，所述至少三个计算单元包括形成柱形结构的一组计算单元，所述柱形结构具有用于容纳所述组内各计算单元间的组内通信的内部空闲空间区域。
4.按权利要求1所述的数据中心，其特征在于，计算单元的至少一个子集各自包括用于与外部实体通信的至少一个有线通信元件。
5.按权利要求1所述的数据中心，其特征在于，将所述至少三个计算单元相对于彼此来放置以避免永久干扰，其中当第一计算单元能与第二计算单元通信，但所述第二计算单元无法与所述第一计算单元直接通信时，存在永久干扰。
6.按权利要求1所述的数据中心，其特征在于，所述至少三个计算单元组成经由至少一个中间计算单元将有效载荷数据从源计算单元传输到目的计算单元的切换结构。
7.按权利要求6所述的数据中心，其特征在于，传输所述有效载荷数据中涉及的至少一个计算单元被配置成按需地且若可用时将其存储器资源的至少一部分用作临时存储由所述切换结构传输的所述有效载荷数据的缓冲器。
8.按权利要求6所述的数据中心，其特征在于，所述切换结构被配置成使用路由策略，所述路由策略路由消息以避开所述数据中心中的非最优地执行的计算单元。
9.按权利要求6所述的数据中心，其特征在于，所述切换结构被配置成使用用于在第一方向上传输有效载荷数据的计算单元的第一子集以及用于在第二方向上传输有效载荷数据的计算单元的第二子集。
10.按权利要求1所述的数据中心，其特征在于，所述至少三个计算单元被配置成使用解决隐式终端现象的媒体访问协议经由无线通信来彼此通信。
11.按权利要求1所述的数据中心，其特征在于，所述至少三个计算单元被配置成通过传输控制数据和有效载荷数据来彼此通信，选择控制数据与有效载荷数据的比率以提供目标与等待时间有关以及与容量有关的性能。
12.按权利要求11所述的数据中心，其特征在于，所述至少三个计算单元被配置成使用相对于频率和时间来定义的多个隙来传递所述控制数据。
13.一种用于将计算单元放置在数据中心中的方法，包括: 相对于一个或多个其他预先放置的计算单元，将新的计算单元置于所述数据中心中的候选位置处，每个计算单元具有用于使用无线通信与至少一个其他计算单元通信的至少一个通信元件，所述至少一个通信元件形成在方向上聚焦的束； 确定将所述新的计算单元置于所述候选位置是否在所述数据中心中产生永久干扰，其中当第一计算单元能与第二计算单元通信，但所述第二计算单元无法与所述第一计算单元直接通信时存在永久干扰； 如果不存在永久干扰，则将所述新的计算单元置于所述候选位置；以及 如果存在永久干扰，则改变至少一个计算单元的位置，接下来重复所述确定步骤。
14.按权利要求13所述的方法，其特征在于，所述确定包括如果检测到永久干扰则提供警告。
15.按权利要求13所述的方法，其特征在于，还包括基于每个计算单元的所评估的交互能力，在所述数据中 心内形成关于计算单元的互连的拓扑信息。
全文摘要
数据中心包括使用诸如高频RF无线通信的无线通信来彼此通信的多个计算单元。数据中心可将计算单元组织成组(例如，机架)。在一个实现中，每组可形成三维结构，诸如具有用于容纳计算单元间的组内通信的空闲空间区域的支柱。数据中心可包括便于通信的多个特征，包括用于处理计算和缓冲任务的双重用途存储器、故障保险路由机制、解决永久干扰和隐式终端场景的规定等。
文档编号G06F15/16GK103098038SQ201180017112
公开日2013年5月8日 申请日期2011年3月25日 优先权日2010年4月5日
发明者申知容, D·基罗夫斯基, D·T·哈珀三世 申请人:微软公司