专利名称：用于实现流处理计算机架构的方法及系统的制作方法
技术领域：
本发明涉及数据处理系统，更具体地，涉及用于实现流处理计算机架构的方法及 系统。
背景技术：
通信对计算机系统性能的影响在宏观层面(例如，刀片服务器及计算机集群)及 微观层面(例如，在具有许多核心(core)的单一处理器芯片内)而言均持续增长。用于计 算的传统方法，其依赖于缩短经由高速缓存层次对主存储器的存取时间，正在到达收益递 减(diminishingreturns)点。之所以如此，部分是因为I/O数据传输相对于处理核心速度 的延时不断增加以及高速缓存及全局通信线所需的(有限的)芯片上电力耗散预算的部分 不断增加。同时，严格的芯片上电力耗散约束已使许多主要的半导体公司转移到多核心或 芯片多处理器(CMP)架构。CMP的出现又对两个主要领域中的通信基础架构造成更多挑战。 具体地，CMP中处理核心的数目的不断增加加剧了对芯片内通信及芯片间通信的带宽要求。 另外，与传统单核心处理器芯片相比，CMP架构大大增加了编程复杂性及最终生产率。流处理最近已作为用于基于CMP架构及软件管理的高速缓存组织的系统的替代 性计算模型方法而出现。许多类别的重要应用(例如，数字信号处理及多媒体应用)呈现 对可并行处理的规则数据结构的长序列的相当规则的存取，这与对数据库中典型的复杂数 据记录的更随机的存取相反。对于这些应用，利用专用处理器(诸如，nVidia 及amd/ati 图形处理单元(GPU)或IBM 的Cell宽带引擎)进行的流处理的组合与应用于通用CMP 架构的传统计算范例相比，可能提供更高的性能及更低的电力耗散。在图1中示出了样本流计算图形。图形100由被称作内核(kernel) (102AU02B 及102C)的多个计算节点构成，这些节点由表示从一个内核去向另一内核的数据流的边 104A/104B连接。内核指的是对数据流执行计算的软件代码单元。在图1的图形100中， 这些数据流为单向的；即，数据从该图的左侧移动(流动)至右侧，如箭头所示。内核可为 以下三种类型之一源端102A(表示被产生作为对计算图形的输入的数据流的起源)；宿端 102B(表示一个或多个流形式的最终结果)；及规则内核102C。内核(102A至102C)可具 有一个或多个输入流104A，且作为其特定计算的结果而产生一个或多个输出流104B。通常，流计算图形(例如，图形100)表示针对计算机处理问题的解决方案(例如， 检测一些事件或找到输入数据流——金融股票交易、感测数据相关性及其它——之间的模 式及复杂关系)。只要数据流正由计算内核处理，该图形即持续存在，且通常此时间为非常 长的时间(数小时或数小时以上或无期限)。因此，认为此图形的拓扑为固定的。处理这种流计算图形中的一个挑战为确定如何将计算节点(例如，内核102A至 102C)分组成多个群组，以使得这些群组可被分配给计算机处理系统的物理计算节点。存在 执行这种分组(也称为调度、嵌入，或在图形理论中称作为图形收缩(graph contraction) 的图形理论变换)的许多可能方式。如图1中所示，阴影群组(110A至110C)表示多个内 核的分组，以使得被分配给一个群组(诸如，作为例子的群组110B)的内核将位于一个物理
4计算节点内或位于与快速局域通信网络紧密耦接或通过使用该快速局域通信网络而紧密 耦接的节点的集群内。接着，可将从内核的一个这种群组传递至另一群组的总聚集流视作 群组间的一个连接。就图形理论而言，可将此视作已使规则计算节点(内核)塌陷于其中 的超级节点。可针对流计算图形中的所有计算节点进行此类型的分组。由流计算图形的内 核之间的边所表示的流可类似地塌陷成超级边，该超级边表示在超级节点之间传递的所有 数据流的总和。例如，如图1中所示，超级节点IlOC及IlOB共享在超级节点IlOB与超级节点IlOC 之间传递的三个流(从左向右)。现可将这三个流视作连接于超级节点IlOB与超级节点 IlOC之间的一个流。实际上，原始数据流由流计算系统的物理通信构件来聚集，以使得超级 节点IlOB处的进入点将使来自一组内核(例如，超级节点IlOB内的内核)的三个流多路 复用成一个流，且在另一端，内核(超级节点IlOC内的内核)群组将去多路复用回这三个 流，且将其本地连接至在一个物理计算节点或这些节点的集群中所映射的适当内核。更感兴趣的是将该流处理范例扩展到不同领域(诸如，金融、数据挖掘及计算生 物学)中的特定大规模应用中。该扩展需要超越在单一的类GPU处理器上运行流应用程序， 而是替代地，涉及构建大型可扩展流处理系统(SPS)，其中这些处理器中的许多由高速互连 网络互连。然而，构建大型可扩展流处理系统遭遇各种缺陷，诸如，增加的传输带宽的挑战 以及从处理节点对存储器中的大数据集合的存取时间的增加。因此，将需要提供一种克服上述缺陷的增强型流处理架构。
发明内容
根据本发明的一个实施例，一种用于实施流处理计算机架构的方法包括创建流计 算机处理(SCP)系统。SCP系统通过以下来创建形成处理器的超级节点集群(super node cluster)，所述处理器表示所述超级节点集群内的物理计算节点，经由本地互连装置以通 信方式耦接所述超级节点集群中的每一个处理器，和经由多个光学外部链路将所述超级节 点集群以通信方式耦接到光学电路交换器(OCS)。OCS经由从包括表示其它物理计算节点 的处理器的其它超级节点集群到光学电路交换器的其它多个外部链路以通信方式耦接到 所述其它超级节点集群。所述方法还包括产生包括内核及数据流的流计算图形。所述方法 还包括将所述流计算图形映射到流计算机处理系统，其包括将计算的内核分配给每一 个超级节点集群及每一个超级节点集群各自的物理计算节点，当数据流处于同一超级节点 集群中的物理计算节点之间时，将所述内核之间的数据流流量分配给所述本地互连装置， 以及当数据流处于不同超级节点集群中的物理计算节点之间时，将所述内核之间的数据流 流量分配给所述光学外部链路。所述方法还包括配置所述光学电路交换器以在对应于所 述分配的已映射集群之间提供连接性。经由本发明的技术来实现额外特征及优势。本发明的其它实施例及方面在本文中 被详细描述且被认为是所要求的本发明的一部分。为更好地理解具有这些优势及特征的本 发明，参考描述及附图。
特别指出且在本说明书的结尾处的权利要求中清楚地请求保护被视作本发明的主题。由结合附图所进行的以下详细描述可以清楚理解本发明的上述及其它特征及优势。图1为在节点分组的情况下的常规流计算图形；图2为根据本发明的例示性实施例的流计算机系统的图；图3为描述在本发明的例示性实施例中用于创建和管理流计算机系统的流处理 架构的处理过程的流程图；图4说明作为计算图形的例子的、包括二元树拓扑的流计算图形，该图形说明在 例示性实施例中该图形的内核如何分组成超级节点以及这些超级节点如何互连；和图5A说明例示性流计算机系统，图5B中示出的例示性流计算图形被映射或嵌入 至该系统上。
具体实施例方式根据本发明的例示性实施例公开了一种用于流计算机系统的互连流处理架构及 一种用于实现该互连架构的处理过程。该互连架构由两种网络类型构成，这两种网络类型 补充彼此的功能性且解决紧密耦接的处理节点群组间的连接性。这种群组或集群可使用多 种协议以及静态网络拓扑及动态网络拓扑两者(例如，2D/3D网格、分层完全连接构件、基 于交换器的构件)而本地互连。网络及交换器功能性可并入处理器芯片内，以使得可在没 有外部交换器的情况下通过直接将处理器芯片彼此互连而得到集群。这种技术及协议的例 子为HyperTransp0rt3(HT;3)。互连的封装限制、传送信号速度及可允许距离限制了全电子 构造的尺寸，因此，仅有限数目的处理器可在集群内直接连接。实现极高性能等级(例如， 亿亿级(exascale))可需要互连于一个系统内的多达100，000个未来多核心处理器芯片。 虽然可将集群限制为封装于一个机柜内的100个或100个以下的处理器芯片，但可能需要 互连约1000个或1000个以上的这种集群。在例示性实施例中，具有高带宽且跨越更长距 离的集群间连接将使用光学信号传送，且流处理架构使用基于微机电系统(MEMS)的OCS以 在这些集群间进行连接。虽然许多大型设备中的节点至交换器的连接性为光学的以便提供所需的带宽及 距离，但正在使用大基数的电交换器构件(例如，对于InfiniBand或IOG以太网协议及交 换器)。这些构件对于单一路径需要至少两个光学传输器(Tx)及两个接收器(Rx)，这是因 为通信从电的(来自处理器集群)被转换至光的，接着被转换至电的(对于交换器)，接着 被转换至光的(离开交换器)，且最终被转换回电的(在目的地集群处)，而本文中所描述 的例示性实施例的光学交换器仅需要一个Tx及一个Rx，这是因为该交换器可经由镜使光 学信号直接偏转。大基数的电交换器必需由较小基数的构建区块组成，这意味着这些交换 器倾向于为大型的且耗电多的(power-hungry)。光学电路交换器可具有大得多的单一交换 器基数，且其保证具有显著较小的尺寸及较低的电力消耗。在例示性实施例中，形成一集群的紧密耦接的处理器群组使用OCS网络及光学收 发器来互连至SPS内的其它这种集群。该OCS网络允许灵活的点对点连接，其可在毫秒级 时间标度上改变。由于处理器的未来带宽将增加，因此OCS架构的使用可利用相同交换网 络来支持未来更高带宽需求及协议。OCS网络无需如同经由分组交换网络进行路由般极迅 速地改变电路连接。对电路连接的调整仅需要在调整工作地点以使节点间的工作达成负载 平衡时进行。由SPS执行的计算的性质是使得通信模式及其持续时间在相当长的时间(例如，数分钟或数小时)内为稳定的，以足以分摊(amortize)OCS的相对较高的交换时间(数 毫秒)。由于为使在不同处理器内进行的计算达成负载平衡而对工作安排进行的调整为非 频繁发生的操作(由于其自身的高计算成本及复杂性)，因此，该例示性流处理架构在总性 能上没有明显缺陷的情况下，在SPS需求的性质与OCS互连技术的特定特征之间进行唯一 匹配。事实上，使用此网络(一旦经重新配置)可导致更好的通信延时，这是因为其对协议 及数据带宽不具有队列拥塞，不具有竞争且具有透通性。现转向图2，现将在例示性实施例中描述具有例示性流处理架构的流计算机系统 200。流计算机系统200由连接在一起以形成多处理器202的多个单个物理计算节点201构 成。多个这些处理器202被分在一起以形成超级节点集群204(本文中也称为“超级节点” 及“集群”)。由已知快速互连装置206在本地连接集群204内部的处理器(及各自的物理 计算节点)，该已知快速互连装置206可为在一集群内的处理器202的物理计算节点之间 具有某种拓扑的直接连接型网络；或交换器，经由高速缓冲一致对称多处理器(SMP)构件 而通过存储器；或以上的组合。处理器202的每一集群204共享多个光学外部链路208。形 成这些外部链路以用于优化极高带宽下的点对点连接。该优化可在所使用的物理实施中、 在被选择来促进这种高带宽的协议中、在低延时集群对集群链路中进行，且具有支持对一 个物理链路或多个物理链路内的多个流的聚集以使其看起来像由少数物理链路构成的一 条高带宽物理链路的能力。由于这些外部链路经由不会知晓该链路的协议、数据或内容的 全光学交换器而进行电路交换，因此这些链路应使用极轻量级通信协议。此外，这些外部链 路的物理性质可能需要在WDM(波分多路复用器)中使用多种光学波长，所有这些光学波长 被耦接到一条光纤或一条外部链路中，但在两端可被分离开。基于镜的MEMS OCS将在光学 域(optics domain)中使这些外部链路内的光束偏转，而不管其波长数目、协议及传送信号 速度。这些外部链路为一集群内的所有计算节点所共有，以使得集群204中的任何物理计 算节点201可直接或通过传递经过在本地互连的集群构件206而在这些外部链路208中的 一个或全部上传递信息。在一个例示性实施例中，使用电路交换式交换器210。电路交换式 交换器210无需频繁交换，且因此构建起来简单得多，且可使用不同技术(例如，全光学、基 于MEMS镜)以在多个集群204之间动态地连接。这些集群204之间的任何给定时间上的 特定连接是基于给定流计算图形而被优化的，由物理计算节点201及其所连接的集群204 执行该给定流计算图形的计算。这些类型的外部链路208及动态交换使得能够得到在需要时动态改变的极高吞 吐量(高带宽)连接性。由于多核心处理芯片需要极高带宽网络以将这些芯片互连至其它 这种物理处理节点或存储器子系统，因此例示性流处理架构在提供具体在功能上由流处理 计算图形及其相对固定的性质使能的这种机制方面起到重要的作用。这提供更有效的路 由，由于分组无需被重新检查且被逐个分组地路由。电路交换器210的构造可针对这种功 能且利用适当技术(例如，全光学电路交换)而被优化，可以高效地以极低电力及成本有效 地操纵大量信息(流)。注意图2中所示的图仅描绘该系统中的主数据管道也很重要。应理解，提供该系 统中的所有集群/计算节点之间的完整连接性的另一较慢网络(未示出)也被提供用于处 置较不忙碌的连接，以及用于控制及其它较低带宽通信。因此，分组交换网络，例如，可用以 传送被确定传输最小数据的那些数据流(例如，104)。所述确定可通过指定阈值函数(例如，在预定时间段内传递的数据的量化数目，或特定计算的优先级函数或其它这种系统及 操作相关参数)来进行，一旦达到该阈值，便经由基于电路交换的网络来路由流。因此，流 的路由可在全部被分配以传递通过分组交换网络时开始，而随着计算进行且更多带宽在流 内传送，将重新定向这种路由以传递通过形成电路交换网络的外部链路。现转向图3，现将在例示性实施例中描述一流程图，该流程图描述用于实现流处理 架构的处理过程。在图3的流程图中，步骤302至306涉及创建例示性流计算机处理系统。 步骤308涉及产生例示性流计算图形，步骤310至316涉及将该流计算图形映射到该流计 算机处理系统，且步骤318涉及对于该流计算机处理系统执行该流计算图形。现将描述流计算机处理系统的创建。在步骤302处，形成处理器(例如，图2的处 理器20 的超级节点集群。在步骤304处，经由本地已知的互连装置(例如，图2的网络 206)以通信方式耦接该超级节点集群中的处理器中的每一个。该本地已知的互连装置可使 用例如直接连接、经由高速缓冲一致对称多处理器(SMP)构件而通过存储器、交换器或其 组合来实现。在步骤306处，该超级节点集群(例如，图2的集群204)经由一个或多个光学外 部链路(例如，链路208)以通信方式耦接到一个或多个光学电路交换器(例如，图2的交 换器210)。该光学电路交换器经由从包括其它物理计算节点的处理器的其它超级节点集群 至光学电路交换器的光学外部链路以通信方式耦接到其它超级节点集群。如上文所指示，在步骤308处针对在步骤302至306中创建的流计算系统而产生 流计算图形。该流计算图形包括内核及数据流。内核表示对输入到相应内核的数据流中的 一个或多个执行计算的软件代码单元。图4示出具有二元树拓扑的流计算图形400。内核 402将数据流404发送至其它内核。这些内核402被分组成多个超级节点，诸如具有特定期 望性质的超级节点410A及410B。如上文所指示，该流计算图形被映射到该流计算机处理系统，如现将描述的那样。 现在转向图5A及图5B，流计算图形(例如，流计算图形500B)的内核及数据流被映射到可 重新配置的电路交换连接的集群(例如，流计算机系统500A的集群505A)上。在步骤310 处，将内核分配给超级节点集群且分配给超级节点集群中每一个各自的物理计算节点。如 图5B中所示，已分配诸如内核502B的内核给图5A的系统500A上的物理计算节点(例如， 节点503A)。图5B中所示的形成超级节点(例如，超级节点510B及512B)且与数据流(被 示为流504B)连接的节点的分组已被分别映射到图5A中所示的结构(参看连接501A)上。在步骤312处，当数据流处于同一超级节点集群中的物理计算节点之间时，将内 核之间的数据流流量分配给本地已知的互连装置。在步骤314处，当数据流处于不同超级节点集群中的物理计算节点之间时，将内 核之间的数据流流量分配给光学外部链路。在步骤316处，光学电路交换器被配置以经由外部链路而在对应于所述分配的超 级节点集群之间提供连接性(如图5A及图5B中所示，已重新配置电路交换器520以提供 这些被映射的超级节点(例如，超级节点510B、512B、514B、516B、518B、520B)之间的所需连 接性)。集群之间的连接的建立(即，每一集群将使用外部链路经由OCS交换器连接至特 定其它集群)是基于将内核映射到物理处理节点上的优化处理过程。在该处理过程的结 尾，正在计算作为整体在集群之间进行的保留通信的总量(基于原始图形中所有流边的总和)，从而得出每一集群与所有其它集群之间的通信所需的总带宽。接着，经由OCS交换器 配置适当的外部链路以支持任何集群与所有其它集群之间的这种带宽。经由分组交换网络 来路由较低带宽阈值连接(即，并不值得使用高带宽外部链路经由OCS建立电路的那些连 接，这是因为极少预期数据传递通过那些连接)。在步骤318处，根据流计算图形来执行对流计算机处理系统的操作，以使得优化 集群之间在给定时间的特定连接。因此，以上处理过程导致满足流计算图形的拓扑(图4中示为二元树，作为可能的 这种图形的例子)且动态地改变电路交换器520以在集群505A间匹配所需的通信模式，同 时个别数据流的本地分离由集群互连506A在本地进行(如图5A及图5B中所示)。如由上文所描述的例示性实施例可知，光学通信和流处理范例的组合解决了上述 编程及带宽挑战。光学通信链路提供超高吞吐量、最小通信延时，及独立于容量而保持的低 操作功率。与高基数的MEMS (微机电系统)交换器组合的、可利用光学链路的容量、透明性 及基本上低功耗的光学电路交换互连网络可递送在全电互连的情况下完全不可能的带宽/ 瓦特(bandwidth-per-watt)。另外，超高带宽OCS互连网络为用于SPS的最佳解决方案， SPS的计算性能直接取决于最大化当前处理的流的I/O数据带宽及最小化接下来将处理的 流的大DMA传送的延时。另外，SPS通常在使用存活时间相对长的处理器之间建立连接，因 此不担心OCS的较长交换时间。光学通信进一步解决了 SPS的编程能力挑战，因为光学通信最小化从任何给定处 理节点对给定存储器中的大数据集合的存取时间，而不管其相对位置。减少数据存取的时 间变化有助于简化流处理系统的建模。随之，简化的抽象系统级模型促进对获得大规模流 应用到SPS架构上的平衡部署问题的解决以最大化其持续的处理吞吐量。这种模型可进一 步使能自动优化方法的开发，这些方法用于在编译时间数据传送及数据处理在整个SPS上 的静态安排(static orchestration)与SPS操作期间通信及计算的动态再平衡。本文中所使用的术语仅出于描述特定实施例的目的且并非意欲限制本发明。除非 上下文清楚地指示其它情形，否则如本文中所使用，单数形式“一”及“该”意欲也包括复数 形式。应进一步理解，当在本说明书中使用时，术语“包括”指示所述特征、整数、步骤、操作、 单元和/或组件的存在，但并不排除存在或添加一个或多个其它特征、整数、步骤、操作、单 元组件和/或其群组。以下权利要求中的对应结构、材料、操作以及所有功能性限定的装置(means)或 步骤的等同旨在包括任何用于与在权利要求中具体指出的其它单元相组合地执行该功能 的结构、材料或操作。所给出的对本发明的描述其目的在于示意和描述，并非是穷尽性的， 也并非是要把本发明限定到所表述的形式。对于所属技术领域的普通技术人员来说，在不 偏离本发明范围和精神的情况下，显然可以作出许多修改和变型。对实施例的选择和说明 是为了最好地解释本发明的原理和实际应用，使所属技术领域的普通技术人员能够明了， 本发明可以有适合所要的特定用途的具有各种改变的各种实施方式。本文中所描绘的流程图仅为一个例子。在不脱离本发明的精神的情况下，可存在 对本文中所描述的图或步骤(或操作)的许多变化。举例而言，可按不同次序执行这些步 骤，或者可添加、删除或修改步骤。将所有这些变化看作为所要求的本发明的一部分。虽然已经描述了本发明的优选实施例，但所属技术领域的普通技术人员应理解，在现在及将来，可进行在以下权利要求范围内的各种改良及增强。这些权利要求应被解释 为保持对最初描述的本发明的适当保护。
权利要求
1.一种用于实施流处理计算机架构的方法，包括 创建流计算机处理系统，包括形成处理器的超级节点集群，所述处理器中的每一个包括所述超级节点集群内的至少 一个物理计算节点；经由本地互连装置以通信方式耦接所述超级节点集群中的每一个处理器；和 经由一个或多个光学外部链路将所述超级节点集群以通信方式耦接到至少一个光学 电路交换器，所述光学电路交换器经由来自处理器的至少一个其它超级节点集群的一个或 多个光学外部链路以通信方式耦接到所述其它超级节点集群，所述至少一个其它超级节点 集群分别包括至少一个其它物理计算节点；产生包括内核及数据流的流计算图形，所述内核表示对输入到相应内核的所述数据流 中的一个或多个执行计算的软件代码单元；将所述流计算图形映射到所述流计算机处理系统，包括将所述内核分配给所述超级节点集群及所述超级节点集群中每一个各自的物理计算 节占. 当各个数据流处于同一超级节点集群中的物理计算节点之间时，将所述内核之间的数 据流流量分配给所述本地互连装置；当各个数据流处于不同超级节点集群中的物理计算节点之间时，将所述内核之间的数 据流流量分配给所述光学外部链路；和配置所述光学电路交换器以经由所述光学外部链路而在对应于所述分配的所述超级 节点集群之间提供连接性；和根据所述流计算图形对所述流计算机处理系统执行操作。
2.如权利要求1所述的方法，其中配置所述光学电路交换器包括动态地交换所述光学电路交换器的连接性，以反映对所述流计算图形所做的改变。
3.如权利要求2所述的方法，其中对所述流计算图形的改变反映负载平衡活动。
4.如权利要求1所述的方法，其中超级节点集群内的个别数据流是由所述超级节点集 群的相应本地互连装置管理的。
5.如权利要求4所述的方法，其中所述本地互连装置由以下各项中的至少一个实现 直接连接；经由高速缓冲一致对称多处理器(SMP)构件而通过存储器；和 交换器。
6.如权利要求1所述的方法，其中所述物理计算节点是单一处理器。
7.如权利要求1所述的方法，其中所述物理计算节点是多处理器。
8.如权利要求1所述的方法，其中所述流计算图形是使用二元树拓扑产生的。
9.如权利要求1所述的方法，进一步包括使用分组交换网络传送内核之间的所述数据流中被确定为经受最少数据传递的数据 流，所述确定是使用阈值函数做出的。
10.一种用于实施流处理计算机架构的系统，包括流计算机处理系统，所述流计算机处理系统通过以下而被创建 形成处理器的超级节点集群，所述处理器中的每一个包括所述超级节点集群内的至少一个物理计算节点；经由本地互连装置以通信方式耦接所述超级节点集群中的每一个处理器；和 经由一个或多个光学外部链路将所述超级节点集群以通信方式耦接到至少一个光学 电路交换器，所述光学电路交换器经由来自处理器的至少一个其它超级节点集群的一个或 多个光学外部链路以通信方式耦接到所述其它超级节点集群，所述至少一个其它超级节点 集群分别包括至少一个其它物理计算节点；包括内核及数据流的流计算图形，所述内核表示对输入到相应内核的所述数据流中的 一个或多个执行计算的软件代码单元；其中将所述流计算图形映射到所述流计算机处理系统，所述映射包括 将所述内核分配给所述超级节点集群及所述超级节点集群中每一个各自的物理计算 节占.I— /、、、 当各个数据流处于同一超级节点集群中的物理计算节点之间时，将所述内核之间的数 据流流量分配给所述本地互连装置；当各个数据流处于不同超级节点集群中的物理计算节点之间时，将所述内核之间的数 据流流量分配给所述光学外部链路；和配置所述光学电路交换器以经由所述光学外部链路而在对应于所述分配的所述超级 节点集群之间提供连接性；其中根据所述流计算图形对所述流计算机处理系统执行操作。
11.如权利要求10所述的系统，其中配置所述光学电路交换器包括动态地交换所述光学电路交换器的连接性，以反映对所述流计算图形所做的改变。
12.如权利要求11所述的系统，其中对所述流计算图形的改变反映负载平衡活动。
13.如权利要求10所述的系统，其中超级节点集群内的个别数据流是由所述超级节点 集群的相应本地互连装置管理的。
14.如权利要求13所述的系统，其中所述本地互连装置由以下各项中的至少一个实现直接连接；经由高速缓冲一致对称多处理器(SMP)构件而通过存储器；和 交换器。
15.如权利要求10所述的系统，其中所述物理计算节点是单一处理器。
16.如权利要求10所述的系统，其中所述物理计算节点是多处理器。
17.如权利要求10所述的系统，其中所述流计算图形是使用二元树拓扑产生的。
18.如权利要求10所述的系统，进一步包括分组交换网络，所述分组交换网络传送内核之间的所述数据流中被确定为经受最少数 据传递的数据流，所述确定是使用阈值函数做出的。
全文摘要
本公开涉及一种用于实施流处理计算机架构的方法，所述方法包括通过以下操作来创建流计算机处理(SCP)系统形成处理器的超级节点集群，所述处理器表示物理计算节点(“节点”)，经由本地互连装置(“互连”)以通信方式耦接处理器，和经由光学外部链路(“链路”)将集群以通信方式耦接到光学电路交换器(OCS)。OCS经由链路以通信方式耦接到处理器的另一集群。所述方法还包括产生包括内核及数据流的流计算图形，并将图形映射到SCP系统，其包括将内核分配给集群及各自的节点，当数据流处于同一集群中的节点之间时，将内核之间的数据流流量分配给互连，以及当数据流处于不同集群中的节点之间时，将内核之间的流量分配给链路。所述方法还包括配置OCS以在已映射集群之间提供连接性。
文档编号G06F15/173GK102138138SQ200980132236
公开日2011年7月27日 申请日期2009年8月13日 优先权日2008年8月18日
发明者E·申菲尔德, T·B·史密斯三世 申请人:国际商业机器公司