多跳分布控制面和单跳数据面交换结构系统的方法和装置的制作方法

专利名称：多跳分布控制面和单跳数据面交换结构系统的方法和装置的制作方法
技术领域：
在这里描述的ー些实施例总的来说涉及交換机结构系统，且具体来说涉及交換机结构系统的分布式控制面。
背景技术：
ー些已知的网络系统包括可以管理网络系统的资源的集中控制面。例如，集中控制面可以保持与资源的物理位置(例如，机箱标识符、机箱架标识符)相关的数据库。另外， 集中控制面可以管理与资源相关的转发-状态信息。但是，当大量资源包括在网络系统内吋，这种集中控制面可能变得极大且不可管理。其他已知的网络系统包括分布式控制面。这种已知的分布式控制面可以在网络系统内的各个节点处实现。在ー些已知的网络系统中，在实现控制面的一部分的每个节点处手动地配置转发-状态信息。但是，这种已知的网络系统不适于具有实现控制面的一部分的大量节点的大规模网络系统。例如，操作员将需要在实现控制面的一部分的每个节点处手动地输入这种网络系统的拓扑的每个更新和/或改变。当对大规模网络系统进行频繁的更新时，这可能变得麻烦。因此，存在对于在分布式控制面内有效地管理、传输和/或共享转发-状态信息的设备和方法的需要。

发明内容
在一些实施例中，设备包括计算装置以与在一組接入交換机中的每个接入交換机处的网络控制实体通信，该组接入交換机定义具有将该组接入交換机中的每个接入交換机作为层级对等体耦接的交換机结构的数据面的一部分。该计算装置可操作以定义包括该组接入交換机中的网络控制实体的控制面的一部分，以使得将该计算装置从该组接入交換机中的网络控制实体分层地除去。该计算装置可操作以从该组接入交換机中的第一接入交換机接收转发-状态信息。该计算装置发送转发-状态信息到该组接入交換机中的第二接入交換机。


图1是根据实施例的交換机结构系统的示意图。图2是根据另ー实施例的交換机结构系统的接入交換机的示意图。图3是根据另ー实施例的交換机结构系统的计算装置的示意图。图4是图1的交換机结构系统的控制面的逻辑表示。图5是根据另ー实施例的交換机结构的示意图。图6是根据另ー实施例的交換机结构系统的分级控制面的示意图。图7是示出经由图6的交換机结构系统的分级控制面发送转发-状态信息的方法的流程图。
具体实施例方式在一些实施例中，设备包括计算装置以与在一組接入交換机中的每个接入交換机处的网络控制实体通信，该组接入交換机定义具有将该组接入交換机中的每个接入交換机作为层级对等体耦接的交換机结构的数据面的一部分。计算装置可操作以定义包括该组接入交換机中的网络控制实体的控制面的一部分，以使得将计算装置从该组接入交換机中的网络控制实体分层地除去。计算装置可操作以从该组接入交換机中的第一接入交換机接收转发-状态信息。计算装置发送转发-状态信息到该组接入交換机中的第二接入交換机。在这种实施例中，数据面可以被称为平的，而控制面可以被称为分层的。类似地说，每个接入交換机可以发送数据到剩余的接入交換机而不通过从接入交換机层级地除去的节点、模块和/或装置(例如，在不同层级处)。另外，在接入交換机处的每个网络控制实体可以经由包括从网络控制实体分层地除去的计算装置的控制面发送转发-状态信息到其他接入交換机。类似地说，计算装置可以用作和/或操作为在接入交換机处的网络控制实体之间的路由反射器。在一些实施例中，设备包括控制面装置以经由控制面与由交換机结构作为层级对等体耦接在一起的一組接入交換机中的每个接入交換机通信，该交換机结构定义数据面内的单逻辑跳。控制面装置经由第一逻辑跳从该组接入交換机中的第一接入交換机接收转发-状态信息。计算装置经由第二逻辑跳发送转发-状态信息到该组接入交換机中的第二接入交換机。在这种实施例中，数据面可以被认为包括单逻辑跳，而控制面可以被认为包括多个逻辑跳。类似地说，从基于分组的协议(例如，以太网、光纤信道)的观点看，控制面包括多个逻辑跳而数据面包括单逻辑跳。以另一方式说，接入交換机可以经由数据面内的单逻辑跳发送数据分组到另ー接入交換机，而经由控制面内的多个逻辑跳发送控制分组到另一接入交換机。在一些实施例中，交換机结构系统的至少一部分包括数据面和控制面。数据面包括一組接入交換机和将该组接入交換机的每个接入交換机作为层级对等体操作地耦接的交換机结构。该组接入交換机中的第一接入交換机可以使用第一协议发送数据到该组接入交換机中的第二接入交換机。交換机结构可操作以使用第一协议将数据从第一接入交換机路由到第二接入交換机。控制面包括在该组接入交換机中的第一接入交換机处的网络控制实体和在该组接入交換机中的第二接入交換机处的网络控制实体。在第一接入交換机处的网络控制实体可以使用不同于第一协议的第二协议发送转发-状态信息到在第二接入交换机处的网络控制实体。在这种实施例中，交換机结构系统对于数据面和控制面使用不同协议。例如，在一些实施例中，数据面可以使用基于信元的协议，而控制面可以使用基于分组的协议。在数据面和控制面内使用不同协议允许交換机结构系统改进数据面内的数据信号和控制面内的控制信号的传送。例如，数据面可以被定义以发送大量数据而控制面可以被单独地定义以发送与交換机结构系统相关的转发-状态信息。在这里所示和所述的实施例涉及多个通信层(例如数据链路层(层幻、网络层 (层幻、物理层(层1)、应用层(层7)，等等)。这种通信层可以由开放系统互连(OSI)模型定义。因此，物理层可以是比数据链路层更低级的层。另外，数据链路层可以是比网络层和应用层更低级的层。另外，不同协议可以与OSI模型内的不同层相关联和/或在不同层实现。例如，以太网协议、光纤信道协议和/或基于信元的协议(例如，在通信网络的数据面部分内使用的)可以与数据链路层相关联和/或在数据链路层实现，并且边界网关协议(BGP)可以与较高层，例如，应用层相关联和/或在较高层实现。尽管BGP可以在应用层实现，其可用于发送用于填充与网络层和/或数据链路层相关的路由表的转发-状态信息 (例如，端ロ标识符、网络段标识符、外围处理装置标识符、等等)。如此处使用的，术语“物理跳”可以包括在两个模块和/或装置之间的物理链路。 例如，操作地耦接第一模块与第二模块的数据路径可以被称为物理跳。类似地说，物理跳可以物理地链接第一模块与第二模块。如此处使用的，术语“单物理跳”可以包括在系统中的两个模块和/或装置之间的直接物理连接。类似地说，单物理跳例如可以包括经由其耦接两个模块而没有中间模块的链路。因此，例如，如果第一模块经由单物理跳耦接到第二模块，第一模块可以直接发送数据分组到第二模块而不通过居间的模块发送数据分組。如此处使用的，术语“单逻辑跳”是指作为与第一协议(例如，第一数据链路层协议)相关的网络拓扑内的单个跳的物理跳和/或物理跳的組。类似地说，根据与第一协议相关的拓扑，在经由物理跳和/或该组物理跳操作地耦接到第二模块和/或装置的第一模块和/或装置之间不存在居间的节点。经由单逻辑跳连接到第二模块和/或装置的第一模块和/或装置可以使用与第一协议和第二模块和/或装置相关的目的地址来发送数据分组到第二模块和/或装置，而无论在第一装置和第二装置之间的物理跳的数目如何。例如，在一些实施例中，第二协议(例如，第二数据链路层协议)可以使用第一协议(例如，第一数据链路层协议)的目的地址，来将数据分组和/或信元经单逻辑跳从第一模块和/或装置路由到第二模块和/或装置。类似地说，当第一模块和/或装置经由第一协议的单逻辑跳发送数据到第二模块和/或装置吋，第一模块和/或装置对待单逻辑跳就好像其直接发送数据到第二模块和/或装置那样。在一些实施例中，交換机结构可以用作单逻辑跳的一部分(例如，单个大规模汇聚层2 (L2)/层3 (U)交換机)。例如，可以跨多个物理跳互连的多个机柜和/或模块物理地分布交換机结构的各部分。例如，在一些实施例中，交換机结构的处理级可以被包括在第 ー机柜中，且交換机结构的另ー处理级可以被包括在第二机柜中。两个处理级可以逻辑地用作单个集合交換机的一部分(例如，在根据第一协议的相同逻辑跳内)，但是在各对处理级之间包括単独的单物理跳。类似地说，交換机结构内的每级可以通过物理链路连接到一个或多个相邻级，同时作为与用于路由数据到交換机结构外的协议相关的单逻辑跳共同地操作。另外，与用于路由数据到单逻辑跳之外的协议(例如，以太网)相关的分组分类和转发不必在单逻辑跳内的每级存在。例如，在一些实施例中，与第一协议(例如，以太网)相关的分组分类和转发可以在模块和/或装置经由单逻辑跳发送数据分组到另ー模块和/或装置之前存在。如在该说明书中使用的，単数形式“a”、“an”和“ the”包括复数的表示，除非上下文清楚地表示其他情況。由此，例如，术语“模块”意在表示单个模块或者模块的組合。图1是示出了根据ー实施例的交換机结构系统100的示意图。交換机结构系统100包括通信网络110、多个接入交換机120、130、140、计算装置150和多个外围处理装置 171-175。外围处理装置171-175通过交換机结构系统100的剰余部分彼此操作地耦接。例如，外围处理装置171-175可以是计算节点、服务节点、路由器和存储节点，如在这里进一步详细地描述的。例如，在一些实施例中，外围处理装置171-175包括服务器、存储装置、网
关、工作站等。外围处理装置171-175可以使用任意适当的连接，例如，光连接(例如，光缆和光连接器)、电连接(例如，电缆和电连接器)等，分別操作地耦接到接入交換机120、130、140 的一个或多个端ロ 121-124、131-134、141-144。类似地说，每个端ロ 121-124、131-134、 141-144提供通信接ロ，通过它，外围处理装置171-175可以操作地耦接到接入交換机120、 130、140，如在这里进一步详细地描述的。同样地，外围处理装置171-175可以发送数据(例如，数据分组、数据信元等)到接入交換机120、130、140和从其接收数据。在一些实施例中， 外围处理装置171-175和接入交換机120、130、140之间的连接是直接链路。这种链路可以被称为单物理跳链路。在其他实施例中，外围处理装置可以经由中间模块操作地耦接到接入交換机。这种连接可以被称为多物理跳链路。每个接入交換机120、130、140可以是操作地耦接外围处理装置171-175到通信网络Iio的任意装置。例如，在一些实施例中，接入交換机120、130、140可以是边缘装置、输入/输出模块、架顶式装置等。在结构上，接入交換机120、130、140可以用作源接入交換机和目的接入交換机两者。因此，接入交換机120、130、140可以发送数据(例如，数据分组和 /或数据信元的数据流)到通信网络110并从通信网络110接收数据，以及发送数据到所连接的外围处理装置171-175并从其接收数据。每ー接入交換机120、130、140可操作以经由通信网络110与其他接入交換机120、 130、140通信(例如，在控制面部分和数据面部分两者内)。具体地说，通信网络110的数据面部分以相对低的延迟提供在接入交換机120、130、140之间任意对任意的连接性。例如，通信网络110的数据面部分可以在接入交換机120、130、140之间发送(例如，传送)数据。在一些实施例中，接入交換机120、130、140可以被称为与交換机结构系统100内的其他接入交換机120、130、140是层级对等体和/或在相同的层级上。同样地，一个接入交換机120、130、140不控制和/或管理另ー接入交換机120、130、140。另外，接入交換机120、 130、140不通过较高级实体发送数据到另一接入交換机120、130、140。因此，交換机结构系统100的数据面可以被称为是平的。如在这里进一步详细地描述的，在一些实施例中，通信网络110可以具有至少几百或几千个端ロ(例如，出口端口和/或入口端ロ)，通过它们，接入交換机120、130、140可以发送和/或接收数据。图2是类似于接入交換机120、130、140的接入交換机200的系统框图。接入交換机200包括处理器251、存储器252、线卡210、线卡220和端ロ 231。处理器251操作地耦接到存储器252、线卡210、线卡220和端ロ 231。线卡210包括端ロ 211和212。线卡220 包括端ロ 221和222。在一些实施例中，线卡210和/或220包括一个或多个处理器和/或存储器(未示出)。类似于图1所示的接入交換机120、130、140的端ロ 121-124、131-134、141-144，端 ロ 211、212、221和222可以与外围处理装置通信。例如，端ロ 211、212、221和222可以使
用经由电缆的双绞线电信令或经由光纤缆线的光纤信令来实现物理层。在一些实施例中，端ロ 211、212、221和222中的一些端ロ实现比如双绞线电信令之类的ー个物理层，且端ロ 211、212、221和222中的其它端ロ实现比如光纤信令之类的不同物理层。此外，端ロ 211、 212,221和222可以允许接入交換机200经由比如以太网或者光纤信道之类的公共协议与外围处理装置(比如，计算机服务器(服务器))通信。在一些实施例中，端ロ 211、212、221 和222中的一些端ロ实现比如以太网的一个协议，且端ロ 211、212、221和222中的其它端 ロ实现比如光纤信道的不同协议。由此，接入交換机200可以经由端ロ 211、212、221和222， 使用同类的或者不同类的物理层和/或协议与多个外围处理装置通信。端ロ 231可以经由比如交換机结构(例如，通信网络110的数据面部分)的通信网络与其他接入交換机通信。端ロ 231可以是ー个或多个网络接ロ(例如，40吉比特(( ) 以太网接ロ、IOOGb以太网接ロ等)的一部分，通过其，接入交換机200可以发送信号到通信网络和/或从通信网络接收信号。可以经由操作地耦接到接入交換机200的电链路、光链路和/或无线链路发送信号到通信网络和/或从通信网络接收信号。在一些实施例中， 接入交換机200可以基于一个或多个协议(例如，以太网协议、多协议标签交換(MPLS)协议、光纤信道协议、以太网上光纤信道协议、无限带宽相关的协议)，来发送信号到通信网络和/或从通信网络接收信号。在一些实施例中，端ロ 231可以实现与在端ロ 211、212、221和222处实现的物理层和/或数据链路层协议不同的物理层和/或数据链路层协议。例如，端ロ 211、212、221 和222可以使用基于数据分组的协议(例如，比如以太网的基于分组的协议)与外围处理装置通信，且端ロ 231可以使用基于数据信元的协议(例如，基于信元的协议)经由通信网络(例如，交換机结构)的数据面部分通信。在这种实施例中并如在这里进一步详细地描述的，接入交換机200可以经由端ロ 211、212、221、222从外围处理装置(例如，使用基于分组的协议)接收数据分组，并将数据分组划分和/或分割为数据信元。在将数据分组划分和/或分割为数据信元之后，接入交換机200可以经由端ロ 231发送数据信元到通信网络的数据面部分。类似地说，在这种实施例中，接入交換机200可以在发送数据到通信网络之前将数据从基于分组的协议转换和/或修改为基于信元的协议。换句话说，接入交換机200 可以是比如分布式交換机结构的交換机结构的边缘装置。在一些实施例中，接入交換机200可以准备数据分组(例如，以太网帧和/或分組)以进入通信网络(例如，通信网络110)的数据面部分。例如，接入交換机200可以在发送数据分组到通信网络的数据面部分之前转发、分类和/或修改数据分组的分组封装(例如，修改、添加和/或除去报头部分、脚注部分和/或数据分组内包括的任意其他标识符)。在于2008年9月30日提交的标题为“Methods and Apparatus Related to Packet Classification Associated with a MultトStage Switch” 的美国专利申请序号 12/242，168 和于 2008 年 9 月 30 日提交的标题为 “Methods and Apparatus for Packet Classification Based on Policy Vectors”的美国专利申请序号 12/242，172 中描述了关于分组分类的更多的细节，将这两个申请通过引入全文包含于此。返回到图1，且如在这里进一步详细地描述的，接入交換机120、130、140可以宿有 (host)网络控制实体191-193以管理接入交換机120、130、140的端ロ 121-124、131-134、 141-144。因此，网络控制实体191-193可以是交換机结构系统100的控制面的一部分。每个网络控制实体191-193可以是处理、应用、虚拟机和/或某些其它软件模块(以在硬件中运行)或者在接入交換机120、130、140或者计算装置150处执行的硬件模块。同样地，实现网络控制实体191-193的指令可以存储在接入交換机120、130、140的存储器(例如，存储器25 内并在接入交換机120、130、140的处理器(例如，处理器251)处执行。在ー些实施例中，且如在这里进一步详细地描述的，网络控制实体191-193可以被称为处于交換机结构系统100的控制面的最低层级，因为它们直接管理端ロ 121-124、131-134、141-144。例如，网络控制实体191可操作以管理与端ロ组181相关的端ロ 141、142、144，网络控制实体192可操作以管理与端ロ组182相关的端ロ 133、134、143，且网络控制实体193 可操作以管理与端ロ组183相关的端ロ 121、122、123、124、131、132。在一些实施例中，每个网络控制实体191-193可以管理和/或維持与其各自端ロ组181、182、183相关的配置信息(例如，端ロ协议信息、网络段分配信息、端ロ分配信息、外围处理装置信息等)和/或转发-状态信息(例如，端ロ标识符、网络段标识符、外围处理装置标识符等)，监控与其各自端ロ组181、182、183相关的外围处理装置的情况和/或状态，和/或管理并维护与关于其各自端ロ组181、182、183的外围处理装置和/或端ロ相关的其它信息。在一些实施例中，网络控制实体可以控制和/或在网络控制实体位于的接入交換机处的端ロ(例如，网络控制实体191管理端ロ组181)。在其他实施例中，网络控制实体还可以控制和/或管理除网络控制实体位于的接入交換机之外的接入交換机处的端ロ(例如，网络控制实体193管理端ロ 131和132，且网络控制实体192管理端ロ 143)。在这种实施例中，网络管理模块155具有基于处理能力将每个端ロ 121-1M、131-134、141-144分配给网络控制实体191-193的灵活性。另外，在这种实施例中，网络管理模块155在分配端ロ 121-124、131-134、14ト144给网络控制实体19ト193时不受网络控制实体19ト193和/或端ロ 121-124、131-134、141-144 的物理位置限制。计算装置150可以宿有与交換机结构系统100相关的管理模块、处理和/或功能。 如图1所示，计算装置150可以宿有网络管理模块155和网络控制实体194。网络管理模块 155和网络控制实体194可以是交換机结构系统100的控制面的一部分。网络控制实体194可以用作其他网络控制实体191-193之间的路由反射器。类似地说，网络控制实体194可以用作在接入交換机120、130、140处的网络控制实体191-193 之间的中间网络控制实体。在一些实施例中，网络控制实体194可以被称为从网络控制实体191-193层级地除去(例如，在不同分层级处)。例如，网络控制实体194可以被称为在交換机结构系统100的控制面中比网络控制实体191-193高的级上。例如，图4是图1所示的交換机结构系统100的控制面的逻辑拓扑的框图。如图 4所示，在控制面中，网络控制实体191-193通过网络控制实体194彼此操作地耦接。如图 1所示，且如在这里进一步详细地描述的，这种连接可以通过通信网络110的控制面部分。网络控制实体191-193可以经由网络控制实体194(即，经由从网络控制实体 191-193层级地除去的网络控制实体)发送转发-状态信息(例如，使用控制信号)到彼此。例如，如在这里进一步详细地描述的，网络控制实体192可以经由网络控制实体194(例如，显示为路径167和路径166)发送与端ロ组182相关的转发-状态信息到网络控制实体 193。在这种示例中，网络控制实体192和网络控制实体193之间的路径可以被认为包括两个物理跳以及两个逻辑跳。更具体地，在网络控制实体192和网络控制实体194之间的路径定义单物理跳和单逻辑跳，且在网络控制实体194和网络控制实体193之间的路径定义单物理跳和单逻辑跳。由此，交換机结构系统100的控制面可以包括多个逻辑和物理跳。在一些实施例中，网络控制实体194可以被称为路由反射器(例如，边界网关协议(BGP)路由反射器)。在一些实施例中，网络控制实体191-193可以使用目标高级协议(例如，应用层协议)(比如，边界网关协议(BGP))经控制面发送转发-状态信息到其他网络控制实体 191-193。在这种实施例中，网络控制实体191-193可以与任意适当的低级协议(例如，数据链路层协议)(比如，以太网和/或光纤信道)结合地使用这种高级协议，以发送转发-状态信息。类似地说，交換机结构系统100的控制面可以与基于分组的较低级协议(例如，以太网)结合地使用目标较高级协议(例如，BGP)。同样地，可以在以太网帧和/或分组中封装BGP转发-状态信息，并经控制面发送给其他网络控制实体。因此，在一些实施例中，可以使用基于分组的协议在交換机结构系统100内发送控制信号。另外，虽然可以在应用层实现BGP，BGP可用于发送用于填充与网络层和/或数据链路层相关的路由表(例如，在网络控制实体191-193存储的)的转发-状态信息。使用比如BGP的目标协议，网络控制实体 191-193可以发送转发-状态信息到特定的网络控制实体191-193，同时避免发送转发-状态信息到其他网络控制实体191-193，如在这里进一步详细地描述的。在一些实施例中，网络控制实体194可以存储与网络控制实体191-193相关的地址和/或标识符。在这种实施例中，当网络控制实体191-193具有更新的转发-状态信息要分发时，网络控制实体191-193可以发送更新的转发-状态信息到网络控制实体194。类似地说，网络控制实体191-193可以使用基于分组的协议(例如，以太网)和目标协议(例如， BGP)发送转发-状态分组到网络控制实体194。网络控制实体194然后可以发送转发-状态信息到其他网络控制实体191-193。在其他实施例中，网络控制实体191-193在控制面内彼此直接耦接，而没有网络控制实体194作为路由反射器。在这种实施例中，网络控制实体191-193可以存储与其他网络控制实体191-193相关的地址和/或标识符，并经由控制面直接发送更新的转发-状态信息到其他网络控制实体191-193。在一些实施例中，每个网络控制实体191-193可以是网络段(例如，虚拟局域网 (VLAN)、虚拟交換机结构等)的一部分。例如，网络控制实体192和网络控制实体193可以是第一网络段的一部分，且网络控制实体191可以是第二网络段的一部分。在这种实施例中，每个网络控制实体191-193发送转发-状态信息到相同网络段内的其他网络控制实体， 而不发送到另ー网络段内的网络控制实体191-193。因此，网络控制实体194将从网络控制实体191-193接收到的更新的转发-状态信息发送到与其网络段相关的其他网络控制实体 191-193，而不是到另ー网络段内的网络控制实体191-193。同样地，在上述示例中，网络控制实体192发送转发-状态信息到网络控制实体193而不是网络控制实体191。因此，与网络控制实体191(与第二网络段相关)相关的端ロ 141、142、144不发送数据到与网络控制实体192和193(与第一网络段相关)相关的端ロ 121-124、131-134、143。在这种实施例中，交換机结构系统100的控制面内的较高级网络控制实体(例如，网络控制实体194)可以被认为实现和/或执行与网络段相关的规则和/或策略。返回到图1，网络管理模块155可以是处理、应用、虚拟机和/或某些其它软件模块 (以在硬件中运行)或在计算装置150处执行的硬件模块。例如，网络管理模块155可以将接入交換机120、130、140的端ロ 121-124、131-134、14ト144划分和/或分割为要由网络控制实体191-193管理的端ロ组181、182、183。同样地，网络管理模块155可以将端ロ组181 与网络控制实体191相关联，将端ロ组182与网络控制实体192相关联，并将端ロ组183与网络控制实体193相关联。另外，网络管理模块155还可以监控每个网络控制实体191-194 的可用处理能力，并当网络控制实体191-194的可用处理能力经过(例如，落到低干)第一阈值和/或经过(例如，超过)第二阈值时启动和/或终止网络控制实体191-194。同样地， 交換机结构系统100的控制面可以基于交換机结构系统100的处理需要展开和/或收縮。 在チ相IbJ 日其刀提父的标题为“Methods and Apparatus for Dynamic Resource Management within a Distributed Control Plane of a Switch”的未决美国专利申请代理机构卷号 JUNI-065/00US 108200-2103中进ー步描述了这种展开和收縮，将其全部通过引用合并于此。在一些实施例中，网络管理模块155可以存储(例如，在存储器中)与配置信息 (例如，端□协议信息、网络段分配信息、端□分配信息、外围处理装置信息等)相关和/或与交換机结构系统100相关的转发-状态信息(例如，路由信息、端ロ标识符、网络段标识符、外围处理装置标识符等)相关的配置文件。网络管理模块155可以经由通信网络110的控制面部分将与端ロ组181、182、183相关的配置信息和/或转发_状态信息的一部分发送到网络控制实体191-193。类似地，网络管理模块155可以将与每个网络控制实体191-193 相关的配置信息和/或转发-状态信息的一部分发送到网络控制实体194。例如，网络管理模块巧5可以将与端ロ组181相关的配置文件的一部分发送到网络控制实体191。对于另一示例，网络管理模块可以将与网络控制实体191-193相关的配置文件的一部分发送到网络控制实体194。在一些实施例中，网络管理模块155不是与网络控制实体191-194相同的层级的一部分，因为其不用于在网络控制实体191-193之间发送和/或转发转发-状态信息。以另ー种方式说，在网络管理模块启动网络控制实体191-194之后，网络管理模块155不參与在网络控制实体191-194之间转发-状态信息的传输。因此，在这种实施例中，网络管理模块155不从网络控制实体191-193层级地除去，因为其不在与网络控制实体191-194相同的层级内(例如，不在网络控制实体分级内，如在这里进一步详细地描述的)。图3是根据一个实施例基本上类似于计算装置150的计算装置300的系统框图。 计算装置300包括处理器310、存储器320和通信接ロ 330。处理器310操作地耦接到存储器320和通信接ロ 330。计算装置300可以经由通信接ロ 330与其他计算装置、外围处理装置和/或接入交換机通信。如图3所示，类似于网络控制实体194和网络管理模块155，计算装置300可以分别宿有网络控制实体322和网络管理模块324，如图1所示。换句话说，网络控制实体322和网络管理模块3M可以是处理、应用、虚拟机和/或某些其它软件模块(以在硬件中运行) 或者在计算装置300处执行的硬件模块。例如，在一些实施例中，实现网络控制实体322和 /或网络管理模块324的指令可以存储在存储器320并在处理器310处运行。在一些实施例中，计算装置300可以专用于宿有网络控制实体322和/或网络管理模块324。换句话说，计算装置300可以将其全部或者基本上全部计算资源(例如，处理能力和存储器)分配给网络控制实体322和/或网络管理模块324。在一些实施例中，计算装置300可以宿有网络控制实体322和/或网络管理模块324以外的其他处理、应用、虚拟机和/或软件模块。例如。计算装置300可以是宿有多个处理、应用、虚拟机和/或软件模块的通用计算装置或者计算节点。返回到图1，通信网络110可以是操作地耦接接入交換机120、130、140到其他接入交換机120、130、140的任意适当的通信网络。另外，通信网络可以操作地耦接计算装置 150到接入交換机120、130、140。在一些实施例中，通信网络110包括数据面部分和控制面部分。通信网络110的控制面部分促进网络控制实体191-194和网络管理模块155之间控制信号(例如，配置信息、转发-状态信息等)的传输。因此，网络控制实体191-194可以经由通信网络110的控制面部分发送配置信息和/或转发-状态信息到其他网络控制实体 191-194。在一些实施例中，通信网络110的控制面部分包括在网络控制实体194和网络控制实体191-193之间的直接链路。在其他实施例中，通信网络110的控制面部分可以包括操作地耦接网络控制实体191-193与网络控制实体194的中间模块和/或交換机。通信网络110的数据面部分促进接入交換机120、130、140之间的数据传输。在一些实施例中，通信网络110的数据面部分是具有一个或多个级的交換机结构。例如，在一些实施例中，通信网络Iio的数据面部分可以在结构上和功能上类似于关于图5示出和描述的交換机结构400。例如，通信网络110的数据面部分可以是具有多级交換模块(例如，集成基于信元的交換机)的Clos交換机结构网络(例如，非阻塞Clos网络、严格意义上的非阻塞Clos网络、Benes网络)。这种交換机结构可以包括任意数目的级。例如，在一些实施例中，交換机结构可以包括五、七或九级。例如，通信网络110的数据面部分可以是与在 2009 年 6 月 30 日提交的标题为"Methods and Apparatus Related to Any-to-Any Connectivity Within a Data Center”的未决美国专利申请No. 12/495，337中描述的数据中心的核心部分类似的数据中心的核心部分的一部分，将该申请通过引用全文包含于此。在一些实施例中，通信网络110的数据面部分可以是(例如，可以用作)单个汇聚交換机(例如，单个大规模汇聚L2/L3交換机)。换句话说，通信网络110的数据面部分可以操作为单个逻辑实体(例如，单个逻辑网络元件)。类似地说，通信网络110的数据面部分可以是在第一接入交換机120、130、140和第二接入交換机120、130、140之间的单逻辑跳的一部分(例如，与在接入交換机120、130、140和通信网络110之间的数据路径一起)。 通信网络110的数据面部分可以耦接(例如，间接地连接，促进之间的通信)外围处理装置 171-175。在一些实施例中，通信网络110可以经由可操作以至少10(ib/S的速率发送数据的接口装置(未示出)通信。在一些实施例中，通信网络110可以经由可操作以例如，2( / s,4Gb/s,8Gb/sU0Gb/s,40Gb/sU00Gb/s和/或更快的链路速度发送数据的接口装置(例如，光纤信道接口装置)通信。虽然通信网络110的数据面部分可以逻辑地集中，但是为了可靠性，例如，可以高度分布通信网络110的数据面部分的物理实现。例如，可以跨多个机柜物理地分布通信网络110的数据面部分的各部分。例如，在一些实施例中，通信网络110的数据面部分的处理级可以被包括在第一机柜中，且通信网络110的数据面部分的另ー处理级可以被包括在第 ニ机柜中。两个处理级可以逻辑地用作单个汇聚交換机的一部分(例如，在相同的逻辑跳内)，但是在各对处理级之间具有単独的单物理跳。在使用中，网络管理模块155启动网络控制实体191-193(通过经由通信网络110的控制面部分分别发送信号到接入交換机120、130、140)，并基于网络控制实体191-193的处理能力，将每个端ロ 121-1对、131-1；34、141-144分配(例如使用配置信息)到网络控制实体191-193。例如，如图1所示，网络管理模块155将端ロ 121-124,131 ^P 132(端ロ组 183)与网络控制实体193相关联；将端ロ 133、134和143(端ロ组18 与网络控制实体192 相关联；并将端ロ 141、142和144(端ロ组183)与网络控制实体191相关联。网络管理模块155还可以通过经由通信网络110的控制面部分发送信号到接入交换机120、130、140和/或计算装置150来启动ー个或多个中间网络控制实体和/或路由反射器。例如，网络管理模块155可以通过发送信号到计算装置150内的另ー模块(例如，控制模块)来启动网络控制实体194。在其他实施例中，网络管理模块155可以通过经由通信网络110的控制面部分发送信号到其他接入交換机或者计算装置，来启动在接入交換机和/或另ー计算装置的路由反射器。如图4所示和如上关于图4所述，每个网络控制实体 191-193可以通过网络控制实体194(例如，使用基于分组的协议经多个物理和逻辑跳)发送控制信号(即，控制面内的信号)到其他网络控制实体191-193和从其接收控制信号。另外，如在这里进一步详细地描述的，每个网络控制实体191-193可以存储更少的转发-状态信息和/或路由信息，因为网络控制实体194可以存储一些转发-状态信息和/或路由信息代替网络控制实体191-193維持全部转发-状态信息和/或路由信息。例如，每个网络控制实体191-193不存储与其他网络控制实体191-193相关的地址和/或标识符，因为网络控制实体194存储这种地址和/或标识符。同样地，网络控制实体191-193存储与网络控制实体194相关的地址和/或标识符而不是与其他网络控制实体191-193相关的地址或者标识符。在一些实施例中，网络管理模块155还可以通过发送信号到与网络段相关联的交換机结构系统100的部分(例如，接入交換机120、130、140，网络控制实体191-194，路由反射器，等等)来启动ー个或多个网络段。网络管理模块155可以发送配置信息和/或转发-状态信息(例如，配置文件) 到每个网络控制实体191-194。例如，在一些实施例中，每个网络控制实体191-193可以从网络管理模块巧5接收与其相关联的端ロ组181-183相关的配置信息(例如，端ロ协议信息、网络段分配信息、端ロ分配信息、外围处理装置信息、等等)和/或转发-状态信息(例如，端ロ标识符、网络段标识符、外围处理装置标识符，等等)。例如，网络控制实体191可以接收与端ロ组181相关的配置信息和/或转发-状态信息，网络控制实体192可以接收与端ロ组182相关的配置信息和/或转发-状态信息，且网络控制实体193可以接收与端ロ 组183相关的配置信息和/或转发-状态信息。网络控制实体194可以接收与网络控制实体191-193相关的配置信息和/或转发-状态信息。同样地，网络控制实体194可以用作网络控制实体191-193之间的中间和/或路由反射器(例如，BGP路由反射器)。因此，如在这里进一步详细地描述的，网络控制实体194可以被称为在控制面层级内从网络控制实体191-193层级地除去(例如，在与网络控制实体191-193相同层级内的不同分层处)。当启动，改变和/或修改与其端ロ组181-183相关的转发-状态时，每个网络控制实体191-193可以发送初始的和/或更新的转发-状态信息到其他网络控制实体191-193。 例如，响应于外围处理装置174最初耦接到端ロ 133，网络控制实体192可以发送与端ロ 133和目的外围处理装置174相关的转发-状态信息到网络控制实体193。在其他实施例中，网络控制实体192还可以发送转发-状态信息到网络控制实体191。可以与目标较高级协议(例如，BGP)结合地使用基于分组的较低级协议(例如，以太网)发送这种转发_状态信息。同样地，可以在以太网帧和/或分组中封装BGP转发-状态信息，并经控制面发送给其他网络控制实体。如图1和4所示，网络控制实体192经由路径167发送转发-状态信息到网络控制实体194。具体地说，网络控制实体192取出与网络控制实体194相关的标识符和/或地址(例如，存储在接入交換机130的存储器中)并相应地发送转发-状态信息。路径167 可以被称为在网络控制实体192和网络控制实体194之间的单逻辑跳。在一些实施例中， 路径167还可以被称为在接入交換机130和计算装置150之间的单物理跳。网络控制实体194然后可以发送该转发-状态信息到网络控制实体193。具体地说，网络控制实体194确定转发-状态信息应该被发送到网络控制实体193(例如，网络控制实体193是与网络控制实体192相同的网络段的一部分)，取出与网络控制实体193相关的标识符和/或地址(例如，存储在计算装置150的存储器中)，并相应地发送更新的转发-状态信息。如在这里进一步详细地描述的，这允许外围处理装置171发送数据到耦接接入交換机130并由网络控制实体192管理的外围处理装置174。类似于路径167，路径166 可以被称为网络控制实体194和网络控制实体193之间的单逻辑跳。在一些实施例中，路径166还可以被称为计算装置150和接入交換机120之间的单物理跳。因此，在网络控制实体192和网络控制实体193之间的这种路径167、166可以被认为包括多个物理跳和多个逻辑跳。具体来说，在网络控制实体192和网络控制实体193之间的路径167、166包括交换机结构系统100的控制面内的两个物理跳和两个逻辑跳(例如，166、167)，如图4所示。 由此，控制面可以被称为多跳(即，逻辑和物理两者)控制面。在一些实施例中，网络控制实体193可以在与网络控制实体193相关的存储器中存储从网络控制实体194接收到的转发-状态信息。例如，网络控制实体193可以在网络控制实体193位于的接入交換机120的存储器(例如，存储器252)处存储转发_状态信息。 类似地说，网络控制实体193可以响应于接收转发-状态信息，更新接入交換机120的存储器内的配置和/或转发-状态表。在一些实施例中，转发-状态信息可以存储在对于网络控制实体193分配和/或分割的接入交換机120的存储器的一部分处。网络控制实体193然后可以将更新的转发-状态信息发送到在与网络控制实体 193相关的端ロ 121-124、131、132位于的接入交換机120、130处的数据面模块(图1中未示出)。例如，在一些实施例中，网络控制实体193可以在对干与数据面相关的数据、处理和 /或应用分配和/或分割的接入交換机120的存储器(例如，在交換表和/或路由表内)的一部分处存储转发-状态信息。在这种实施例中，接入交換机120的存储器可以在与网络控制实体193相关的存储器的一部分以及与数据面相关的存储器的一部分中存储转发-状态信息。在其他实施例中，转发-状态信息存储在由接入交換机120(包括网络控制实体193 和数据面模块)处的可应用处理可访问的接入交換机120的存储器内的单个位置内。网络控制实体193还发送转发-状态信息到接入交換机130 (在接入交換机130处端ロ 131和 132与网络控制实体193相关联)处的数据面模块。类似于接入交換机120，接入交換机 130可以在存储器内(例如，在交換表和/或路由表内)存储转发-状态信息。可以使用交換机结构系统100的剰余部分在外围处理装置171-175之间发送数据分组(例如，以太网帧和/或分組)。例如，可以从源外围处理装置171向目的外围处理装置174发送数据分組。源外围处理装置171可以使用第一数据链路层协议(例如，基于分组的协议，比如以太网、光纤信道等)通过端ロ 121发送数据分组到接入交換机120。这由图1中的路径161所示。基于从网络控制实体193接收到的转发-状态信息，接入交換机120可以准备数据分组以进入通信网络110。例如，在一些实施例中，接入交換机120可以添加和/或附加报头(例如，封装)到具有外围处理装置174、端ロ 133和/或接入交換机130的目的地址的数据分組。在一些实施例中，接入交換机120还可以将数据分组划分和/或分割为多个数据信元以通过通信网络110的数据面部分发送到接入交換机130。例如，在这种实施例中，接入交換机120可以将数据分组划分和/或分割为每个包括具有外围处理装置174的目的地址、端ロ 133的目的地址和/或接入交換机130的目的地址的目的报头(例如，由目的报头封装)的多个定长数据信元。如由路径162所示，将定长数据信元通过通信网络110的数据面部分发送给接入交換机130。通信网络110的数据面部分可以基于外围处理装置174、端ロ 133和/或接入交換机130的目的地址路由和/或转发数据信元。同样地，通信网络110的数据面部分可以使用不同于第一数据链路层协议(例如，基于分组的协议)的第二数据链路层协议(例如，基于信元的协议)，用于从外围处理装置171发送数据分组到接入交換机120。因此，当在通信网络110中时每个数据信元可以跨越多个物理跳时(例如，在多级交換机结构的各级之间)，从第一数据链路层协议(例如，基于分组的协议)的观点来看，接入交換机120和接入交換机130之间的路径162可以是通信网络110的数据面部分内的单逻辑跳。接入交換机130然后可以准备要如由路径163所示经由端ロ 133发送给外围处理装置174的数据信元。这种准备可以包括从数据信元除去具有外围处理装置174、端ロ 133 和/或接入交換机130的目的地址的报头(例如，解封装数据信元)(即，由接入交換机120 附加到数据信元并由通信网络110的数据面部分使用以路由和/或转发数据的报头)。在一些实施例中，这种准备还可以包括从数据信元重构和/或重新装配数据分组和/或帧。通常，接入交換机130可以准备要使用第一协议(例如，基于分组的协议)发送给外围处理装置174的数据分组和/或帧。在数据分组和/或帧准备好之后，接入交換机130通过端ロ 133发送数据分组到外围处理装置174。图5是根据实施例的交換机结构400的示意性图。这种交換机结构可以在结构上和功能上类似于以上关于图1所示和所述的通信网络Iio的数据面部分。交換机结构400 可以定义数据中心的核心部分。交換机结构400是三级的非闭塞Clos网络，且包括第一级 400、第二级442和第三级444。第一级440包括模块412。第一级440的每个模块412是电子器件和电路的组件。例如，在一些实施例中，每个模块是专用集成电路(ASIC)。在其他实施例中，在单个ASIC或者单个芯片封装上包括多个模块。在其他实施例中，每个模块是离散电气器件的组件。在一些实施例中，第一级440的每个模块412是交換机(例如，分组交換机、帧交换机、集成以太网交換机和/或信元交換机)。交換机被配置以在数据流过交換机结构400 时重定向数据(例如，数据分组、数据信元等)。例如，在一些实施例中，每个交換机包括操作地耦接到存储缓冲器(图4中未示出)上的写入接ロ的多个输入端ロ。类似地，ー组输出端ロ操作地耦接到存储缓冲器上的读取接ロ。在一些实施例中，存储缓冲器可以是使用芯片上静态随机存取存储器(SRAM)实现的共享存储缓冲器，以对于写入ー个呼入信元(例如，数据分组的一部分)或者每ー时间周期(例如，一个或多个时钟周期)的数据分组的全部输入端口和读取ー个呼出信元或每ー时间周期的数据分组的全部输出端ロ提供足够的带宽。每个交換机类似于随后每个时间周期可以重新配置的纵横交換机操作。第一级440的每个模块412包括被配置以在数据(例如，信号、数据信元、数据分组等)进入交換机结构400时接收数据的ー组输入端ロ 460。例如，在一些实施例中，接入交換机可以经由该组输入端ロ 460发送数据到交換机结构400。在本实施例中，第一级440 的每个模块412包括相同数目的输入端ロ 460。类似于第一级440，交換机结构400的第二级442包括模块414。第二级442的模块414在结构上类似于第一级440的模块412。第二级442的每个模块414由数据路径 420操作地耦接到第一级440的每个模块412。在第一级440的给定模块412和第二级442 的给定模块414之间的每个数据路径420被配置以促进从第一级440的模块412到第二级 442的模块414的数据传送。可以以被配置以促进从第一级440的模块412到第二级442的模块414的数据传送的任意方式构造第一级440的模块412和第二级442的模块414之间的数据路径 420。例如，在一些实施例中，数据路径420是模块之间的光连接器。在其他实施例中，数据路径在中平面内。这种中平面可以类似于在2008年12月四日提交的标题为“System Architecture for a Scalable and Distributed Multi-Stage Switch Fabric，，的头国申请No. 12/345, 500中描述的中平面，将该申请通过全文引入包括在此。这种中平面可用于连接第二级的每个模块与第一级的每个模块。在其他实施例中，在单个芯片封装内包括两个或更多模块且数据路径是电迹线。在一些实施例中，交換机结构400是非闭塞Clos网络。因此，交換机结构400的第二级442的模块414的数目基于第一级440的每个模块412的输入端ロ 460的数目而改变。在可重布置的非闭塞Clos网络(例如，Benes网络)中，第二级442的模块414的数目大于或等于第一级440的每个模块412的输入端ロ 460的数目。由此，如果η是第一级 440的每个模块412的输入端ロ 460的数目，且m是第ニ级442模块414的数目，则m彡η。 例如，在一些实施例中，第一级的每个模块具有五个输入端ロ。因此，第二级具有至少五个模块。第一级的全部五个模块通过数据路径操作地耦接到第二级的全部五个模块。以另ー 种方式说，第一级的每个模块可以发送数据到第二级的任意模块。交換机结构400的第三级444包括模块416。第三级444的模块416在结构上类似于第一级440的模块412。第三级444的模块416的数目典型地等于第一级440的模块 412的数目。第三级444的每个模块416包括被配置以允许数据离开交換机结构400的输出端ロ 462。第三级444的每个模块416包括相同数目的输出端ロ 462。另外，第三级444 的每个模块416的输出端ロ 462的数目典型地等于第一级440的每个模块412的输入端ロ 460的数目。例如，在一些实施例中，第三级444的每个模块416可以经由输出端ロ 462发送数据到接入交換机。第三级444的每个模块416通过数据路径似4连接到第二级442的每个模块414。 第二级442的模块414和第三级444的模块416之间的数据路径似4被配置以促进从第二级442的模块414到第三级444的模块416的数据传送。
在第二级442的模块414和第三级444的模块416之间的数据路径似4可以以被配置以促进从第二级442的模块414到第三级444的模块416的数据传送的任意方式构造。 例如，在一些实施例中，数据路径4M是模块之间的光连接器。在其他实施例中，数据路径在中平面内。这种中平面可用于连接第二级的每个模块与第三级的每个模块。在其他实施例中，在单个芯片封装内包括两个或更多模块且数据路径是电迹线。在一些实施例中，交換机结构400将接入交換机(图5中未示出)耦接为分层同级。具体地说，交換机结构400以相对低的延迟提供接入交換机之间的任意-对-任意连接性。在一些实施例中，接入交換机可以被称为与其他接入交換机相同分层级和/或在与其他接入交換机相同的分层级上的分层同级。同样地，一个接入交換机不控制和/或管理另ー接入交換机。另外，接入交換机通过交換机结构400的数据面的平的和/或非分层的部分发送数据另ー接入交換机。在一些实施例中，交換机结构400内的每个模块412、414、416使用基于信元的协议以通过交換机结构400重定向和/或转发数据。例如，在一些实施例中，操作地耦接到第 ー级440的模块412的接入交換机将数据分组和/或帧划分和/或分割为多个数据信元。 在一些实施例中，每ー数据信元包括与目的端ロ、目的接入交換机和/或目的外围处理装置相关的目的地址和/或标识符。接入交換机然后可以发送数据信元到交換机结构400。 使用目的地址和/或标识符和基于信元的协议，交換机结构400可以转发数据信元到目的接入交換机。图6是根据另ー实施例的交換机结构系统的分级控制面500的示意性图。控制面 500包括以分层方式排列的多个网络控制实体510、520、530、M0、550、560、570。网络控制实体510、520、530、M0、550、560、570可以类似于如上关于图1_4所示和所述的网络控制实体191、192、193。同样地，每个网络控制实体可以是在接入交換机(图6中未示出)或者计算装置(图6中未示出)处执行的处理、应用、虚拟机和/或其它软件模块(以硬件执行) 或者硬件模块。一些网络控制实体530、M0、560和570用于和/或操作以管理和/或控制ー个或多个端ロ 535、545、565、575。例如，网络控制实体530管理和/或控制端ロ 535，网络控制实体540管理和/或控制端ロ M5，网络控制实体560管理和/或控制端ロ 565且网络控制实体570管理和/或控制端ロ 575。其他网络控制实体510、520、550用于和/或操作为路由反射器(例如，BGP路由反射器)。同样地，网络控制实体510、520、550可以用作网络控制实体530、M0、560、570之间的中间网络控制实体。在一些实施例中，网络控制实体510、520、550可以被称为从网络控制实体530、540、560、570分层地除去(例如，不同分层级)。例如，网络控制实体510,520, 550可以被称为在除网络控制实体530、M0、560、570之外控制面500中的较高分层级上。 更具体地，网络控制实体510可以被称为在控制面500的顶部分层级，网络控制实体520、 550可以被称为在控制面500的中间分层级，且网络控制实体530、M0、560、570可以被称为在控制面500的底部分层级。每个网络控制实体510、520、530、540、550、560、570可以存储与其直接耦接的网络控制实体510、520、530、540、550、560、570相关的地址和/或标识符。类似地说，每个网络控制实体510、520、530、540、550、560、570可以存储与通过单逻辑跳耦接到网络控制实
17体 510、520、530、540、550、560、570 的网络控制实体 510、520、530、540、550、560、570 相关的
地址和/或标识符。例如，网络控制实体510可以存储与网络控制实体520和550相关的地址和/或标识符。类似地说，网络控制实体510可以用于和/或用作网络控制实体520和网络控制实体550之间的路由反射器。因此，当网络控制实体510接收要发送给网络控制实体560 的转发-状态信息吋，例如，网络控制实体510寻址并发送转发-状态信息到网络控制实体 550。类似地，当网络控制实体510接收要发送给网络控制实体530的转发-状态信息吋， 例如，网络控制实体510寻址并发送转发-状态信息到网络控制实体520。在一些实施例中，网络控制实体520不存储与网络控制实体530、M0、560、570相关的地址和/或标识符。 在这种情况下，网络控制实体520存储网络控制实体530和540地址和/或标识符信息，且网络控制实体550存储网络控制实体560和570的地址和/或标识符信息。对于另一示例，网络控制实体520可以存储与网络控制实体510、530和540相关的地址和/或标识符。因此，当网络控制实体520接收要发送给网络控制实体560的转发-状态信息吋，例如，网络控制实体520寻址并发送转发-状态信息到网络控制实体510。 类似地，当网络控制实体520接收要发送给网络控制实体530的转发-状态信息吋，例如， 网络控制实体寻址并直接发送转发-状态信息到网络控制实体530。在这种情况下，网络控制实体520存储网络控制实体530、540和510，而不是网络控制实体550、560或者570的地址和/或标识符信息。对于又一示例，网络控制实体540可以存储与网络控制实体520相关的地址和/ 或标识符。因此，当网络控制实体520具有要发送给网络控制实体530、560或者570之一的转发-状态信息吋，例如，网络控制实体540寻址并发送转发-状态信息到网络控制实体 520。在这种情况下，网络控制实体540存储网络控制实体520，而不是网络控制实体510、 530、550、560或者570的地址和/或标识符信息。在一些实施例中，每个网络控制实体510、520、530、540、550、560、570不存储与其不直接耦接的网络控制实体510、520、530、M0、550、560、570相关的地址和/或标识符。例如，在这种实施例中，网络控制实体510不存储与网络控制实体530、M0、560和570相关的地址和/或标识符。类似地，在这种实施例中，网络控制实体530不存储与网络控制实体 510,540,550,560和570相关的地址和/或标识符。在这种实施例中，网络控制实体510、 520和550每个操作为用于较低ー个分层级的路由反射器。在其他实施例中，每个网络控制实体510、520、530、540、550、560、570还存储与其不直接耦接的网络控制实体510、520、 530,540,550,560,570相关的地址和/或标识符。在使用中，网络控制实体530、M0、560、570可以经由一个或多个中间和/或较高级网络控制实体510、520、550发送更新的转发-状态信息到另ー网络控制实体530A40、 560、570。图7是示出经由图6的交換机结构系统的分级控制面发送转发-状态信息的方法 600的流程图。例如，在602，网络控制实体540可以检测何时外围处理装置最初耦接到端 ロ 545之一。网络控制实体540然后可以发送更新的转发-状态信息(例如，与该端ロ 545 相关的转发-状态信息)到相同网络段中的其他网络控制实体530、560、570。具体地说，在 604，网络控制实体540可以寻址并发送转发-状态信息到网络控制实体520。在606，网络控制实体520然后可以发送转发-状态信息到网络控制实体530(其可以存储转发-状态信息)和网络控制实体510。在608，网络控制实体510可以发送和/或分配转发-状态信息到网络控制实体550，网络控制实体550在610可以发送转发-状态信息到网络控制实体 560和570。因此，使用分级控制面，网络控制实体530、M0、560、570可以发送转发-状态信息到其他网络控制实体530、M0、560、570而不存储与每个其它网络控制实体530A40、 560,570相关的地址和/或标识符。在一些实施例中，不是每个网络控制实体530、M0、560、570都是相同网络段的一部分。在这种实施例中，网络控制实体510、520、550可以执行与各种网络段相关的规则和/ 或政策。例如，网络控制实体560可以与第一网络段相关联，且网络控制实体570可以与第 ニ网络段相关联。在这种示例中，网络控制实体550可以将来源干与第一网络段相关的另一网络控制实体的转发-状态信息发送到网络控制实体560而不是网络控制实体570。类似地，网络控制实体550可以将来源干与第二网络段相关的另一网络控制实体的转发-状态信息发送到网络控制实体570而不是网络控制实体560。对于另一示例，网络控制实体 510和/或网络控制实体520可以将来源干与第一网络段相关的网络控制实体的转发-状态信息发送到与第一网络段相关的其他网络控制实体而不是与第二网络段相关的网络控制实体。同样地，如果网络控制实体530A40中的至少ー个也与第一网络段相关联，则网络控制实体510可以将来源于网络控制实体560的转发-状态信息发送到网络控制实体 520。类似地，如果网络控制实体530、540都不与第一网络段相关联，则网络控制实体510可以避免将来源于网络控制实体560的转发-状态信息发送到网络控制实体520。这种网络段可以类似于在相同日期提交的标题为“Methods and Apparatus for Forwarding-State Transport in a Distributed Control Plane”的未决美国专利申请承载代理记事表 No. JUNI-058/00US108200-2096中所示和所述的网络段。将其通过全文引用包括于此。在一些实施例中，使用例如边界网关协议(BGP)的目标较高级协议(例如，应用层协议)在网络控制实体之间发送转发-状态信息。在这种实施例中，网络控制实体510、520、 530、M0、550、560、570可以与任意适当的较低级协议(例如，数据链路层协议)(比如，以太网和/或光纤信道)结合地使用这种较高级协议，以发送转发-状态信息。类似地说，控制面500可以与基于分组的较低级协议(例如，以太网)结合地使用目标较高级协议(例如， BGP)。同样地，可以在以太网帧和/或分组中封装BGP转发-状态信息，并经控制面发送给其他网络控制实体。因此，在一些实施例中，可以使用基于分组的协议在控制面500内发送控制信号。使用比如BGP的目标协议，网络控制实体510、520、530、540、550、560、570可以发送转发-状态信息到特定网络控制实体510、520、530、M0、550、560、570，同时避免发送转发-状态信息到其他网络控制实体510、520、530ス40、550、560、570(例如，在不同网络段内)。虽然以上已经描述各种实施例，但是应当理解仅通过示例的方式呈现它们，而不是限制。在如上所述的方法指示以某个次序发生某些事件吋，可以修改这些事件的次序。另外，当可能时可以以并行处理同时执行某些事件，以及如上所述可以按顺序地执行。以上所示和所述的实施例涉及多个外围处理装置，包括计算节点、存储节点、服务节点和路由器。在一些实施例中，ー个或多个计算节点可以是通用计算引擎，例如，其可以包括处理器、存储器和/或一个或多个网络接口装置(例如，网络接ロ卡(NIC))。在ー些实施例中，计算节点内的处理器可以是ー个或多个高速缓存相干域的一部分。在一些实施例中，计算节点可以是主机装置、服务器等。在一些实施例中，ー个或多个计算节点可以具有虚拟化资源，以使得任意计算节点(或者其一部分)可以由操作地耦接到交換机结构系统的任意其他计算节点(或者其一部分)代替。在一些实施例中，一个或多个存储节点可以是例如包括处理器、存储器、本地附加的磁盘存储器和/或一个或多个网络接口装置的装置。在一些实施例中，存储节点可以具有专用模块(例如，硬件模块和/或软件模块)，以使得例如一个或多个计算节点能够经由交換机结构从一个或多个存储节点读取数据和/或写入数据到ー个或多个存储节点。在一些实施例中，ー个或多个存储节点可以具有虚拟化资源，以使得任意存储节点(或者其一部分)可以由操作地耦接到交換机结构系统的任意其他存储节点(或者其一部分)代替。在一些实施例中，一个或多个服务节点可以是开放系统互连(OSI)第4层到第7 层装置，例如其可以包括处理器(例如，网络处理器)、存储器和/或一个或多个网络接口装置(例如，10( 以太网装置)。在一些实施例中，服务节点可以包括硬件和/或软件(在硬件上运行)以执行关于相对重的网络工作负荷的计算。在一些实施例中，服务节点可以执行以相对高效的方式基于每分组地执行计算(例如，比例如在计算节点处执行更高效)。计算可以包括例如，状态防火墙计算、侵入检测和防止(IDP)计算、可扩展标记语言(XML)加速计算、传输控制协议(TCP)终止计算和/或应用级负载平衡计算。在一些实施例中，ー个或多个服务节点可以具有虚拟化资源，以使得任意服务节点(或者其一部分)可以由操作地耦接到交換机结构系统的任意其他服务节点(或者其一部分)代替。在一些实施例中，一个或多个路由器可以是可操作以将交換机结构系统的至少ー 部分(例如，数据中心)连接到另ー网络(例如，全球因特网)的网络装置。例如，在ー些实施例中，路由器可以启用与交換机结构系统相关的组件(例如，外围处理装置、交換机结构的各部分)之间的通信。例如，可以基于第3层路由协议定义通信。在一些实施例中，一个或多个路由器可以具有一个或多个网络接口装置(例如，10( 以太网装置)，路由器可以通过该ー个或多个网络接口装置发送信号给例如交換机结构和/或其他外围处理装置，和 /或从它们接收信号。在这里描述的ー些实施例涉及具有非瞬时计算机可读介质(也可以称为非瞬时处理器可读介质)的计算机存储产品，该非瞬时计算机可读介质在其上具有用于执行各种计算机实现的操作的指令或者计算机代码。计算机可读介质(或者处理器可读介质)在其本质上不包括瞬时传播信号(例如，传播承载在比如空间或者线缆的传输介质上的信息的电磁波)的意义上是非瞬时的。可以为了特定的ー个或多个目的设计和构造介质和计算机代码(也可以称为代码)。非瞬时计算机可读介质的实例包括，但不限于磁存储介质，比如硬盘、软盘和磁带；光存储介质，比如致密盘/数字视频盘(CD/DVD)、致密盘-只读存储器(CD-ROM)和全息照相装置；磁光存储介质，比如光盘；载波信号处理模块；和特別配置以存储和执行程序代码的硬件装置，比如专用集成电路(ASIC)、可编程逻辑器件(PLD)、只读存储器(ROM)和随机存取存储器(RAM)装置。计算机代码的实例包括，但不限干，微代码或者微指令，机器指令，比如由编译器产生的，用于产生网络服务的代码，和包括由计算机使用解释器执行的高级指令的文件。例如，可以使用Java、C++或者其他编程语言(例如，面向对象的程序设计语言)和开发工具来实现实施例。计算机代码的另外的示例包括但不限于控制信号、加密代码和压缩代码。
虽然以上已经描述了各种实施例，但是应当理解仅通过示例的方式呈现它们而不限制，且可以进行形式和细节上的各种更改。在这里描述的设备和/或方法的任意部分可以以任意組合进行组合，除了互斥的組合之外。在这里描述的实施例可以包括描述的不同实施例的功能、组件和/或特征的各种组合和/或子組合。例如，交換机结构系统可以包括任意适当数量的路由反射器。
权利要求
1.ー种设备，包括计算装置，与在定义数据面的一部分的多个接入交換机中的每个接入交換机处的网络控制实体通信，所述数据面的一部分具有将所述多个接入交換机中的每个接入交換机耦接为层级对等体的交換机结构，该计算装置定义控制面的一部分，所述控制面的一部分包括所述多个接入交換机中的网络控制实体，以使得将该计算装置从所述多个接入交換机中的所述网络控制实体层级地除去，和该计算装置从所述多个接入交換机中的第一接入交換机接收转发-状态信息，该计算装置发送该转发-状态信息到所述多个接入交換机中的第二接入交換机。
2.如权利要求1所述的设备，其中，该计算装置经由第一逻辑跳从第一接入交換机接收转发-状态信息，并经由第二逻辑跳发送转发-状态信息到第二接入交換机，所述数据面定义第一接入交換机和第二接入交換机之间的单逻辑跳。
3.如权利要求1所述的设备，其中，该计算装置使用第一协议从第一接入交換机接收转发-状态信息，所述多个接入交換机中的第一接入交換机使用不同于第一协议的第二协议发送数据到所述多个接入交換机中的第二接入交換机。
4.如权利要求1所述的设备，其中，该计算装置使用基于分组的协议从第一接入交換机接收转发-状态信息，所述多个接入交換机中的第一接入交換机使用基于信元的协议发送数据到所述多个接入交換机中的第二接入交換机。
5.如权利要求1所述的设备，进一歩包括在所述多个接入交換机中的第一接入交換机处的网络控制实体，所述在第一接入交換机处的网络控制实体能操作以管理位于第一接入交換机的第一端口和位于所述多个接入交換机中的第三接入交換机的第二端ロ。
6.如权利要求1所述的设备，其中，该计算装置能操作以管理在第一接入交換机处的网络控制实体和在第二接入交換机处的网络控制实体。
7.如权利要求1所述的设备，其中，该计算装置是第一计算装置，该设备进ー步包括在控制面内与第一计算装置在相同的层级层的第二计算装置，在所述多个接入交換机中的第一接入交換机处的网络控制实体能操作以经由第一计算装置和第二计算装置发送转发-状态信息到在所述多个接入交換机中的第二接入交換机处的网络控制实体。
8.ー种设备，包括控制面装置，经由控制面与多个接入交換机中的每个接入交換机通信，所述多个接入交換机作为层级对等体由定义数据面内的单逻辑跳的交換机结构耦接在一起，所述控制面装置经由第一逻辑跳从所述多个接入交換机中的第一接入交換机接收转发-状态信息，该计算装置经由第二逻辑跳发送转发-状态信息到所述多个接入交換机中的第二接入交換机。
9.如权利要求8所述的设备，进一歩包括数据面，该数据面包括第一接入交換机和第二接入交換机之间的多个物理跳。
10.如权利要求8所述的设备，其中，该控制面装置使用基于分组的协议从第一接入交换机接收转发-状态信息，所述多个接入交換机中的第一接入交換机使用基于信元的协议发送数据到所述多个接入交換机中的第二接入交換机。
11.如权利要求8所述的设备，进一歩包括所述多个接入交換机中的第一接入交換机，该第一接入交換机能操作以在经由数据面发送数据分组到所述多个接入交換机中的第二接入交換机之前将数据分组分割为多个数据信元。
12.如权利要求8所述的设备，进一歩包括数据面内的交換机结构，所述多个接入交換机中的每个接入交換机操作地耦接到所述交換机结构，所述交換机结构是第一接入交換机和第二接入交換机之间的单逻辑跳的一部分。
13.如权利要求8所述的设备，进一歩包括所述多个接入交換机中的第一接入交換机，该第一接入交換机操作地耦接到外围处理装置，该第一接入交換机能操作以使用基于分组的协议从外围处理装置接收数据，该第一接入交換机能操作以使用基于信元的协议经由数据面发送数据到第二接入交換机。
14.如权利要求8所述的设备，进一歩包括在第一接入交換机处的网络控制实体，其操作以管理位于第一接入交換机处的第一端口和位于所述多个接入交換机中的第三接入交換机处的第二端ロ。
15.ー种系统，包括数据面，包括多个接入交換机和将所述多个接入交換机中的每个接入交換机作为层级对等体操作地耦接的交換机结构，所述多个接入交換机中的第一接入交換机使用第一协议发送数据到所述多个接入交換机中的第二接入交換机，所述交換机结构能操作以使用第一协议将数据从第一接入交換机路由到第二接入交換机；和控制面，包括在所述多个接入交換机中的第一接入交換机处的网络控制实体和在所述多个接入交換机中的第二接入交換机处的网络控制实体，在第一接入交換机处的网络控制实体使用不同于第一协议的第二协议发送转发-状态信息到在第二接入交換机处的网络控制实体。
16.如权利要求15所述的系统，其中，该第一协议是基于信元的协议且该第二协议是基于分组的协议。
17.如权利要求15所述的系统，其中，在第一接入交換机和第二接入交換机之间的数据面内的数据路径包括单逻辑跳，在第一接入交換机处的网络控制实体和在第二接入交換机处的网络控制实体之间的控制面内的数据路径包括多个逻辑跳。
18.如权利要求15所述的系统，其中，该第一接入交換机操作地耦接到能操作以使用第二协议发送数据到第一接入交換机的外围处理装置。
19.如权利要求15所述的系统，其中，所述多个接入交換机中的第一接入交換机能操作以在经由数据面发送数据分组到所述多个接入交換机中的第二接入交換机之前将数据分组分割为多个数据信元。
20.如权利要求15所述的系统，其中，该控制面定义在第一接入交換机处的网络控制实体和计算装置之间的第一逻辑跳和在第二接入交換机处的网络控制实体和计算装置之间的第二逻辑跳，在第一接入交換机处的网络控制实体经由第一逻辑跳和第二逻辑跳发送转发-状态信息到在第二接入交換机处的网络控制实体。
全文摘要
公开了一种多跳分布控制面和单跳数据面交换结构系统的方法和装置。在一些实施例中，设备包括计算装置，与在一组接入交换机中的每个接入交换机处的网络控制实体通信，该组接入交换机定义具有作为层级对等体耦接该组接入交换机中的每个接入交换机的交换机结构的数据面的一部分。计算装置能操作以定义包括该组接入交换机中的网络控制实体的控制面的一部分，以使得将计算装置从该组接入交换机中的网络控制实体层级地除去。计算装置能操作以从该组接入交换机中的第一接入交换机接收转发-状态信息。计算装置发送转发-状态信息到该组接入交换机中的第二接入交换机。
文档编号H04L12/56GK102571553SQ201110272108
公开日2012年7月11日 申请日期2011年9月15日 优先权日2010年12月15日
发明者Q·沃赫拉, U·孔杜尔 申请人:丛林网络公司