用于提供以多协议标签交换改善聚合/捆绑网络连接的性能的系统、装置和方法与流程

相关申请的交叉引用

本申请是于2013年8月2日提交的第13/958,009号美国专利申请的部分继续申请，该第13/958,009号美国专利申请是于2012年3月15日提交的第13/420,938号美国专利申请的部分继续申请，该第13/420,938号美国专利申请是于2008年11月12日提交的第12/269,439号美国专利申请的继续申请，所有这些申请通过引用在此并入本文。

本文中所描述的实施例大体上涉及网络通信，并且特别地涉及聚合或捆绑通信链路，以便改善关于包括有线网络和无线网络以及包括广域网(“wan”)在内的多种不同网络的网络性能或服务质量。

背景技术：

自从引入拨号接入以来，网络连接的容量增加，而高速连接并不是在所有区域都普遍存在的。另外，带宽不是无限的资源，因而需要提高利用带宽以及解决网络性能问题的解决方案。

存在用于改善网络性能的各种解决方案，诸如负载平衡、用以增加吞吐量的链路的捆绑、以及链路的聚合。关于捆绑/聚合，存在允许两个或多个不同链路(其在本公开中涉及与不同类型的网络和/或不同网络载体相关联的链路)彼此相关联以跨这些相关联的链路携带网络业务(诸如分组集合)的各种不同技术，以改善与这些分组有关的网络性能。这些技术的示例包括负载平衡、wan优化、或teloip的ana^tm技术、以及wan聚合技术。

用于改善网络性能的许多这样的技术用于增加两个或多个位置(例如，位置a、位置b、位置n；以下统称为“位置”)之间的网络性能，其中，在一个或多个这样的位置处提供链路的捆绑/聚合。虽然捆绑/聚合链路在可用于携带网络业务的连接(例如，从位置a到接入点到网络的骨干(无论是互联网接入点还是到另一数据网络(诸如私有数据网络、mpls网络或高性能无线网络)的接入点)(“网络骨干”)上提供显著的网络性能改善，但捆绑/聚合链路通常比网络骨干慢。

包括捆绑/聚合的现有技术通常导致常被称为“长回程”捆绑/聚合，其意味着例如从位置a和位置b(包括跨网络骨干)维护捆绑/聚合链路，这在许多情况下导致网络阻抗。因此，虽然捆绑/聚合提供了例如从位置a到网络骨干的改善的网络性能，但是跨越例如从位置a到位置b的整个网络路径的网络性能可能不太理想，因为在这种情况下的技术没有充分利用网络骨干的网络性能。

多协议标签交换(mpls)

多协议标签交换(mpls)是由互联网工程任务组开发的技术框架。mpls可以是使用虚拟路由和转发的wan虚拟化。它是用于构建大多数运营商和企业网络的事实上的技术，其利用路由器和交换机来实现。值得注意的是，mpls与协议无关，并且可以将ip地址映射到mpls标签。mpls通过基于短路径标签将分组(例如，ip分组)从一个网络节点转发到下一网络节点来改进网络性能，从而避免路由表中的复杂查找。mpls利用标签的概念来引导数据业务，因为与分组相关联的标签通常包含在mpls网络内用以引导分组所需的信息。一般来说，分组可以通过mpls入口路由器或提供商边缘/进入点(pe)路由器进入mpls网络，路由器用适当的标签封装分组。随着分组沿着mpls网络路径传送，网络中的各种节点基于标签的内容来转发分组。有时，标签交换路由器(lsr)当其将分组转发到下一节点时，交换或调换分组上的(一个或多个)标签。当分组离开mpls网络时，mpls出口路由器或提供商边缘(pe)路由器从分组中移除(一个或多个)标签，并且将其沿其到最终目的地的路径发送。通常，提供商边缘(pe)路由器或其等同网络元件位于mpls网络的边缘上，并且充当客户侧网络和mpls核心网络之间的接口。如上文所描述的，pe路由器可以将(一个或多个)标签添加到传入分组和离去分组或数据业务或移除(一个或多个)标签。单个pe路由器可以连接至一个或多个客户网络。在mpls核心网络内，标签交换路由器(lsr)接收传入分组并且按照其相应的标签信息路由或转发分组。lsr还可以调换(一个或多个)标签或将(一个或多个)标签添加到每个分组。

对于希望连接到mpls网络的客户，采用可以位于客户驻地的客户边缘(ce)路由器或其等同网络元件也是常见的做法。ce路由器可以连接到一个或多个pe路由器，pe路由器进而连接到mpls核心网络。

mpls可以为客户带来一系列益处，包括：话音和数据联网的融合，关键任务和云应用的高性能，降低运营成本的易于管理或完全受管理的环境，基于sla的保证等等。可以经由ipsec等通过互联网在边缘上使用多种接入技术(诸如层2、层3)递送mpls。另外，mpls本身正在成为具有建立接入边缘点的选项的核心网络技术。

路由器可以是包括但不限于路由器、交换机、服务器、计算机或提供路由或包转发能力的任何网络设备的任何设备。路由器可以有也可以没有路由表。路由器可以以硬件、软件或两者的组合来实现。路由器也可以实现为云服务并且可远程配置。

ipvpn/ipsec

为了提高通过mpls网络传送的数据的安全性和机密性，除了mpls网络之外，还可以调适互联网协议安全(ipsec)(用于保护ip通信的协议组)。使用ipsecvpn，mpls网络被认为是安全可信的。ipsec网关可以是任何网络设备，诸如计算机、服务器、路由器或特别的ipsec设备。ipsecvpn通常使用连接至宽带互联网电路的ce路由器进行配置。可替代地，ipsec可以在pe路由器或设备处实现。具有ipsec特征的mpls网络有时也被称为ipsecvpn或ipvpn网络。

例如，ipsecvpn可以在边缘上接入mpls网络，这是用于分支连接的传统低成本途径。然而，虽然典型的ipsecvpn可以提供低价签和覆盖面，但它缺乏业务优先级/cos能力，并且受到差的提供商服务水平协议(sla)和/或平均修复时间(mttr)的阻碍。用于mpls边缘的ipsecvpn尚未革新；有必要演进这种类型的mpls接入，打破市场并且创造终端客户的需求。

一般来说，北美的mpls市场正在快速增长，然而，mpls的价格正在遭受私有网络的商品化以及客户低价格的需求。尽管有这样的限制，但是与获得典型的宽带网络相比，采购mpls网络可能要昂贵多达30％。许多客户正在寻求一种价签较低和带宽增加的ipvpn解决方案。例如，许多mpls客户寻求在其主要网络之上的ipvpn备份解决方案。这些客户还可能期望备选的网络提供商、技术和实现方式(例如，4g、其他宽带解决方案)。现今，通常针对成本和覆盖面而购买ipvpn。然而，ipvpn有许多缺点，诸如缺乏业务优先级和cos能力。ipvpn在给定服务或提供商上也可能受到差的提供商服务水平协议(sla)和平均维修时间(mttr)的阻碍。因此，需要一种创新的网络解决方案，其提供更好的网络性能和服务质量。

利用mpls的链路聚合

对于想要拥有端到端vpn或mpls网络的客户，mpls网络至少一个问题是，因为限定mpls网络核心的“边缘”的pe或入口路由器通常位于网络提供商的驻地，所以mpls网络通常不会扩展到实际的客户或客户端站点。为了维护由mpls(有或没有ipsec)网络提供的高水平的性能，需要在pe路由器处将客户端站点连接至mpls网络的良好解决方案。迄今为止，某种形式的链路聚合技术偶尔会适应填补mplspe路由器与实际(一个或多个)客户端站点之间的缺口。然而，在当前现有技术中，大多数链路聚合技术不能连接至相异或不同的运营商或连接。另外，mpls网络通常作为私有产品或服务出售，因此不能使用相同的运营商或网络提供商向终端客户提供不同的运营商或网络提供商，而是需要物理本地环路。因此，存在对新系统和方法的需求，以允许通过高质量链路聚合与安全和可信的mpls网络相结合来利用不同的运营商和不同的连接。

需要一种解决这些问题中的至少一些问题的系统和方法，或至少备选方案。

在市场研究中，已经发现，企业选择网络架构解决方案的关键驱动因素可以是：

·对低成本的ip网络服务来融合业务应用的需求

·对多种接入技术的支持

·针对mpls和ipvpn的成本竞争力

·对业务优先级排序的支持

还显示出了部署网络架构解决方案的最重要的原因可以是：

·改善的运营效率/降低的opex

·改善的服务可调整性(快速&简化的服务部署)

·链接主要公司站点/设施

·整合融合应用(话音、数据、互联网、视频)

·专注于核心业务，同时提供商管理路由

·减少it/电信人员

进一步显示出了选择wan网络架构解决方案和服务的最重要标准可以是：

·安全性

·价格和定价结构复杂性

·服务可靠性/qos

·充足的保证带宽

·关键站点处的服务可用性(地理覆盖面)

·性能/sla保证

·运营/opex成本

·与现有网络和接入服务的互操作性

·自助门户和客户支持/客户关怀

·灵活性/可调整性(快速服务配设/带宽改变)

·capex/设备成本(包括利用现有cpe的能力)

在本申请中公开的本发明的实施例可以经由与安全且可信的mpls网络相结合的高质量链路聚合，利用不同的运营商和不同的连接来实现上文所描述的益处中的一个或多个。

技术实现要素：

在本发明的一个实施例中，提供一种网络系统，其用于改善至少第一客户端站点和第二客户端站点之间的网络通信性能，其中，第一客户端站点和第二客户端站点可以彼此相距一距离，其使得需要长回程网络通信，该网络系统包括：

(a)至少一个网络捆绑/聚合计算机系统，其包括：

(i)至少一个客户端站点网络部件，其至少在第一客户端站点处实现，该客户端站点网络部件捆绑或聚合一个或多个不同的网络连接，以便配置已经增加了吞吐量的捆绑/聚合连接；以及

(ii)至少一个网络服务器部件，其被配置成与客户端站点网络部件互操作，该网络服务器部件包括在到多协议标签交换网络的接入点处实现的服务器/集中器或云集中器元件；

其中，客户端站点网络部件和网络服务器部件可以被配置成互操作，以便在至少第一客户端站点和接入点之间提供网络通信，其中，在客户端站点网络部件与网络服务器部件之间，数据业务被承载在捆绑/聚合连接上，并且在接入点和第二客户端站点之间，网络服务器部件自动终止捆绑/聚合连接，并且将数据业务传递到多协议标签交换网络，同时网络服务器部件维护数据业务的管理，以便提供将至少捆绑/聚合连接以及多协议标签交换网络上所承载的至少一个网络路径合并的受管理网络路径。

在另一方面中，第一客户端站点和第二客户端站点可以彼此相距一距离，使得第一客户端站点和第二客户端站点之间的捆绑/聚合连接上的数据业务受制于长回程效应。

在又一方面中，受管理网络路径可以在网络通信不需要通过增加长回程效应的中央服务器的路由的情况下在至少第一客户端站点和第二客户端站点之间被维护。

在再一方面中，一个或多个客户端站点网络部件和一个或多个相关联的网络服务器部件可以包括对等编程并且基于这种对等编程来在对等基础上进行操作。

在一个方面中，网络服务器部件可以被设置在与接入点相距一距离处，该距离不会导致网络服务器部件和接入点之间的长回程效应。

在另一方面中，多个网络服务器部件可以被实现在地理区域中以便提供存在点(pop)，多个网络服务器部件被使得可用于邻近的客户端站点网络部件。

在又一方面中，两个或更多个存在点对至少一个客户端站点网络部件是可访问的，客户端站点网络部件：

(a)收集网络性能信息；以及

(b)发起网络覆迭的配置以包括一个或多个网络服务器部件，以便改善网络通信性能。

在再一方面中，每个网络服务器部件对多个客户端站点网络部件是可访问的，每个客户端站点网络部件与客户端站点相关联。

在另一方面中，网络系统可以包括存在点的网络，存在点在地理上分布，以便服务于与至少一个客户端站点网络部件相关联的多个客户位置。

在一个方面中，网络系统可以包括：

(a)第一客户端站点中的每个站点处以及第二客户端站点处的客户站点网络部件；

(b)邻近第一客户端站点中的每个站点以及邻近第二客户端站点的网络服务器部件；

其中：

第一客户端站点的客户端站点网络部件与相关联的网络服务器部件之间的通信被捆绑或被聚合，然后由与第一客户端站点的客户端站点网络部件相关联的网络服务器部件终止，并且被传递到多协议标签交换网络；

数据业务通过与第二客户端站点相关联的网络服务器部件接收，并且在与第二客户端站点相关联的网络服务器部件和与第二客户端站点相关联的客户端站点网络部件之间的捆绑或聚合连接上被传送。

在另一方面中，捆绑/聚合计算机系统可以包括网络聚合设备，其：(a)将多个相异的网络连接或由多个不同的网络运营商提供的网络连接(“不同的网络连接”)配置为一个或多个聚合组，每个聚合组创建聚合网络连接，聚合网络连接是多个不同的连接的逻辑连接；以及(b)路由并且处理聚合网络连接上的双向传输；其中，不同的网络连接中的两个或多个网络连接具有相异的网络特点，网络特点包括可变的路径双向传送速率和延迟；其中，逻辑连接在不需要针对相异的网络连接的任何配置或由不同的网络运营商进行的任何配置的情况下，可用于对在不同的网络连接中的任一网络连接上通信业务的双向传送是可利用的；并且其中，网络聚合引擎包括网络聚合策略数据库或链接到网络聚合策略数据库，该网络聚合策略数据库包括一个或多个网络聚合策略以用于在所接受的容差内配置聚合组，以便配置和维护聚合网络连接，使得逻辑连接具有一总通信业务吞吐量，其是不同的网络连接的聚合组的可用业务吞吐量的总和。

在又一方面中，可以提供一种计算机实现的用于改善至少两个站点之间的网络通信性能的方法，其中，两个站点彼此相距一距离，其使得通常需要长回程网络通信，该方法可以包括以下步骤：

(a)使用与第一客户端站点相关联的客户端站点网络部件连接到邻近的网络服务器部件，该网络服务器部件被连接至到高性能网络的接入点，从而形成网络覆迭，其提供用于携带数据分组的捆绑或聚合连接；

(b)网络服务器部件终止捆绑或聚合连接；以及

(c)网络服务器部件将数据分组传递到高性能网络，以便传送到第二客户端站点，同时维护数据业务的管理，以便提供将至少捆绑/聚合连接与在在高性能网络上所承载的至少一个网络路径合并的受管理网络路径，从而降低长回程效应。

在另一方面中，该方法可以包括：在第二客户端站点处接收数据业务。

在又一方面中，该方法可以包括：维护数据业务的管理，以便提供包括捆绑或聚合连接和高性能网络的一个或多个网络路径的受管理网络路径。

在一个方面中，该方法可以包括：与第二客户端站点相关联的网络服务器部件处的数据业务，网络服务器部件发起到与第二客户端站点相关联的客户端站点网络部件的捆绑或聚合连接。

在另一方面中，多个网络服务器部件可以形成点存在，并且客户端站点网络部件选择网络服务器部件中的一个或多个网络服务器部件以用于建立网络覆迭，以便改善网络性能。

在另一方面中，至少一个网络服务器部件还可以被配置成准备数据业务以供传输到多协议标签交换(mpls)网络中。

在又一方面中，数据业务的准备可以包括：以一个或多个mpls标签封装数据业务。

在再一方面中，至少一个网络服务器部件可以被进一步配置成准备数据业务以供传输到至少一个客户端站点网络部件。

在又一方面中，数据业务的准备可以包括：移除(一个或多个)mpls标签。

在一个方面中，提供了一种网络系统，其用于改善至少第一客户端站点和第二客户端站点之间的网络通信性能，其中，第一客户端站点和第二客户端站点彼此相距一距离，其使得通常需要长回程网络通信，包括至少一个网络捆绑/聚合计算机系统，其包括：至少一个客户端站点网络部件，其至少在第一客户端站点处实现，客户端站点网络部件捆绑或聚合一个或多个不同的网络连接，以便配置吞吐量增加的捆绑/聚合连接；以及至少一个网络服务器部件，其被配置成与客户端站点网络部件进行互操作，该网络服务器部件包括在到多协议标签交换网络的接入点处实现的服务器/集中器；其中，客户端站点网络部件和网络服务器部件被配置成互操作，以便在至少第一客户端站点和接入点之间提供网络通信，其中，在客户端站点网络部件和网络服务器部件之间，数据业务被承载在捆绑/聚合连接上，并且在接入点和第二客户端站点之间，网络服务器部件自动终止捆绑/聚合连接，并且将数据业务传递到多协议标签交换网络，同时网络服务器部件维持数据业务的管理，以便提供将至少捆绑/聚合连接与在多协议标签交换网络上所承载的至少一个网络路径合并的受管理网络路径。

在这方面，在详细解释本发明的至少一个实施例之前，应当理解，本发明在其应用上不限于以下描述中阐述的或在附图中说明的构造的细节和部件的布置。本发明能够具有其他实施例并且能够以各种方式实践和执行。另外，应当理解，本文中使用的措辞和术语是为了描述的目的，而不应被认为是限制性的。

附图说明

现在，将参考附图对本发明的实施例的示例进行更详细地描述，其中

图1a图示了包括捆绑/聚合网络连接的现有技术的网络配置。图1a图示了长回程聚合/捆绑的问题。

图1b还图示了包括捆绑/聚合网络连接的中央管理的现有技术网络配置，其还示出了与多个客户站点的长回程聚合/捆绑的问题。

图1c图示了嵌入ipsec的现有技术的mpls网络配置。

图2a示出了按照本发明的实施例的网络解决方案，其中在站点a和站点b两者处实现捆绑/聚合，同时基于本发明的技术来使长回程影响最小化。

图2b示出了按照本发明的实施例的另一网络解决方案，其中捆绑/聚合网络服务存在于站点a处但不存在于站点b处。

图2c示出了按照本发明的实施例的另一网络解决方案，其中在站点a、站点b和站点c之间实现捆绑/聚合。

图2d示出了本发明的实施例的网络架构的另一实现方式，其中多个服务器/集中器被实现为存在点(point-of-presence)的一部分。

图2e示出了网络解决方案，在站点a、总部(hq)a和站点c处均实现了捆绑/聚合，以连接至mpls网络，mpls网络连接至总部(hq)b、总部(hq)c和站点b。

图2f示出了网络解决方案，在站点a、站点b、站点c、站点d、hqa、hqc和站点e处实现了捆绑/聚合，以从第一提供商连接至第一mpls网络并且从第二提供商连接至第二mpls网络。

图3是并入本发明的特定实施例的通信设备的框图，其将该设备展现为在网络连接的客户端/cpe-ce侧上的聚合装置。

图4是并入本发明的特定实施例的通信设备的框图，其将该设备展现为网络连接的服务器/集中器侧上的聚合装置以及mpls数据存储装置。

图5是并入本发明的特定实施例的通信网络的框图，其将该设备展现为网络连接的客户端/cpe-ce侧和服务器/集中器或ccpe侧两者上的聚合装置。

图6是通过聚合网络连接中的多个网络连接提供冗余和增加的吞吐量的方法的流程图。

图7a图示了长回程效应所适用的现有技术的网络架构，并且基于下载速度来呈现了网络性能。

图7b图示了在与图7a相似的网络条件下但是实现本发明以便减少长回程捆绑/聚合的情况下，基于更快的下载速度而改善的网络性能。

具体实施方式

本文中所描述的系统和方法的实施例可以以硬件或软件或两者的组合来实现。这些实施例可以在可编程计算机上执行的计算机程序中实现，每个计算机包括至少一个处理器、数据存储系统(包括易失性存储器或非易失性存储器或其他数据存储元件或其组合)、以及至少一个通信接口。例如但不限于，各种可编程计算机可以是服务器、网络设备、机顶盒、嵌入式设备、计算机扩展模块、个人计算机、笔记本电脑、个人数据助理、蜂窝电话、智能电话设备、umpc平板电脑和无线超媒体设备或能够被配置成执行本文中所描述的方法的任何其他计算设备。

将程序代码应用于输入数据以执行本文中所描述的功能并且生成输出信息。输出信息以已知方式应用于一个或多个输出设备。在一些实施例中，通信接口可以是网络通信接口。在组合本发明的元件的实施例中，通信接口可以是诸如用于进程间通信(ipc)的那些接口之类的软件通信接口。在其他实施例中，可以存在被实现为硬件、软件及其组合的通信接口的组合。

每个程序可以以高级过程或面向对象的编程或脚本语言或两者来实现，以与计算机系统通信。然而，可替代地，如果需要，程序可以以汇编或机器语言来实现。该语言可以是编译或解释语言。每个这样的计算机程序可以存储在存储媒体或者由通用可编程计算机或专用可编程计算机可读的设备(例如，rom、磁盘、光盘)上，用于当计算机读取存储媒体或设备时配置和操作计算机以执行本文中所描述的过程。该系统的实施例还可以被认为是实现为被配置有计算机程序的非暂态计算机可读存储介质，其中，如此配置的存储介质使得计算机以特定和预先定义的方式操作以执行本文中所描述的功能。

此外，所描述的实施例的系统和方法能够被分布于计算机程序产品中，计算机程序产品包括物理非暂态计算机可读介质，其承载用于一个或多个处理器的计算机可用指令。介质可以以各种形式提供，包括一个或多个软盘、光盘、磁带、芯片、磁性存储介质和电子存储介质、易失性存储器、非易失性存储器等。非暂态计算机可读介质可以包括所有的计算机可读介质，除了暂态传播信号之外。术语非暂态不旨在排除诸如主存储器、易失性存储器、ram等之类的计算机可读介质，其中，存储在其上的数据可能仅被暂时存储。计算机可用指令也可以是各种形式，包括编译代码和非编译代码。

如本文中所使用的并且除非上下文另有说明，否则术语“耦合至”旨在包括直接耦合(其中，彼此相互耦合的两个元件彼此接触)和间接耦合(其中，至少一个附加元件位于两个元件之间)。因此，术语“耦合至”和“与…耦合”同义使用。

mpls边缘

mpls边缘是对mpls网络上ipsecvpn的改进的备选方案。在一个方面中，自主网络聚合(ana)或网络捆绑/聚合技术可以用作扩展mpls网络的混合解决方案的一部分，允许合作伙伴使用低成本宽带连接并与此同时维护mpls服务的质量和可靠性。在另一方面中，mpls边缘在运营商基础架构的边缘上通过网络捆绑/聚合虚拟化mpls，从而向与网络捆绑/聚合耦合的客户驻地装置或设备递送mpls标签。例如，ana或链路聚合系统中的云集中器可以充当网络的边缘上的mplspe(提供商边缘)路由器。

大多数现有的现有技术的链路聚合技术不能连接至相异的或不同的网络运营商或连接。另外，mpls网络通常作为私有产品或服务出售，因此不能使用相同的运营商或网络提供商向终端客户提供不同的运营商或网络提供商，而是需要物理本地环路。使用如本文中所描述的mpls网络的网络捆绑/聚合技术允许通过高质量链路聚合与安全且可信的mpls网络结合来利用不同的运营商和不同的连接。

mpls边缘技术可以将mpls完全扩展到客户的lan作为可以递送整合的wan、voip和互联网接入的私有服务产品。

在本发明的一个方面中，提供了一种系统和网络架构，其用于聚合来自相似的或不同的运营商的多个网络接入连接，以创建适应更高速度和高可用性特点并且经由客户驻地设备(cpe-ce)或云集中器/提供商设备(ccpe)连接至mpls网络的新聚合连接。

在本发明的另一方面中，提供了一种用于改善至少两个站点之间的网络通信性能的网络解决方案，其中，两个站点彼此相距一定距离，其使得可能通常需要长回程网络通信。该网络解决方案包括至少一个网络捆绑/聚合系统，其包括：(a)在第一服务站点处实现的至少一个第一网络部件，该第一网络部件被配置成捆绑或聚合一个或多个不同的网络连接，以便配置吞吐量增加的捆绑/聚合连接；以及(b)第二网络部件，其被配置成与第一网络部件进行互操作，该第二网络部件包括服务器/集中器(也被称为网络服务器部件)，在到多协议标签交换网络的接入点或进入点处实现该服务器/集中器。多协议标签交换(mpls)是一种网络机制，其可以使用路径标签而非网络地址在网络之间引导数据，从而避免复杂的路由表查找。标签标识节点而非端点之间的虚拟链路或路径。mpls可以封装各种网络协议的分组，并且支持一系列接入技术。

在一个方面中，第一网络部件可以使用在本公开中称为的“cpe-ce”或客户驻地设备(也被称为客户边缘(ce)路由器或客户端站点网络部件)来实现。cpe-ce和服务器/集中器(也被称为云集中器供应商设备ccpe)部件(下文将更全面地描述)互操作以对捆绑/聚合连接进行配置，以便在与cpe-ce相关联的站点处提供改善的网络连接。

在本发明的一个方面中，在到mpls网络的接入点或进入点处实现服务器/集中器，具有对mpls网络解决方案所提供的网络骨干的接入，以便提供高质量的端到端的安全网络连接。服务器/集中器可以在捆绑/聚合网络和mpls宽带网络部分之间提供桥接，以将mpls递送到cpe。服务器/集中器可以被配置成作为mpls网络上的提供商边缘路由器或进入点(pe)路由器进行操作。如下文所描述的，mpls与协议无关，并且支持捆绑/聚合网络所支持的协议。

另外，服务器/集中器可以被实现为云服务、集群服务或仅在云中托管的集群、或者基于某些配置来配置的路由器服务器。贯穿本申请，它还可以被称为集群或云集中器。集群或云集中器可以服务于多个cpe-ce。客户端站点可以具有多个cpe-ce，并且集群可以服务于多个客户端站点。如下文所描述的，集群或云集中器还可以在多个存在点(“多pop”)基础上彼此通信。

在本发明的另一实施例(未图示)中，服务器/集中器(或网络服务器部件)可以与一个或多个cpe-ce远程耦合或紧密耦合，并且完全由软件构成或完全由硬件构成，或者包括软件和硬件部件。服务器/集中器可以被实现到一个或多个服务器计算机，或者可以被实现为驻留在相同的或不同的物理位置处的计算机的互连网络，并且通过一个或多个可信网络连接而连接到一个或多个cpe-ce和核心网络(例如，mpls)。服务器/集中器可以与cpe-ce和/或网络架构中的其他部件进行互操作，以便实现本文中所描述的功能。

牵涉长回程捆绑/聚合网络通信的网络架构导致不太理想的性能，从而使捆绑/聚合技术的优点最小化。换句话说，虽然捆绑/聚合技术可以改善对与例如cpe(或客户驻地设备的等同物)相关联的站点a的服务，但是基于cpe与相关联的服务器/集中器之间的捆绑/聚合(或诸如云集中器的等同物)，总体性能可能会低于期望性能，实际上可能因为将捆绑/聚合从a站点携带到至少站点b的长回程效应，会低于在无捆绑/聚合的情况下可能可用的性能。只要站点a和站点b彼此相距相当大距离，长回程效应就会出现。下文所描述的操作中的示例说明了长回程效应所产生的性能下降。在本发明的一个示例性实施例中，ccpe可以用诸如vmware、vsphere5、citrixxen等之类的虚拟化软件来实现。

现在参考图1a，其图示了现有技术中通常的长回程聚合/捆绑的问题。在图1a所示的现有技术的捆绑/聚合网络通信中，分组通过跨越互联网(102)(而非诸如mpls核心网络之类的高性能互联网核心网络)的捆绑/聚合连接的扩展在互联网上传送。受制于长回程效应的跨越一距离的捆绑/聚合连接将不能像互联网那样良好地执行，从而提供不太理想的性能。

现有技术的捆绑/聚合解决方案的另一问题是它们通常需要中央服务器的控制或管理。取决于中央服务器的位置，由于站点a和站点b之间的业务可能还需要传递到与中央服务器相关联的站点c，所以这可能会导致长回程效应的倍增。例如在图1b中图示了现有技术中的技术的这个方面。中央服务器(104)管理网络通信，并且实际上在站点a和站点c之间路由网络通信。只要在一定程度上中心服务器(104)与站点a或站点c的任何一个之间的距离相当大，长回程效应会呈现。如果中央服务器(104)位于与站点a和站点c中的每个站点相当大的距离处，则由于网络业务将从站点a传送到中央服务器(104)到站点c，并且从站点c到中央服务器(104)到站点a，所以长回程效应会倍增。

如下文所描述的操作中的示例所说明的，长回程效应对速度(减慢业务)以及延迟(latency)具有负面影响。相反，本发明的实施例可以在速度和延迟方面提供显著的改善。

本发明的实施例提供了一种新颖且创新的网络解决方案，包括网络系统和架构以及相关联的网络方法，其解决了对性能具有负面影响的上述长回程效应。

图1c图示了其中嵌入有ipsec的现有技术的mpls网络配置。在图1c所示的现有技术的mpls网络中，分组通过诸如dsl或电缆之类的单一连接在互联网上从分支客户a或b(例如，站点a或b)到mpls的一个pe路由器传送。可以在分支客户a或b与mplspe路由器的之间实现ipsec隧道，并且紧接在pe路由器之前或在pe路由器处终止。因此，pe路由器完成两个任务：ipsec远程接入终止，以及提供mplspe路由器。该现有技术的配置中的ipsec主要用作安全接入到mpls网络中的方法。ipsec的保护使通过任何不受信任的基础设施(诸如公共wifi热点或dsl互联网)传送数据安全。

如可以从图1c中看出的，从分支客户a或b到ipsec终止的网络路径可以通过唯一连接，其可以是例如电缆或dsl连接。如果来自分支客户a的电缆连接由于任何原因而失败，则该客户将无法连接到mpls网络，因为没有备选可用的互联网连接。相比之下，本发明的实施例在诸如双向通信、故障备援保护和运营商的多样性等之类的若干个附加特征方面提供显著的改进。

尽管这里未示出，但是应当理解，还可以实现从一个pe路由器通过mpls网络核心到另一pe路由器或者从分支客户a到总部客户b(cpe-ce至cpe-ce)的ipsec隧道。不管ipsec在mpls上的具体配置如何，具有嵌入式ipsec的mpls网络设置成本高昂，难以维护和重新配置，并且通常在以下方面有待改善，举几个示例，运营商多样性、故障备援保护、聚合带宽、双向通信、服务质量(qos)、防止掉话、应用加速以及体验质量评分(qoe)等等。

如图2a所示，在本发明的一个方面中，实现了用于站点a(120a)的捆绑/聚合网络解决方案的服务器/集中器(或以其他方式被称为云集中器)侧，使得：(a)云集中器的位置被实现为具有对mpls(112)的网络核心的接入；以及(b)云集中器(110a)包括用于以下各项的功能：(i)借助于捆绑/聚合连接(116a)接收分组，(ii)使用断续器(118)中断捆绑/聚合连接(116a)，以及(iii)将分组(114)引导到mpls(112)以用于站点b(120b)的递送。在(iii)将分组(114)引导到mpls(112)的情况下，云集中器(110a)还充当mpls(112)的pe路由器。因此，云集中器(或服务器/集中器)(110a)也被称为mpls的云集中器提供商边缘或云集中器进入点(ccpe)。如果站点b也具有捆绑/聚合网络服务，则将分组递送到站点b侧云集中器或ccpe(110b)。然后，ccpe(110b)可以建立另一捆绑/聚合连接(116b)，并且经由捆绑/聚合连接(116b)将分组(114)引导到站点b处的cpe-ce(b)(124b)。

图2b图示了其中捆绑/聚合网络服务在站点a处存在但在站点b处不存在的配置。

多于两个站点是可能的，其中，本发明的实施例的网络系统改善了例如站点a、站点b和站点c之间的网络通信的网络性能，其中，一个或多个站点将包括捆绑/聚合服务。在本发明的一个实现方式中，如图2c所示，对于站点a、站点b和站点c中的每个站点而言存在捆绑/聚合服务。图2c图示了本发明的一个可能实施方式，其中，网络系统基于分布式网络架构，其中ccpe(110a)(110b)(110c)和对应的cpe-ce(124a)(124b)(124c)被配置成提供改进的网络通信，包括中断网络骨干处的网络通信以便在不需要持久性中央管理器的情况下动态地且在对等(peertopeer)基础上降低长回程效应。在一个实现方式中，网络系统的网络部件中的每个网络部件包括用以在对等基础上操作的功能。

cpe-ce(124)在捆绑/聚合的基础上发起网络通信，其与ccpe(110)协作，而分组的目的地为远程位置。每个ccpe(110)接收动态更新，其包括与其他ccpe(110)相关联的位置和标识符。分组被动态地发送到远程位置(如果可用)处的ccpe(110)，并且从远程位置处的ccpe(110)发送到其cpe-ce(124)。cpe-ce(124)及其ccpe(110)使用网络通信的双向控制来建立网络覆迭(overlay)以提供改善的网络性能。例如，尽管可能导致网络性能下降的底层网络条件如此，但是网络覆迭提供期望的服务质量。

按照本发明，本发明的网络系统建立并且管理两个或多个网络覆迭。例如，参考图2a，在cpe-ce(a)(124a)和ccpe(110a)之间建立第一网络覆迭(126)；然后，在mpls(112)上传送通信而没有网络覆迭；然后，在ccpe(110b)和cpe-ce(b)(124b)之间建立第二网络覆迭(129)。因此，在站点a和站点b之间提供ip传送，其中，这将提供比聚合/捆绑网络连接更好的性能。捆绑/聚合实际上跨各个位置而分布，而非试图以端到端捆绑/聚合跨越这些位置之间的距离。

因此，本发明的实施例提供了分布式捆绑/聚合。本发明的实施例还提供了一种网络系统，其以如下方式自动提供分布式捆绑/聚合：捆绑/聚合是邻近的，并且在邻近连接之外使用ip传送，其中邻近捆绑/聚合连接和快速互联网用作端到端改善服务的一部分。

另外，作为本发明的一部分，可以可选地在ccpe和/或cpe-ce配置中包括使能体验质量(qoe)和服务质量(qos)的监测和维护的系统元件。在另一示例中，qoe元件和qos元件可以被实现为底层链路聚合技术的一部分。

本发明的实施例可以提供优于现有技术的优点，包括：例如，

1.适用于话音和数据传输：

·以体验质量(qoe)支持的sla

·双向qos

·ottqos维护cos

·链路故障备援时不会掉话

2.运营商多样性，包括网络聚合和故障备援保护

3.故障备援：故障诶元场景时没有断开连接

4.聚合带宽：更多的覆盖面选项和规模

5.双向通信

6.网络服务质量(qos)

7.应用加速

8.体验质量

按照示例性实施例将mpls网络与链路聚合/捆绑技术组合可以满足终端客户对mpls网络的需求，包括：例如，

·使用多个低成本宽带电路(用于延长正常运行时间和弹性)。

·支持优先级排序和优先级业务的cos。

·混合mpls或备份网络策略，而不必放弃mpls特征。

·云集中器可能使用将mpls(mpls作为所支持的协议添加到链路聚合技术)递送到cpe设备的网络聚合将客户的网络的mpls部分桥接到宽带部分。

在本发明的另一方面中并且如图2d所示，可以在给定物理位置处实现一个或多个ccpe，作为存在点(pop)(130)的一部分。在本发明的一个方面中，pop(130)可以在区域内限定相对较高集中的服务器、集中器和/或ccpe。在另一方面中，多个pop(130)可以是在给定地理位置中可用的。可以基于给定区域中的网络拓扑或服务需求来建立多个pop(130)。

在一个方面中，每个pop(130)可以具有一个或多个网络骨干连接(132)，因为在一些位置中，诸如无线互联网、私有数据网络或mpls网络之类的不同网络骨干可以是可用的。pop(130)可以被实现成使得它与周围网络动态地互操作。pop(130)是网络部件的集合，其在网络骨干(112)的外周处建立，与多个网络相关联并且向限定的地理区域中的一个或多个客户端累积地提供网络通信服务。在一个可能的实现方式中，位于pop(130)内的服务器/集中器或ccpe(110)用作网络接入服务器，其用于连接至互联网或mpls(112)。网络接入服务器(110)充当用于连接到pop(130)的多个cpe设备(124)的、到互联网(112)的接入点。服务器/集中器或ccpe(110)可以被配置成彼此通信以共享关于网络条件的信息。服务器/集中器和ccpe(110)提供与cpe和cpe-ce(124)的连接，并且还可以运行诸如bgp之类的网络协议来路由服务器和其他网络骨干连接(112)。

在一个方面中，服务器/集中器和ccpe(110)被配置成检测其网络环境的改变。

cpe-ce(124)可以被配置成从其附近的网络部件收集信息，包括从一个或多个可用的pop(130)及其ccpe(110)收集信息。cpe-ce(124)例如连接至作为pop(130)的一部分实现的最接近可用的ccpe(124)，从而具有与mpls网络核心(112)的连接的接入。无论与mpls网络核心(112)的连接是直接的还是间接的，建立网络连接以便使长回程效应最小化。

在一个实现方式中，每个cpe-ce(124)通过动态地广告其ip地址并且从相关联的ccpe(110)接收回复连同其当前网络性能信息来建立连接。cpe-ce(124)发起与邻近的ccpe(110)的捆绑/聚合连接(以使cpe-ce(124)和mpls网络核心(112)之间的长回程效应最小化)，并且还基于与特定ccpe相关的网络条件来表现良好。

在一个实现方式中，部署网络设备，其捆绑或聚合多个不同的链路。网络设备可以是wan聚合器或链路聚合器。

一旦建立了网络覆迭，就可以应用各种其他网络优化和服务质量(“qos”)技术。

一个或多个cpe-ce和一个或多个ccpe可以创建各种不同的网络配置，其可以相对于它们之间的网络通信而改善网络性能。在本发明的一个实施例中，cpe-ce和ccpe被设计成自配置的和自修复的，并且彼此互操作来以更有效的方式管理业务。

“邻近”意指一距离使得长回程网络通信和相关联的影响基于相关网络条件而得以避免。cpe-ce和ccpe之间的距离可以是邻近的。

为了利用本发明的网络架构的优势，ccpe(110)可以位于到mpls网络核心(112)的接入点处，或者以某个其他方式来例如通过位于接入点邻近的ccpe使长回程效应最小化，以便进一步避免长回程网络通信。

在另一方面中，站点a处的结合/聚合连接与站点b处的结合/聚合连接可以是不同的。特别地，每个可以包括不同类型的网络连接，并且可以与不同的运营商相关联。在本发明的一个方面中，固然具有这种多样性，但是所提供的网络覆迭也能够操作。

通常，具有与其相关联的cpe-ce/ccpe的站点越多，它们之间的网络性能越好。包括的代表性的细节如下。

网络骨干(112)可以是包括例如专用wan、互联网或mpls网络在内的任何高性能网络。

网络覆迭

在本发明的一个方面中，按照本发明建立了一个或多个网络覆迭，从而在一个方面中，提供了利用多个存在点的多pop网络，以便提供持久的、可配置的/可重新配置的网络配置，其提供了相比于现有技术方法实质的网络性能改善。在本发明的一个方面中，cpe-ce/ccpe可以监测包括在其位置附近的区域中的网络性能，并且可以在提供服务的连续性的同时，基于mpls网络性能的改变而跨多个位置(包括多个pop)来动态重新配置网络覆迭。

在一个方面中，本发明的网络部件是智能的，并且迭代地收集网络性能信息。重要的是，在一个方面中，每个cpe-ce能够引导相关联的集中器/ccpe和任何cpe-ce以总体上重新配置网络覆迭。

重要的是，在由本发明创建的网络覆迭中，取决于提供最佳整体性能的配置，网络的管理可以是集中式或分散式的。这与现有技术中的解决方案形成对比，这些解决方案通常需要对例如连接终止的中央管理，该连接终止导致业务在捆绑/聚合连接上被承载，这些解决方案牵涉到长回程传输，其未能利用可以比捆绑/聚合连接路径提供固有更好的性能的网络路径。

在一个方面中，通过被实现到本发明的网络部件的对等功能使得分散管理成为可能。

在本发明的另一方面中，可以在覆盖多个不同接入点的多个位置中建立多个ccpe。每个ccpe可以用于与不同的cpe-ce相关联的多个客户端，以通过提供这些客户端的捆绑/聚合连接的终止、通信的路由以及将对到mpls网络核心的分组的封装来提高这些多个客户端的网络性能。因此，本发明的网络解决方案可以包括多个存在点，其包括例如在需要网络服务的区域中在地理上分布，并且通过本发明的网络架构以其间改善的网络通信将地理上分散的区域桥接。

另外的实现细节

如先前所陈述的，本发明可以结合用于捆绑或聚合链路的任何技术来实现，从而减少长回程效应。本发明还可以用任何类型的mpls网络实现，从而在各种客户端或客户站点之间提供高性能且安全的端到端网络连接。

在本发明的一个方面中，可以实现系统、方法和网络架构，使得所描述的聚合/捆绑网络连接使用在第8,155,158号专利中描述的链路聚合技术来实现。在本发明的另一方面中，系统、方法和网络架构可以使用如在第13/958,009号专利申请中所描述的一个或多个存在点来实现。以下是关于与mpls网络组合的链路聚合/捆绑的附加细节，强调它们之间的捆绑/聚合连接的创建和管理以及在ccpe处的封装，其在本发明的网络配置中形成整个网络覆迭的一部分，该网络覆迭并入了网络骨干上被承载的一个或多个部分。

可以将不同的网络连接聚合成提供更高吞吐量以及组成(物理)网络的网络特点的独立性的虚拟(逻辑)连接。可以在给定cpe-ce处执行聚合。

例如，在本发明的实现方式的一个示例中，按照本文中所描述的本发明，聚合城域以太网10mbps(e10)链路和t1(ds1)链路，以便提供更高的容错能力以及改善的接入速度。不同的运营商的聚合可以扩展到任何宽带网络连接，包括数字用户线路(dsl)通信链路、电缆数据服务接口规范(docsis)、综合业务数字网络、多协议标签交换、异步传输模式(atm)以及以太网等。网络连接还可以包括wan。

根据本发明的一个方面，提供了一种装置，其用于管理与各种底层网络连接无关的、聚合为单个自主连接的各种网络连接上的通信业务的传送。该装置可以包括网络聚合设备和聚合引擎。网络聚合设备可以被适配为配置多个网络连接，并且在另一网络连接和多个网络连接之间传送通信业务，作为用于提供该另一通信链路上的传送速率的聚合组，并且分配给聚合组的传送速率等于底层网络的总可用传送速率。聚合引擎可以被适配为管理将所接收的通信业务分布到多个网络连接并且管理从多个网络连接接收的通信业务的分布，从而建立新形成的聚合网络连接。聚合引擎可以以用于由处理器执行的软件实现，或以本领域技术人员已知的方式以硬件实现。

按照本发明的该方面，可以聚合多个不同的网络连接以创建聚合网络连接。网络连接的多样性可以是由于不同设备供应商、网络架构/拓扑、内部路由协议、传输媒体以及甚至路由策略的使用而导致提供商网络的多样性。这些多样性可能导致在其上具有不同的延迟和/或抖动的不同的网络连接。另外，单个提供商网络中的传输路径内的变化可能导致网络连接内的延迟变化和/或抖动变化。

延迟和抖动通常影响跨网络连接的所有数据通信。如本领域技术人员已知的延迟是在网络连接上端到端发生的传输的往返时间。如本领域技术人员已知的抖动是相同数据流在网络连接上的延迟的变化。高延迟和抖动通常对应用性能和带宽具有直接且显著的影响。诸如voip和视频递送之类的应用通常对抖动和延迟的增加高度敏感，并且随着它们增加而降级。

聚合网络连接中的多个网络连接的透明聚合需要管理通过聚合引擎在聚合连接上所传输的数据以及从聚合业务终止引擎所接收的数据。在本发明的一个方面中，透明聚合不需要网络提供商的任何配置。聚合引擎和聚合业务终止引擎可以管理数据传输，使得多个网络连接上的可变路径速度和延迟不影响在聚合网络连接上传输的应用数据。网络聚合引擎和聚合业务终止引擎可以处理通过聚合连接所传输的数据的排序和分段，以便在最小的可能延迟内通过聚合连接透明地递送应用数据，同时确保应用数据的有序递送。

在本发明的一个方面中，网络聚合引擎提供容量等于网络连接的所配置的最大吞吐量之和的新的聚合网络连接。

聚合引擎和聚合业务终止引擎(下文进一步解释)如与架构规范(诸如底层网络连接的最大段大小(mss)和最大传输单元)一致所要求的来处理分组的分段。网络聚合设备可操作以处理向通过聚合网络连接传输的分组分配序列标识符，以便维护聚合网络连接上所传输的数据单元的排序。

在本发明的另一方面中，网络连接设备包括或者链接到连接终止设备，以及用于在相应网络连接集合上传输通信业务的多个固定或热插拔收发器，用于将多个网络连接配置作为聚合连接或管理多个聚合网络连接，并且提供对聚合网络连接的接入以用于遍历该设备的任何网络通信。

在本公开中，所描述的路由协议或路由选择机制仅旨在提供示例，并不以任何方式限制本发明的范围。

图2e示出了网络解决方案的示例性实施例，在站点a、总部(hq)a和站点c处均实现捆绑/聚合，以连接至mpls网络，其连接至总部(hq)b、总部(hq)c和站点b。

如图2e所示，若干个客户站点(120a，120b，120c，120d，120e和120f)经由mpls网络112彼此连接，这可以向多个用户提供安全的vpn网络解决方案。mpls网络骨干通常由一个运营商提供，但是由多个运营商提供的多个mpls网络也可以经由多个存在点(pop)连接以形成超级网络。如从示例性实施例可以看到，站点a120a和站点c120c中的每个站点具有cpe-ce(分别为124a和124c)，然后以本公开的别处所描述的某种形式的链路聚合/捆绑技术将其连接至ccpe110a。ccpe110a还可以连接到位于最靠近站点a120a和站点c120c的存在点130a内的其他ccpe(未示出)。如本公开之前所提及的，ccpe110还充当到mpls网络112的pe路由器，在于它接纳传入的或入站的业务或分组，检查每个分组，然后基于多种因素来用适当的mpls标签封装分组。由于mpls可以是层2独立的，所以它可以与任何层2协议一起工作，包括但不限于atm、帧中继、以太网mac层或ppp。取决于传入的(未加注标签的)分组的内容，ccpe可操作以检验/检查分组头中的目的ip地址和其他信息，将标签插入分组，并且将加注标签的分组转发到输出端口。一旦加注标签的分组退离ccpe110并且进入mpls网络核心112，通常被称为标签交换路由器(lsr)的另一路由器就接收加注标签的分组。它检查标签，并且在转发表处执行表查找以找到新标签和输出端口。lsr然后用新标签调换旧标签，并且将新加注标签的分组路由到下一输出端口。mpls网络内的其他lsr将执行相同的任务。最后，加注标签的分组将到达另一提供商边缘路由器。该提供商边缘路由器然后可以检查标签，并且在转发表处执行表查找，以找到该分组要被发送到例如连接至hqc120e和站点b120f的ccpe110c。然后它移除标签，并且向ccpe110c发送未加注标签的分组。ccpe110c将接收未加注标签的分组并且检查ip头信息以确定最终目的地，例如，hqc120e、站点b120f或另一目的地(诸如例如，hqa120b)。

在本发明的另一示例性实施例中，ccpe还可以充当退离mpls网络核心112(例如，“出站数据分组”)的数据分组的提供商边缘路由器。例如，行进通过mpls网络核心112的加注标签的分组可以被路由到mpls网络的边缘上的ccpe并且到达该ccpe。然后，ccpe可以检查出站分组的标签，并且在转发表处执行表查找以确定该分组将被发送到连接至ccpe的cpe-ce(“目的地cpe-ce”)。ccpe可以进一步从出站分组中移除标签，并且在ana链路聚合连接上将其发送到目的地cpe-ce。在一些实例中，ccpe可以确定目的地cpe-ce可能通过pop130或mpls网络核心112与另一ccpe相关联或连接，在这种情况下，如果需要，ccpe可以重新封装数据分组并且将其发回到pop和/或mpls网络，以进一步传输到其最终目的地。如下文所描述的，每个ccpe可以包括网络聚合设备23，其包括网络聚合引擎11和mpls数据存储装置40。

在本发明的一个方面中，由ccpe110对数据分组的封装可以基于由ccpe110内的或者连接至ccpe110的mpls数据存储装置40所提供的信息而通过网络聚合引擎11(下文进一步描述)作为堆栈协议实现方式来进行。以此方式，可以由ccpe和cpe-ce在链路聚合/捆绑网络116上透明地发送和接收网络数据。可选地，cpe-ce还可以实现完整的mpls网络数据封装能力。

示出了一些ccpe(诸如ccpe110c或110b)可能不与pop相关联。由于ccpe动态接收和分析有关各种网络特点的实时数据，因而ccpe是否是pop的一部分可能随时间而改变。例如，ccpe110b可以接收指示由于断电而导致常用的网络路径发生故障的信息，其然后可以决定寻求经由最接近的pop130d到mpls核心的备选连接。云配设服务140也可以基于多个网络特点来实时配置/重新配置ccpe。

进一步示出了一些站点(诸如hqb120d、hqc120e和站点b120f)没有链路聚合/捆绑技术。也就是说，如本文中所描述的mpls网络及其相关联的ccpe均可以采用链路聚合/捆绑连接或者典型的宽带连接而没有所述链路聚合技术。取决于是什么连接，ccpe可以相应地进行调整，并且在将分组转发到mpls网络核心112之前，用适当的标签封装传入的分组。在将分组转发到退离mpls网络核心112的出站数据分组的最终目的地cpe-ce之前，ccpe还可以去除数据分组的标签。为了更清楚起见，ccpe可以充当提供商边缘路由器，并且以同时的方式分别为入站数据分组和出站数据分组提供封装功能和去标签功能。

作为总体云服务，还可以提供某种形式的云配设(或零接触配设ztp)140来动态配置和重新配置部分或全部ccpe和所有cpe-ce。

在本公开中描述的示例性实施例的益处包括：i)本文中所描述的专有链路聚合/捆绑技术可以利用任何类型的网络连接，私有或公共的、层2或层3的；以及ii)cpe-ce和ccpe可以封装数据分组用于跨不同的运营商透明互连，而聚合较低链路。换句话说，尽管mpls网络通常作为利用不同的物理本地环路的私有出售物出售给使用相同运营商的终端客户，本文中所描述的发明可以使用任何本地物理环路在任何运营商上封装，有时无需在层1网络处参与。

本发明的实施例的架构可以被理解为用于聚合网络连接、宽带或其他的集中式架构。不同的网络连接被聚合成虚拟(逻辑)连接，其提供更高的吞吐量以及组成(物理)网络的网络特点的独立性。然后，可以将虚拟连接以如本文中所描述的方式连接至mpls网络。可以对给定cpe-ce终端执行聚合。

比如，在本发明的实现方式的一个示例中，按照如下文所描述的本发明，可以聚合城域以太网10mbps(e10)链路和t1(ds1)链路，以便提供更高的容错和提升的接入速度。按照本发明的不同运营商的聚合扩展到任何宽带网络连接，包括数字用户线(dsl)通信链路、电缆数据服务接口规范(docsis)、综合业务数字网、多协议标签交换、异步传输模式(atm)和以太网等。

只要网络路径从cpe-ce终端到达用于较低链路处理的ccpe，待聚合链路就可以是任何私有的或公共的互联网服务，诸如电缆、adsl、t1、光纤、xoe(以太网类型上)、无线、以及其他mpls连接。

此外，图2a至图2f所示的各种网络配置允许在客户端侧上使用低成本的互联网链路，并且在适当的情况下，在第一mpls网络和第二mpls网络之间允许使用该低成本的互联网链路，以便在客户端侧上提供连接并且管理与一个或多个mpls网络的连接。实际上，该网络架构允许将一个或多个mpls网络带给正常的宽带用户。通过在本公开的别处描述的链路聚合/捆绑技术来提供安全性。各种网络配置可以进一步允许部署各种智能网络性能特征。

现在转到图2f，其示出了网络解决方案，在站点a、站点b、站点c、站点d、hqa、hqc和站点e处实现了捆绑/聚合，以从第一提供商连接至第一mpls网络并且从第二提供商连接至第二mpls网络。

如从图2f可以看出的，通过多个pop的独特优点，可以连接来自不同mpls提供商的多个mpls网络，以在不同的终端用户之间提供安全快速的网络。由第一mpls提供商提供的第一mpls网络150a连接至hqa120f、hqd120g和站点e120e。hqa120f和站点e120e各自具有分别由ccpe124f和124e促成的链路聚合(116f和116e)。类似地，由第二mpls提供商提供的第二mpls网络150b连接至站点d、hqb和hqc。mpls网络150a和160b中的每个mpls网络可以在整个网络架构300中充当pop的一部分。尽管这里仅图示了两个mpls网络，但是可以存在不限于两个或任何特定总数个网络的多个mpls网络。以此方式，无论是使用静态ip寻址还是使用动态ip寻址并且在没有运营商参与的情况下，都可以扩展mpls网络以使用其他mpls或非mpls连接来抵达终端客户。

具体地，ccpe110a可以连接至多于一个的cpe-ce设备124a、124b和124c，从而支持针对多个客户的多租户服务。也就是说，ccpe110a可以用每个cpe-ce和ccpe之间的链路聚合116a、116b和116c来独立地处理连接至ccpe的每个cpe-ce124a、124b或124c。

在另一示例(未明确示出)中，ccpe可以将许多cpe-ce促成一个ccpe实现，从而在其自身的mpls网络上支持多个客户的多租户服务。这可以通过在自己的租户实例或mpls网络上独立地处理每个cpe-ce的单个ccpe来进行服务。

图3是并入本发明的特定实施例的通信设备的框图，其展现了充当客户端或cpe-ce的设备。

如图3所示，网络元件/网络聚合设备(在本公开中也简称为“设备”或“网络聚合设备”)23包括(在所示出的该特定实施例中用于说明)网络连接终止模块25，其包括代表性的收发器接口14，15和16。每个收发器接口14，15和16表示到物理通信介质的接口，通过该接口可以建立到网络连接的通信。

网络聚合设备的可能实现方式可以使用具有用于多个网络连接终止模块和多个网络聚合引擎模块的插槽的单个或多个机箱。多个网络连接终止模块可以通过协议特定的收发器/接口或者介质特定的收发器/接口进行分组。

网络聚合引擎11可以处理网络聚合设备的配置以及与外部输入的所有相关交互。具有mpls能力的扩展设备配置存储装置24可以为诸如网络聚合策略和mpls相关配置信息和策略之类的设备配置信息提供永久数据存储。mpls相关配置信息可以包括标签查找表、转发表、路由表、加注标签和映射策略、和/或mpls提供商信息。

网络聚合引擎11可以处理来自外部源的查询，诸如例如，诸如简单网络管理协议之类的网络管理协议的配置参数。接口10可以是协议代理，并且可以提供与网络管理系统(nms)或操作员系统的通信，以用于通过聚合策略的定义来配置聚合引擎。可以通过任何收发器接口14，15和16经由任何可用的或具体指定的网络连接19，20，21和17通过接口10在网络聚合设备23和nms或操作员系统之间传递控制和管理信息。

在本发明的一个示例性实施例中，所描述的系统可以使用ana链路聚合技术在mpls核心网络和(一个或多个)ana链路聚合连接之间来回传送mpls分组，以便使得能够将mpls分组的传送扩展到mpls核心网络边缘之外。该系统可以包括特定机制，其用于使得能够以维护mpls分组的完整性的方式使用转码/转换来传送mpls分组(例如，离开mpls核心网络并且进入ana的数据分组)然后针对(一个或多个)ana链路聚合连接封装，这些特定机制包括诸如那些与qos有关的处理指令。在反向传送流中，可以对mpls分组(例如，离开ana并且进入mpls核心网络的数据分组)进行解封装，以移除ana协议，并且在适当情况下移除转码/转换，以便在不影响完整性的情况下并且以可以进一步使得能够自动发生mpls处理(如果有的话)这样的方式获得原始数据分组。

例如，如本文中进一步所描述的封装可以通过mpls到ana处理程序(handler)55来处理。mpls到ana处理程序55可以被实现为ana客户端、ana服务器和/或ana协议本身。

按照本发明的一个方面，如本文中进一步详细所公开的，可以组合多个网络连接以形成聚合网络连接22。每个单独的网络连接可以被配置以最大通信业务速率，其可以表达为比特每秒的比特率。

网络聚合引擎11可以以用于由网络聚合设备23中的处理器执行的软件实现，或者以诸如借助于现场可编程门阵列(fpga)或其他集成电路或其某个组合的硬件实现。网络聚合引擎11可以通过以已知的方式将聚合引擎智能分布到网络连接终止模块25来以分布式方式实现。

网络聚合引擎11可以接收通过收发器接口16所提供的、通过网络连接17来自客户端网络连接设备18的业务。客户端网络连接设备18可以是任何设备，包括但不限于路由器、交换机或媒体转换器，其能够为单个客户端节点或多个客户端节点提供终止，其中，节点是能够连接至网络的任何设备，而与协议或接口特异性无关。在各种实施例中，可以通过单个收发器接口或多个收发器接口在多个网络连接上接收业务。网络聚合引擎11可以接受来自客户端网络连接的所有业务，可以针对业务提供封装服务和分段服务以供通过聚合网络连接22传输，并且可以通过收发器接口14，15和16中的任一收发器接口在网络连接19，20和21中的任一网络连接上传输该业务。通过确保在网络连接19，20和21中的任一网络连接上传输的分组/帧的长度小于或等于针对聚合网络连接22中的相应连接的所配置的或检测到的帧长度，当通过网络连接19，20和21中的任一网络连接在聚合网络连接22上发生传输时，网络聚合引擎11可以以避免通过客户端网络连接设备18所接收的聚合通信业务的分段的方式来处理分段。

在本发明的实施例中，如图3所示，网络聚合引擎11可以连接至mpls到ana处理程序55。引擎55可以包括mplspe/ce实现模块50、mpls/ana封装模块52以及mpls到ipdeqos转换模块53。在从客户端站点cpe-ce向mpls核心传输数据分组的操作期间，网络聚合引擎11可以向mpls到ana处理程序55发送分组。数据分组可以经由mpls/ana封装52基于扩展设备配置存储装置24中的特定的mpls配置数据而被封装。然后可以向mplspe/ce实现模块50发送经封装的数据分组，mplspe/ce实现模块50可以进一步以如下方式提供分段，通过确保在网络连接19，20和21中的任一网络连接上传送的分组/帧的长度小于或等于聚合网络连接22中的相应连接的所配置的或所检测到的帧长度，当通过网络连接19，20和21中的任一网络连接在聚合网络连接22上发生传输时，避免通过客户端网络连接设备18所接收的聚合通信业务的分段。

另外，可以经由mpls到ana处理程序55在mpls核心和客户lan之间执行mpls到链路聚合(或ana)转码。在从mpls核心到边缘的方向上，作为示例，ccpempls协议实现可以与mpls核心进行通信，从而识别目的地是位于由ccpe实现所服务的链路聚合会话上的客户lan的分组。此时，具有mpls协议的数据分组可以被转码并且在链路聚合会话上传输到客户的cpe-ce设备，而标签完好无损。当分组到达anacpe-ce设备时，cpe-ce设备可以再次从链路聚合ana转码为mpls，并且将分组递送到客户lan上。

在一个实施例中，通过单个收发器接口或多个收发器接口从各种不同的或相异的网络连接所聚合的虚拟(逻辑)链路可以在一个物理链路上实现，以涵盖实现了双向ip服务质量(qos)的mpls边缘的单个链路聚合。

在本发明的一个示例性实施例中，具有mpls协议的数据分组可以跨越mpls核心传输并且带有(一个或多个)mpls标签而到达网络连接的cpe-ce侧。可以通过cpe-ce设备124(例如，通过mpls到ana处理程序55)得到和/或解析mpls标签，以便确定分组的进一步处理。在本文中所描述的系统中，(1)可以从具有mpls协议的数据分组(或称为“mpls分组”)获取mpls标签；(2)在cpe-ce设备124内维护的或连接至cpe-ce设备124的表(诸如分布表)可以使与数据分组和/或mpls标签相关联的目的地得以确定和访问，并且取回对应的规则(例如，从扩展设备配置存储装置24)来确定如何在聚合网络连接上分布数据分组；(3)如果发现对应的mpls处理规则，则这些规则用于在(一个或多个)聚合网络连接上分布数据分组；以及(4)如果没有找到对应的mpls处理规则，则不对数据分组进行处理。在(4)的情况下，系统可能默认为ip处理规则。

mpls分组可以包括可以用于子处理的头部。子处理可以包括通过mpeg/ipdeqos转换模块53进行的ipde到qos转码或转换。这牵涉到转码或转换与分组相关联的qos请求而非分组本身。现在，这使得链路聚合ana系统能够基于相关联的qos请求来处理mpls分组，并且还确保这些qos请求保持完好无损，以用于在目的地处由mplspe/ce处理。包括其mpls标签在内的分组的完整性得到维护。

一旦转码/转换完成，就可以发生ana封装。所使用的封装技术可以是mpls网络兼容的或mpls认知的。这可以通过使用mpls协议作为通过mpls/ana封装模块52进行的ana封装的一部分来完成。

扩展设备配置存储装置24可以允许ana系统处理mpls分组。它可以包含用于执行mpls到ipdeqos转换的相同信息中的一些信息。

该系统可以继续应用qos请求，并且因此以与在mpls网络上传送mpls分组一致的方式在ana内持续发生mpls分组的处理。分组不一定被修改，而是可以部分地基于ana规则来发生mpls分组的处理，这些规则被使得动态地追随mpls处理规则。

在另一实施例中，类似的过程可以以相反的方向操作：首先通过解封装然后转换/转码，mpls分组可以离开ana链路聚合连接，以便提供mpls数据分组。

在一个实施例中，网络聚合引擎11可以例如依据存储在设备配置存储装置24中的所配置的间隔轮询网络连接19，20和21的状态，以确保配置在聚合组中的所有网络连接处于所配置的可接受容差内。如果网络连接19，20和21超过了轮询参数中的任一轮询参数的可接受的容差值，则网络聚合引擎11可以从聚合网络连接22内移除网络连接19，20和21，而无需将其从所轮询的网络连接列表中移除。通过将所移除的网络连接19，20和21留在所轮询的网络连接列表中，一旦网络连接聚合已经回到可接受的容差值内，网络聚合引擎11可以将该网络连接聚合到聚合网络连接22中。这可以确保网络连接可以在驻留在聚合网络连接22中或没有驻留在聚合网络连接22中之间改变状态，而无需外部系统或输入的介入。网络聚合引擎11可以处理以内部事件在设备配置存储装置24内配置的所有端点的通知，这些内部事件诸如网络连接状态的改变、针对网络聚合设备23内或者连接至网络聚合设备23的任何对象的任何数目个可配置变量的所配置的阈值的阈值冲突。网络聚合引擎12还可以处理事件，诸如聚合连接中包括的网络连接19，20和21的状态的改变、聚合网络连接22中包括的网络连接的延迟的改变、调度改变、事件记录和其他事件。

图4是并入本发明的特定实施例的通信设备的框图，其展现了充当服务器/集中器或ccpe的设备。网络聚合引擎11可以提供对网络聚合策略数据库36的访问，网络聚合策略数据库36存储与在聚合网络连接设备28上终止的各种聚合网络连接有关的配置信息。网络聚合终止设备28可以以网络聚合策略数据库36中所定义的每个聚合网络连接均由其自己的虚拟实例来处理这样的方式来实现，使用网络聚合终止设备28使能来自多个客户驻地设备(cpe-ce)的每个聚合网络连接的终止。另外，mpls数据存储装置40可以为mpls相关配置信息提供持久数据存储，诸如标签查找表、转发表、路由表、加注标签和映射策略、和/或mpls提供商信息。如上文所描述的，基于mpls数据存储装置40中的信息，网络聚合引擎11可以可操作以封装来自cpe-ce的传入的或入站数据，以供传输到核心mpls网络。以类似的方式，网络聚合引擎11可以从退离mpls网络的出站数据分组中移除mpls标签，并且基于标签查找表或转发表来将数据分组转发到适当的cpe-ce。在多个cpe-ce设备由一个ccpe处理的情况下，网络聚合引擎11还进一步可操作以基于mpls数据存储装置40和/或出站数据分组的mpls标签信息来确定每个出站数据分组应该被递送到的最终目的地cpe-ce。

图5是并入本发明的特定实施例的通信网络的框图，其展现了充当客户端/cpe-ce和服务器/集中器或ccpe的设备的功能。

按照本发明的特定实施例，聚合网络连接70，71和72可以由网络聚合设备63，64和65构建，聚合网络连接70，71和72通过作为其端点的网络连接66和68终止到单个聚合网络连接终止设备61。聚合网络连接终止设备61可以通过网络连接66和68接入外部通信网络，以访问外部/远程网络资源69。可以通过路由协议(诸如边界网关协议(bgp)、开放最短路径(ospf)等)的运用或者通过更简单的机制(诸如充当聚合网络连接终止设备61的有效下一跳的通信网络74内的多个静态路由上的负载分担)的运用来使用网络连接66或68由聚合网络连接终止设备61提供对诸如mpls网络或互联网之类的外部通信网络的接入。

聚合网络连接70，71和72可以向可由聚合网络连接终止设备61访问的通信网络74通过聚合网络连接70，71和72而提供对连接至网络聚合设备63，64和65的客户网络节点67的接入。

客户端网络节点67可以请求由可通过通信网络74访问的外部/远程网络资源69提供的数据。该对外部/远程网络资源的请求可以在网络连接73上路由，从而提供从客户端网络节点67通过聚合网络连接70接入其端点，该端点是聚合网络连接终止设备61。这可以通过通信网络74、通过到聚合网络连接终止设备61的网络连接66来进行。由外部/远程网络资源69发送的任何数据可以通过聚合网络连接终止设备被路由回来。

本发明的特定实施例可以使用互联网作为图5中参引的通信网络74。然而，通信网络74可以可替代地由多个子网络构建，这些子网络通过一起使用多个网络聚合设备63，64和65与聚合网络连接终止设备61的端点通过多个网络连接66和68来创建。此外，通信网络74还可以是由mpls提供商或运营商提供的mpls网络。

本发明的另一方面涉及由网络聚合引擎11在聚合网络连接上配设高可用性。图6图示了通过聚合网络连接中的多个网络连接提供冗余和增加的吞吐量的方法。方法90可以开始于通过网络聚合策略的创建来配置多个网络连接91的步骤，以形成92聚合网络连接。聚合网络连接可以根据网络聚合策略进行初始化。可以为被配置为聚合连接的一部分的多个网络连接创建93控制连接，以允许聚合引擎11管理聚合连接内的网络连接的成员关系。网络聚合引擎11可以接受分组以供在聚合网络连接22上传输94。网络聚合引擎11可以在所存储的聚合策略中的聚合中所配置91的网络连接组之间选择95网络连接，以供传输正在传输的当前分组。用于传输当前分组的网络连接的选择可以在聚合策略内指定，并且可以考虑由在94处构建的控制连接所提供的数据。

根据本发明的一个实施例，当使用延迟和分组丢失作为度量时，可以容易地检测到非响应性网络连接。用于检测96和适配于97聚合网络连接内的网络连接改变的机制可以在聚合引擎11中的数据传输例程内实现，或者实现为与聚合引擎11中的传输例程并行的单独进程以允许在聚合网络连接内配设冗余的进一步灵活性。

由于这可能在每分组的基础上而非在每数据流的基础上发生，所以单个非响应性网络连接不会影响聚合网络连接，并且只要聚合网络连接内的单个网络连接可用于数据传输，不管网络连接的各个状态如何，就可以允许数据传输继续。

加密

可以针对cpe-ce和ccpe之间的链路聚合连接提供加密。在本发明的一个示例性实施例中，由ccpe或cpe-ce处理和聚合的每个较低链路连接可以由网络聚合引擎11加密。

在本发明的实施例中，ipsec的覆迭可以在链路聚合连接上实现，有时结合现有的ipsec边缘实现方式。例如，ipsec网关或客户端可以安装在连接至各种ccpe的cpe-ce上。反过来，具有ipsec客户端的cpe-ce可以终止ccpe上的ipsec会话或mpls网络上的现有运营商的ipsec网关。可替代地，ipsec可以在pe路由器或诸如ccpe之类的设备处实现。

操作示例

在本发明的一个可能的实现方式中，提供了3个位置，即，站点a、站点b、站点c和站点d。图7a和图7b图示了如本文中所讨论的网络性能。图7a图示了在长回程效应的性能。图7b图示了在其他方面类似于基于图7a的那些的网络条件下、基于本发明的降低长回程效应的性能。

图7b显示出相对于图7a的性能改善，其基于相对较长距离网络通信中的长回程效应的降低，使用网络架构来实现。

因此，本发明的实施例可以提供网络性能关于速度的改善。本领域技术人员应当理解，上述示例所示的性能的改善是显著的。网络性能的其他方面(例如延迟)也可以得以提升。

优点和用例

本发明通过利用网络捆绑/聚合技术来显著改善不同的位置之间的网络性能，通过实现提供邻近接入点设置的中间网络部件的系统、方法和网络配置来显著改善不同的位置之间的网络性能，以便管理两个或更多个站点之间的业务，使得捆绑/聚合连接终止并且业务被引导到网络骨干，并且可选地，业务被传递到与远程附加站点相关联的一个或多个其他捆绑/聚合连接。

本发明的网络解决方案是灵活的、迅速响应的、可扩展的并且易于实现。可以容易地添加新站点，这些新站点可选地具有它们自己的cpe-ce和/或ccpe，并且网络解决方案支持各种类型的多点网络通信，以及包括各种qos技术的各种网络性能改善策略。

如先前所描述的，网络解决方案可以容易地使用新的编程或逻辑进行更新，该新的编程或逻辑基于其设计所固有的网络部件的互操作而在对等基础上被自动分布。

如之前所描述的，本发明的实施例可以提供优于现有技术的优点，包括：例如，

1.运营商多样性

2.故障备援保护

3.聚合带宽

4.双向通信

5.网络服务质量(qos)

6.没有掉话

7.应用加速

8.体验评分质量

另外，将mpls网络与在示例性实施例中描述的链路聚合/捆绑技术组合是满足终端客户对mpls网络的需求的途径，即：

·使用多个低成本宽带电路(用于更长的正常运行时间和弹性)

·支持优先级排序和用于优先级业务的cos

·混合mpls或备份网络策略，而不必放弃mpls特征

此外，由本发明的实施例提供的附加优点可以包括：

·为每个运营商或网络提供商铺平道路，以提供宽带解决方案上创新的mpls网络，其与竞争对手所提供的不同。

·客户能够经由定制的网络配置为混合mpls解决方案和/或备份mpls解决方案选择给定的运营商或提供商。

·云配设或“零接触配设”可以动态配置/重新配置所有网络元件。

·在单个位置上聚合/终止多个mpls提供商的能力。

·网络之间的互操作性可以由云配设元件来处理。

·网络提供商或合作伙伴可以向其客户递送“任何/任何/任何”体验，即，向网络提供商或合作伙伴递送byompls(拥有自己的mpls)能力。

·客户能够选择通过宽带提供具有链路聚合/捆绑的mpls的运营商，以获得市场上的当前所提供的所无法实现的qos、弹性和应用加速。

·以及很多其他优点。

如上文提供的操作示例中所说明的，网络性能比现有技术的解决方案显著改善。