用于在互联网协议网络上路由以太网分组的集中式系统的制作方法
【专利摘要】本发明涉及通过互连IP网络（N）在两个或更多以太网LAN（LAN1，LAN2，LAN3）之间传输以太网分组（28）的方法，以及执行该方法的集中式服务器（10）和客户机边缘设备（CE1，CE2，CE3）。以太网LAN（LAN1，LAN2，LAN3）中的每一个通过各自的客户机边缘设备（CE1，CE2，CE3）连接至互连IP网络（N）。通过集中式服务器（10）对客户机边缘设备（CE1，CE2，CE3）之间控制信息的交换进行处理和控制，控制信息与以太网分组传输相关，集中式服务器（10）通过控制连接（21）被连接至客户机边缘设备（CE1，CE2，CE3）中的每一个。
【专利说明】用于在互联网协议网络上路由以太网分组的集中式系统
【技术领域】
[0001]本发明涉及一种通过互连IP网络在两个或更多个以太LAN之间传输以太网分组的方法，集中式服务器和客户机边缘设备(LAN=局域网，IP=互联网协议)。
【背景技术】
[0002]云计算服务通常都托管在数据中心中，数据中心内部由大型以太网实现。存在使这些数据中心分散的趋势，即，将服务托管在更多较小的地理分布数据中心中。
[0003]图1显示了在现有技术中已知的广域网(WAN)上的数据中心互连的典型场景，其中数据中心LAN1，LAN2, LAN3通常使用平面以太网或者以太/IP网，并组合使用虚拟局域网(=VLAN)和/或特定寻址方案。由于其不同的地理位置，分布式的数据中心站点LAN1，LAN2，LAN3必须通过广域网技术(例如，光学链路，多协议标签交换(=MPLS)路径，或提供IP级连接的网络)互连。
[0004]每个数据中心站点LAN1，LAN2, LAN3通过客户机边缘设备CE连接至互连网络N。每个数据中心站点LAN1，LAN2, LAN3包括服务器群30，服务器群30通过交换机SW连接至各个数据中心站点LAN，LAN2，LAN3的客户机边缘设备CE。互连网络N可以是基于IP/MPLS的传输网，其包括三个互连的运营商边缘设备PE,—个运营商边缘设备PE对应于一个客户机边缘设备CE。客户机边缘设备CE与其关联运营商边缘设备PE之间的连接可以通过用户网络接口 UNI实现。第一运营商边缘设备PE和第二运营商边缘设备PE之间的连接可以通过网络到网络接口 NNI实现。为简单起见，在图1中假定只有一个以太网LAN连接至CE。或者，多个以太网LAN可以(例如，使用到CE的不同以太网接口)连接至客户机边缘设备。
[0005]多种技术可以用于在层I，层2或层3链路上将以太网LANl，LAN2和LAN3互连在一起。它们的共同目的是透明地连接所有的以太网LAN1，LAN2，LAN3。客户机边缘设备以多点到多点的方式在WAN上传输(即，通过隧道传送)以太网流量(traffic)。通过在WAN上透明地对以太网或IP进行隧道传送，WAN对于每个数据中心里的节点而言是不可见的。从数据中心的角度看，很明显，除了在WAN中的较大延迟之外，客户机边缘设备类似于标准以太网交换机/网桥。
[0006]本发明的目的是提供用于在IP网络上对分布式以太网LAN进行互连的改进方案。
【发明内容】
[0007]本发明的一个目的由一种通过互连IP网络在两个或更多个以太网LAN之间传输以太网分组的方法来实现，以太网LAN中的每一个通过一个或多个客户机边缘设备连接至互连IP网络，其中，客户机边缘设备之间控制信息的交换由集中式服务器来处理和控制，控制信息与以太网分组传输相关，集中式服务器通过控制连接而被连接至客户机边缘设备中的每一个。本发明的另一个目的由覆盖网络的集中式服务器实现，覆盖网络具有两个或更多个以太网LAN和一个互连IP网，集中式服务器包括两个或更多个用于通过控制连接将集中式服务器连接至各个客户机边缘设备的接口，客户机边缘设备中的每一个将一个或多个相关联的以太网LAN连接至互连IP网，由此集中式服务器适于对客户机边缘设备之间的控制信息交换进行处理和控制，交换的控制信息与两个或更多个以太网LAN中的两个或更多个之间通过互连IP网进行的以太网分组传输相关联。本发明的另一个目的由与一个或多个以太网LAN相关的客户机边缘设备实现，客户机边缘设备包括至少一个到以太网LAN的以太网接口，至少一个到互连IP网的数据流量接口，以及到集中式服务器的控制信息接口，互连IP网将以太网LAN与至少一个另外的以太网LAN互连在一起，数据流量接口用于通过互连IP网在太局域网和至少一个另外的以太网LAN之间传输以太网分组，控制信息接口用于通过控制连接交换与以太网分组传输相关的控制信息，其中，客户机边缘设备和至少一个另外的以太网LAN的各个客户机边缘设备之间交换的控制信息通过控制信息接口被发送至集中式服务器，或从集中式服务器处接收。
[0008]两个或更多个以太网LAN以及互连IP网形成覆盖网络。本发明实现了在IP网上使以太网透明互连的覆盖系统，即，为数据中心而优化的EoIP方案。在本说明书中，所用的术语“数据中心”，“数据中心站点”以及“站点”和术语“以太网LAN”同义。
[0009]本发明提供简单且可扩展的方案，该方案既不需要静态IP隧道，也不需要显性路径管理，例如MPLS标签交换路径。
[0010]本发明提供集中式服务器，S卩，能够与EoIP系统对等的单点。因此，与使用分布式控制面的已知方法不同，本发明的实施方式能够应用全局策略，并能够将数据中心互连方案链接至控制和管理(网络管理或云计算管理)系统，如云编排层。
[0011]集中式服务器的使用得到研究结果的支持，研究结果显示，商业现货个人计算机技术能够以每秒100000个的速度对集中式控制器和多个网络设备之间在TCP连接上的信令消息进行处理。这与开放流(OpenFlow)技术具有某些相似性,OpenFlow技术也使用被称作控制器的集中式服务器。个人系统中控制流量的预期数量级小得多，即，集中式服务器可以充分扩展。集中式服务器在逻辑上是一个集中式实体，但是当然它能够以分布式的方式实现，由此(举例来说)改善弹性。集中式服务器的分布式实现还可以用到负载平衡。
[0012]在只有IP连接可用的情况下，本发明为标准化多厂商方案提供优越的替换方案或补充，标准化多厂商方案公知为虚拟专用局域网服务(=VPLS)。VPLS是基于MPLS。尽管只要有到每个数据中心站点的MPLS链接可用，VPLS方案就可以适用，但是，如果更大数量的小数据中心被用于云计算买卖(offer)，或者，例如分布式内容发布网络(=⑶N)缓存，该要求不一定能够被满足。在这种情况下，至少站点的一个子集可能只能通过IP链路或公共网络来连接。这意味着纯基于MPLS的方案可能是不够的。这个空白由本发明来填补。
[0013]此外，完整网状MPLS路径的设置较复杂，并限制数据中心互连方案的动态。在IP上隧道传送MPLS会导致额外开销。本发明提供改善方案，其避免了上述缺点。
[0014]本发明提出了一种组合使用集中式服务器和覆盖网络机制，以在IP网络上使以太网互连的新技术。
[0015]本发明的一个主要好处是其简单性。本发明既不需要复杂的隧道设置，也不需要互连网络的特殊支持。本发明甚至能够在不涉及网络提供商的情况下在任何IP网络上对数据中心以太网进行互连。此外，通过使用具有以太网潜在全局视图的集中式服务器，可以简化策略和智能流量分配机制的实施。
[0016]本发明所提供的服务不同于其它VPN(=虚拟专用网)方案。不同于IPsecdPsec=网际协议安全)VPN，本发明重点不在于加密，并且因此避免了相应安全关联的复杂设置。除IPsec外，本发明还能够在本地实现。本发明还不同于诸如L2TP/L2TPv3及PPTP这样的隧道方案，因为它是不需要显性的隧道设置(L2TP=第二层隧道协议；PPTP=点对点隧道协议)的仅软状态(soft-state)方案。这导致更少的配置开销，并能够扩展为大量的数据中心站点。
[0017]本发明不使用IP多播或扩展路由协议，而是使用集中式服务器，集中式服务器更简单并能够实现集中式控制和管理。最值得注意的是，本发明不使用IS-1S路由协议的扩展，基于每个目的地址而非每流来运行，提供额外的覆盖拓扑管理功能，并扩展至大型网络。
[0018]本发明依赖于集中式服务器而不是专有路由协议扩展。相较于需要多个IP多播组的覆盖而言，集中式服务器的实施，部署和运行都更为简单。它还可以非常容易地与其它控制和管理系统耦合在一起，以(例如)实现对策略的动态配置。
[0019]相较于使用静态隧道或标记交换路径的现有数据中心互连方案，例如VPLS，本发明的配置和实施要简单得多，因为边缘设备只需要最少的初始配置，并且只维持覆盖中的流量的软状态 。在本发明的框架中很容易就可以增加站点和从覆盖中移除站点，因此，甚至能够为大量频繁开启和关闭的高度分布的数据中心站点提供以太网互连。
[0020]通过本发明的实施方式还可以实现其它优势，这些实施方式在从属权利要求中体现。
[0021]根据本发明的一个实施方式，控制信息与以下特征中的一个或多个相关:以太网LAN中的网络设备的以太网地址到客户机边缘设备的IP地址的映射，与以太网LAN和/或VLAN标签的范围相关的信息，地址解析协议(ARP)信息，以太网LAN内多播组的成员资格(membership)信息，过滤策略，防火墙规则，覆盖拓扑，与客户机边缘设备之间的路径特征相关的信息，用于正加入覆盖网络(该覆盖网络包括两个或更多个以太网LAN)的设备的引导和配置信息。
[0022]本发明的方法使用集中式服务器，而不是在客户机边缘设备之间传输路由协议内的控制信息。通过控制连接，优选TCP (TCP=传输控制协议)连接，每个客户机边缘设备被连接至集中式服务器并且交换控制信息。具体地，该控制连接传输:
[0023]?以太网地址到客户机边缘设备的IP地址的映射，
[0024]?与以太虚拟局域网的范围相关的信息，
[0025]?地址解析协议(ARP )信息，
[0026]?数据中心网段内多播组的成员资格信息，
[0027]?过滤策略，如防火墙规则，
[0028]?覆盖拓扑和与客户机边缘设备之间的路径特征相关的信息，以及
[0029]?用于正加入覆盖的设备的引导和配置信息。
[0030]客户机边缘设备将信息报告给集中式服务器，集中式服务器接下来将信息分发给其它的客户机边缘设备，并优选地还维持对整个数据中心网络和不同以太网段中以太网设备的连接的全局视图。控制连接也可以被加密，例如使用传输层安全(TLS)加密，以保护数据完整性并优选地对正加入覆盖的客户机边缘设备进行验证和授权。
[0031]根据本发明的另一个实施方式，所述方法还包括以下步骤:通过客户机边缘设备中的一个或多个将控制信息报告给集中式服务器；通过集中式服务器管理接收到的控制信息，并将处理后的控制信息分发给客户机边缘设备中的一个或多个，客户机边缘设备包括第一客户机边缘设备，第一客户机边缘设备与两个或更多个以太网LAN中的第一以太网LAN相关；以及，第一客户机边缘设备使用接收到的控制信息来控制以太网数据流量的传输，以太网数据流量通过互连IP网络从第一以太网LAN中的第一网络设备传输至两个或更多个以太网LAN中的第二以太网LAN中的第二网络设备。
[0032]根据本发明的另一实施方式，所述方法还包括以下步骤:通过两个或更多个以太网LAN中的第一以太网LAN中的第一网络设备发送以太网分组，以太网分组被发往两个或更多个以太网LAN中的第二以太网LAN中的第二网络设备的以太网地址；通过与第一以太网LAN相关的第一客户机边缘设备接收以太网分组，并检查第一客户机边缘设备所管理的转发表中是否包含第二网络设备的以太网地址到与第二以太网LAN相关的客户机边缘设备的IP地址的映射；如果转发表中不包含所述映射，则通过第一客户机边缘设备向集中式服务器发送地址解析请求，并响应于地址解析请求从集中式服务器接收对所述映射进行说明的回复消息；通过第一客户机边缘设备使用封装报头将以太网分组封装到IP分组内，IP`分组包括根据所述映射的第二客户机边缘设备的目的地址；通过互连IP网络将封装的以太网分组发送至第二客户机边缘设备；以及，通过第二客户机边缘设备对接收到的以太网分组进行解封装，以在第二以太网LAN中传输给第二网络设备。客户机边缘设备应当丢弃目的以太网地址不能被解析的分组。
[0033]封装报头至少包括IP报头。此外，封装可以使用另外的中介层，最为显著的是用户数据报协议(UDP )或者通用路由封装(GRE )，或者两者皆有。
[0034]通过将以太网分组封装进IP分组，如UDP (UDP=用户数据报协议)分组中，客户机边缘设备在IP网络上隧道传送以太网分组，不需要显式地设置隧道。如果目的客户机边缘设备的IP地址在本地依然是未知的，则从集中式服务器处获得(learn)。以太网分组接下来在IP网上被传输至目的客户机边缘设备，在目的客户机边缘设备处被解封装，并最终被传输至目的数据中心局域网内的目的以太网设备。
[0035]在其它协议，如IP多播或路由协议被阻塞的环境下，可以对数据面的分组进行UDP封装，并使用到集中式服务器的基于TCP的控制连接。本发明架构的其它好处包括:
[0036]?自动配置:可以非常简单地建立本发明的方法并对其进行配置。要增加新的数据中心站点，主要是需要对新数据中心的客户机边缘设备中的集中式服务器的地址进行配置。接着边缘设备连接至集中式服务器，并从集中式服务器获得其它所需的关于覆盖的信肩、O
[0037]?通过简单的策略实施来实现高度动态的虚拟网络:因为集中式服务器能够对覆盖网络状态保持跟踪，它能够对(例如，由虚拟机的移动性造成的)变化做出快速反应，并实施策略。集中式服务器还可以强制实施特定的路由方案。
[0038]?弹性的覆盖拓扑管理:归因于根据本发明的方法进行的性能测量，可以在数据中心站点之间实现优化的流量分配，例如，通过多跳路由来实现。
[0039]?联络中心点:由于集中式服务器具有网络的全局视图，它能够轻易地连接至其它网络或云控制和管理系统。
[0040]?减轻地址解析消息广播风暴:在服务器和客户机边缘设备中优选使用地址解析信息的缓存，减少了对以太网广播的需求及产生的问题。
[0041]在一个实施方式中，所述方法还包括以下步骤:通过与两个或更多个以太网LAN中的第一以太网LAN相关联的第一客户机边缘设备拦截由第一以太网LAN中的第一网络设备所发送的地址解析请求(ARP)，如果第一网络设备打算将位于第二以太网LAN中的第二网络设备的IP地址解析为相应的以太网地址，则在第二网络设备的IP地址到第二网络设备的以太网地址的地址映射是未知的情况下阻断该请求，并从第一客户机边缘设备向集中式服务器发送相应的查找请求；在接收到查找请求之后，通过集中式服务器将查找请求转发给除第一客户机边缘设备之外的所有其它客户机边缘设备；在接收到查找请求之后，通过其它客户机边缘设备在各个以太网LAN中的网络设备之间分发查找请求；通过其它客户机边缘设备从各个以太网LAN中的网络设备处接收查找回复，并将查找回复转发给集中式服务器；通过集中式服务器对接收到的查找回复进行管理和处理，并向发起查找请求的第一客户机边缘设备发送查找回复；以及，通过第一客户机边缘设备向发起地址解析请求的第一网络设备发送查找回复。
[0042]根据本发明的另一个实施方式，所述方法还包括以下步骤:通过集中式服务器将该集中式服务器发送给第一客户机边缘设备的查找回复也宣布给其它客户机边缘设备，以便它们从集中式服务器处获得地址，即，从而它们从集中式服务器获得地址并能够将地址存储在ARP表中，或者客户机边缘设备中的转发表中，类似于ARP代理。
[0043]根据本发明的另一个实施方式，所述方法还包括以下步骤:通过客户机边缘设备中的至少一个测量路径特征并将测量的路径特征发送给集中式服务器；基于接收到的路径特征，通过集中式服务器建立关于两个或更多个以太网LAN之间的通信的拓扑特征；通过集中式服务器向客户机边缘设备宣布建立的拓扑特征；以及，通过所述客户机边缘设备中的至少一个在做路由决定的过程中使用该信息。
[0044]根据本发明的另一个实施方式，在互连IP网连接至少三个以太网LAN的情况下，所述方法还包括以下步骤:基于宣布的拓扑特征，通过至少三个以太网LAN中的第三以太网LAN中的第三客户机边缘设备，对至少三个以太网LAN中的第一以太网LAN和第二以太网LAN之间正在进行的通信进行路由。
[0045]通过利用集中式服务器所建立的拓扑信息，客户机边缘设备还可以使用更多复杂的转发和流量工程机制。具体而言，本发明的实施方式允许在覆盖中利用多跳转发将流量从两个数据中心站点之间的拥堵链路上移开。实际上，在绝大多数情况下两跳就够了。本发明不使用IP多播。相反，所有的多播或广播流量在客户机边缘设备中被复制，并在UDP数据报中被点对点转发至每个客户机边缘设备。这种设计与在VPLS中对分组进行的处理相似，避免了在不支持IP多播的网络中出现的问题。
[0046]最值得注意的是，如果存在替换路径，则使用多跳转发能够绕开两个数据中心站点之间可能拥堵的链路。通过在集中式服务器处的网络全局视图，以及将路径特征测量分发给客户机边缘设备，能够实现更好的负载平衡和智能路由，这也适于站点是多宿主的情况。如果如图6所示，如果在覆盖中存在可选的非拥堵路径，则与仅在客户机边缘设备之间使用点对点转发的方案相比，本发明能够在数据中心站点之间实现大得多的吞吐量。
[0047]根据本发明的另一个实施方式，集中式服务器还包括数据库，数据库包含以太网LAN中的一个中的网络设备的以太网地址到与网络设备相关的各个以太网中的客户机边缘设备的IP地址的至少一个映射。
[0048]根据本发明的另一个实施方式，集中式服务器的数据库还包含以太网LAN中的一个中的网络设备的以太网地址到其相应IP地址的至少一个映射，使得集中式服务器能够对以太网地址查找查询做出回答，无需地址解析协议广播。
[0049]根据本发明的另一个实施方式，集中式服务器还包括到网络或云计算管理系统的接口，该接口提供实例策略或对覆盖进行监控。
[0050]根据本发明的另一个实施方式，客户机边缘设备还包括转发表，转发表包含至少一个另外的以太网LAN中的一个中的网络设备的以太网地址到与网络设备相关联的至少一个另外的以太网LAN中的各个客户机边缘设备的IP地址的至少一个映射。
[0051]根据本发明的另一个实施方式，客户机边缘设备还包括路径计量单元，路径计量单元适于测量路径特征，客户机边缘设备适于将测量的路径特征发送给集中式服务器。
[0052]根据本发明的另一个实施方式，客户机边缘设备还包括地址解析代理，地址解析代理适于对以太网LAN中的网络设备所发送的地址解析请求(ARP)进行分析，以接收与定址于ARP请求中的目的网络设备的IP地址和以太网地址的地址映射相关的信息。如果地址映射还未被客户机边缘设备知晓，则请求被阻断，并且相应的查找请求在控制连接上被发送至集中式服务器。如果已经从客户机边缘设备中的ARP表中获知地址映射，则相应的ARP回复被发回至网络设备。在这两种情况下，都可以避免在覆盖上传输ARP消息。
[0053]根据一个优选的实施方式，地址解析代理从集中式服务器获得目的网络设备的IP地址和以太网地址的地址映射，如果地址映射是已知的，则直接对来自网络设备的拦截的地址解析协议请求作出回复。地址解析代理还可以通过其它方式来获得地址映射，例如，通过对正在进行的流量进行监控，或额外的ARP查找。
【专利附图】
【附图说明】
[0054]通过阅读结合附图对示例性实施方式所作的详细描述，可以更好地理解前文所述内容，以及本发明的其它特征和优势。
[0055]图2为根据本发明的覆盖网络的架构图；
[0056]图3显示了以太网LAN之间以太网分组在IP上的隧道传送；
[0057]图4示出了集中式服务器上的以太网地址解析；
[0058]图5示出了对覆盖拓扑信息和性能测量的收集和分发；
[0059]图6示出了不同以太网LAN之间在覆盖中的多跳路由；
[0060]图7示出了客户机边缘设备的基本架构；
[0061]图8示出了集中式服务器的基本架构。
【具体实施方式】
[0062]图2显示了根据本发明的一个实施方式的覆盖网络。覆盖网络包括三个以太网LAN (LAN1，LAN2，LAN3)和一个互连网络N。以太网LAN中的一个或多个可以通过各自的客户机边缘设备(如，CE1，CE2，CE3)连接至互连网络N。每个以太网LAN LAN1，LAN2，LAN3包括服务器群30，服务器群30通过以太网交换机SW连接至各个以太网LAN LAN1, LAN2, LAN3的客户机边缘设备CE1，CE2，CE3。互连网络N可以是IP网络，例如因特网。客户机边缘设备CEl，CE2，CE3通过用于传输数据流量包的网络链路22互连。源自第一以太网LAN LANl的以太网分组通过网络链路22以IP上的因特网(Ethernet-over-1P)封装23的形式穿过互连网络N被传输至第二以太网LANLAN2，参照图3进行更详细的描述。
[0063]覆盖网络的关键组件是集中式服务器10，集中式服务器10处理控制面消息的交换，控制面消息与以太网LAN之间通过互联网络以EoIP传输模式进行的以太网分组传输相关。因此，与现有技术不同，不需要对路由协议等做任何修改。如下面详细描述的那样，本发明仅需要客户机边缘设备CE1，CE2，CE3中的一些额外功能。集中式服务器10既可以是诸如高性能个人计算机这样的独立设备，也可以如同图2中虚线轮廓所示的那样集成到一个客户机边缘设备中，在这种情况下，集中式服务器10是覆盖的主设备。两种可替换的实现方式能够提供相同的服务。每个客户机边缘设备CE1，CE2，CE3维持到集中式服务器10的控制连接21，控制连接21优选为传输控制协议(=TCP)连接或传输层安全(=TLS)连接。与覆盖相关的信息在通往每个CE的这些连接上被交换，信息包括以太网地址到站点的映射，覆盖拓扑，特定的策略，等等。
[0064]图3在图2所示的覆盖网络中对以太网LAN之间以太网分组在IP上的隧道传送，即，数据面操作进行说明。三个以太网LAN LANl，LAN2, LAN2中的第一以太网LAN LANl中的第一网络设备A发送以太网分组20。以太网分组20包含目的地址，源地址和有效负载，目的地址是两个或更多个以太网LAN LAN1，LAN2，LAN3中的第二以太网LAN LAN2中的第二网络设备B的以太网地址，源地址是第一网络设备A的以太网地址。与第一以太网LANLAN1相关的客户机边缘设备CEl接收以太网分组20，并根据第一客户机边缘设备CEl所管理的转发表31来确定第二网络设备B的以太网地址到第二客户机边缘设备CE2的IP地址的映射，第二客户机边缘设备CE2与第二以太网LANLAN2相关。第一客户机边缘设备CEl使用IP报头24来封装以太网分组20，IP报头24包括源客户机边缘设备CEl的IP地址，目的客户机边缘设备CE2的IP地址，以及符合所选封装协议的报头字段。源客户机边缘设备CEl通过网络链接22将包括封装报头24的封装以太网分组28穿过互连IP网络N发送至目的客户机边缘设备CE2。第二客户机边缘设备CE2对接收到的以太网分组20进行解封装，以在第二以太网LAN LAN2中发送至第二网络设备B。由此，在以太网LAN中的主机A和B之间实现端到端传输27。
[0065]对于所有的已知位于其它站点中的以太网地址，以太网分组通过使用额外的报头被封装到IP封装分组(如UDP分组)中，然后通过IP被发送到目的以太网LAN中的客户机边缘设备的IP地址。该数据面操作类似于其它隧道方案。
[0066]图4在图2所示的覆盖网络中对集中式服务器10上的以太网地址解析，即，控制面操作进行说明。需要建立从两个或更多个以太网LAN LANl, LAN2, LAN3中的第一以太网LAN LANl中的第一网络设备A到两个或更多个以太网LAN LAN1,LAN2,LAN3中的第二以太网LAN LAN2中的第二网络设备B的新的数据连接40。假设地址映射在CEl本地依然未知，与第一以太网LAN LANl相关的第一客户机边缘设备CEl阻断由第一网络设备A发送的地址解析请求41，并从第一客户机边缘设备CEl向集中式服务器10发送相应的查找请求42。接收到查找请求42之后，集中式服务器10将查找请求转发43给除了源客户机边缘设备(即第一客户机边缘设备)之外的所有其它客户机边缘设备CE2，CE3。在图2中未示出的是，作为替换方式，如果地址映射在其ARP表中已知，则服务器10还可以直接对查找请求作出响应。接收到转发的查找请求43之后，其它的客户机边缘设备CE2，CE3在各个以太网LANLAN2，LAN3的网络设备之间将查找请求44作为ARP查找来分发。与以太网LAN LAN2相关联的其它客户机边缘设备CE2从目的网络设备B接收相应的查找回复，并将查找回复46转发给集中式服务器10，目的网络设备B位于以太网LAN LAN2中。集中式服务器10对接收到的查找回复46进行管理和处理，并向发起查找请求42的第一客户机边缘设备CEl发送查找回复47。第一客户机边缘设备CEl向发起地址解析请求40的第一网络设备A发送查找回复49。
[0067]此外，集中式服务器10将该集中式服务器10发送给第一客户机边缘设备CEl的查找回复47也宣布48给第三客户机边缘设备CE3，由此第三客户机边缘设备CE3从集中式服务器10处获得地址。通过将该信息存储在ARP表中，其它客户机边缘设备能够在将来对地址查找查询进行回复，对分组进行封装并将其转发给那些目的地，无需与服务器进行交互。
[0068]如果目的地址已知，则客户机边缘设备CE1，CE2，CE3仅仅将以太网分组发送给覆盖。客户机边缘设备CE1，CE2，CE3从集中式服务器10获得地址。与现有技术系统相比，从集中式服务器10获得地址是一个主要的不同。本发明不需要已建立的多播树或路由协议扩展。地址的获得通过以下方式实现:
[0069]?客户机边缘设备阻断ARP消息向WAN接口的转发。
[0070]? ARP查找通过集中式服务器10由相应协议进行处理。
[0071]-ARP响应通 过集中式服务器10被发回，集中式服务器10向所有的客户机边缘设备CE1，CE2，CE3宣布地址。
[0072]?客户机边缘设备CEl，CE2，CE3可以集成ARP代理25，以对通过控制面获得的查找作出回复。这需要ARP表，其具有相应的地址映射和机制以更新和移除这些条目，例如，通过老化(aging-out)机制来更新和移除这些条目。
[0073]图5在图2所示的覆盖网络中对性能和覆盖测量，测量数据收集，路径特征宣布和覆盖拓扑信息分发进行说明。
[0074]建立从两个或更多个以太网LANLAN1，LAN2, LAN3中的第一以太网LAN LANl中的第一网络设备A到两个或更多个以太网LAN LAN1，LAN2，LAN3中的第二以太网LAN LANl中的第二网络设备B的第一数据连接50AB。建立从第一网络设备A到第二以太网LAN LAN2中的第三网络设备C的第二数据连接50AC。建立从第一网络设备A到两个或更多个以太网LAN LANl，LAN2, LAN3中的第三以太网LAN LAN3中的第四网络设备D的第三数据连接50AD。
[0075]例如,通过测量丢包,可选地,包延迟,客户机边缘设备CEl, CE2, CE3的路径计量单元26测量51来自所有已知的其它客户机边缘设备CE1，CE2，CE3的数据传输路径50AB，50AC, 50AD的特征，并将测量的路径特征发送52给集中式服务器10，例如，以路径特征报告的形式发送。基于接收到的路径特征，集中式服务器10建立起拓扑特征，拓扑特征与三个以太网LAN LAN1，LAN2，LAN3之间的数据传输(即，通信)相关。集中式服务器10向客户机边缘设备CE1，CE2，CE3宣布53建立的拓扑特征。客户机边缘设备CE1，CE2，CE3中的至少一个在随后的做出路由决定的过程中使用该信息。
[0076]所述方法使用集中式服务器10来分发所有路径50AB，50AC, 50AD的延迟和负载信息，以实现如下所述的优化的覆盖路由。该测量使用以下技术:
[0077]?至少一个客户机边缘设备对来自所有已知的其它客户机边缘设备的路径的性能(即，封装分组时的接口吞吐量)进行测量。需要注意的是，在这里主要假设TCP流量，吞吐量是可用路径带宽的下限。
[0078]?客户机边缘设备还可以向所有已知的其它客户机边缘设备发送ICMP (ICMP=互联网控制消息协议)Ping消息或其它探测消息。
[0079]?客户机边缘设备周期性地将每个目的客户机边缘设备的路径特征报告给集中式服务器。 [0080]?集中式服务器维持覆盖拓扑图，即，其存储所有覆盖路径上的可用带宽，延迟和损失。
[0081]?集中式服务器向所有的客户机边缘设备宣布拓扑特征。客户机边缘设备可以将该信息用于实现多跳路由，或者还可以用于在多宿主站点处实现负载平衡和/或实现到多宿主站点的负载平衡。
[0082]图6在图5所示的覆盖网络中对不同以太网LAN间在覆盖中的多跳路由进行说明。
[0083]在三个正在进行数据传输的路径60AB，60AC, 60AD中，两个路径60AB和60AC在互连网络N中遭遇拥堵61，即，第一以太网LAN LANl中的网络设备A和第二以太网LAN LAN2中的第二网络设备B之间的第一路径60AB，以及第一以太网LAN LANl中的网络设备A和第二以太网LAN LAN2中的第三网络设备C之间的第二路径60AC。通过将第一以太网LANLANl连接至互连网络N的客户机边缘设备CEl中的路径计量单元26所得到的路径测量，如ICMP ping，客户机边缘设备CEl注意62到在这些拥堵的路径60AB，60AC上传输的以太网分组丢失和/或延迟。或者，该问题还可以由CE2注意到。由通过控制连接从客户机边缘设备CEl发送至集中式服务器10的报告拥堵情况的相应控制信息所触发，集中式服务器10基于其建立的覆盖网络的拓扑特征宣布63网络设备A之间的正在进行数据传输的第三路径60AD不拥堵，网络设备A位于第三以太网LAN LAN3中的第三客户机边缘设备CE3和第二以太网LAN LAN2中的第二客户机边缘设备CE2之间的路径中。
[0084]因此，第一以太网LAN LANl中的第一客户机边缘设备CEl将来自拥堵的数据传输路径60AB，60AC的数据流量的至少一部分(即，来自拥堵的数据传输路径60AB的数据流量)发送64给第三客户机边缘设备CE3。接着，第三客户机边缘设备CE3将分组转发65给最终目的的目的地址，即，第二客户机边缘设备CE2。这可以通过以下方式实现:解封装接收到的以太网分组，并用新的目的地址对其再次进行封装。由此，网络设备A和B之间的数据流量通过第二客户机边缘设备CE2被再次路由66。
[0085]本发明的实施方式实现了覆盖多跳路由。现有技术中的数据中心互连方案不会考虑这种覆盖路由。如果有两个以上站点连接至覆盖时，站点之间覆盖中的多跳路由能够围绕直接路径上的拥堵或次优IP路由进行工作。这种优选为三角形的重路由会导致更大的延迟，但是仍然有益于改善整体吞吐量。但是，一个基本挑战是环路预防。ECO中的覆盖路由实现如下:
[0086]?本方法仅在覆盖中支持两次转发跳，以避免复杂的环路。
[0087]?两跳隧道的第一跳在隧道报头中被标记，例如，通过位标志被标记；如果位被设置，则第一客户机边缘设备解封装分组并再次封装分组。一个不需要任何报头位的替换方案是进行封装的客户机边缘设备仅使用两个嵌入的隧道。
[0088]?第一跳从不将分组转发回源站点。
[0089]图7对客户机边缘设备CE的实施方式进行说明。客户机边缘设备CE包括第一接口 71 (第一接口 71用于实现到集中式服务器的TCP连接)、至少一个到以太网LAN (优选为数据中心的形式)的第二接口 72、以及至少一个到互连IP网络(即，覆盖)的第三接口 73。客户机边缘设备CE包括用于管理协议的协议引擎74，协议用于与覆盖网络中的集中式服务器进行控制信息的交换。客户机边缘设备CE包括转发表31，ARP代理25，路径计量单元26，以太网交换单元78以及封装单元79，封装单元79将以太网分组封装入IP分组，并在需要的情况下添加另外的中介协议以在WAN上传输。转发表31包括位于第一部分311，第二部分312和第三部分313中的条目之间的映射，第一部分311包括目的以太网地址，第二部分312包括本地接口，第三部分313包括目标客户机边缘设备的IP地址。转发表31，协议引擎74，ARP代理25及路径计量单元26位于客户机边缘设备CE的缓慢路径部分701中，而以太网交换单元78和封装单元79位于客户机边缘设备CE的快速路径部分702中。
[0090]图7展示了客户机边缘设备的主要功能组件和附加功能组件，典型地，客户机边缘设备是路由器，但是用作通向内部网络接口的以太网交换机/网桥。优选地，重要功能包括:
[0091]?将以太网分组封装入IP分组/对以太网分组进行解封装，添加附加报头，优选地在UDP的顶部添加[0092]?借助目的客户机边缘设备的IP地址为远程节点扩展转发数据库
[0093]?以太网地址和ARP代理的控制面获得
[0094]?发往未知目的以太网地址的以太网分组的分组过滤和放弃
[0095]?路径特征测量和覆盖路由功能
[0096]?在TCP连接上同集中式服务器通信
[0097]图8展示了集中式服务器10的一个实施方式。集中式服务器10至少包括第一接口 81和第二接口 82，第一接口 81用于实现到第一客户机边缘设备CEl的TCP连接，第二接口 82用于实现到第二客户机边缘设备CE2的TCP连接。集中式服务器10还可以包括到网络管理系统或云计算管理系统的第三接口 83。集中式服务器10还包括全局策略和决定逻辑84，将客户机边缘设备CE1，CE2的以太网地址映射到IP地址的数据库85，包含覆盖拓扑和逻辑特征的数据库86，服务器功能单元87，以及用于管理协议的第一协议引擎88和第二协议引擎89，所述协议用于同覆盖网络的客户机边缘设备CE1，CE2进行控制消息交换。
[0098]图8显示了集中式服务器的主要功能和附加功能。集中式服务器一方面是集中式控制和策略决定单元，另一方面是从覆盖中的各个客户机边缘设备分发信息的镜像服务器。功能可以总结如下:
[0099]?对所有客户机边缘设备之间的信息进行分发，包括以太网地址和它们到站点的映射，VLAN标志的范围，加入新站点，拓扑和路径特征，等等。
[0100]?对连接到覆盖的局域网中的主机的以太网地址和IP地址的映射进行集中式缓存，及将该信息分发至CE设备中的ARP代理。
[0101]?策略的集中式配置[0102] ?优选地，到云管理`系统的外部接口。
【权利要求】
1.用于通过互连IP网络(N)在两个或更多个以太网LAN(LAN1, LAN2, LAN3)之间传输以太网分组的方法，所述以太网LAN中的每一个以太网LAN通过一个或多个各自的客户机边缘设备(0￡1，0￡2，0￡3)连接至所述互连IP网络(N)，其特征在于，所述方法包括以下步骤: 由集中式服务器(10)对所述两个或更多个以太网LAN (LAN1, LAN2, LAN3)中的客户机边缘设备(CE1，CE2，CE3)之间的与以太网分组传输相关联的控制信息的交换进行处理和控制，所述集中式服务器(10)通过控制连接(21)连接至多个客户机边缘设备(CE1，CE2，CE3)，其中每个客户机边缘设备(CE1，CE2，CE3)维持所述控制连接(21)中到所述集中式服务器(10)的一个控制连接(21)，其中所述集中式服务器(10)对所述客户机边缘设备(CE1，CE2，CE3)之间的控制信息的交换进行处理和控制。
2.如权利要求1所述的方法，其特征在于，所述控制信息与以下一者或多者相关:以太网LAN中的网络设备的以太网地址到客户机边缘设备的IP地址的映射，与地址解析协议相对应的主机地址解析信息，与以太网LAN和/或VLAN标签的范围相关的信息，所述以太网LAN内的多播组的成员资格信息，过滤策略，防火墙规则,覆盖拓扑，与客户机边缘设备之间的路径特征相关的信息，用于正加入包括两个或更多个以太网LAN的覆盖网络的设备的引导和配置信息。
3.如权利要求1所述的方法，其特征在于，该方法还包括以下步骤: 由所述客户机边缘设备(CE1，CE2，CE3)中的一个或多个客户机边缘设备将控制信息报告给所述集中式服务器(10); 由所述集中式服务器 (10)管理接收到的控制信息，并将处理后的控制信息分配给所述客户机边缘设备(CE1，CE2，CE3)中的一个或多个客户机边缘设备，所述一个或多个客户机边缘设备包括与所述两个或更多个以太网LAN (LAN1, LAN2, LAN3)中的第一以太网LAN(LAN1)相关联的第一客户机边缘设备(CEl);以及 由所述第一客户机边缘设备(CEl)使用接收到的控制信息来控制通过所述互连IP网络(N)从所述第一以太网LAN (LANl)中的第一网络设备(A)至所述两个或更多个以太网LAN (LAN1，LAN2，LAN3)中的第二以太网LAN (LAN2)中的第二网络设备(B)的以太网数据流量的传输。
4.如权利要求1所述的方法，其特征在于，该方法还包括以下步骤: 由所述两个或更多个以太网LAN (LAN1，LAN2，LAN3)中的第一以太网LAN (LANl)中的第一网络设备(A)发送以太网分组(20)，所述以太网分组(20)被发往所述两个或更多个以太网LAN (LAN1，LAN2，LAN3)中的第二以太网LAN (LAN2)中的第二网络设备(B)的以太网地址； 由与所述第一以太网LAN (LANl)相关联的第一客户机边缘设备(CEl)接收所述以太网分组(20)，并检查所述第一客户机边缘设备(CEl)所管理的转发表(31)是否包含所述第二网络设备(B)的以太网地址到与所述第二以太网LAN (LAN2)相关联的客户机边缘设备(CE2)的IP地址的映射； 如果所述转发表(31)中不包含所述映射，则由所述第一客户机边缘设备(CEl)向所述集中式服务器(10)发送地址解析请求，并响应于所述地址解析请求而从所述集中式服务器(10)接收对所述映射进行说明的回复消息；由所述第一客户机边缘设备(CEl)使用封装报头对所述以太网分组(20)进行封装，所述封装报头包括根据所述映射的所述第二客户机边缘设备(CE2)的目的地址； 通过所述互连IP网络(N)将封装的以太网分组(28)发送至所述第二客户机边缘设备(CE2);以及 由所述第二客户机边缘设备(CE2)对接收到的封装的以太网分组(28)进行解封装，以在所述第二以太网LAN (LAN2)中传输给所述第二网络设备(B)。
5.如权利要求1所述的方法，其特征在于，该方法还包括以下步骤: 由与所述两个或更多个以太网LAN (LAN1，LAN2，LAN3)中的第一以太网LAN (LANl)相关联的第一客户机边缘设备(CEl)拦截由所述第一以太网LAN (LANl)中的第一网络设备(A)所发送的地址解析请求，并且如果与所述地址解析请求相关联的地址映射是未知的，则从所述第一客户机边缘设备(CEl)向所述集中式服务器(10)发送相应的查找请求； 在接收到所述查找请求之后，由所述集中式服务器(10)将所述查找请求转发给除所述第一客户机边缘设备(CEl)之外的所有其它客户机边缘设备(CE2，CE3)； 在接收到所述查找请求之后，由所述其它客户机边缘设备(CE2，CE3);在各个以太网LAN (LAN2, LAN3)中的网络设备(B)之间分配所述查找请求； 由所述第二客户机边缘设备(CE2，CE3)从所述各个以太网LAN (LAN2，LAN3)中的网络设备(B)处接收查找回复，并将所述查找回复转发给所述集中式服务器(10); 由所述集中式服务器(10)对接收到的查找回复进行管理和处理，并向发起所述查找请求的第一客户机边缘设备(CEl)发送查找回复；以及 由所述第一客户机边缘设备(CEl)向发起所述地址解析请求的第一网络设备(A)发送所述查找回复。
6.如权利要求5所述的方法，其特征在于，该方法还包括以下步骤: 由所述集中式服务器(10)将该集中式服务器(10)发送给所述第一客户机边缘设备(CEl)的查找回复也宣布给其它客户机边缘设备(CE2，CE3)，以便它们从所述集中式服务器(10)处获得地址。
7.如权利要求1所述的方法，其特征在于，该方法还包括以下步骤: 由所述客户机边缘设备(CEl，CE2，CE3)中的至少一个客户机边缘设备测量路径特征，并将所测量的路径特征发送给所述集中式服务器(10); 基于接收到的路径特征，由所述集中式服务器(10)建立关于所述两个或更多个以太网LAN (LAN1, LAN2, LAN3)之间的通信的拓扑特征； 由所述集中式服务器(10)向所述客户机边缘设备(CE1，CE2，CE3)宣布建立的拓扑特征；以及 由所述客户机边缘设备(CE1，CE2，CE3)中的至少一个客户机边缘设备在做路由决定的过程中使用该信息。
8.如权利要求7所述的方法，其特征在于，所述互连IP网络(N)连接至少三个以太网LAN (LAN1, LAN2, LAN3),由此所述方法还包括以下步骤: 基于宣布的拓扑特征，通过所述至少三个以太网LAN (LAN1，LAN2，LAN3)中的第三以太网LAN (LAN3)中的第三客户机边缘设备(CE3)，对所述至少三个以太网LAN (LAN1, LAN2，LAN3)中的第一以太网LAN和第二以太网LAN之间正在进行的数据流量传输进行路由。
9.一种覆盖网络的集中式服务器(10)，所述覆盖网络具有两个或更多个以太网LAN(LAN1, LAN2, LAN3)及一个互连IP网络(N)，所述集中式服务器(10)包括用于通过控制连接(21)将所述集中式服务器(10 )连接至各个客户机边缘设备(CE I，CE2，CE3 )的两个或更多个接口(81，82)，其中每个客户机边缘设备(CE1，CE2，CE3)维持这些控制连接(21)中到所述集中式服务器的一个控制连接(21)，所述客户机边缘设备(CE1，CE2，CE3)中的每一个客户机边缘设备将一个或多个相关联的以太网LAN (LAN1，LAN2，LAN3)连接至所述互连IP网络(N)，其特征在于， 所述集中式服务器(10)适于对所述两个或更多个以太网LAN (LAN1，LAN2，LAN3)中的客户机边缘设备(CE1，CE2，CE3)之间的控制信息交换进行处理和控制，所述控制信息与所述两个或更多个以太网LAN (LAN1，LAN2，LAN3)中的两个或更多个之间通过所述互连IP网络(N)进行的以太网分组传输相关联。
10.如权利要求9所述的集中式服务器(10)，其特征在于，所述集中式服务器(10)还包括数据库(85)，该数据库(85)包含所述以太网LAN (LAN1, LAN2, LAN3)中的一个以太网LAN中的网络设备的以太网地址到与所述网络设备相关联的各个以太网LAN (LAN2)中的客户机边缘设备的IP地址的至少一个映射。
11.如权利要求10所述的集中式服务器(10)，其特征在于，所述集中式服务器(10)中的数据库(85)还包含所述以太网LAN (LAN1，LAN2，LAN3)中的一个以太网LAN中的网络设备的以太网地址到其相应IP地址的至少一个地址映射，从而所述集中式服务器能够对以太网地址查找查询做出回答而无需地址解析协议广播。
12.如权利要求9所述的集中式服务器(10)，其特征在于，所述集中式服务器(10)还包括到网络或云计算管理系统的接口(83)。
13.一种与一个或多个以太网LAN (LANl)相关联的客户机边缘设备(CEl )，所述客户机边缘设备(CEl)包括到所述以太网LAN (LANl)的至少一个以太网接口、到互连IP网络(N)的至少一个数据流量接口 、以及到集中式服务器(10)的控制信息接口，所述互连IP网络(N)将所述以太网LAN (LANl)与至少一个另外的以太网LAN (LAN2，LAN3)互连在一起，所述数据流量接口用于通过所述互连IP网络(N)在所述以太网LAN (LANl)和所述至少一个另外的以太网LAN (LAN2, LAN3)之间传输以太网分组，所述控制信息接口用于通过多个控制连接(21)中的一个控制连接(21)交换与以太网分组传输相关联的控制信息，其中所述控制信息通过所述多个控制连接(21)中的一个控制连接(21)经由所述控制信息接口被发送至所述集中式服务器(10)或从所述集中式服务器(10)处接收，其中每个客户机边缘设备(CE1，CE2，CE3)维持这些控制连接(21)中到所述集中式服务器的一个控制连接(21 )，其特征在于， 所述控制信息的交换在所述客户机边缘设备(CEl)和所述至少一个另外的以太网LAN(LAN2, LAN3)中的各个客户机边缘设备(CE2，CE3)之间进行，其中所述集中式服务器(10)对所述客户机边缘设备(CEl，CE2，CE3)之间的控制信息交换进行处理和控制。
14.如权利要求13所述的客户机边缘设备(CE1)，其特征在于，所述客户机边缘设备(CEl)还包括转发表(31)，所述转发表(31)包含所述至少一个另外的以太网LAN (LAN2,LAN3)中的一个以太网LAN中的网络设备的以太网地址到与所述网络设备相关联的所述至少一个另外的以太网LAN (LAN2, LAN3)中的各个客户机边缘设备(CE2，CE3)的IP地址的至少一个映射。
15.如权利要求13所述的客户机边缘设备(CE1)，其特征在于，所述客户机边缘设备(CEl)还包括路径计量单元(26)，所述路径计量单元(26)适于测量路径特征，并且所述客户机边缘设备(CEl)适于将测量的路径特征发送给所述集中式服务器(10)。
16.如权利要求13所述的客户机边缘设备(CE1)，其特征在于，所述客户机边缘设备(CEl)还包括地址解析代理(25)，所述地址解析代理(25)适于对所述以太网LAN (LANl)中的网络设备(A)所发送的地址解析协议请求进行拦截，并且如果所述地址解析代理不知道定址于所述地址解析协议请求中的目的网络设备(B)的IP地址和以太网地址的地址映射，则向所述集中式服务器(10)发送相应的查找请求，并且一旦从所述服务器(10)检索到所述地址映射就向所述网络设备(A)发送回复。
17.如权利要求16所述的客户机边缘设备(CE1)，其特征在于，所述地址解析代理(25)从所述集中式服务器(10)获得所述目的网络设备(B)的IP地址和以太网地址的地址映射，并且如果所述地址映射已经从其ARP表被获知，则直接对来自所述网络设备(A)的所拦截的地址解析协议请求作出回复。
【文档编号】H04L12/717GK103650427SQ201280033883
【公开日】2014年3月19日 申请日期:2012年6月22日 优先权日:2011年7月8日
【发明者】M·沙夫, T·班尼扎 申请人:阿尔卡特朗讯公司