分布式系统中的集中式联网配置的制作方法
【专利说明】
【背景技术】
[0001]许多公司和其它组织操作使许多计算系统互连以支持其操作的计算机网络，诸如与位于同一地方(例如，作为局域网的部分)或替代地位于多个不同的地理位置(例如，经由一个或多个专用或公共中间网络连接)的计算系统。举例来说，容纳大量互连的计算系统的数据中心已变成平凡的，诸如由单个组织操作和代表单个组织的专用数据中心，和由作为企业的实体操作来向客户提供计算资源的公共数据中心。一些公共数据中心操作者为各个客户拥有的硬件提供网络接入、电力和安全的安装设施，而其他公共数据中心操作者提供“全面服务”设施，其也包括可由其客户使用的硬件资源。然而，随着典型数据中心的规模和范围已增大，提供、掌管和管理物理计算资源的任务已变得日益复杂。
[0002]商品硬件的虚拟化技术的出现已提供关于为具有各种需要的许多客户管理大规模计算资源，从而允许各种计算资源被多个客户高效地和安全地共享的益处。举例来说，虚拟化技术可通过向每个用户提供由单个物理计算机器托管的一个或多个虚拟机，同时也在各种虚拟机中提供应用隔离和安全来允许单个物理计算机器在多个用户中共享，其中每个这种虚拟机是充当不同的逻辑计算系统的软件模拟，逻辑计算系统向用户提供他们是给定硬件计算资源的唯一操作者和管理者的错觉。此外，一些虚拟化技术能够提供跨越两个或多个物理资源的虚拟资源，诸如，具有多个虚拟处理器的跨越多个不同的物理计算系统的单个虚拟机。
[0003]随着虚拟化计算、存储和联网资源的提供者支持的功能性和特征增长，且随着由大规模提供者使用的硬件平台群增大，对平台的管理控制操作(诸如管理网络流量)的实现本身可变得相当复杂。在许多情况下，在这些平台上运行的应用的功能性和可用性可广泛地依赖于与提供者网络的其它部分和/或与外部实体(诸如客户端或第三方)的网络通信。在试图实现期望的应用性能等级时，这些分布式系统的操作者可能通常已建立高带宽网络基础结构。然而，尽管提供高带宽联网装置和链接，但在许多情况下网络带宽可变成瓶颈资源，尤其是给定对许多类型的部署的应用的随时间变化的和依赖于位置的带宽要求的情况下。虚拟化可使管理网络带宽(以及等待时间和其它联网特性)成为甚至更困难的问题，因为在单个硬件平台上实现的各种虚拟机可能具有不得不使用平台的共享联网组件满足的广泛变化的联网要求，并且也因为在给定硬件平台处的应用集合和实例化的虚拟机可随时间而改变。
【附图说明】
[0004]图1说明根据至少一些实施方案的系统的实例，在该系统中实现集中式联网配置服务来管理分布式计算环境的多个节点处的网络流量。
[0005]图2说明根据至少一些实施方案的提供者网络环境的实例，在该网络环境中在一些可用容器中的每一者中建立相应联网配置服务器。
[0006]图3说明根据至少一些实施方案的联网管理器模块的实例，其能够解译虚拟化计算服务的实例主机处的流量分类元数据。
[0007]图4a至图4c说明根据至少一些实施方案的协议的相应实例，所述协议可用以将流量分类元数据传输至实例主机。
[0008]图5说明根据至少一些实施方案的分类树数据结构的实例，其可用以表示分布式系统的装置处的联网配置的网络流量种类。
[0009]图6说明根据至少一些实施方案的分级数据结构的实例，其可用以组合数据中心处的多个实例主机的网络流量种类信息。
[0010]图7说明根据至少一些实施方案的流量分类程序图的实例，其可与分类树一起使用来确定网络流量单元的种类。
[0011]图8说明根据至少一些实施方案的流量分类程序图的查找表节点的使用的实例。
[0012]图9说明根据至少一些实施方案的响应度量的实例，其可用以确定联网配置服务的一个或多个参数的值。
[0013]图10是说明根据至少一些实施方案的可被执行以配置和初始化联网配置服务的组件的操作方面的流程图。
[0014]图11是说明根据至少一些实施方案的可被执行以产生和分布联网配置服务的流量分类元数据的操作方面的流程图。
[0015]图12是说明根据至少一些实施方案的可被执行以响应于触发事件而改变联网管理参数的操作方面的流程图。
[0016]图13是说明根据至少一些实施方案的可被执行以向分布式系统的客户端提供联网相关状态信息的统一视图的操作方面的流程图。
[0017]图14是说明可在至少一些实施方案中使用的实例计算装置的框图。
[0018]尽管本文中借助实例针对一些实施方案和说明性附图描述了实施方案，但本领域技术人员应认识到，实施方案不限于所描述的实施方案或附图。应理解，附图和其详细描述无意将实施方案限于公开的特定形式，而是相反，本发明将涵盖落在如所附权利要求书定义的精神和范围内的所有修改、等效物和替代物。本文中所使用的标题仅用于组织目的，且不意味着用以限制描述或权利要求的范围。如本申请全文中所使用，词语“可”是以准许意义(即，意味着具有可能)，而不是强制意义(即，意味着必须)使用的。类似地，词语“包括(“include” “including” 和 “includes” )，，意味着包括但不限于。
【具体实施方式】
[0019]描述了用于在大规模分布式系统(诸如提供者网络)中配置联网操作的方法和设备的各种实施方案。在一些实施方案中，可实现集中式联网配置管理方案，可根据所述方案在一个或多个联网配置服务器(NCS)处做出关于带宽限制、等待时间管理和用于分布式系统的许多节点(诸如主机和网络装置)的其它流量整形参数的各种类型的决定。(在一些实施方案中，联网配置服务器也可称作“带宽仲裁服务器”，因为服务器的主要责任可以是经由对各种流量种类施加相应带宽限制来管理分布式系统的组件处的带宽使用。)将用以实现决定的元数据(包括例如流量分类程序或规则和用于各种流量种类的联网配置选项)可用便携式易于解析的格式从NCS传输至分布式系统的节点。在分布式系统的节点处，可例如通过虚拟化管理软件内的联网管理模块来解译所接收的元数据，以在网络流量调度包或其它单元产生或被接收时对其进行分类，并应用在BAS处所做的决定来调度和/或调节流量的传输。产生将用于流量整形的逻辑(其在至少一些情况下可需要对从多种来源获得的不平凡的输入数据集的分析)的责任因此可由集中式联网配置服务器处置，且逻辑可通过相对简单的控制模块应用于各个节点。在至少一些实施方案中，传输至给定节点的元数据可基于从节点收集的度量、在那个节点上运行的应用的本质等等来针对那个节点特定地进行定制。联网配置管理技术可包括对程序接口的支持，在一些实施方案中程序接口使得分布式系统的客户端能够获得所关注资源的联网相关状态的统一或合并视图。在至少一些实施方案中，也可实现程序接口以使得客户端和/或管理者能够向集中式联网配置系统提交各种类型的配置请求，这可例如导致在NCS处确定并散布至各个节点的分类相关的规则和/或联网设置的改变。在至少一些实现方式中，联网配置方案的一部分或全部可实现为web服务，例如，可针对与联网配置服务器的各种类型的交互支持一个或多个web服务程序接口。
[0020]在以下描述的大部分中，提供者网络用作分布式系统的实例，可在该系统中实现集中式联网配置技术。通过诸如公司或公共部门组织的实体设立以提供可由分布式客户端集合经由因特网和/或其它网络访问的一个或多个网络可访问的服务(诸如各种类型的基于云的数据库、计算或存储服务)的网络在本文中可称作提供者网络。服务中的至少一些可按称作“实例”的服务单元打包以用于客户端使用:举例来说，通过虚拟化计算服务实例化的虚拟机可表示“计算实例”，且通过存储服务实例化的存储装置(诸如块级容量)可称作“存储实例”。在一些实施方案中，较高级服务的实例可使用计算实例和/或存储实例来打包-例如，在一些实施方案中，数据库实例可使用计算实例与存储实例的组合来建立。诸如服务器和/或存储装置的计算装置在本文中可称作“实例主机”或简称为“主机”，提供者网络的各种网络可访问的服务的这些单元在计算装置处实现。在此文献的剩余部分，术语“客户端”在用作给定通信的来源或目的地时可指实体(诸如组织、具有多个用户或单个用户的群组)所拥有的、由实体管理的或分配至实体的计算装置、处理、硬件模块或软件模块中的任一者，实体能够访问和利用提供者网络的至少一个网络可访问的服务。
[0021]给定提供者网络可包括托管各种资源池的许多数据中心(其可分布在不同地理区域)，诸如实现、配置和分布提供者供应的基础结构和服务所需的一系列物理和/或虚拟化计算机服务器、各自具有一个或多个存储装置的存储服务器、联网设备和类似物。在各种实施方案中，若干不同的硬件和/或软件组件(其中一些可在不同的数据中心或在不同的地理区域实例化或执行)可集体用来实现服务中的每一者。客户端可根据提供者网络外部的位于客户端拥有的或客户端管理的建筑或数据中心的装置和/或根据提供者网络内的装置与在提供者网络处的资源和服务交互。在至少一些实施方案中，供应各种类型的计算实例的虚拟化计算服务可在提供者网络内实现，且这些计算实例可分配至客户端。提供者网络的其它服务可从这些计算实例以及从外部位置访问。应注意，尽管提供者网络用作可实现本文中描述的带宽管理技术中的许多的一个实例背景，但那些技术也可应用于除了提供者网络之外的其它类型的分布式系统，例如应用于应用的不同组件可具有随时间变化的带宽需要的大规模分布式应用环境。
[0022]根据至少一个实施方案，若干NCS可在提供者网络内的各个位置实例化，其中例如基于如下文描述的性能和/或可用性准则来确定NCS的数目和分布。NCS可被配置用来从提供者网络的各个节点获得网络相关的度量，诸如从在提供者网络中实现的各种类型的服务的实例主机，和/或从帮助做出带宽管理决定的各种类型的网络装置(交换机、路由器、网关和类似物)。举例来说，在各种实施方案中，可收集关于在一时间间隔期间给定主机处的实际传入的和传出的网络流量、在一时间间隔期间下降的包的数目、传输因为实施当前带宽限制而延迟的包的数目、包的大小、代表应用到或从给定节点发生的流量的所述应用、代表客户端起始流量的所述客户端、和/或各种传输中涉及的端点的IP地址的信息。在一些实施方案中，来自其它来源的输入也可用于做出带宽管理决定:例如，安全服务可在一些提供者网络中实现以试图识别网络入侵或攻击，诸如分布式拒绝服务(DDOS)攻击，且关于可能的攻击的警报可影响带宽限制改变或流量种类定义。在至少一个实施方案中，提供者网络可包括以按照IP地址为基础或以按照客户端为基础而聚集网络流量度量的服务，例如用于管理和/或收费目的，且这些聚集也可向NCS提供输入。在一些实施方案中，提供者网络的一个或多个网络可访问的服务的客户端和/或管理者可向NCS提交带宽相关的请求或其它配置请求，例如以压倒特定实例主机或网络装置的一个或多个带宽管理参数，而且这些请求也可促成在NCS做出的决定。
[0023]至少部分基于这些输入，给定NCS可确定将在提供者网络的给定节点处使用的各种联网配置选项和/或程序。在一些情况下，在确定参数时也可考虑一个或多个全局和/或局部联网管理策略。在一个实施方案中，可确定流量种类的集合或层级，连同用于种类中的每一者的各种联网配置选项(诸如带宽限制、等待时间目标或约束等等)。在一些实现方式中，可使用平面分类(等效于只有一级的层级)，而在其它实现方式中，可使用在不同级的节点之间具有母子关系的多级层级。在随后的描述中，如本文中使用的术语“层级”旨在涵盖单级或平面分类和指示母子关系的多级分类。除了层级之外，也可确定将用以将任何给定网络包(或数据传送的任何适当的单元)分类至种类中的一者中的程序(例如，将应用的决定步骤或规则的序列)。关于流量种类和将用以将流量单元映射至种类的逻辑或规则的信息在本文中可一起称作“流量分类元数据”或“分类元数据”。由于在至少一些实施方案中给定主机可包括与另一主机不同的服务实例的组合，且在给定主机的服务实例处实现的应用的联网要求可与其它应用(在同一主机处或其它主机处)的联网要求不同，因此联网配置参数的不同集合可适合于不同主机。因此，在至少一些实施方案中，可针对至少一些节点定制分类元数据-例如，针对提供者网络的一个节点(诸如实例主机IHl)产生的分类元数据可与针对不同节点(诸如实例主机IH2)产生的分类元数据不同。可针对例如不同节点定义流量种类的不同集合，或可针对同一流量种类设置不同的带宽限制或等待时间要求，或流量单元分类程序的至少一些步骤可不同。在至少一些实现方式中，针对各种网络装置(诸如，针对交换机、路由器、网关或负载均衡器或针对网络附接存储装置)确定的联网配置参数可至少部分从与装置相关联或受装置影响的主机集合的带宽管理参数得到-例如，如果特定交换机用于传入和传出至八个主机的流量，那么某一流量种类的交换机的带宽限制可从八个主机的带宽限制得到。
[0024]在不同实施方案中，由NCS针对给定节点定义的流量种类在各种性质方面可彼此不同。在一个实施方案中，可针对网络端点的不同集合创建不同种类-例如，流量目的地(或来源)的IP(因特网协议)地址可用以将流量归类。在另一实施方案中，代表应用流量流动的所述应用的种类可用于流量归类-例如，数据库相关的流量可置于一个种类中，且与高性能计算相关的流量可置于另一种类中。在一些实施方案中，代表客户端产生流量的所述客户端和/或客户端的预算或与客户端达成的契约协议的方面可用以定义流量种类。在多个网络可访问的服务在分布式系统中实现的一些实施方案中，可基于代表服务产生特定流量单元的所述服务来定义流量种类。在各种实施方案中，如果使用基于服务的分类且给定包与两个或更多个服务相关联，例如如果代表数据库服务的数据库实例从存储服务传送数据包，那么可将包分类为属于来源服务(即，发送端)或目的地服务(接收端)。在至少一个实施方案中，客户端可提供可由联网配置服务使用以对流量单元分类的一个或多个性质的指示-例如，客户端可请求至少暂时地将计算实例的一些集合识别为高优先级实例，且到或来自那些实例的流量可相应地分类为具有高带宽限制的高优先级流量。
[0025]在一些实施方案中，NCS可使用树或类似的分级数据结构来对给定提供者网络节点的流量种类建模或表示给定提供者网络节点的流量种类，其中相应带宽限制和/或其它联网配置选项被指派给树的每个节点。在至少一些实现方式中，带宽求和策略可应用于分类树。根据此策略，如果树中的具有子节点C1、C2……Ck的给定母节点P具有X位/秒的带宽限制，那么在给定时间段期间与子节点C1、C2……Ck相关联的实际流量的总和可能不超过母节点的带宽限制。考虑实例，其中针对传出的流量将P的带宽限制设置为I千兆位/秒，且P具有两个子节点Cl和C2，针对传出的流量将子节点Cl和C2中的每一者的带宽限制也设置为I千兆位/秒。如果在给定秒期间0.6千兆位的分类为Cl流量的流量从实例流动，那么可准许不超过0.4千兆位的分类为C2流量的流量，即使针对C2定义的个别极限更高也这样。当然，在各种实施方案中，基于母子