大规模网络中的带宽计量的制作方法
【专利说明】
【背景技术】
[0001]越来越多的计算应用被迀移到云环境。一些大规模的提供者网络支持服务于分布在世界各地的数千客户端的几十个多租户基于云服务。这些类型的服务常常依赖于虚拟化技术的使用，诸如虚拟化计算服务器、虚拟存储装置以及各种类型的虚拟网络。根据所使用的虚拟化技术的类型，单个底层资源(诸如主机或服务器)常常可支持潜在地同时服务于多个客户端的需要的多个逻辑或虚拟化资源实例。
[0002]针对客户端的此类服务的使用通常通过以下两种方式对所述客户端进行计费:基于例如使得服务能够以预留某一资源集合开始或基于预留某一资源集合的固定费用，和基于使用的费用。确定给定客户端为获得对特定服务的访问或为预留资源实例将支付的预付费用或固定费用通常是直接的。另一方面，确定针对给定服务的基于使用的费用可能需要大量的计量和跟踪。例如，特定服务可能涉及计算周期的使用(例如，在各种虚拟化计算服务器处的CPU使用)、存储空间(例如，在各种存储服务器处的一定量的永久存储)、以及网络带宽(例如，与针对代表客户端发出的客户端请求和/或命令直接或间接地执行的数据传输相关联)。这些类型的资源中的每一种的使用影响实施服务的提供者网络运营商所产生的开支，从而导致对基于使用的费用的需要。然而，准确且公平地核算客户端的资源消耗本身可消耗提供者网络的资源，且因此针对不同的资源类型，可能必须考虑与计量和计费关联的开销与捕获资源使用细节的粒度之间的折衷。
[0003]对于网络带宽使用来说，实现准确且又有效的计量可能比其他类型的资源更成问题。对于一些类型的服务，识别通过网络的特定数据传输的“所有权”(即，计费责任)可能是相当容易的，例如因为给定对象传输可由于限定用于服务的特定类型的应用编程接口(API)的调用而启动，所述服务可追踪到调用API的客户端。然而，对于其他类型的服务，诸如实施虚拟计算服务器的服务，跟踪数据传输可能不太容易，例如在特定的虚拟计算服务器例示之后，客户端可在服务器上运行各种利用网络的应用，提供者网络运营商对所述应用具有极少或没有直接可见性。由于以下各种因素分配给给定服务的网络流量的所有权的复杂性可进一步增加:例如，因为多个客户端的流量(潜在地与若干服务中的任一个相关联)可被引导到或来自单个物理服务器；因为任何给定单位的网络流量可潜在地与多个服务相关联(例如，在发送端的一个服务和在接收端的不同服务)；和/或因为网络拓扑可随时间推移而改变。
【附图说明】
[0004]图1示出根据至少一些实施方案的示例系统环境。
[0005]图2示出根据至少一些实施方案的可在虚拟化主机处实施的计量部件。
[0006]图3示出根据至少一些实施方案的在计量系统中使用的联网元数据记录的示例组成元素。
[0007]图4示出根据至少一些实施方案的用于联网元数据的聚集策略的示例元素。
[0008]图5示出根据至少一些实施方案的流量分类节点与分布式计量系统的其他元素之间的示例交互作用。
[0009]图6是示出根据至少一些实施方案的操作的各方面的流程图，所述操作可共同地在提供者网络中以分布式方式实施基于端点地址的计量。
[0010]图7是示出根据至少一些实施方案的操作的各方面的流程图，所述操作可由内核模式计量部件和用户模式计量部件在虚拟化主机处执行。
[0011]图8是示出根据至少一些实施方案的操作的各方面的流程图，所述操作可执行来产生附有时间索引的网络拓扑信息。
[0012]图9是示出可在至少一些实施方案中使用的示例计算装置的框图。
[0013]虽然在本文中通过列举若干实施方案和说明性附图的示例的方式描述了实施方案，但本领域的那些技术人员应认识到，实施方案并不限于所描述的实施方案或附图。应理解，附图和对其的详细描述并非意图将实施方案限于所公开的特定形式，而是相反，其意图在于涵盖落入由所附权利要求书所限定的精神和范围内的所有修改、等效物以及替代方案。本文中使用的标题都仅用于组织目的，并且并不意图用于限制说明书或权利要求书的范围。如贯穿本申请所用，词语“可以(may)”是以允许意义(即，意味着具有可能性)而非强制意义(即，意味着必须)使用。类似地，词语“包括(include/including/includes)意味着包括但不限于。
【具体实施方式】
[0014]描述了用于大规模网络(诸如实施多个服务的提供者网络)的带宽计量的方法和设备的各种实施方案。由诸如公司或公共部门组织的实体建立来向分布式客户端集合提供可通过互联网和/或其他网络访问的一个或多个多租户服务(诸如各种类型的基于云的计算或存储服务)的网络在本说明书中被称为提供者网络。术语“多租户”在本文中可用于指代被设计成通过这样一种方式实施应用和/或数据虚拟化的服务:不同的客户端实体提供服务的相应的可定制的独立视图，以使得使用给定的底层资源集合向其提供部分服务功能的一个客户端可能不知道所述资源集合还用于其他客户端。一般来说，提供者网络可包括托管各种资源池(诸如物理和/或虚拟化计算机服务器、存储装置、联网设备等的集合)的许多数据中心，所述资源池是实施、配置并分布由提供者提供的基础设施和服务所需要的。一些提供者网络可支持单租户和多租户服务两者。对于在提供者网络中实施的至少一些服务，可至少部分地基于与客户端的服务使用相关联的网络带宽使用来对客户端进行计费。因此，提供者网络运营商可建立分布式流量计量系统以便有效地收集网络元数据(包括例如所传输的数据量以及给定数据传输中所涉及的端点的互联网协议(IP)地址)，并且利用所收集的元数据连同最新的网络拓扑信息来实现到不同客户端的准确的网络流量分布。以下针对各种实施方案提供关于这种分布式计量系统的各种组成部件的细节。多种不同类型的计算装置可单独或结合来使用以便在不同实施方案中实施分布式计量系统以及提供者网络的其他资源，包括通用或专用计算机服务器、存储装置、网络装置等。
[0015]在一些实施方案中，提供者网络的资源的子集可以被称为“实例”(诸如虚拟或物理计算实例、存储实例或网络资源实例)的单位提供来供客户端使用。虚拟计算实例例如可包括具有指定计算能力(所述计算能力可以通过指示CPU的类型和数量、主存储器大小、存储装置号和大小等来指定)和指定软件堆栈(例如，特定版本的操作系统，所述操作系统继而可在管理程序顶上运行)的一个或多个虚拟服务器。各种类型的资源实例，包括虚拟计算实例、存储资源实例或网络资源实例，在本文中可被例示在被称为“虚拟化主机”(或更简单地，“主机”)的系统上。在一些实施方案中，能够例示特定类型的N个不同虚拟计算实例的实例主机平台例如可包括具有初始安装的所选择的相对低级别的软件部件集合(诸如通常利用硬件服务器的计算能力的一小部分的虚拟化管理器软件和/或操作系统软件)的硬件服务器。在一些实现方式中，可出于管理目的在主机上建立操作系统的一个或多个实例，并且所述一个或多个实例可以不被分配用于供客户端应用使用，也就是说，主机上的虚拟化管理软件可包括操作系统实例，所述操作系统实例在本文中可被称为“管理操作系统”或“管理软件堆栈”。当启动更多虚拟计算实例时，可以使用服务器的计算能力的更大部分，例如用于在具有它们自己的操作系统实例的不同虚拟计算实例上运行的客户端应用。如以下进一步详细描述的，在一些实施方案中，出于网络流量计量目的，可以使用在主机上运行的管理软件堆栈的一个或多个部件。例如，根据一个实施方案，轻量级内核模式主机上计量部件可以被配置成收集与网络传输相关联的低级别联网元数据，诸如针对给定的一个或多个数据包的集合的端点(源或目的地)互联网协议(IP)地址以及传输大小(例如，所传输的字节数)。首字母缩略词“KMC”在本文中可用于表示这种内核模式计量部件。在这种实施方案中，另一个主机上计量部件，例如管理操作系统的用户模式部件(UMC)，可接收并聚集由内核模式部件所获得的元数据。例如，在一个实现方式中，UMC可以被配置成将在某一时间周期内针对任何给定端点IP地址所收集的所有元数据组合成一个记录。在一些实施方案中，如下所述，例如如果在给定时间间隔针对其收集元数据的不同IP地址的数量超过某个阈值，那么UMC(或KMC)可以组合针对IP地址集合(例如，一系列IP地址A.B.C.*，其中*表示通配符)的元数据。
[0016]根据一个实施方案，提供者网络的一个或多个计算装置可共同地被命名为流量分类队列(fleet)的节点。这些流量分类节点(其在本文中可被简单地称为分类节点或CN)可以被配置成接收从主机(例如，通过UMC)传送的聚集元数据记录。CN还可以被配置成获得或产生提供者网络的至少一些部分的网络拓扑的附有时间索引的表示，包括诸如在给定时间点与给定客户端和/或给定服务相关联的IP地址集合的信息。使用附有时间索引的网络拓扑，给定CN可以将在给定的主机集合处所收集的联网元数据的至少一部分映射到可用于产生针对网络传输的计费金额的一个或多个可计费使用类别。在一些实施方案中，CN可以使用这种映射技术来产生对应于在主机处所收集的流量元数据的分类使用记录。分类使用记录随后可以在例如提供者网络的计费节点处使用(在一些情况下在进一步的聚集步骤之后)，以便产生针对代表客户端在主机处产生的网络流量的将要提供到客户端的计费金额。在一个实施方案中，每个分类使用记录可至少包括(a)可计费使用类别的指示和(b)在某一时间间隔期间检测到的与那个可计费使用类别相关联的流量的量的测量值。应注意，在以下描述中，术语“使用类别”可用作术语“可计费使用类别”的替代物。
[0017]考虑在一个实施方案中可以由CN执行的各种操作的以下示例。CN可以接收关于在时间周期T1期间从给定虚拟化主机传输的1000兆字节数据的联网元数据(包括目的地端点IP地址)。CN可使用附有时间索引的网络拓扑信息来确定出于计费目的应为哪个或哪些客户端分配IP地址，和/或数据传输应与哪个或哪些特定服务相关联。作为一个示例，CN可产生与针对1000兆字节的以下各项类似的分类使用记录:((500兆字节、客户端C1、服务S1、使用类别U1) ; (250兆字节、客户端C2、服务S2、使用类别U2) ; (200兆字节、客户端C3、服务S3、使用类别U3) ; (50兆字节、客户端C1、服务S4、使用类别U4))。在这个示例中，使用类别可指示基于以下因素的计费差异:诸如流量是否全部在提供者网络内流动或至少一些流量是否在提供者网络外部流动，客户端是否已建立到某些IP地址的某些类型的流量的折现率等。
[0018]因此，在至少一个实施方案中，一些使用类别可基于所有对应流量是完全在提供者网络内(即，仅使用在提供者网络内的内部路径)还是至少部分在提供者网络外(即，使用在提供者网络外部的少一些网络路径)来限定；其他使用类别可基于所涉及的服务(例如，是否使用了私用网络服务)来限定，或基于特殊情况诸如代表客户端建立的私用直接物理链路是否被用于数据传输(如以下参照图1所描述的)来限定。在至少一些实施方案中，提供者网络内的流量还可出于计费目的分类成诸如本地提供者网络流量和区域间提供者网络流量的子类别，其中位于给定地理区域中给定的一个或多个数据中心的集合内的端点之间的流量被分类为本地提供者网络流量，而跨过由提供者网络运营商限定的地理区域边界的流量被分类为区域间提供者网络流量。可针对来自提供者网络的多个主机的流量产生类似的分类使用记录。在一些实施方案中，可在提供者网络中建立拓扑观察仪节点的队列以便监视网络配置变化(例如，由于在与客户端网络建立私用链路的情境下如下所述可能影响部分提供者网络的流量流动的动态路由变化)。在至少一个这种实施方案中，由拓扑观察仪节点监视到的网络配置变化可由拓扑权威机构进行合并。拓扑权威机构例如可包括提供者网络的一个或多个硬件和/或软件部件，所述部件负责组合网络配置信息以便针对提供者网络的不同部分(和/或链接到提供者网络的某一外部网络集合)从不同时间点起产生网络拓扑的权威性表示或记录。合并的附有时间索引的网络拓扑信息在一些实施方案中可由拓扑权威机构存储在数据库或存储库中，并且CN可利用合并的拓扑信息产生分类使用记录。
[0019]通过将分配所测量网络流量的客户端所有权的工作分布在多个部件上，诸如如上所述的KMC、UMC和CN，在至少一些实施方案中可以实施高度可扩展的机构，能够利用来自数以万计的虚拟化主机的服务来处理在相应IP地址处的数以万计的并行客户端装置。关于虚拟化主机本身的开销可通过以下方式最小化:仅在内核层执行一小组操作，从而将干扰减低到传送或接收数据过程中所涉及的低级别联网堆栈操作。用于产生分类使用记录的专用CN队列的使用可确保:当客户端、端点和服务的数量增加时，在虚拟化主机处计量负载不会成比例地增加，即计量对客户端应用的影响被保持为尽可能低的。
[0020]根据一些实施方案，分布式计量系统的部件可能需要考虑可使以上介绍的基本计量机构复杂化的各种因素。例如，在一些实施方案中，提供者网络可支持各种类型的私用网络或专用网络。一些客户端可在提供者网络内建立私用网络(其在一些情景下可被称为“虚拟私用云”或VPC)，其中客户端在将网络地址分配到私用网络的装置方面具有很大的灵活性。因此，被分配作为私用网络的一部分的特定IP地址IP1实际上可以与被分配到在提供者网络中的其他地方或提供者网络外部的某个其他装置的IP地址相同。针对与私用网络相关联的流量所收集的网络元数据可以考虑这种潜在误导性端点地址信息，例如通过使KMC与联网堆栈的知道私用网络配置的部分进行通信。另外，在一些实施方案中，提供者网络可使得客户端能够在提供者网络与客户端本身的网络之间的转接中心处建立私用的直接物理链路(其在一些情境下可以被称为“直接连接”链路)，并且因此提供者网络的计量基础设施还可