分布式系统中的集中式联网配置的制作方法_3

文档序号:9916555阅读:来源:国知局
S 180。举例来说,NCS 180A和180B分别设立在可用容器203A的数据中心205A和205B中,NCS 180C建立在可用容器203B的数据中心205C中,且NCS 180D位于可用容器203C的数据中心205D中。NCS 180A可被配置用来产生用于在数据中心205A处实现的一个或多个网络可访问的服务(诸如虚拟化计算服务或存储服务)的实例主机144A和用于位于数据中心205A中的网络装置145A的分类元数据。类似地,NCS180B可被指派产生用于实例主机144B和网络装置145B的分类元数据的任务,NCS 180C可负责产生用于实例主机144C和网络装置145C的分类元数据,且NCS 180D可被配置用于产生用于实例主机144D和网络装置145D的分类元数据。尽管在图2所说明的实施方案中,单个NCS示于每个数据中心205中,但在至少一些实施方案中,多个NCS可设立在给定数据中心205中(取决于例如性能要求和/或在数据中心处必须产生元数据所针对的节点数目)。在一个实施方案中,如果可用容器(诸如203A)包括N个数据中心,且带宽管理的性能要求可通过少于N个NCS来满足,那么一些数据中心无需配置有任何NCS-替代地,单个NCS可满足一个以上数据中心的需要。在其它实施方案中,给定NCS 180可被配置用来产生用于一个以上可用容器处的节点的元数据。
[0042]在所描绘的实施方案中,NCS180的数目和放置可由联网配置服务管理器222确定。在一些实现方式中,NCS管理器222本身可包括多个硬件和/或软件组件,其中一些可跨越各种可用区203的数据中心205而分布。在所描绘的实施方案中,NCS 180的配置改变可由NCS管理器按照需要起始-例如,当将部署由NCS使用的软件模块的新版本时,可通过NCS管理器来配合部署。
[0043]在所描绘的实施方案中,提供者网络的若干其它服务可与联网配置系统交互。举例来说,统一的控制台服务278可实现一个或多个程序接口 240(诸如web页、AP1、GUI和/或命令行工具),其使得客户端265能够以编程方式提交关于所关注资源的联网状态的查询并接收所请求的信息。统一的控制台服务278可表示图1的合并网络视图产生器152的一个实例。程序接口 240也可使客户端能够提交配置请求-例如,在指定时间段升高或降低对各种服务实例或实例主机的当前可应用的带宽限制。
[0044]在一些实施方案中,装置健康管理服务276可在提供者网络202处实现以从各种实例主机和网络装置收集(例如,使用心跳机制)响应信息。在所描绘的实施方案中,健康管理服务276也可用于例如通过在健康状态消息上捎带联网度量来收集将用作NCS 180的输入的联网相关的度量。因此,健康管理服务276的节点可视为图1中说明的度量收集器125的实例。在一些实施方案中,健康管理服务也可用作元数据分布系统127-例如,发送至各种实例主机的心跳消息可包括捎带的分类元数据。DDOS检测服务274可被配置用来例如通过检测到或来自给定IP地址集合的不寻常的高流量模式来检测提供者网络内的目标处的拒绝服务攻击和/或可能已在外部目标处从提供者网络202内起始的拒绝服务攻击。当识别可能的DOS攻击时,DDOS检测服务274可向适当的NCS 180提供关于可能的网络攻击或入侵的输入,这可导致NCS 180针对一些实例主机或网络装置调节带宽限制或至少暂时地改变其它联网配置选项,以努力减轻可能的攻击的影响。实例放置服务272可从NCS 180获得最近可用的联网相关的度量和配置设置来选择具有可用于启动新实例的足够多余带宽的实例主机,或选择鉴于改变的网络流量状况应将现有实例移动至的实例主机。
[0045]实例主机处的分类元数据使用
[0046]如上文所描述,在不同实施方案中,联网配置服务器可将流量分类元数据的表示传输至各种网络可访问的服务的实例主机。图3说明根据至少一些实施方案的联网管理器模块的实例,其能够解译虚拟化计算服务的实例主机144处的流量分类元数据。实例主机144可包括能够实例化和管理若干不同的客户端可访问的虚拟机或计算实例350(诸如计算实例350A和350B)的虚拟化管理软件堆栈(VMSSUKLVMSS 310可包括例如管理程序317和操作系统315的管理实例,操作系统315在一些实现方式中可称作“零域”或“domO”操作系统。domO操作系统可能不可由代表客户端计算实例350运行的所述客户端访问,而是可替代地负责虚拟化操作系统的各种管理或控制平面操作,包括处置导向至计算实例350或从计算实例350导向的网络流量。
[0047]在所描绘的实施方案中,domO操作系统315可包括多种控制模块,其包括又包括分类元数据解译器模块359的联网管理器组件357。联网管理器组件可接收由NCS 180针对实例主机144产生的分类元数据,例如,包括上文描述的分类树和/或分类程序的表示。解译器359可解析元数据并将元数据中指示的程序应用于导向至各种计算实例350或从各种计算实例350导向的流量包。举例来说,为了实现各种流量种类的带宽限制,可配置一个或多个实例包队列(IPQ)319(例如,IPQ 319A和319B)。如果特定实例350处的特定种类的传入的或传出的流量速率在给定时间间隔期间超过该种类的带宽限制,那么传入的或传出的包中的一些可在该特定实例的IPQ 319中排队。在一些实现方式中,可针对给定计算实例而实例化一个以上包队列,例如,每个流量种类可设立一个包队列。在其它实现方式中,单个包队列可满足与多个实例350相关联的排队的包的需要。在各种实施方案中,IPQ或其它类似的构造也可用以根据从NCS接收的元数据实现其它联网配置选项,诸如等待时间要求、其它服务质量目标(例如,不同流量种类的网络传输的相对优先级)、包分段设置或依赖于包大小的设置。
[0048]如所示,在所描绘的实施方案中,每个计算实例350可包括对应的客户端可访问的操作系统370,诸如计算实例350A的OS 370A和计算实例350B的OS 370B。操作系统370可各自包括其自己的联网堆栈372(例如,实例350A的联网堆栈372A和实例350B的联网堆栈372B),其可与联网管理器357通信以使用实例主机144的硬件网络接口供传入和传出流量。从代表客户端实现计算实例350的所述客户端的角度来看,每个实例看起来可以是功能全面的服务器,且客户端可能不会意识到所使用的联网配置技术的实现细节(诸如IPQ处的包的排队)。应注意,用于解译和使用与图3中说明的分类元数据类似的分类元数据的技术在不同实施方案中也可用于其它类型的网络可访问的虚拟化服务的实例主机,诸如各种类型的存储服务或数据库服务。还应注意,在一些实施方案中,分类元数据可至少部分在实例350的联网堆栈372处被解译和/或使用,以替代于或外加在VMSS310的联网管理器357处被解译和/或使用。
[0049]元数据传输模式
[0050]在不同实施方案中,可根据不同协议或传送模式将由NCS180产生的元数据的表示提供至目标,诸如实例主机144或联网装置145。图4a至图4c说明根据至少一些实施方案的协议的相应实例,所述协议可用以将流量分类元数据传输至实例主机。在不同实施方案中,一个或多个程序接口可用以将元数据提供至实例主机或分布式系统的其它节点,其中NCS或元数据的接收器根据所使用的协议调用接口。
[0051 ]在图4a所示的实施方案中,可经由通过NCS 180起始的调度的“推送”操作401来将分类元数据发送至实例主机144(或网络装置145或存储装置)。举例来说,每个NCS可配置有相应调度,NCS将根据调度将元数据发送至给定元数据目标(例如,每分钟一次,或每五分钟一次)。在一些实现方式中将元数据从给定NCS发送至不同目标的实际时间可交错以避免由元数据传送本身引起的网络堵塞。举例来说,如果将每分钟一次地将元数据从给定NCS推送至六个实例主机,那么可隔开十秒调度至实例主机中的每一者的元数据传输。
[0052]在图4b所示的实施方案中,触发事件可导致元数据被传输。举例来说,事件检测器421可通知NCS已检测到诸如可能的DDOS检测的事件,且NCS可接着产生适当的元数据来减轻事件的影响。对于某些类型的事件,在一些实施方案中只要元数据一产生,就可以高优先级起始所产生的元数据的触发的推送402,以试图尽可能迅速地响应于事件。对于其它类型的触发事件,例如,如果管理者提交压倒先前产生的元数据的请求,那么无需立即或以高优先级推送元数据。
[0053]在图4c描绘的实施方案中,实例主机144可针对最近的分类元数据向BA180提交拉动请求403,且元数据可相应地在响应404中发送至实例主机。在各种实施方案中,可针对实例主机144,针对网络装置145或针对存储装置使用图4a至图4c中说明的三种方法中的任一者的组合。在至少一个实施方案中,可在传输元数据时使用差值法-也就是说,可将仅当前元数据与最近提供的元数据之间的差的表示发送至实例主机、网络装置或存储装置。在其它实施方案中,可在每次传送中传输整个元数据。
[0054]分类树
[0055]图5说明根据至少一些实施方案的分类树数据结构501的实例,其可用以表示分布式系统的装置处的联网配置的网络流量种类。树501的每个节点可具有针对节点表示的种类的联网配置选项或设置(诸如针对图5中的每个节点说明的相应带宽限制)的相关联的集合。可应用于每个节点的联网配置选项的其它实例可包括包等待时间要求或目标、其它服务质量目标(诸如不同流量种类的相对优先级)、包分段/重装设置或依赖于包大小的配置设置。在不同实施方案中可基于多种性质的差异来定义流量种类-例如,基于与流量相关联的应用的种类、组件处于发送端或接收端的服务、所涉及的端点的网络地址(在一些情况下其本身可指示应用类型)、传送大小、代表客户端产生流量的所述客户端、端点相对于彼此的位置(例如,对于从提供者网络节点传出的包,目的地是在本地数据中心、本地可用容器、本地区域、提供者网络的另一区域内还是提供者网络外部)等等。在所说明的分类树501中,举例来说,节点504表示一类应用(高性能计算)的流量,节点520表示数据库流量,且节点506表示高性能块存储流量(S卩,与被配置用来支持高输入/输出速率的块存储装置相关联的流量)。在节点520表示的数据库种类内,定义用于基于位置的子种类的三个节点:用于数据中心内的流量的节点522、用于区域内的流量的节点524和用于区域外的流量的节点526。
[0056]在针对各个种类定义的联网配置选项包括带宽限制的实施方案中,流量求和策略或各种规则可应用于分类树,从而管控子节点相对于母节点的带宽限制之间的关系。在所说明的实例中,以下规则可应用:(a)树中没有子节点可具有超过其母节点的带宽限制的带宽限制,和(b)尽管母节点的子节点的带宽限制的总和可超过母节点的带宽限制,但在任何给定时间段期间,子节点表示的种类的实际流量速率的总和不可超过母节点的带宽限制。
[0057]根据这些规则,由于根节点(集体地表示针对产生分类图所针对的实例主机或网络装置定义的所有流量种类)具有K千兆位/秒的带宽限制,因此根节点的子节点中没有一个可具有大于K千兆位/秒的带宽限制;因此A〈K,B〈K,C〈K且D〈K。在节点520的情况下,子节点(节点522、525和526)的带宽限制已被指派为相加为母节点的带宽限制,且因此上述两个规则都满足。在表示具有D千兆位/秒的带宽限制的一般“其它”流量种类的节点530的情况下,子节点532(其它块存储流量)、534(因特网流量)、536(服务内流量)和538(不是由任何其它叶节点表示的混杂的或未分类的流量)各自也具有D千兆位/秒的带宽限制。可根据上文列出的第二规则如下解释此情形,其中子节点的标称带宽限制的总和(在这种情况下是4D千兆位/秒)超过母节点的带宽限制(D千兆位/秒)。尽管原则上子节点的种类中的每一者可具有高达D千兆位/秒的流量速率,但实际上,在任何给定秒(或其它适当的时间单元)期间,所有子节点的实际流量流的总和不超过D千兆位/秒。因此,如果在特定秒期间种类“其它块存储流量”(节点532)的流量速率是0.6D千兆位/秒,那么节点534、536和538组合的流量速率可能不允许超过0.4D。
[0058]在一些实施方案中,可通过NCS180针对给定实例主机或网络装置处的传入的和传出的流量产生相应树,且在联网配置选项和/或种类中,传入流量的树可与传出流量的树不同。在一些实施方案中,对于分类树的一些或所有节点,可针对持续带宽(例如被应用以对超过T秒的时间段内的带宽使用求平均值)和针对爆发带宽(例如,针对给定实例主机可允许4千兆位/秒的短期爆发流量速率持续高达2秒,即使该实例主机的持续带宽限制设置为I千兆位/秒)定义不同限制。如先前所指出,在一些实现方式中,给定实例主机、网络装置或存储装置的流量分类层级可以是平面的而不是包括多层。
[0059]在一些情形中,从管理角度来看,将分布式系统的不同实体的分类树组合成较高阶的树可以是有用的。图6说明根据至少一些实施方案的分级数据结构601的实例,其可用以组合数据中心处的多个实例主机的网络流量种类信息。如所示,可针对数据中心处的许多实例主机产生相应分类树(C树),诸如C树601A、601B、601M和601N。在所描绘的实施方案中,数据中心可包括布置在若干不同房间中的多个服务器机架。NCS可聚集并入于给定机架中的实例主机的C树,从而形成机架级C树,诸如603A和603B。在聚集的下一级,给定房间或数据中心的子集中的所有机架的机架级C树603可例如以房间级C树605A或605B的形式组合。在一些实施方案中,可通过组合房间级树来针对数据中心整体地创建单个合成树607。在一些实施方案中,可构建较高级树层级,诸如整体地处于可用容器、地理区域或提供者网络的等级处。
[0060]这些合成树层级可以若干方式帮助提供者网络的联网配置系统和管理者,尤其是在层级的可定制视觉表示以编程方式可用(例如,经由统一的控制台服务)的实现方式方面。可使用这些层级获得数据中心或提供者网络的不同部分处的带宽使用的一致或不一致的概述,这又可导致配置或放置改变以改进或平衡网络利用水平。当检查这些较高级层级时,可用带宽在不同流量种类中的分布也可变得更清晰,这又可有助于进行价格改变(例如,与更受欢迎的种类相关的流量的价格增加),价格改变有助于改进提供者网络的收益。放置服务也可例如通过确定机架级带宽使用而受益于较高级树层级,确定机架级带宽使用可有助于为新的服务实例选择适当的实例主机。
[0061 ] 分类程序图
[0062]如上文所描述,在至少一些实施方案中,联网配置服务器可确定可用以将网络流量单元(诸如包)分类为针对给定实例主机或网络装置定义的种类的程序的步骤或规则。图7说明根据至少一些实施方案的流量程序图750的实例,其可与分类树一起使用来确定网络流量单元的种类。此图750可包括多个决定节点,在这些节点中的每一者中指示网络流量的分类准则的相应集合
当前第3页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1