缩放计算群集的制作方法
【专利说明】缩放计算群集
[0001]背景
[0002]基于群集的计算解决方案已在提供各种服务中变得普遍，这部分是因为计算群集提供具成本效益的方式来使具有可比较能力的单计算机实现较大处理功率和可靠度。在适当规模下对特定计算任务使用不同数量或类型(例如，功能、存储容量等)的计算节点来设计基于群集的计算解决方案允许群集操作者对所述任务有效地分配计算资源。然而，一些计算任务具有波动或受限持续时间的资源需求。例如，仅可以在一天的某个时间期间大量利用某些基于网络的服务，且在其余时间未充分利用计算资源。在这些情况下，基于群集的计算解决方案可设计有足以满足计算任务的最大资源需求的计算资源。然而，这个解决方案降低资源分配效率，且因此降低成本效益。或者，群集计算解决方案可以被缩放来对于计算任务维持有效计算资源利用。缩放计算群集具有其自身难处(诸如传送数据和服务停机时间)，其也降低群集计算解决方案的成本效益。
[0003]附图简述
[0004]图1示出根据一些实施方案的在分布式计算系统中缩放计算群集的时间线。
[0005]图2是示出根据一些实施方案的示例性计算群集操作环境的方框图。
[0006]图3是示出根据一些实施方案的示例性基于网络的群集托管服务的方框图。
[0007]图4是示出根据一些实施方案的示例性计算群集的方框图。
[0008]图5是示出根据一些实施方案的用于缩放计算群集的方法的高级流程图。
[0009]图6A到6C是示出根据一些实施方案的当前群集与新群集之间的经指派数据片复制位置的方框图。
[0010]图7示出根据一些实施方案的示例性系统。
[0011]虽然本文通过若干实施方案和示意图示的实例描述实施方案，但所属技术领域的熟练人员将认识到，实施方案不限于所描述的实施方案或图示。应了解，图示和其详述并非意在将实施方案限于所公开的特定形式，但相反，意在涵盖落在如由所附权利要求书界定的精神和范围内的所有修改、等效物和替代物。本文所使用的标题仅用于组织目的且并非意指用于限制本发明描述或权利要求书的范围。如贯穿本申请所使用，字词“可以”是在许可意义上(即，意指可能)，而非在强制性意义上(即，意指必须)加以使用。相似地，字词“包括(include、including和includes) ”意指包括但不限于。
[0012]发明详述
[0013]在下文详述中，陈述诸多具体详情以深入了解所公开标的物。然而，所属技术领域的熟练人员应了解，所公开标的物可以在没有这些具体详情的情况下实行。在其它实例中，未详细描述所属技术领域的一般人员所知的方法、设备或系统以免使所公开标的物不清楚。
[0014]还应了解，尽管术语第一、第二等可以在本文用于描述各种元件，但这些元件不应受这些术语限制。这些术语仅用于区别一个元件与另一元件。例如，在不背离本发明的范围的情况下，第一接触件可称为第二接触件，且相似地，第二接触件可称为第一接触件。第一接触件和第二接触件都是接触件，但不是相同接触件。
[0015]本发明描述中所使用的术语仅用于描述特定实施方案的目的且并非意在限制本发明。如本发明描述和所附权利要求书中所使用，除非上下文另有清楚指示，否则单数形式“一个(a/an)”和“所述”亦意在包括复数形式。还应了解，如本文所使用的术语“和/或”指代且涵盖相关联所列术语中的一个或多个的任何和所有可行组合。还应了解，术语“包括(includes、including、comprises和/或comprising) ”在本说明书中被使用时，指定所述特征、整数、步骤、操作、元件和/或组件的存在，但不排除一个或多个其它特征、整数、步骤、操作、元件、组件和/或其群组的存在。
[0016]如本文所使用，术语“如果”可以被解释为意指“在...时”或“在...之后”或“响应于确定”或“响应于检测”，这取决于具体情况。相似地，片语“如果确定”或“如果检测[所述条件或事件]”可以被解释为意指“在确定之后”或“响应于确定”或“在检测[所述条件或事件]之后”或“响应于检测[所述条件或事件]”，这取决于具体情况。
[0017]本文描述在分布式系统中缩放计算群集的各个实施方案。具有用于存储群集数据并处理对群集数据的访问请求的多个节点的计算群集的用户可以确定不同群集配置可以更好地适于由所述计算群集执行的任务。例如，如果计算群集节点负担过重或未被充分利用，那么可以添加或移除不同数量的节点或不同类型的节点以提高计算群集效率。用户可能希望作出这些变更并将计算机群集缩放成适当有效的配置。通常，缩放计算群集可能涉及复杂数据传送、联网变更，且在一些情况下要购买昂贵的设备。替代地，在一些实施方案中，用户可以将群集缩放请求发送到群集控制接口，所述群集控制接口接着可以根据请求的配置对计算群集实行缩放。在至少一些实施方案中，可以由基于网络的群集托管服务托管计算群集，所述基于网络的群集托管服务可以实施和执行各种系统和技术以在分布式计算系统中缩放计算群集，如下文所论述。
[0018]通常，可以由分布式计算系统实施计算群集，以对一个或多个节点分组以便一起合作完成各种计算任务。计算节点(也称为“节点”)可以在计算装置(诸如下文参考图7所描述的计算系统1000)上实施。尽管单个节点可以在单个计算装置上实施，但节点不如此受限。例如，多个节点可以在单个计算装置上的不同逻辑(例如，虚拟)机器上实施。相似地，计算装置可以实施不同硬件配置(例如多个处理器)，其中每个可以被配置来实施计算节点。
[0019]群集节点可以个别地执行各种任务，诸如循序地或按序地、或一起或同时地，诸如并行地。除执行这些各种任务外，节点还可以存储数据存储装置或可访问数据存储装置。通常，每个节点仅可以访问群集数据的某个部分，诸如因仅可访问存储装置(诸如磁盘)的具体集一但并非所有群集不限于这种配置。共同通信基础结构(诸如私人网络)通常可以通过交换消息促进在群集节点之间通信。消息和/或其它通信格式可以用于在计算群集节点之间共享数据。计算群集配置可以包括群集中节点的数量或群集中节点的类型(例如，节点计算容量、节点处理容量、特定软件或硬件配置，诸如操作系统)。应注意，虽然所属技术领域的一般人员熟知计算群集中的计算节点，但上文论述并非意在限制性。
[0020]在一些实施方案中，可以对计算群集提供群集控制接口，从而允许对计算群集具有控制权限的用户、操作者、拥有者、管理者或其它当事人诸如通过变更计算群集中节点的数量或类型缩放计算群集，或执行其它群集控制操作。群集控制接口可以从用户接收群集缩放请求。群集缩放请求可以指示当前操作群集中节点的数量或类型的变更。例如，如果当前群集操作两个节点，那么群集缩放请求可以指示操作五个节点的变更。响应于接收群集缩放请求，控制接口可以创建具有请求消息中指示的节点的数量和/或类型的新群集。群集控制接口接着可以开始复制存储在当前缩放群集中的群集数据。可以由新群集和当前群集执行复制操作，其可以将群集数据直接从当前群集中节点发送到新群集中节点。新群集中节点和当前群集中节点中的每个可以并行地发送和接收群集数据。在一些实施方案中，虽然执行复制，但当前群集可以继续对试图从当前群集读取群集数据的访问请求作出响应。然而，在至少一些实施方案中，响应于写入具有错误的访问请求，群集控制接口可以将当前群集置于只读模式。控制群集接着可以将接收访问请求的网络端点从当前群集移动到新群集。在至少一些实施方案中，群集控制接口接着可以停用或终止当前群集的操作。
[0021]在至少一些实施方案中，基于网络的群集托管服务(诸如下文参考图2和3所描述的基于网络的群集托管服务)可以在分布式计算环境中实施缩放数据群集。基于网络的群集托管服务可以允许用户创建、管理、修改或终止计算群集。这些计算群集可以由虚拟计算节点(诸如在由基于网络的群集托管服务托管的逻辑/虚拟机器上实施的节点)组成。用户可以管理在基于网络的群集托管服务上托管的计算群集以对用户系统或装置提供计算服务。
[0022]例如，在一些实施方案中，基于网络的群集托管服务可以实施网络服务以使用户(例如，订户)在云端计算环境中快速地、容易地且具成本效益地设置、操作和缩放数据仓库。由网络服务托管的计算群集可以提供企业级数据库查询和管理系统，其诸如通过将群集缩放请求发送到由网络服务实施的群集控制接口以允许用户缩放所述群集。缩放群集可以允许网络服务的用户更有效地执行其数据仓库功能，诸如快速查询结构化数据的能力；集成各种数据加载和ETL(提取、变换和加载)工具；客户端与一流商业智能(BI)报告、数据挖掘和分析工具的连接；和最优化极快的复杂分析查询执行，诸如包括多表联接、子查询和聚合。
[0023]可以实施在分布式计算环境中缩放计算机群集的各个实施方案。图1示出根据一些实施方案的在分布式计算系统中缩放计算群集的时间线。在第一阶段110处，当前群集112被示出为具有当前对存储在当前群集112的节点中的群集数据处理访问请求和其它任务/操作的三个节点。检测群集缩放事件(例如，诸如一个或多个节点下降到高于或低于某些利用率阈值，接收群集缩放请求等)。基于检测到的事件，确定当前群集112的节点的变更(例如，资源未被充分利用可以指示移除节点，群集缩放请求可以指示一种或多种不同类型的节点的变更)。如在120处所示，创建新群集114。根据确定的变更，可以创建新群集114，诸如以移除或添加多个节点。如图4中所示，确定的变更将新群集114的节点增加到四个节点。
[0024]如在116处所指示，将存储在当前群集112中的群集数据从当前群集112复制到新群集114。下文参考图5到6C论述用于执行所述复制的各种方法和技术。在一些实施方案中，例如，根据指派模式指派存储位置处的群集数据(诸如当前群集112中的数据片)，其可以确保在旧群集中节点与新群集中节点之间均匀地分配复制的工作负荷，以及将群集数据发送到新群集114的节点。虽然执行复制操作，但当前群集112仍可以执行读取访问请求。在复制操作完成之后(如在130处所示)，将当前群集112的网络端点移动到新群集114(如在118处所指示)。网络端点的移动使得从用户角度来看，访问请求在发送之前且在网络节点移动之后发送到相同网络地址。接着，新群集114可以对存储在新群集114中的群集数据执行读取和写入访问请求，如在140处所指示。在一些实施方案中，可以终止当前群集112。
[0025]计算群集操作环境