率的历史行为)的观察而动态地调整对端点服务器的添加和移除。由此，缩放器220可合并基于所观察模式的学习算法。
[0054]作为示例，在我们只考虑传入连接速率和系统负载的示例中，添加阈值可能等于以秒为单位的引导端点服务器的时间乘以以传入连接/秒为单位的速率(R)的近似乘积。然后，该乘积除以单个端点服务器可主存的端点(H)的数量。例如，如果端点服务器的引导时间为60秒、传入连接速率为每秒1个、并且单个端点服务器所主存的端点的数量为16，则添加阈值则可能约为4个端点主机。可类似地计算移除阈值，但是其中添加某一附加因子(X)以防止激进的缩小。例如，如果X为1，移除阈值则可能为5个端点主机。然而，这些算法只是示例。例如，如在本文中变得清楚的，系统负载可以是传入连接速率和该系统的当前用户数量的函数。
[0055]图6解说了除环境容纳多个租户以外与图2A至2F的环境200类似的环境600。代理210从可能各自包括一个或多个用户的多个租户接收传入连接请求。例如，代理210以特定的速率从第一租户接收传入连接请求601并且以另一特定速率从第二租户接收传入连接请求602。可能存在每一租户专用的端点集合。例如，端点集合201包含可用于处理来自第一租户的传入连接请求601的端点服务器A至F，而端点集合202包含可用于处理来自第二租户的传入连接请求602的端点服务器a到c。
[0056]在该多租户环境中，缩放器230可能基于租户特定数据作出缩放判定。例如，缩放器230可能基于所观察的第一租户的行为计算适用于第一端点集合201的第一添加和移除阈值，并且基于所观察的第二租户的行为计算适用于第二端点集合202的第二添加和移除阈值。例如，添加和移除阈值可以是输入参数(诸如最大的所支持传入连接速率、每一应用启动端点支持的最大会话数、以及预期的添加应用启动端点服务器的时间)的函数。学习对每一租户的观察可能基于租户的传入连接请求的历史观察而改变最大的所支持的传入连接速率。例如，缩放器230可能观察到特定租户在特性上具有以日、周、月或年的特定时间的峰值传入连接速率，并且由此随着峰值时间接近而相应地改变该租户的添加和/或移除阈值。该导致运行端点服务的实体的降低的销售成本。此外，使用该服务的消费者不需要计划从第一天起的最大峰值能力。
[0057]图7A解说了一种用于将端点服务器自动地添加到端点集合的方法700A的流程图。例如，在图2E的状态200E中，将新端点服务器Η添加到端点集合201。在观察到当前系统负载上升到添加阈值以上之后，发起方法700Α(动作701Α)。作为响应，将一个或多个应用启动端点服务器添加到适当的端点集合(动作702Α)。例如，在图2Ε的状态200Ε中，缩放器230观察到系统负载超过添加阈值。因此，缩放器230指令(如箭头241所表示的)端点创建器220创建端点服务器。然后，端点创建器220创建端点服务器Η(如箭头242所表示的)并且回去向缩放器230报告(如箭头243所表示的)。
[0058]在多租户环境中，缩放器230可能观察到特定租户的系统负载，并且将其与为该特定租户计算的添加阈值进行比较。然后，缩放器230可能指令端点创建器220在端点集合中创建属于该租户的端点服务器。还可能通知负载平衡器240使得来自该租户的请求可由所添加的端点服务器处理(如箭头244所表示的)。
[0059]图7Β解说了一种用于从端点集合自动地移除端点服务器的方法700Β的流程图。例如，在图2F的状态200F中，从端点集合201移除端点服务器F。在观察到当前系统负载下降到移除阈值以下之际，发起方法700Β(动作701Β)。作为响应，从适当的端点集合移除一个或多个应用启动端点服务器(动作702Β)。例如，在图2F的状态200F中，缩放器230观察到系统负载下降到移除阈值以下。因此，缩放器230指令(如箭头251所表示的)端点创建器220移除端点服务器。然后，端点创建器220移除端点服务器F(如箭头252所表示的)并且回头向缩放器230报告(如箭头253所表示的)。
[0060]在多租户环境中，缩放器230将观察到特定租户的系统负载，并且将其与为该特定租户计算的移除阈值进行比较。然后，缩放器230将指令端点创建器220移除端点集合中属于租户的端点服务器。还可能通知负载平衡器240使得来自该租户的请求可由所添加的端点处理(如箭头254所表示的)。
[0061]因此，已经描述了一种用于自动地添加和移除应用启动端点的有效机制。本发明可以不背离其精神或必要特性的其他特定形式体现。所描述的实施例被认为在所有方面只是解说性而非限制性的。因此，本发明的范围由所附权利要求而非在前描述指示。在权利要求的等同的含义和范围内的所有变化都被包含在其范围内。
【主权项】
1.一种用于自动地调整应用启动端点服务器的数量的方法，所述方法包括: 监视由多个应用启动端点服务器服务的系统负载的动作； 计算添加阈值的动作，在超过该添加阈值时，附加的一个或多个应用启动端点服务器将被添加到可服务所述传入连接的所述多个应用启动端点服务器；以及 响应于观察到所述系统负载已经上升到所述添加阈值以上，将一个或多个应用启动端点服务器添加到所述多个应用启动端点服务器的动作。2.根据权利要求1所述的方法，其特征在于，添加一个或多个应用启动端点服务器的动作包括部分地供应要被添加的应用启动端点服务器的动作。3.根据权利要求1所述的方法，其特征在于，进一步包括: 将新传入连接请求分配给所述多个应用启动端点服务器中仍然具有处理新传入连接请求的能力的被最多利用的应用启动端点服务器的动作。4.根据权利要求1所述的方法，其特征在于，所述添加阈值是根据最大的所支持传入连接速率计算的。5.根据权利要求1所述的方法，其特征在于，所述添加阈值是根据每一应用启动端点服务器支持的最大端点数计算的。6.根据权利要求1所述的方法，其特征在于，所述添加阈值是根据添加应用启动端点服务器的时间计算的。7.根据权利要求1所述的方法，其特征在于，所述系统负载是使用端点服务器集合的传入连接速率来计算的。8.根据权利要求7所述的方法，其特征在于，所述系统负载还使用端点集合的用户数量来计算。9.根据权利要求1所述的方法，其特征在于，所述系统负载对应于用于服务来自第一租户的传入连接的第一多个端点服务器，所述方法进一步包括: 计算由服务来自第二租户的传入连接的第二多个端点服务器服务的第二系统负载的第二添加阈值的动作；以及 响应于观察到所述第二系统负载已经上升到所述第二添加阈值以上，将一个或多个应用启动端点服务器添加到所述第二多个应用启动端点服务器的动作。10.一种包括在其上具有计算机可执行指令的一个或多个计算机可读存储介质的计算机程序产品，所述计算机可执行指令被结构化成使得在由计算系统的一个或多个处理器执行时，使所述计算系统执行一种用于自动地调整应用启动端点服务器的数量的方法，所述方法包括: 监视由多个应用启动端点服务器服务的系统负载的动作； 计算添加阈值的动作，在超过所述添加阈值时，附加的一个或多个应用启动端点服务器将被添加到可服务所述传入连接的所述多个应用启动端点服务器；以及 响应于观察到所述系统负载已经上升到所述添加阈值以上，将一个或多个应用启动端点服务器添加到所述多个应用启动端点服务器的动作。
【专利摘要】调整可用于服务传入连接请求的应用启动端点服务器的数量。应用启动端点是可用于启动其他应用的实体，诸如运行代码。端点的示例包括会话管理服务器中的虚拟机或者会话。监视与传入连接速率和用户数量相关联的系统负载。作为响应，计算添加阈值和可能的移除阈值。如果系统负载上升到添加阈值以上，则将(诸)应用启动端点服务器添加到可处理传入连接请求的端点集合。如果系统负载下降到移除阈值以下，则从端点集合移除(诸)应用启动端点服务器。可为每一租户计算添加和移除阈值，并且可基于租户行为调整这些添加和移除阈值。
【IPC分类】G06F9/50
【公开号】CN105393221
【申请号】CN201480036490
【发明人】M·N·达斯, S·萨姆帕斯, S·A·库辛, A·侯赛因, I·M·本-沙查, J·李, N·南约实
【申请人】微软技术许可有限责任公司
【公开日】2016年3月9日
【申请日】2014年6月23日
【公告号】EP3014439A1, US20140379899, WO2014209851A1