交互应用在云部署中的延迟差异平衡方法
【专利摘要】本发明提出一种交互应用在云部署中的延迟差异平衡方法，包括以下步骤：将交互性负载流插入第一队列，将非交互性负载流插入第二队列；分别计算交互性负载流和非交互性负载流的到达速率、占用虚拟机时间和离开速率；建立第一队列模型和第二队列模型；根据第一队列模型和第二队列模型计算第一队列长度和第二队列长度；计算第一队列的预计整体响应时间和第二队列的预计整体响应时间；调整第一队列应分配的网络服务资源量和第二队列应分配的网络服务资源量，以使第一队列的整体响应时间与所述第二队列的整体响应时间相同。本发明能够使用户体验更稳定，且大大缩短了交互性负载流的响应时间。
【专利说明】
交互应用在云部署中的延迟差异平衡方法
技术领域
[0001] 本发明设及网络技术领域，特别设及一种交互应用在云部署中的延迟差异平衡方 法。
【背景技术】
[0002] 随着越来越多的服务被部署到云上，虚拟机需要处理各种不同类型的数据流，为 用户提供有效可靠的服务。一般可W把所有数据流分为两类:一类是非交互性的负载流，例 如数值计算和图像处理等；另一类是交互性负载流，例如复杂游戏控制，实时白板等。非交 互性的负载流拥有软截止时间，可W在服务器空闲时间完成即可;而交互性的负载流对实 时性要求较高，且负载流需要多次进入虚拟机队列，导致延迟增大。因此，造成用户体验在 很大程度上的不稳定，因此需要一种平衡不同请求延迟的负载流调度方法。
[0003] 已有的较为经典的算法可W大致分为两类。一类方法主要关注网络和处理延迟， 采用最近服务器分配或生长树的方法，缩短所有流的响应时间。另一类是采用网络服务 (web service)的方法，聚焦在请求或相应的后台服务过程。
[0004] 然而，上述两种方法缺乏对交互性负载流延迟敏感的特性分析，不能保证交互性 操作的性能和延迟，使得响应时间超过用户的等待容忍上限，造成用户流失。换言之，上述 两种方法都忽略了在线交互应用的特性，没有考虑不同数据流的不同性质和对相应时间的 不同要求。
【发明内容】
[0005] 本发明旨在至少在一定程度上解决上述相关技术中的技术问题之一。
[0006] 为此，本发明的目的在于提出一种交互应用在云部署中的延迟差异平衡方法，该 方法能够使用户体验更稳定，且大大缩短了交互性负载流的响应时间。
[0007] 为了实现上述目的，本发明的实施例提出了一种交互应用在云部署中的延迟差异 平衡方法，包括W下步骤:S1:将数据流分为交互性负载流和非交互行负载流，并将所述交 互性负载流插入第一队列，将所述非交互性负载流插入第二队列；S2:计算将所述交互性负 载流插入第一队列时的第一到达速率、第一占用虚拟机时间和第一离开速率，并计算将所 述非交互性负载流插入所述第二队列时的第二到达速率、第二占用虚拟机时间和第二离开 速率;S3:根据所述第一队列的延迟容忍离开速率、第一达到速率、第一离开速率建立第一 队列模型，并根据所述第二队列的延迟容忍离开速率、第二达到速率和第二离开速率建立 第二队列模型；S4:分别根据所述第一队列模型和第二队列模型计算第一队列长度和第二 队列长度;S5:根据所述第一队列长度和所述交互性负载流占用其它虚拟机的时间计算所 述第一队列的预计整体响应时间，并根据所述第二队列长度计算所述第二队列的预计整体 响应时间；W及S6:调整所述第一队列应分配的网络服务资源量和所述第二队列应分配的 网络服务资源量，W使所述第一队列的预计整体响应时间与所述第二队列的预计整体响应 时间相同。
[000引根据本发明实施例的交互应用在云部署中的延迟差异平衡方法，通过把交互性负 载流从非交互性负载流中分离出来，新建队列，并预估网络延迟，调整两个排队队列上的服 务资源分配，平衡两种负载流响应时间，从而使得用户体验更稳定，且大大缩短了交互性负 载流的响应时间。
[0009] 另外，根据本发明上述实施例的交互应用在云部署中的延迟差异平衡方法还可W 具有如下附加的技术特征：
[0010] 在一些示例中，所述S2进一步包括:设定用户的耐屯、函数为：
[0011]
[0012]所述第一到达速率和所述第二到达速率均为泊松分布：
[001引其中，ω i是不同耐屯、函数的权重值，λ，1 /β，1 / 丫分别是达到速率、服务时间和离 开率的期望值。
[0019] 在一些示例中，所述S3进一步包括:所述第一队列长度由η变成η+1的概率为:Pi,J = P[Nn+l = j|Nn=i]=λr，所述第二队列长度由n变成n+l的概率为:Pi,j = p[Nn+l=j|Nn=i] =λ? ;所述第一队列长度由n+1变成η的概率为:P j, i = P [ Nn = i I Nn+1 = _j]=目r+λτ，所述第二队 列长度由n+1变成η的概率为:Pj,i = p[Nn= i INn+1 = j]=目1+λ?，其中，λτ和λι分别表示所述第 一到达速率和所述第二到达速率，θτ和θ?分别表示所述第一队列的延迟容忍离开速率和第 二队列的延迟容忍离开速率，λτ和λ?分别表示所述第一离开速率和所述第二离开速率。
[0020] 在一些示例中，所述S4进一步包括:设Pn(t)表示在t时刻，队列长度为η的概率，A (t)表示在t时刻之前到达的请求个数，则：
[0021]
[0022] 在t+h时刻的队列长度为η的概率可W表示为：
[0023] Ρη' (t+h) =Ρ' (t) =λΡη-ι+(θ+μ)Ρη，ι(?)-(λ+θ+μ)Ρη(?),
[0024] 其中ο化)表示在h时间间隔内到达或离开两个w上任务的概率；
[00巧]Pn(t+h)的导数为：
[00%] Pn(t+h)=P'（t)=APn-i+(9+y)Pn+i(t)-a+0+y)Pn(t);
[0027]当 n = 0 时，
[002引 p0，（t) = (0+y)Pi(t)+AP0(t);
[0029]由此得知，
[0030]
[003。 由于P0+Pi+…=1，所W
知=λ/(目+μ)，得到所述 第一队列的平均队列长度为：
[0035]在一些示例中，所述S5进一步包括：由于服务时间是指数分布，因此预估等待时间 的密度函数为：
[0045] 所述交互性数据占用其它虚拟机的时间为：
[0046]
[0047] 所述交互性数据占用其它虚拟机的时间的期望值为：
[004引
[0049]在一些示例中，所述S6进一步包括:所述第一队列的预计整体响应时间为：
[0055]并设定虚拟机总资源为α，则μτ+μι = α，令所述第一队列的整体响应时间与所述第 二队列的整体响应时间相等，表示为：
[0059] 其中，τ =目r-Ar，m=目ι+α-λι;
[0060] 则分配给所述第一队列的资源量为：
[0061]
[0062] 分配给所述第二队列的资源量为：
[0063]
[0064] 本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变 得明显，或通过本发明的实践了解到。
【附图说明】
[0065] 本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得 明显和容易理解，其中：
[0066] 图1是根据本发明实施例的交互应用在云部署中的延迟差异平衡方法的流程图；
[0067] 图2是本发明一个实施例的交互应用在云部署中的延迟差异平衡方法的第一队列 和第二队列的转移状态示意图；
[0068] 图3是现有调度模型环境下得到的两种负载流的响应时间的示意图；
[0069] 图4是本发明一个实施例的交互应用在云部署中的延迟差异平衡方法得到的两种 负载流的响应时间的示意图；W及
[0070] 图5是本发明一个实施例的交互应用在云部署中的延迟差异平衡方法与现有调度 模型环境下得到的响应时间的累积分布函数对比图。
【具体实施方式】
[0071] 下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终 相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附 图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
[0072] W下结合附图描述根据本发明实施例的交互应用在云部署中的延迟差异平衡方 法。
[0073] 图1是根据本发明一个实施例的交互应用在云部署中的延迟差异平衡方法的流程 图。如图1所示，根据本发明一个实施例的交互应用在云部署中的延迟差异平衡方法，包括 W下步骤：
[0074] 步骤S1:将数据流分为交互性负载流和非交互行负载流，并将交互性负载流插入 第一队列，将非交互性负载流插入第二队列。
[0075] 步骤S2:计算将交互性负载流插入第一队列时的第一到达速率、第一占用虚拟机 时间和第一离开速率，并计算将非交互性负载流插入第二队列时的第二到达速率、第二占 用虚拟机时间和第二离开速率。
[0076] 具体地，步骤S2进一步包括：
[0077] 假设用户的耐屯、函数为若干个指数函数的加权值：
[007引
[0079] 其中，0含τ含1是在零延迟的条件下，用户不离开系统的概率，ωι是不同耐屯、函数 的权重值。
[0080] 进一步地，第一到达速率和第二到达速率均为泊松分布：
[0086] 其中，λ，1/β，1/丫分别是达到速率、服务时间和离开率的期望值。
[0087] 步骤S3:根据第一队列的延迟容忍离开速率、第一达到速率、第一离开速率建立第 一队列模型，并根据第二队列的延迟容忍离开速率、第二达到速率和第二离开速率建立第 二队列模型。
[0088] 具体地，上述步骤S3进一步包括：
[0089] 第一队列长度由η变成n+1的概率为:pi,j = p阳。+1 =引亂=1]=人。第二队列长度由 η变成n+1的概率为:pi,j = p阳n+i = j |亂=：[]=入1。第一队列长度由]1+1变成]1的概率为响,1 = P阳n=i |Nn+l = j]=目r+λ。第二队列长度由n+1变成η的概率为:Pj,i = p阳n=i |Nn+l = j]=白1+ λ?。其中，λτ和λι分别表示第一到达速率和第二到达速率，θτ和θι分别表示第一队列的延迟容 忍离开速率和第二队列的延迟容忍离开速率，λτ和λ?分别表示第一离开速率和第二离开速 率。作为具体的示例，第一队列和第二队列的状态转移过程如图2所示。
[0090] 步骤S4:分别根据第一队列模型和第二队列模型计算第一队列长度和第二队列长 度。
[0091] 具体地，设Pn(t)表示在t时刻，队列长度为η的概率，A(t)表示在t时刻之前到达的 请求个数，则：
[0092]
[0093] 在t+h时刻的队列长度为η的概率可W表示为：
[0094] Ρη( t+h) = Ρη-1( t)Ah+Pn(t ) [ 1_(λ+θ+μ化]+Pn+l(t )(目+]i化+0化），
[00M ]其中0化)表示在h时间间隔内到达或离开两个W上任务的概率；
[0096] Pn(t+h)的导数为：
[0097] Pn' (t+h) =P' (t) =λΡη-?+(θ+μ)Ρη，ι(?)-(λ+θ+μ)Ρη(?);
[009引 当η = ο时，
[0099] P'〇(t) = (0+y)Pi(t)+AP〇(t);
[0100] 由此得知，
[0101]
[0102] 其中，上述公式中的λ分别代表、和λι，θ分别代表θτ和θι，μ代表μτ和μι，下同。
[0103] 由于 Ρο+Ρι+…=1，所W
令 Ρ = λ/(θ+μ)，得到第一 队列的平均队列长度为：
[0107] 步骤S5:根据第一队列长度和交互性负载流占用其它虚拟机的时间计算第一队列 的整体响应时间，并根据第二队列长度计算第二队列的整体响应时间。
[0108] 具体地，第一队列的预估网络延迟为：
[0109]
[0110] 第二队列的预估网络延迟为：
[0111]
[0112] 贝1J，第一队列的预估网络延迟的期望值为：
[0113]
[0114] 第二队列的预估网络延迟的期望值为：
[0115]
[0116] 由于交互性数据流比非交互性数据流多一部分访问其他虚拟机的过程，时间分布 为高斯分布，所W交互性数据流占用其它虚拟机的时间为：
[0117]
[0118] 交互性数据流占用其它虚拟机的时间的期望值为：
[0119]
[0120] 步骤S6:调整第一队列应分配的网络服务资源量和第二队列应分配的网络服务资 源量，W使第一队列的预计整体响应时间与第二队列的预计整体响应时间相同。
[0121 ]具体地，第一队列的预计整体响应时间为：
[0122]
[0123] 第二队列的预计整体响应时间为：
[0124]
[0125] 设定；
[0126]
[0127]并设定虚拟机总资源为α，则μτ+μι = α，令第一队列的整体响应时间与所述第二队 列的整体响应时间相等，表示为：
[0131] 其中，τ =目r-Ar，m=目ι+α-λι;
[0132] 则分配给第一队列的资源量为：
[0133]
[0134] 分配给第二队列的资源量为：
[0135]
[0136] 作为具体的示例，目前的调度模型环境下，服务器中一般有两种数据流，即交互性 负载流和非交互性负载流，两者排在同一队列，交互行负载流和非交互性负载流按照排队 顺序共享服务器的计算和存储资源。图3展示了目前调度模型环境下两种负载流的响应时 间的示意图，图4展示了根据本发明实施例得到的两种负载流的响应时间的示意图，结合图 3和图4可W看出，本发明实施例的交互应用在云部署中的延迟差异平衡方法显著缩短了交 互性操作的延迟。为表一般性，在本发明的实施例中进行了多次验证，针对两种负载流的响 应时间，绘制出不采用本发明实施例的方法和采用本发明实施例的方法得到的累计分布函 数(CDF，Qimulative Dist;r;Lbution Function)对比图，例如图5所示。其中，左图为不采用 本发明实施例的方法得到的累计分布函数示意图，右图为采用本发明实施例的方法得到的 累计分布函数示意图。
[0137] 综上，根据本发明实施例的交互应用在云部署中的延迟差异平衡方法，充分考虑 了云部署情况下不同负载流具有的不同特性，着重解决了延迟敏感的交互性负载流响应时 间较长的问题。通过把交互性负载流从非交互性负载流中分离出来，新建队列，调整两个排 队队列上的服务资源分配，并预估网络延迟，达到平衡两种负载流响应时间的目的，从而使 得用户体验更稳定，且大大缩短了交互性负载流的响应时间，进而为现在越来越多的基于 云的分布式交互应用提供更好的服务质量。
[013引在本发明的描述中，需要理解的是，术语"中屯、"、"纵向"、"横向"、"长度"、"宽度"、 "厚度"、"上"、"下"、"前"、"后左"、"右"、"竖直"、"水平"、"顶"、"底""内"、"外"、"顺时 针"、"逆时针"、"轴向"、"径向"、"周向"等指示的方位或位置关系为基于附图所示的方位或 位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必 须具有特定的方位、W特定的方位构造和操作，因此不能理解为对本发明的限制。
[0139] 此外，术语"第一"、"第二"仅用于描述目的，而不能理解为指示或暗示相对重要性 或者隐含指明所指示的技术特征的数量。由此，限定有"第一"、"第二"的特征可W明示或者 隐含地包括至少一个该特征。在本发明的描述中，"多个"的含义是至少两个，例如两个，Ξ 个等，除非另有明确具体的限定。
[0140] 在本发明中，除非另有明确的规定和限定，术语"安装"、"相连"、"连接"、"固定"等 术语应做广义理解，例如，可W是固定连接，也可W是可拆卸连接，或成一体;可W是机械连 接，也可W是电连接;可W是直接相连，也可W通过中间媒介间接相连，可W是两个元件内 部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员 而言，可W根据具体情况理解上述术语在本发明中的具体含义。
[0141] 在本发明中，除非另有明确的规定和限定，第一特征在第二特征"上"或"下"可W 是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在 第二特征"之上"、"上方"和"上面"可是第一特征在第二特征正上方或斜上方，或仅仅表示 第一特征水平高度高于第二特征。第一特征在第二特征"之下"、"下方"和"下面"可W是第 一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
[0142] 在本说明书的描述中，参考术语"一个实施例"、"一些实施例"、"示例"、"具体示 例"、或"一些示例"等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特 点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不 必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可W在任 一个或多个实施例或示例中W合适的方式结合。此外，在不相互矛盾的情况下，本领域的技 术人员可W将本说明书中描述的不同实施例或示例W及不同实施例或示例的特征进行结 合和组合。
[0143] 尽管上面已经示出和描述了本发明的实施例，可W理解的是，上述实施例是示例 性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可W对上述 实施例进行变化、修改、替换和变型。
【主权项】
1. 一种交互应用在云部署中的延迟差异平衡方法，其特征在于，包括以下步骤： S1:将数据流分为交互性负载流和非交互行负载流，并将所述交互性负载流插入第一 队列，将所述非交互性负载流插入第二队列； S2:计算将所述交互性负载流插入第一队列时的第一到达速率、第一占用虚拟机时间 和第一离开速率，并计算将所述非交互性负载流插入所述第二队列时的第二到达速率、第 二占用虚拟机时间和第二离开速率； S3:根据所述第一队列的延迟容忍离开速率、第一达到速率、第一离开速率建立第一队 列模型，并根据所述第二队列的延迟容忍离开速率、第二达到速率和第二离开速率建立第 二队列模型； S4:分别根据所述第一队列模型和第二队列模型计算第一队列长度和第二队列长度； S5:根据所述第一队列长度和所述交互性负载流占用其它虚拟机的时间计算所述第一 队列的预计整体响应时间，并根据所述第二队列长度计算所述第二队列的预计整体响应时 间；以及 S6:调整所述第一队列应分配的网络服务资源量和所述第二队列应分配的网络服务资 源量，以使所述第一队列的预计整体响应时间与所述第二队列的预计整体响应时间相同。2. 根据权利要求1所述的交互应用在云部署中的延迟差异平衡方法，其特征在于，所述 S2进一步包括： 设定用户的耐心函数为：所述第一到达速率和所述第二剞伏谏率询为泊松分布：服务时间为指数分布：用户随机离开系统的概率为指数分布：其中，ωι是不同耐心函数的权重值，λ，1/β，1/γ分别是达到速率、服务时间和离开率的 期望值。3. 根据权利要求2所述的交互应用在云部署中的延迟差异平衡方法，其特征在于，所述 S3进一步包括： 所述第一队列长度由η变成η+1的概率为:pi,j = p[Nn+i = j |1=;[]=11^，所述第二队列长 度由η变成n+1 的概率为:pi,j = p[Nn+i = j |Νη=;?]=λ1; 所述第一队列长度由η+1变成η的概率为:pj,i = p[Nn=i |Nn+i = j] = 0r+Ar，所述第二队 列长度由n+1变成η的概率为:pj,i = p[Nn=i |Nn+i = 其中，\4卩心分别表示所述第一到达速率和所述第二到达速率，别表示所述第 一队列的延迟容忍离开速率和第二队列的延迟容忍离开速率，λ^Ρλ:分别表示所述第一离 开速率和所述第二离开速率。4. 根据权利要求3所述的交互应用在云部署中的延迟差异平衡方法，其特征在于，所述 S4进一步包括： 设Pn(t)表示在t时刻，队列长度为η的概率，A(t)表示在t时刻之前到达的请求个数，则： 在t+h时刻的队列长度为η的概率可以表示为： Pn(t+h) = Pn-i(t)Ah+Pn(t) [ 1-(λ+θ+μ)]ι]+Ρη+ι(t) (9+y)h+o(h)， 其中0(h)表示在h时间间隔内到达或离开两个以上任务的概率； Pn(t+h)的导数为： P7 n(t+h) =P' (t) =λρη-ι+(θ+μ)ρη+ι(?)-(λ+θ+μ)ρη(?)； 当η = 0时， P'oCt) = (θ+μ)Ρι(?)+λΡ〇(?)； 由此得知， ^ Ν * / η η-ι\ 1 / Η 十 i·7 y J 由于Po+Pd…=1，所以.= λ/ (θ+μ)，得到所述第一 队列的平均队列长度为：所述第二队列的平均队列长度为：5. 根据权利要求4所述的交互应用在云部署中的延迟差异平衡方法，其特征在于，所述 S5进一步包括： 由于服务时间是指数分布，闵此预估等待时间的密度函数为：所述第一队列的预估网络延迟为：所述第二队列的预估网络延迟为： -丄 PVf - ^ 贝1J，所述第一队列的预估网络延迟的期望值为： 所述第二队列的预估网络延迟的期望值为：所述交互性数据占用其它虚拟机的时间为： '......9 所述交互性数据占用其它虚拟机的时间的期望值为：6.根据权利要求5所述的交互应用在云部署中的延迟差异平衡方法，其特征在于，所述 S6进一步包括： 所述第一队列的预计整体响应时间为：所述第二队列的预计整体响应时间为： 设定：并设定虚拟机总资源为α，则yr+yi = a，令所述第一队列的整体响应时间与所述第二队 列的整体响应时间相等，表示为： 则：其中，τ - ΘΓ-λΓ ? m - θι+cx-λι; 则分配给所述第一队列的资源量为：分配给所述第二队列的资源量为：
【文档编号】H04L29/08GK105872043SQ201610189231
【公开日】2016年8月17日
【申请日】2016年3月29日
【发明人】徐恪, 张宇超, 沈蒙
【申请人】清华大学