基于流式计算的资源管理方法及装置的制造方法_2

文档序号:9471792阅读:来源:国知局
在预 定的时间间隔内所述计算流的平均延迟时间长度;根据为所述多条计算流赋予的权值W及 计算的平均延迟时间长度分别计算所述多条计算流的价值评分;根据计算的所述多条计算 流的价值评分对分配给所述计算流的资源进行调整。
[0033] 在具体地实现方式中,首先,一方面可根据计算流的数据订阅流量在全部计算流 的数据订阅流量总和的百分比分别对所述多条计算流赋予权值。具体可利用下式(1)对多 条计算流分别赋予权值。 E〇034]
??????????????????????????????????????????????????????????????? 式(1)
[003引其中,Wi为第i条计算流的权值,Ti为第i条计算流的数据订阅流量,n为计算流 的个数,Tk为第k条计算流的数据订阅流量。
[0036] 此外,还可对每条计算流的权值进行更新。具体来说,在权值服务存储时处理每条 计算流的权值更新。例如,一种比较简单可靠的方式是利用apachezookeeper来进行存储, 需要说明的是,apachezooke巧er是一个开源文件应用程序接口(API),能使大型系统的分 布式进程相互同步,运样所有提出请求的客户端就可W得到一致的数据。每条计算流在预 定时间间隔(如5分钟)后根据数据订阅流量情况更新apachezookeeper,在更新的同时 根据每条计算流的当前数据订阅流量计算新的权值。
[0037] 另一方面,依据前述步骤S110获取到计算流的延迟时间长度计算平均延迟时间 长度。具体可通过下式(2)计算平均延迟时间长度:
[0038] Delayk=avgk (Tc-Tf)...............................................................式(2)
[0039] 其中,Delay,为第k条计算流的平均延迟时间长度,T。为第k条计算流的收到确 认时间,Tf为第k条计算流的数据订阅时间。
[0040] 其次,在获得多条计算流赋予的权值W及计算的平均延迟时间长度之后,具体可 通过下式(3)计算所述多条计算流的价值评分:
[0041]Vk=f值elayj...........................................................................式做
[004引其中,Vk为第k条计算流的价值评分,Delayk为第k条计算流的平均延迟时间长 度,f值elayj为预先建立的价值函数,用于表征第k条计算流的平均延迟时间长度与其价 值评分的对应关系。
[0043] 所述价值函数可根据具体的应用场景建立,一般来说,价值评分的取值范围为 0~1之间。例如,当第k条计算流的平均延迟时间长度大于0且小于等于5时,第k条计 算流的价值评分Vk为1,当第k条计算流的平均延迟时间长度大于5且小于等于10时,第 k条计算流的价值评分Vk为0. 5,当第k条计算流的平均延迟时间长度大于10时,第k条 计算流的价值评分Vk为0。
[0044] 根据本发明的可选实施例,根据计算的所述多条计算流的价值评分对分配给所述 计算流的资源进行调整的处理包括:增加为计算出的价值评分低于预定的第一价值阔值的 计算流分配的资源。
[0045] 根据本发明的另一可选实施例,所述根据计算的所述多条计算流的价值评分对分 配给所述计算流的资源进行调整的处理包括:根据为所述计算流计算出的价值评分计算所 述多条计算流的总价值评分,如果计算出的总价值评分低于预设的总价值阔值,则增加为 计算出的价值评分低于预定的第二价值阔值的计算流分配的资源。其中,具体可通过下式 (4)计算计算流的总价值评分:
[0046]
..................................................................式(4)
[0047] 其中,V…为所述多条计算流的总价值评分,n为计算流的个数,Vk为第k条计算 流的价值评分,Wk为第k条计算流的权值。
[0048]根据本发明的另一可选实施例,所述根据计算的所述多条计算流的价值评分对分 配给所述计算流的资源进行调整的处理包括:根据为所述计算流计算出的价值评分计算所 述多条计算流的总价值评分,如果计算出的总价值评分低于预设的总价值阔值,则选取权 值最大的计算流,并计算选取的计算流的价值评分,如果所述选取的计算流的价值评分低 于预定的第S价值阔值,则增加为选取的计算流分配的资源。
[0049] 进一步地,所述根据计算的所述多条计算流的价值评分对分配给所述计算流的资 源进行调整的处理还可W包括:减少为计算出的价值评分高于预定的第四价值阔值的计算 流分配的资源。
[0050] 在具体地实现方式中,假设有两条计算流,即计算流1和计算流2,对应的数据订 阅流量分别为T1、T2,权值分别为W1、W2, 一般根据数据订阅流量为计算流赋予权值,运用 前述式(1),则W1 =Tl/ai+T2),W2 =T2/灯1+啤。依据计算流的延迟时间长度在预定的 时间间隔内,分别计算得到计算流1的平均延迟时间长度Delay1,计算流2的平均延迟时间 长度Delay2。在实际应用中,计算计算流的价值评分就是建立表征平均延迟时间长度对价 值影响的函数。例如,在时效性要求高的流式计算系统中,可设定V=f值elay),即:
[0051]
[0052]在计算出每条计算流的价值评分之后,假设计算流1的价值评分是VI,计算流2的 价值评分是V2,可计算出计算流1和计算流2的总价值评分,即V1+V2。预设的总价 值阔值是2,若V…小于2,则选取计算流i,使得W1=Max(W1,W2),计算选取出的计算流i 的价值评分Vi,预定的价值阔值为1,如果Vi小于1,则在运条计算流上增加资源,相应的对 其他的计算流减少资源;如果Vi等于1,则尝试减少运条计算流上的资源,W避免为其分配 过多资源,而使得其他计算流没有资源。若Vgii等于2,则表明当前运行已经在最佳状态,无 需调整。
[0053] 本发明实施例提供的基于流式计算的资源管理方法,根据获取到的多条计算流的 数据订阅流量W及延迟时间长度,自动地调整分配给所述计算流的资源,从而在数据量骤 增等突发状况下保证了服务质量。由于无需获取额外资源,使得本发明实施例所述方法仅 对既有资源进行自适应调整,最大化使用既有资源,能够在流量高峰期和低峰期时均衡使 用资源,减少了资源浪费。
[0054] 实施例二
[0055]图2是示出本发明实施例二的基于流式计算的资源管理装置的逻辑框图。可用于 执行如图1所示实施例的方法步骤。
[0056] 参照图2,基于流式计算的资源管理装置包括数据获取模块210和资源调整模块 220。
[0057] 数据获取模块210用于分别获取多条计算流的数据订阅流量W及所述计算流的 延迟时间长度。
[0058] 具体地,所述数据获取模块210可用于根据计算流的收到确认时间和数据订阅时 间分别计算所述计算流的延迟时间长度。
[0059] 资源调整模块220用于根据所述多条计算流的数据订阅流量W及延迟时间长度 对分配给所述计算流的资源进行调整。
[0060] 具体地,所述资源调整模块220可包括:
[0061] 权值及延迟时间计算单元(未示出)用于根据所述多条计算流的数据订阅流量分 别对所述多条计算流赋予权值,并且根据所述计算流的延迟时间长度分别计算在预定的时 间间隔内所述计算流的平均延迟时间长度。
[0062] 价值评分计算单元(未示出)用于根据为所述多条计算流赋予的权值W及计算的 平均延迟时间长度分别计算所述多条计算流的价值评分。
[0063]资源调整单元(未示出)用于根据计算的所述多条计算流的价值评分对分配给所 述计算流的资源进行调整。
[0064] 优选地,所述资源调整单元可用于增加为计算出的价值评分低于预定的第一价值 阔值的计算流分配的资源。
[0065] 进一步地,所述资源调整单元可用于根据为所述计算流计算出的价值评分计算所 述多条计算流的总价值评分,如果计算出的总价值评分低于预设的总价值阔值,则增加为 计算出的价
当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1