射表放到主控制模块中的全 局位置映射表Map中。
[0037] 第二步，在此基础上根据动态数据摆放算法调整数据摆放；本实施例中动态数据 摆放算法，具体地见下面步骤：
[0038] 定义1.对于每个节点seS，其所含数据块总数为q，其中满足任务请求队列所需 的数据块个数为P，则定义该节点的覆盖率为Y(s) =p/q。
[0039] 定义2.如果节点s和节点8,中有相同数据块的备份，则称s和sts是数据可交换 的。
[0040] 在数据摆放过程中节点资源利用率计算公式如下：
[0041] U=e*Ucpu+(l-e) ·Udlsk
[0042] 其中U^，Udlsl^v别表示cpu和磁盘的利用率，e为比例因子。
[0043] 算法：动态数据摆放算法。
[0044] 输入：Map;
[0045] 输出：数据摆放策略。
[0046] ①通过Map查找资源利用率过高或者过低的节点集合Sutll;
[0047] ②While Λ:.矣0do
[0048] ③Vsθ心"，计算Us;
[0049] ④IfseSutilandUs>Uupdo
[0050] ⑤查找s的数据可交换节点st，st满足《<I
[0051] ⑥开启节点st，将s中过载的p转移到st;
[0052] ⑦扫描Map，查找Us, >Uup的节点将其放入Sutll;
[0053] ⑧Endif
[0054]⑨IfseSutllandUs<Ud_do
[0055] ⑩查找s的数据可交换节点st，8,满足& >
[0056] 将s中的ρ转移到st，关闭节点st;
[0057] @扫描Map，查找Us, <Ud_的节点将其放入Sutil；
[0058] @Endif
[0059] (^) End while
[0060] 第三步，确定开启最少的节点达到最大的节能效果的调度优化策略。本实施例中， 给定任务执行时间上限T_，在时间T_内查找满足任务请求并使当前集群消耗功率P&stCT 最小的节点集合，为此给出优化目标：给定Tmax，求min 。
[0061] 因此可得出以下问题定义：给定批处理调度问题F(J"_st，S，T)，找出所含节点数 目最小的节点集合S#
[0062] 输入：初始化数据摆放策略映射表Map;
[0063] 输出：!； =.min{|5；| | 5； ￡ 51}。
[0064] 给任务执行时间上限T_求消耗功率最小的开启的节点集合问题F(Jraq_t，S，T) 等价于带权重的集合覆盖问题WSC(U，S#)。下面的算法给出了带权重集合覆盖（WSC)问题 的算法。WSC(U，S#)中U代表任务请求的数据块在节点中的位置，S#是所有数据在节点中存 储的位置。节点的权重为乃=￡A< 7 ?=0
[0065] 其中?；为任务请求队列的总执行时间，Ti是开启节点s^丸行任务请求的时间。
[0066] 算法，批处理节点调度算法
[0067]输入：U，S#，T，Jrequest;
[0068] 输出：S*。
[0069] ①?0 ;
[0070] ②While人咖?0do
[0071] ③计算中节点的覆盖率γ (s);
[0072]
[0073] ⑤f(S*)一Σ|Si|(Sie s*);
[0074] ⑥选择覆盖率最大的节点ses#添加到Sd
[0075] ⑦Endwhile
[0076] ⑧开启S*所有节点进行任务处理；
[0077] ⑨调用动态数据摆放算法。
[0078] ⑩Endwhile
[0079] 以上的所述乃是本发明的具体实施例及所运用的技术原理，若依本发明的构想所 作的改变，其所产生的功能作用仍未超出说明书及附图所涵盖的精神时，仍应属本发明的 保护范围。
【主权项】
1. 提高云计算系统能量有效性的数据摆放及节点调度方法，其特征在于包括如下步 骤： (1) 将任务请求抽象成对指定数据块的读写计算操作，对云平台存储的数据作初始化 布置； (2) 初始化布置后，根据动态数据摆放算法调整数据摆放； (3) 基于数据摆放结果确定得到开启最少的节点且能达到最大节能效果的调度优化策 略，完成节点调度优化。2. 根据权利要求1所述的提高云计算系统能量有效性的数据摆放及节点调度方法，其 特征在于：所述步骤（1)初始化布置的方法如下： 1) 将数据划分为大小为B的数据块，得到全数据块集合为D= {d。，山，d2，…，dMJ，其 中，Μ为数据块个数； 2) 在节点中建立数据块备份，将备份的数量定义为备份因子Κ(Κ>1)，每个数据块 山(0 <i<Μ)有一个主备份块Ρ和Κ-1个从备份数据块匕，…，hKi; 3) 设定任务请求优先访问主备份块，过载时访问从备份块；设定存储节点集合为S= {s。，Si,s2，…，sNJ，其中，N代表节点个数； 4) 根据备份因子数将每个数据块的数据分为K个数据组；组与组之间采取随机映射方 式，每组中的数据块随机映射到组内的N/K个节点并得出该组的位置映射表； 5) 将所有组的位置映射表放到全局位置映射表Map中。3. 根据权利要求2所述的提高云计算系统能量有效性的数据摆放及节点调度方法，其 特征在于：所述的K个数据组，每组等价于一个包含Μ个数据块的全数据集合，将这组数据 块存储到Ν/Κ个节点上，分配给每个分组的节点均不相同。4. 根据权利要求1所述的提高云计算系统能量有效性的数据摆放及节点调度方法，其 特征在于：所述步骤（2)动态数据摆放算法如下： (a) 通过Map查找资源利用率高于设定的最大值或者低于设定的最小值的节点，组成 集合Sutil; (b) 计算节点集合Sutll中的节点s在数据摆放过程中的节点资源利用率，计算公式如 下： u=e·ucpu+(l-e) ·Udlsk 其中U_，Udlsl^别表示cpu和磁盘的利用率，e为比例因子；（c)若节点s的资源利用 率高于设定的最大值或低于设定的最小值，则查找并开启数据可交换节点st，将节点s中过 载的数据块转移到节点st中后关闭节点st; (d)重复循环执行步骤（a)_步骤（c)直至调整完成数据摆放。5. 根据权利要求4所述的提高云计算系统能量有效性的数据摆放及节点调度方法，其 特征在于：所述数据可交换节点定义为如果节点s和节点^中有相同数据块的备份，则s和 st是数据可交换的。6. 根据权利要求1所述的提高云计算系统能量有效性的数据摆放及节点调度方法，其 特征在于：所述调度优化策略如下： (i)设定任务执行时间上限T_，在时间T_内，查找满足任务请求且当前集群消耗功 率P^stCT最小的节点集合，得到消耗功率最小的开启节点集合问题F(JS，Τ); (ii) 将开启节点集合问题F(Jra_st，S，T)转化为带权重的集合覆盖问题WSC(U，S#)，其 中，U代表任务请求的数据块在节点中的位置，S#代表所有数据在节点中存储的位置； (iii) 计算得到节点的权重，1其中，L为任务请求队列的总执 行时间，?\是开启节点s^丸行任务请求的时间； (iv) 采用批处理节点调度算法解决带权重的集合覆盖问题WSC(U，S#)。
【专利摘要】本发明涉及提高云计算系统能量有效性的数据摆放及节点调度方法，将任务请求抽象成对指定数据块的读写计算等操作，云平台事先存储了大量的数据，所以首先对这部分数据做初始化的布置；在此基础上根据动态数据摆放算法调整数据摆放；确定开启最少的节点达到最大的节能效果的调度优化策略。有益效果在于：(1)解决了动态数据摆放的局限性问题，基本适用于全部云计算环境；(2)减少能量消耗，提高了能量有效性。
【IPC分类】H04L29/08
【公开号】CN105306547
【申请号】CN201510628456
【发明人】周天和, 张元元, 卢晓飞, 蔡荣, 徐赟
【申请人】杭州天宽科技有限公司
【公开日】2016年2月3日
【申请日】2015年9月29日