专利名称：数据中心中能耗驱动的应用融合调度和资源动态配置方法
技术领域：
本发明属于分布式计算领域，具体涉及一种数据中心中能耗驱动的应用融合调度和资源动态配置方法，用于解决数据中心环境中最小化硬件资源能源消耗问题。
背景技术：
最近几年，在线视频、电子邮件和娱乐资讯等网络服务逐渐普及，网络用户数量的不断攀升促进了各种规模数据中心的涌现，数据中心的发展进入了鼎盛时期。数据中心运营服务器数量的快速增加，使得运营这些服务器的电力消耗成为数据中心的主要运营成本。例如一台300W的高性能服务器，一年运营将消耗大约2628千瓦时的能耗，保证其稳定运行所需要的制冷开销大约748千瓦时的能耗(请参考R. Bianchini andR. Rajamony. “Power and energy managementfor server systems,，，IEEE computer,37(11)，2004)。美国环境保护署的一份报告中指出，一年数据中心的电力能源消耗已经占到美国全部电力能源消耗的1. 5 约合45亿美金(请参考U. S. EnvironmentalProtection Agency. “EPA Report onserver and data center energy efficiency. ”,2007)。如果不采取有效的节能措施，数据中心的能源消耗将严重阻碍数据中心的发展。因此，如何降低数据中心能源消耗成为学术界和工业界共同关注的热点问题。降低数据中心的能源消耗主要从两方面着手。在硬件方面，根据机器的负载动态调整开启机器的数目。当一台机器处于空闲或者低负载时，就可以选择关闭机器以降低能源消耗。文献(G. Chen, ff. He, J. Liu, S. Nath, L. Rigas, L. Xiao, and F. Zhao,“Energy-aware server provisioning and load dispatching forconnection-1ntensiveinternet services,，，in Proceedings of the 5th USENIXSymposium on NetworkedSystems Design and Implementation. USENIXAssociation, 2008, pp. 337-350)针对互联网应用处理用户请求数量呈现周期性变化的特点，建立应用请求数量评估模型，动态配置数据中心机器开启的数量，达到降低能源消耗的目标。文献(A.Verma，G. Dasgupta,T.Nayak, P. De, and R. Kothari, “Server workload analysis for power minimizationusing consolidation,，，inProceedings of the 2009conference on U SENIX Annualtechnical conference. USENIX Association, 2009, pp. 18-28)针对单一应用请求的数据中心环境，建立数据中心能源消耗模型，利用拉格朗日乘数求解最小化数据中心能源消耗的机器数量。然而，机器重启过程中需要大量的时间和接近满负荷时刻的能耗，并且频繁开关机对于整个系统的可靠性也有巨大影响(Q. Zhu, J. Zhu, and G. Agrawal, “Power-awareconsolidation of scientific workflows in virtualizedenvironments,，，inProceedings of the 2010ACM/IEEE International Conference forHigh PerformanceComputing, Networking, Storage and Analysis.1EEE ComputerSociety,2010, pp. 1-12)。有效避免开关机劣势的技术是动态电压和频率调整(Dynamic Voltage and FrequencyScaling, DVFS)技术。DVFS主要通过降低处理器的供给电压或者运行频率来达到节能的目的。此方法虽不能像开关机那样节省大量的能耗，但是对应用请求的性能和系统的可靠性基本无影响。文献(D.Johnson, “Near optimal bin packing algorithm,，，Ph.D.dissertation, MIT, 1973)对互联网应用建立负载模型，分析满足应用请求服务等级协议的条件下，最小化能源消耗的处理器频率配置。在软件方面，虚拟化技术和硬件隔离技术使得原本运行在大规模低资源利用率的机器上的应用可以融合到小规模高资源利用率的机器上执行，彼此之间运行相对独立，互不影响。然而高效的融合并不是简单地将各维度的资源利用率最大化。文献(Oh, F.Y.K.and Kim, H.S.and Eom, H.andYeom,Η.Y.“Enabling consolidation and scaling down to provide power managementforcloud computing，，in Proceedings of the 3rd USENIX conference on Hot topicsincloud computing, 2011, pp.14-18)通过大规模实验验证具有相似资源需求的应用请求在同一资源上执行时，性能和能耗的损失较大。因此，利用虚拟化技术设计应用请求融合调度和资源配置算法是降低数据中心能源消耗的主要手段。
发明内容
本发明的目的在于解决上述现有技术中存在的难题，提供一种数据中心下能耗驱动的应用融合调度和资源动态配置方法，降低数据中心的能源消耗。本发明是通过以下技术方案实现的:一种数据中心中能耗驱动的应用融合调度和资源动态配置方法，所述方法根据应用请求四个维度的资源需求进行关系评估，并结合应用请求负载的周期性特点，实现数据中心资源的动态配置；所述四个维度的资源需求是指CPU、内存、存储和网络。所述方法包括以下步骤:步骤1:初始化数据中心机器数目；步骤2:判断当前时间周期是否为小周期，如果是，则转到步骤3，如果否，则等待满足小周期的条件；步骤3:读入当前应用请求就绪数目；步骤4:根据所述应用请求的资源需求计算欧氏距离，并标记应用请求的类型；步骤5:循环遍历当前数据中心中所有空闲机器，选择符合约束条件的空闲机器，并将应用请求加入到空闲机器的请求队列中；步骤6:判断应用请求是否调度成功，即判断所述空闲机器是否能处理当前就绪请求，如果是，则返回步骤2，如果否，转入步骤7 ；步骤7:开启新机器，更新当前数据中心中的机器数目，累加时间周期；步骤8:判断当前时间周期是否为大周期，如果是，则执行步骤9，如果否，则返回步骤2 ;步骤9:根据数据中心中的应用请求的历史数据(历史数据是实验的输入数据)利用d-separation算法构建用于应用请求规模评估的有向无环图；步骤10:利用最大似然估计方法计算所述有向无环图中节点之间的条件概率值，建立贝叶斯网络；步骤11:根据贝叶斯网络计算下一个大周期内的应用请求的数量；步骤12:选取使能源消耗最小化的机器数目；步骤13:动态配置数据中心中的开启机器的数目，然后返回步骤2。
所述步骤2中的小周期为10分钟；所述步骤8中的大周期为60分钟；所述步骤7中的累加时间周期是指对小周期进行累加，当小周期的数量是6的整数倍时，就成为大周期。所述步骤4中的欧氏距离为
权利要求
1.一种数据中心中能耗驱动的应用融合调度和资源动态配置方法，其特征在于:所述方法根据应用请求四个维度的资源需求进行关系评估，并结合应用请求负载的周期性特点，实现数据中心资源的动态配置；所述四个维度的资源需求是指CPU、内存、存储和网络。
2.根据权利要求1所述的数据中心中能耗驱动的应用融合调度和资源动态配置方法，其特征在于:所述方法包括以下步骤: 步骤1:初始化数据中心机器数目； 步骤2:判断当前时间周期是否为小周期，如果是，则转到步骤3，如果否，则等待满足小周期的条件； 步骤3:读入当前应用请求就绪数目； 步骤4:根据所述应用请求的资源需求计算欧氏距离，并标记应用请求的类型； 步骤5:循环遍历当前数据中心中所有空闲机器，选择符合约束条件的空闲机器，并将应用请求加入到空闲机器的请求队列中； 步骤6:判断应用请求是否调度成功，即判断所述空闲机器是否能处理当前就绪请求，如果是，则返回步骤2，如果否，转入步骤7 ； 步骤7:开启新机器，更新当前数据中心中的机器数目，累加时间周期； 步骤8:判断当前时间周期是否为大周期，如果是，则执行步骤9，如果否，则返回步骤2； 步骤9:根据数据中心中的应用请求的历史数据利用d-separation算法构建用于应用请求规模评估的有向无环图； 步骤10:利用最大似然估计方法计算所述有向无环图中节点之间的条件概率值，建立贝叶斯网络； 步骤11:根据贝叶斯网络计算下一个大周期内的应用请求的数量； 步骤12:选取使能源消耗最小化的机器数目； 步骤13:动态配置数据中心中的开启机器的数目，然后返回步骤2。
3.根据权利要求2所述的数据中心中能耗驱动的应用融合调度和资源动态配置方法，其特征在于:所述步骤2中的小周期为10分钟；所述步骤8中的大周期为60分钟；所述步骤7中的累加时间周期是指对小周期进行累加，当小周期的数量是6的整数倍时，就成为大周期。
4.根据权利要求3所述的数据中心中能耗驱动的应用融合调度和资源动态配置方法，其特征在于:所述步骤4中的欧氏距离为
5.根据权利要求4所述的数据中心中能耗驱动的应用融合调度和资源动态配置方法，其特征在于:所述步骤4中的应用请求的类型包括计算密集型、内存密集型、网络密集型和I/O密集型。
6.根据权利要求5所述的 数据中心中能耗驱动的应用融合调度和资源动态配置方法，其特征在于:所述步骤5中符合约束条件是指剩余资源满足需求和满足应用请求关系。
7.根据权利要求6所述的数据中心中能耗驱动的应用融合调度和资源动态配置方法，其特征在于:所述步骤7中的更新当前数据中心中的机器数目是这样实现的:将当前机器数目加I。
8.根据权利要求7所述的数据中心中能耗驱动的应用融合调度和资源动态配置方法，其特征在于:所述步骤12是这样实现的:数据中心在时间间隔T内的能源消耗表示为式(I):
9.根据权利要求8所述的数据中心中能耗驱动的应用融合调度和资源动态配置方法，其特征在于:所述步骤13中的动态配置数据中心中的开启机器的数目是这样实现的: 根据步骤12得到的机器数目，选择开机或关机操作。
全文摘要
本发明提供了一种数据中心中能耗驱动的应用融合调度和资源动态配置方法，属于分布式计算领域。所述方法根据应用请求四个维度的资源需求进行关系评估，并结合应用请求负载的周期性特点，实现数据中心资源的动态配置；所述四个维度的资源需求是指CPU、内存、存储和网络。利用本发明方法能够降低数据中心的能源消耗，并且能够降低在一段时间间隔内开关机的数量。
文档编号G06F9/50GK103076870SQ20131000627
公开日2013年5月1日 申请日期2013年1月8日 优先权日2013年1月8日
发明者苏森, 双锴, 李健, 徐鹏, 王玉龙 申请人:北京邮电大学