一种云计算系统的能效监控和管理方法与系统的制作方法
【专利摘要】本发明涉及一种云计算系统的能效监控和管理方法，以及一种云计算系统的能效监控和管理系统。根据本发明的云计算系统的能效监控和管理方法，其中物理服务器和虚拟机上运行的监控代理服务主动且定时向域监控数据汇聚节点发送监控数据，通过引入域监控数据汇聚节点，降低了云计算能效监控系统的复杂性，降低了控制节点服务器的负载和避免了突发的网络通信造成的网络拥塞。采用本发明的云计算系统的能效监控和管理方法，根据将物理服务器和虚拟机的监控数据输入服务器能耗的评估模型估算出的能耗情况，为虚拟机动态迁移计划的制定提供支持，从而节约能耗。
【专利说明】一种云计算系统的能效监控和管理方法与系统
【技术领域】
[0001]本发明涉及云计算中的能耗监控和管理领域，更具体地说，涉及一种云计算系统的能效监控和管理方法，以及一种云计算系统的能效监控和管理系统。
【背景技术】
[0002]云计算是一种按使用量付费的模式，这种模式提供可用的、便捷的、按需的网络访问，进入可配置的计算资源共享池(资源包括网络，服务器，存储，应用软件，服务)，这些资源能够被快速提供，只需投入很少的管理工作，或与服务供应商进行很少的交互。
[0003]云计算部署模型分为4类，包括:公有云、私有云、社区云和混合云。公有云的云基础设施是对整个互联网开放的。它由一个云计算服务提供商(商业机构，教育机构或者政府机构)进行运营，通过互联网向用户提供云服务，任何人都具有有偿或无偿使用的权限。相对公有云，私有云是不对外开放或者有限度对外开放的，由某个组织或企业完成建设、管理和使用。其使用对象主要位于组织内部。社区云由几个组织共享的云端基础设施构成。其支持特定的社群，具备共同的关切事项，如:任务目标、安全需求等。管理者可以是组织本身，也可以是第三方；管理者的位置可能位于组织内部，也可能位于组织外部。混合云综合了两种或者两种以上的云计算模式，可以使私有云和公有云的混合，也可以是私有云和社区云的混合。如:私有云可以从公有云获取计算资源作为其自身基础设施的补充。混合云会提供一个统一的接口或者管理平面，对于最终用户而言，从不同的云计算模式获取的服务具有一致性。
[0004]数据中心的高能耗一直是一个突出的问题。特别是当今云计算时代，更多的计算、存储资源集中在云端，给能耗的高效管理带来更大的挑战。研究表明:全球的企业每年要花费400亿美元左右用于能耗。数据中心的高能耗问题不仅造成电能的浪费，也对环境造成破坏。美国联邦机构已经指出高能耗问题将对空气质量、国家安全、气候变化、电网可靠性等方面造成严重影响。因此，云计算时代的数据中心的节能刻不容缓，能耗优化管理已经成为云时代数据中心亟待解决的重要问题。
[0005]提高能源利用效率的最有效方式之一就是使用更少的服务器执行计算，例如使用虚拟化技术将多个应用程序合并到单个服务器上同时运行。服务器整合的潜力是惊人的。运行单一的企业应用的传统物理服务器的总资源占有率大约只有5%至15%，这意味着相同的服务器有能力承载10个虚拟机，即使平均每个虚拟机使用服务器总计算能力的8%，该服务器在取代10台物理服务器之后仍能保留总计算能力的20%。
[0006]服务器整合并不等于全部整合，而应该根据工作负载、所使用的技术和支持团队的特点来决定如何整合。刚刚接触虚拟化技术的企业应该从非关键的应用程序开始，先进行有限的虚拟化整合，然后逐渐提高整合水平和虚拟化更重要的工作负载。由于需要对虚拟机进行跟踪、监视和控制，虚拟化提升了系统管理工具和实践的重要性。
【发明内容】
[0007]本发明的目的在于克服现有技术的不足，提供一种节约能耗的云计算系统的能效监控和管理方法，以及一种云计算系统的能效监控和管理系统。
[0008]本发明的技术方案如下:
[0009]一种云计算系统的能效监控和管理方法，步骤如下:
[0010]I)通过运行在物理服务器和虚拟机上的监控代理服务，获取相应物理服务器和虚拟机关键性能指标的监控数据；
[0011]2)通过域监控数据汇聚节点将监控数据统一发送到控制节点；
[0012]3)由运行在控制节点上的数据接收服务获取后，发送给资源负载监控服务和能耗监控服务；
[0013]4)将能耗情况和资源负载情况输入资源分配决策器，生成虚拟机动态迁移策略，并由VM迁移执行器执行虚拟机迁移策略；
[0014]5)迁移完成后将空载的物理服务器置于休眠状态。
[0015]作为优选，生成迁移策略前，将监控数据输入能耗估算模型，估算能耗情况。
[0016]作为优选，估算虚拟机和服务器的能耗情况的步骤如下:
[0017]A)建立能耗模型，把各类型的资源利用率和整体系统能耗建立联系；
[0018]B)使用监控工具测量每个虚拟机运行时的各类型的资源利用率；
[0019]C)评估虚拟机能耗情况。
[0020]作为优选，虚拟机和服务器的总能耗Esotvct = Eidle+Eepu+Emem+Ediek+Enet，其中，Ecpu为CPU能耗，Emem为内存能耗，Edisk为磁盘能耗，Eidle为服务器空闲能耗、Enet为服务器网络能耗。
[0021 ] 作为优选,CPU能耗的能耗模型为Eotj = a CPUuCPU+ y 其中，Ucpu表示处理器利用率，通过处理器的活动次数与休眠次数确定，Cimi和Ymi表示CPU能耗模型的固定常数。
[0022]作为优选,通过记录最后一层Cache的缺失次数确定内存能耗，内存能耗模型为:Emem(T) = aMUT) + Y_，其中，Em(T)表示T时间内内存的总能耗，^T)表示T时间内LLC缺失次数，α-和Ynrem表示内存能耗模型的固定常数。
[0023]作为优选,硬盘能耗模型为:EdisdT) = a rtbr+awbbw+Ydisk，通过获取硬盘的读字节数和写字节数来建立，其中，Edisk (T)表示T时间内硬盘的能耗，b表示T时间内读的字节数，bw表示T时间内写的字节数.aA、Ciwb和Ydisk为硬盘能耗模型的固定常数。
[0024]作为优选，预设硬盘读写的能耗相同，则硬盘能耗模型为=Edisk(T)=a KlXbltl+Ydisk,其中，b1(l表示读和写的总字节数，a 10为硬盘能耗模型的固定常数。
[0025]一种云计算系统的能效监控和管理系统，包括云计算资源池、控制节点、域监控数据汇聚节点、VM迁移执行器；云计算资源池包括多个服务器管理域，服务器管理域包括多个物理服务器，物理服务器包括其上运行的多个虚拟机和监控代理服务，虚拟机包括其上运行的监控代理服务；监控代理服务运行于所监控的物理服务器和虚拟机上，用于获取物理服务器和虚拟机的运行状态，将监控数据发送到域监控数据汇聚节点。
[0026]作为优选，域监控数据汇聚节点包括其监控数据接收服务和数据整合服务；VM迁移执行器包括迁移操作执行功能和迁移状态轮循功能；控制节点，包括数据接收服务、资源负载监控服务、能耗监控服务和资源分配决策器；
[0027]其中，数据接收服务用于接收域数据汇聚节点发送的物理服务器和虚拟机的监控数据，并将接收到的监控数据发送给资源负载监控服务和能耗监控服务；
[0028]资源负载监控服务用于根据监控数据生成物理服务器的负载情况；
[0029]能耗监控服务用于将监控数据输入能耗模型估算能耗情况。
[0030]资源分配决策器用于根据负载情况和能耗情况生成虚拟机迁移策略。
[0031]本发明的有益效果如下:
[0032]根据本发明的云计算系统的能效监控和管理方法，其中物理服务器和虚拟机上运行的监控代理服务主动且定时向域监控数据汇聚节点发送监控数据，通过弓丨入域监控数据汇聚节点，降低了云计算能效监控系统的复杂性，降低了控制节点服务器的负载和避免了突发的网络通信造成的网络拥塞。
[0033]采用本发明的云计算系统的能效监控和管理方法，根据将物理服务器和虚拟机的监控数据输入服务器能耗的评估模型估算出的能耗情况，为虚拟机动态迁移计划的制定提供支持，从而节约能耗。
[0034]本发明的实施，企业可以轻易地虚拟化现有的服务器群，然后紧跟后续技术的更替周期对服务器系统进行有序的升级。服务器升级让II团队有机会优化整合工作，让虚拟机在服务器之间的分配更均衡。
【专利附图】
【附图说明】
[0035]图1是本发明的方法的流程示意图；
[0036]图2是本发明的系统的调度实施示意图。
【具体实施方式】
[0037]以下结合附图及实施例对本发明进行进一步的详细说明。
[0038]本发明提供一种云计算系统的能效监控和管理方法，如图1所示，具体步骤如下:
[0039]步骤1，通过运行在物理服务器和虚拟机上的监控代理服务定期收集物理服务器和虚拟机的监控数据；
[0040]步骤2，将监控数据输入能耗估算模型，估算能耗情况；
[0041]步骤3，根据服务器的负载监控数据和能耗估算结果制定虚拟机迁移策略；
[0042]步骤4，判断虚拟机所在物理服务器当前任务是否执行完毕，若执行完毕，则进入步骤5，否则等待物理服务器执行完毕，进入步骤4 ；
[0043]步骤5，在服务器管理域内选择虚拟机迁移的目标物理服务器；
[0044]步骤6，执行虚拟机迁移计划；
[0045]步骤7，判断虚拟机迁移是否成功，若成功，则进入步骤8，否则，进入步骤5 ；
[0046]步骤8，物理服务器进入休眠模式，返回步骤1。
[0047]生成迁移策略前，将监控数据输入能耗估算模型，估算能耗情况。虚拟机和服务器的能耗测量的基本思路如下:首先，建立能耗模型，把各类型的资源利用率(如利用率)和整体系统能耗建立联系，为简单起见不考虑处在相对较低利用率层次的其它类型资源的能耗；然后，使用轻量级监控工具测量每个虚拟机运行时的不同资源的利用率，例如可以通过典型虚拟化平台(如提供的硬件性能计数器进行在线的轮廓分析；最后，评估虚拟机能耗情况。输入资源利用率，通过资源能耗模型的计算，间接推断虚拟机的能耗。基于以上思路，系统的总能耗可以表示为:
[0048]Eserver = Eidle+Ecpu+Emem+Edisk+Enet ；
[0049]其中，Ecpu为CPU能耗，Em为内存能耗，Edisk为磁盘能耗，Eidle为服务器空闲能耗、Enet为服务器网络能耗。
[0050]CPU能耗模型，取决于于多个因素，如CPU子单元的活动情况，指令执行的情况，处理器中缓存的使用情况，和处理器当前工作频率的高低。精确的CPU能耗模型，需要考虑所有因素，会使得监控的开销过大，所以不适合CPU的实时能耗评估。而跟踪处理器的活动和休眠次数，可以从操作系统中获得。对于已知处理器利用率的CPU的能耗模型如下:
[0051]Ecpu — a CPUuCPU+ Y CPU ；
[0052]其中，Umi表示处理器利用率，Cimi和Ymi表示CPU能耗模型的固定常数，根据不同型号的CPU，可以通过现有技术的实验方法获得。
[0053]如果一个虚拟机A的处理器利用率表示为Uoti, A，那么该虚拟机的能耗Eoti, A为:
[0054]Ecpu, A — a CPUuCPU,A。
[0055]内存能耗模型，决定内存能耗的主要因素是内存读写吞吐量。有一种轻量级的内存吞吐量的评估方法，即记录最后一层Cache (Last Level Cache)的缺失次数,这在大多数处理器上很容易获得。使用这些指标，内存的能耗模型可以被写为如下形式:
_] Emem(T) = QJllJT)+ γ_;
[0057]其中，Em⑴表示T时间内内存的总能耗，Nllc⑴表示T时间内LLC缺失次数， 和表示内存能耗模型的固定参数，根据不同型号和容量的内存，通过现有技术的实验方法获得。
[0058]因为内存访问由硬件逻辑单元直接管理，操作系统和Hypervisor不能直接访问，所以直接跟踪虚拟机的LLC缺失不容易实现。大多数的处理器把LLC缺失作为硬件的一个性能计数器，如Intel Nehalem处理器在每个核上都提供这个功能。通过跟踪每个虚拟机在每个核上因上下文切换而导致的LLC缺失次数，我们就能获得相应虚拟机的LLC的缺失次数。因此虚拟机A的内存能耗模型如下:
[0059]Emem, A(T) = a Jllc, A(T)；
[0060]其中，E_,A (T)表示一个虚拟机A在T时间内在所有核上的LLC缺失次数，Cinrem表示模型参数。
[0061]磁盘能耗模型,可以使用通过Hypervisor获取到硬盘的读字节数和写字节数来建立能耗模型:
[0062]Edisk (T) — a rbbr+ a wbbw+ Y disk ；
[0063]其中，Edisk(T)表示T时间内硬盘的能耗，b,表示T时间内读的字节数，bw表示T时间内写的字节数.art、awb和Y-,表示磁盘能耗模型的固定常数，根据不同型号和容量的磁盘，通过现有技术的实验方法获取。
[0064]硬盘处于活动状态时，虚拟机不一定是处于活动状态，因为Hypervisor在此时可能正在进行批处理I/o中断，或者缓存I/O操作。因此，需要在Hypervisor中显式的跟踪I/O操作。因此，可以得到以下的虚拟机A的磁盘能耗模型:
[0065]Edisk, A = a rbbr, A+ a wbbw, A ；
[0066]其中，b?A和bw,A表示虚拟机A读和写的字节数。根据实验结论，可以忽略硬盘读和写的能耗差别。所以采用一个共同的参数，1?表示读和写的总字节数，。为模型参数，因此可以把模型简化为:
[0067]已虹成⑴—310^^10^、(11815 ；
[0068]相应的虚拟机八的硬盘能耗为:
[0069]￡(115)5,4 — 0 10^^10,4 ；
[0070]其中，表示虚拟机4的读和写的总字节数，0 10为磁盘能耗模型的固定参数，根据不同型号和容量磁盘，通过现有技术的实验方法获取。
[0071]本发明还提供了一种云计算能耗监控和管理系统，如图2所示，包括:包括云计算资源池、控制节点、域监控数据汇聚节点、VI迁移执行器，共同用于处理监控数据和迁移虚拟机。
[0072]云计算资源池包括多个服务器管理域(服务器管理域……服务器管理域0=)；
[0073]服务器管理域包括多个物理服务器(物理服务器06……物理服务器04。，物理服务器……物理服务器0。％ ；
[0074]物理服务器包括其上运行的多个虚拟机和监控代理服务；
[0075]虚拟机包括其上运行的监控代理服务。
[0076]其中，所述的监控代理服务，运行于所监控的服务服务器和虚拟机上，用于获取物理服务器和虚拟机的运行状态，将监控数据发送到域监控数据汇聚节点。
[0077]控制节点包括数据接收服务、资源负载监控服务、能耗监控服务和资源分配决策器。
[0078]其中，所述的数据接收服务，用于接收域数据汇聚节点发送的物理服务器和虚拟机的监控数据，并将接收到的监控数据发送给资源负载监控服务和能耗监控服务；
[0079]所述的资源负载监控服务，用于根据监控数据生成物理服务器的负载情况；
[0080]所述的能耗监控服务，用于将监控数据输入能耗模型估算能耗情况；
[0081]所述的资源分配决策器，用于根据负载情况和能耗情况生成虚拟机迁移策略。
[0082]域监控数据汇聚节点，包括其监控数据接收服务和数据整合服务。
[0083]VI迁移执行器，包括迁移操作执行功能和迁移状态轮循功能。
[0084]云计算资源池中将一定数量01台)的物理服务器分成一个服务器管理域，便于管理物理服务器和收集监控数据。
[0085]服务器管理域中的物理服务器和其中运行的虚拟机运行监控代理服务，将物理服务器和虚拟机的监控数据发送到域监控数据汇聚节点。域监控数据汇聚节点将接收到的监控数据整合后发送到控制节点的数据接收服务。
[0086]控制节点的数据接收服务用于接收各域监控数据汇聚节点发送的监控数据，并将整合后的监控数据分别发送给资源负载监控服务和能耗监控服务，其中资源负载监控服务输出物理服务器的负载情况，其中能耗监控服务根据能耗估算模型输出物理服务器和虚拟机的能耗情况。负载情况和能耗情况输入资源分配决策器，制定虚拟机动态迁移计划，将迁移操作命令输出到对应服务器管理域的VI迁移执行器。
[0087]VI迁移执行器收到迁移操作命令后，执行虚拟机迁移操作。虚拟机迁移完成后，将相应的物理服务器置于休眠状态，节约能耗。
[0088]上述实施例仅是用来说明本发明，而并非用作对本发明的限定。只要是依据本发明的技术实质，对上述实施例进行变化、变型等都将落在本发明的权利要求的范围内。
【权利要求】
1.一种云计算系统的能效监控和管理方法，其特征在于，步骤如下: 1)通过运行在物理服务器和虚拟机上的监控代理服务，获取相应物理服务器和虚拟机关键性能指标的监控数据； 2)通过域监控数据汇聚节点将监控数据统一发送到控制节点； 3)由运行在控制节点上的数据接收服务获取后，发送给资源负载监控服务和能耗监控服务； 4)将能耗情况和资源负载情况输入资源分配决策器，生成虚拟机动态迁移策略，并由VM迁移执行器执行虚拟机迁移策略； 5)迁移完成后将空载的物理服务器置于休眠状态。
2.根据权利要求1所述的云计算系统的能效监控和管理方法，其特征在于，生成迁移策略前，将监控数据输入能耗估算模型，估算能耗情况。
3.根据权利要求2所述的云计算系统的能效监控和管理方法，其特征在于，估算虚拟机和服务器的能耗情况的步骤如下: A)建立能耗模型，把各类型的资源利用率和整体系统能耗建立联系； B)使用监控工具测量每个虚拟机运行时的各类型的资源利用率； C)评估虚拟机能耗情况。
4.根据权利要求3所述的云计算系统的能效监控和管理方法，其特征在于，虚拟机和服务器的总能耗Ε_ν?Ε—+Ε_+ΕΜ+υΕ_，其中，EepuSCPU能耗，E_为内存能耗，Ediek为磁盘能耗，Eidle为服务器空闲能耗、Enet为服务器网络能耗。
5.根据权利要求4所述的云计算系统的能效监控和管理方法，其特征在于，CPU能耗的能耗模型为Eot = a CPUuCPU+ y ，其中，uCPU表示处理器利用率，通过处理器的活动次数与休眠次数确定，a cpu和Y cpu表示CPU能耗模型的固定常数。
6.根据权利要求4所述的云计算系统的能效监控和管理方法，其特征在于，通过记录最后一层Cache的缺失次数确定内存能耗，内存能耗模型为疋-⑴=αΜΝΜ(Τ) + γ_，其中，Ε_⑴表示Τ时间内内存的总能耗，Nllc⑴表示T时间内LLC缺失次数，a mem和Y mem表示内存能耗模型的固定参数。
7.根据权利要求4所述的云计算系统的能效监控和管理方法，其特征在于，硬盘能耗模型为:Edisk(T) = aAb,+ awbbw+Ydisk，通过获取硬盘的读字节数和写字节数来建立，其中，Edisk(T)表示T时间内硬盘的能耗，br表示T时间内读的字节数，bw表示T时间内写的字节数。aA、awb和YdiskS硬盘能耗模型的固定常数。
8.根据权利要求7所述的云计算系统的能效监控和管理方法，其特征在于，预设硬盘读写的能耗相同，则硬盘能耗模型为:Edisk(T) = a1(lXb1(l+Ydisk，其中，b1(l表示读和写的总字节数，a 1(|为硬盘能耗模型的固定常数。
9.一种云计算系统的能效监控和管理系统，其特征在于，包括云计算资源池、控制节点、域监控数据汇聚节点、VM迁移执行器；云计算资源池包括多个服务器管理域，服务器管理域包括多个物理服务器，物理服务器包括其上运行的多个虚拟机和监控代理服务，虚拟机包括其上运行的监控代理服务；监控代理服务运行于所监控的物理服务器和虚拟机上，用于获取物理服务器和虚拟机的运行状态，将监控数据发送到域监控数据汇聚节点。
10.如权利要求9所述的云计算系统的能效监控和管理系统，其特征在于，域监控数据汇聚节点包括其监控数据接收服务和数据整合服务；VM迁移执行器包括迁移操作执行功能和迁移状态轮循功能；控制节点，包括数据接收服务、资源负载监控服务、能耗监控服务和资源分配决策器； 其中，数据接收服务用于接收域数据汇聚节点发送的物理服务器和虚拟机的监控数据，并将接收到的监控数据发送给资源负载监控服务和能耗监控服务； 资源负载监控服务用于根据监控数据生成物理服务器的负载情况； 能耗监控服务用于将监控数据输入能耗模型估算能耗情况。 资源分配决策器用于根据负载情况和能耗情况生成虚拟机迁移策略。
【文档编号】H04L29/08GK104301389SQ201410481851
【公开日】2015年1月21日 申请日期:2014年9月19日 优先权日:2014年9月19日
【发明者】陈永红, 蒋堃, 侯雪艳, 田晖, 王田, 蔡奕侨 申请人:华侨大学