一种基于IaaS云平台的资源优化部署方法
【专利摘要】本发明涉及一种基于IaaS云平台的资源优化部署方法，针对不同用户的应用负载进行分类，使得IaaS云平台能够根据不同的分类进行虚拟机资源和物理资源的部署，进而使得云平台的资源利用率最大化，应用特征的提取、处理，建立BP神经网络和分类器模型，运用尝试部署能耗TAEA算法进行分配。本发明的有益效果为：建立一分类器模型，采用算法TAEA，可以判别应用负载特征和SLA两个因素的部署优先级，即优先考虑哪个因素把VM应用负载部署到划分好的PM上，从而使得整个数据中心的能耗达到最低。
【专利说明】—种基于IaaS云平台的资源优化部署方法
【技术领域】
[0001]本发明属于云平台应用【技术领域】，尤其涉及通过IaaS云计算降低能耗的资源负载分类器的设计方法。
【背景技术】
[0002]近年来，随着虚拟化技术的发展，特别是以虚拟化技术为基础的云计算技术具有服务器整合、在线迁移、隔离性、高可用性、灵活部署、低管理开销等诸多方面的优点，其已成为未来数据中心发展的主要方向。而考虑节能的IaaS(Infrastructure as a Service)云平台，通过互联网提供数据中心、基础架构硬件以及软件资源，将IT基础设施能力提供给用户使用，它具有以下特征=(I)IaaS云平台的负载是不断变化的，IaaS提供商很难预知负载的变化规律；(2) IaaS云平台的基本管理单位是虚拟机(Virtual Machine, VM),VM可以在用户无感知的情况下,通过在线迁移技术将虚拟机从一台物理主机(PhysicalMachine, PM)迁移到另一台物理主机上。基于以上两个特征并从IaaS云平台的节能视角考虑，可以总结得出:服务器整合技术和虚拟机迁移技术。
[0003]无论是服务器整合还是虚拟机迁移，其实质上都是对IaaS云平台资源进行合理调度，使得云平台能够提供高效稳定的服务(SLA (Service Level Agreement)保证),并且能够降低能耗成本，保障服务收益的最大化。
[0004]对于服务器整合技术，必须要考虑如下两个方面的问题，(I)基础设施是否同时支持软硬件虚拟化，并且是否做到优化资源部署？(2)资源部署优化考虑是否全面，是否包括CPU、内存、磁盘、网络等资源？这两个问题的阐述，直接体现了物理资源利用率的重要性和服务器整合技术考虑的全面性。
[0005]虚拟机迁移技术方面，迁移技术通常指的是动态迁移技术，而静态迁移技术已经不能满足当前的需要。就应用到IaaS云平台上动态迁移技术而言，与什么样的迁移策略结合体现地尤为重要，其中必须要考虑如下几个方面的问题，(I )VM迁移是否能够根据应用负载的变化进行及时快速的响应？ (2)是否具有处理多用户多种类SLA应用的能力？ (3)是否具有一定鲁棒性，并可以支撑不同种类应用和混合负载？对于问题(I)是目前大部分虚拟机迁移技术研究所没有考虑到的，它体现了 IaaS云平台节能调度策略的弹性，这正是本发明申请所要解决的问题之一；对于问题(2)的要求是IaaS云平台的虚拟机迁移技术要针对不同应用适配不同的策略，以达到适应不同应用类型用户的要求，这也是本发明申请具有的特点；对于问题(3)主要要求VM迁移技术具有能够支撑不同种类大型应用负载的能力。
【发明内容】
[0006]针对现有技术中存在的不足，本发明的目的在于提供一种基于IaaS云平台的资源优化部署方法，通过弹性的调度策略以及TAEA算法，提高IaaS云平台的资源部署能力。
[0007]本发明的技术方案如下:[0008]一种基于IaaS云平台的资源优化部署方法，包括以下步骤:
[0009]步骤S1:分析应用负载特征和SLA级别特征，并进行负载抽样特征的提取和模式识别，其结果包括预处理得到的特征数据和分类模式；
[0010]步骤S2:基于负载特征提取创建一 BP神经网络，其输入向量X为所述特征数据，其输出向量Y为所述分类模式，BP神经网络的结构由系统输入输出的特征提取和模式匹配得出；
[0011]步骤S3:基于所述BP神经网络创建分类器模型，并对其进行训练得出分类器模型各层最优的权值和阈值；
[0012]步骤S4:运用TAEA算法，对分类以后的应用负载进行调度，使该应用负载部署到最合适的服务器上，实现虚拟机的最优分配。
[0013]上述的部署方法，所述步骤SI中，采用IRQ四分位距等统计学理论进行负载抽样特征的提取，以保证体现原有负载抽样曲线的特征。
[0014]上述的部署方法，所述负载抽样特征至少包括一段时间以内应用负载的CPU利用率以及内存使用率，并对所述负载抽样特征进行以下操作:
[0015](I)确定负载采样的频率、时间窗以及SLA级别的特征标识；
[0016](2)确定提取特征的属性和格式。
[0017]上述的部署方法，所述负载抽样特征由云平台的管理员进行制定和初始化。
[0018]上述的部署方法，所述BP神经网络为单隐层，其以待分类的资源负载分类数为输出节点个数，基于BP神经网络的资源负载分类器建模包括网络的构建、网络的训练和网络的分类三个部分。
[0019]进一步地，所述分类器模型的收敛速度大于等于IaaS云平台提供服务的SLA要求。
[0020]上述的部署方法，由所述分类器模型的资源分配算法触发资源调度，根据应用负载对应的特征分类，把对应的应用负载有效地部署到PM上。
[0021]上述的部署方法，在所述步骤S4中，所述TAEA算法通过判别应用负载特征和SLA两者的部署优先级，在保证整个数据中心的能耗最低的情况下，使VM应用负载部署到划分好的PM上。
[0022]上述的部署方法，训练数据来自于IaaS云平台的真实负载，且至少为1000组。
[0023]进一步地，在所述步骤S3中，采用训练后得到的权值和阈值进行分类器模型的初始化，进而得到分类的结果；
[0024]该结果的精度达不到IaaS云平台提供服务的SLA要求时，则重复进行分类器模型的训练，直至得到符合要求的权值和阈值。
[0025]本发明的有益效果是:
[0026](I)建立一分类器模型，采用本发明所述的尝试部署能耗算法TAEA，判别应用负载特征和SLA两个因素的部署优先级，即优先考虑哪个因素把VM应用负载部署到划分好的PM上，从而使得整个数据中心的能耗达到最低；
[0027](2) VM迁移能够根据应用负载的变化进行及时快速的响应，使能耗保持在最优状态；
[0028](3)具有处理多用户多种SLA应用的能力，支持不同种类的应用和混合负载，本方案仅需要对其进行负载特征提取然后根据分类器的算法进行分类；
[0029](4)采用大量的真实负载数据进行分类器模型进行训练，以达到模拟IaaS云平台在实际运用中进行最优分配的效果。
【专利附图】
【附图说明】
[0030]图1是本发明所述基于IaaS云平台的资源负载分类器设计方法的应用负载分类器结构示意图；
[0031]图2是本发明所述基于IaaS云平台的资源负载分类器设计方法的应用负载特征提取和模式识别流程图；
[0032]图3是本发明所述基于IaaS云平台的资源负载分类器设计方法的应用负载分类器的分类模型图；
[0033]图4是本发明所述基于IaaS云平台的资源负载分类器设计方法的BP神经网络构建示意图；
[0034]图5是本发明所述基于IaaS云平台的资源负载分类器设计方法的应用负载分类器TAEA算法实现示意图。
【具体实施方式】
[0035]以下描述和附图充分地示出本发明的具体实施方案，以使本领域的技术人员能够实践它们。实施例仅代表可能的变化。
[0036]应用负载体现着用户购买VM后，在一定时间内，CPU利用率、内存使用等情况。而资源分配是指云计算提供商把客户购买的VM应用部署到什么类型的PM资源上。
[0037]在考虑能耗的前提下进行VMs的部署，应用负载和资源分配是一对相互关联的重要因素。本发明通过对用户应用负载进行分析，提供一种解决方案，使得任一应用负载或任一类应用负载的VM应用都能能耗感知地部署到最合适的PM上。
[0038]如图1所示，本发明一种基于IaaS云平台的资源负载分类器设计方法，使用IRQ等统计学理提取负载抽样特征，基于负载特征创建BP神经网络模型，利用真实负载数据进行该模型的训练，收敛后得到云平台各层的权值和阈值，进而得出资源的最优化分配方案，具体地包括如下的步骤S1-S4。
[0039]其中，步骤SI具体为分析应用负载特征和SLA级别特征，并进行负载抽样特征的提取和模式识别，其结果包括预处理得到的特征数据和分类模式。
[0040]对应用负载和SLA进行分析，考虑到以下两个问题:
[0041](I)按照VM应用负载进行资源分类部署的特征分析；
[0042](2)按照与用户签订的SLA服务等级进行VM应用分类部署的特征分析；因此为应用负载特征提取做准备。
[0043]其中准备包括以下操作:
[0044]( I)确定负载采样的频率和时间窗和SLA级别的特征标识；
[0045](2)确定提取特征的属性和格式。
[0046]本实施例中采用采用四分位距(IRQ)等统计学理论进行负载抽样特征的提取，保证体现原有负载抽样曲线的特征。应用负载特征的提取是体现VM应用负载在一段时间周期内的变化规律的有效手段，而模式识别是提取的特征与期待的参考模式进行匹配后得到的分类模式。
[0047]其中的步骤S2为基于负载特征提取创建一 BP神经网络，以步骤SI中得到的所述特征数据作为该BP神经网络的输入向量X，以步骤SI中得到的所述分类模式作为该BP神经网络的输出向量Y，BP神经网络的结构由系统输入输出的特征提取和模式匹配得出。
[0048]该BP神经网络能够学习和存贮X与Y之间的映射关系，对采取的不同特征值通过训练调节连接权值，并通过反射传播来不断调整网络的权值和阈值，使网络的误差平方和最小。
[0049]如图2所示，应用负载特征提取和模式识别的过程为:
[0050]首先，部署VM应用后，在一个时间周期内得到负载数据，该负载数据经过预处理后运用数学方法进行特征提取，提取出负载特征数据，提取出的特征数据作为该VM应用的负载特征模式，即为BP神经网络的输入向量X。
[0051]然后，将该负载特征模式与参考模式进行比较，获得最佳的匹配模式，该匹配模式即为该应用负载的分类模式，同时该分类模式也即为BP神经网络的输出向量Y。
[0052]具体地，在处理前会对负载样本进行提取，得到负载样本集合，针对归一化处理后的负载样本集合使用IRQ统计学方法，进行BP神经网络特征提取。本实施例进行四个特征参数的举例说明，分别计算出负载均值(mean)，负载的四分之一分位(Q1)，负载的中位数(median)和四分之三分位(Q3)作为负载数据的四个特征，进而组合成该BP神经网络的输入向量 X= {mean, Ql, median, Q3}。
[0053]接着，进行模式匹配。在训练集中，每一个样本都要有一个期望输出，即建立的映射关系，这种输入与输出的匹配也称为ANN的模式匹配。
[0054]例如:X~Y，而
[0055]
【权利要求】
1.一种基于IaaS云平台的资源优化部署方法，其特征在于，包括以下步骤: 步骤S1:分析应用负载特征和SLA级别特征，进行负载抽样特征的提取和模式识别，其结果包括预处理得到的特征数据和分类模式； 步骤S2:基于负载特征提取创建一 BP神经网络，其输入向量X为所述特征数据，其输出向量Y为所述分类模式，由系统输入输出的特征提取和模式匹配得出该BP神经网络的结构； 步骤S3:基于所述BP神经网络创建分类器模型，并对其进行训练得出分类器模型各层最优的权值和阈值； 步骤S4:运用TAEA算法，对分类以后的应用负载进行调度，使该应用负载部署到最合适的服务器上，实现虚拟机的最优分配。
2.根据权利要求1所述的部署方法，其特征在于，所述步骤SI中，采用IRQ四分位距等统计学理论进行负载抽样特征的提取，以保证体现原有负载抽样曲线的特征。
3.根据权利要求1所述的部署方法，其特征在于，所述负载抽样特征至少包括一段时间以内应用负载的CPU利用率以及内存使用率，并对所述负载抽样特征进行以下操作: (1)确定负载采样的频率、时间窗以及SLA级别的特征标识； (2)确定提取特征的属性和格式。
4.根据权利要求1至3任一所述的部署方法，其特征在于，所述负载抽样特征由云平台的管理员进行制定和初始化。
5.根据权利要求1所述的部署方法，其特征在于，所述BP神经网络为单隐层，其以待分类的资源负载分类数为输出节点个数，基于BP神经网络的资源负载分类器建模包括网络的构建、网络的训练和网络的分类三个部分。
6.根据权利要求5所述的部署方法，其特征在于，所述分类器模型的收敛速度大于等于IaaS云平台提供服务的SLA要求。
7.根据权利要求1所述的部署方法，其特征在于，由所述分类器模型的资源分配算法触发资源调度，根据应用负载对应的特征分类，把对应的应用负载有效地部署到PM上。
8.根据权利要求1所述的部署方法，其特征在于，在所述步骤S4中，所述TAEA算法通过判别应用负载特征和SLA两者的部署优先级，在保证整个数据中心的能耗最低的情况下，使VM应用负载部署到划分好的PM上。
9.根据权利要求1所述的部署方法，其特征在于，训练数据来自于IaaS云平台的真实负载，且至少为1000组。
10.根据权利要求9所述的部署方法，其特征在于，在所述步骤S3中，采用训练后得到的权值和阈值进行分类器模型的初始化，进而得到分类的结果； 该结果的精度达不到IaaS云平台提供服务的SLA要求时，则重复进行分类器模型的训练，直至得到符合要求的权值和阈值。
【文档编号】H04L29/08GK103873569SQ201410079041
【公开日】2014年6月18日 申请日期:2014年3月5日 优先权日:2014年3月5日
【发明者】兰雨晴, 夏庆新, 王龙 申请人:兰雨晴