专利名称：基于隐马尔可夫模型的云计算资源调度方法和系统的制作方法
技术领域：
本发明涉及云计算相关技术领域，特别是涉及一种基于隐马尔可夫模型的云计算资源调度方法和系统。
背景技术：
资源调度是云计算的核心问题云计算虚拟化等技术的引入，使得原本分散、空闲的资源形成统一的、标准化的虚拟资源，使得资源灵活调配成为可能；资源优化调配能使得部署在云计算资源池上的业务系统能够根据业务量的大小使用资源，既能满足业务系统的需要，同时能避免资源浪费。目前的资源调度方法往往着眼于虚拟机在物理服务器上的优化部署，主要解决的是如何合理地确定虚拟机到结点的映射，通常被看作是一个装箱问题，即寻找最优的将虚拟机分配到结点的方案，从而使每个节点中虚拟机的使用资源之和不超过节点所能提供的上限，而使用的节点数量最优。Buyya等学者提出的基于经济模型资源调度方法，该方法提出了面向市场的云计算体系结构和面向市场的资源分配和调度方法，该体系结构通过SLA资源分配器来实现资源使用者与资源提供者之间的协商，实现资源优化分配。李强等提出了带应用服务级目标约束的虚拟机放置多目标优化遗传资源调度方法等。Menaud和Van等人提出针对云计算中虚拟资源的管理提出动态调度方法，以总体调度时间为目标，通过考虑重配置时间和虚拟机迁移时间，给出一种资源惯例方法Entropy。魏贵义等提出了基于博弈论资源分配资源调度方法解决云计算资源分配问题，该资源调度方法针对首先利用整数规划方法对单业务系统的资源需求进行优化，再采用进化资源调度方法解决多个业务系统的综合优化问题。徐向华等人提出了一种基于市场机制的云计算资源分配策略，并设计一个基于遗传基因的价格调节资源调度方法处理市场的需求和供给的平衡问题。林伟伟等人提出了一种基于动态重配置虚拟资源的云计算资源调度方法。该方法以云应用监视器收集的云应用负载信息为依据，然后基于运行云应用的虚拟资源的负载能力和云应用当前的负载进行动态决策，根据决策的结果为云应用动态重配置虚拟资源。通过为云应用重配置虚拟资源的方法实现资源的动态调整，不需要动态重新分配物理资源和停止云应用执行。Beloglazov等提出一种基于最小耗电量的资源调度方法，通过计算迁移前后的服务器的能耗进行优化调度。上述的资源调度方法大部分属于静态的资源调度方法，即在业务量基本确定的前提下，计算业务量所需的虚拟机资源，通过优化资源调度方法进行虚拟机资源和物理资源的绑定。在实际的生产环境中，业务量是动态变化的，这些资源调度方法往往基于业务量最大的场景下，对虚拟机部署进行优化。因此，在大多数业务量并不大的情况下，此类资源调度方法会造成虚拟资源闲置，会造成一定的资源浪费。林伟伟等人和李强等人提出的方法属于动态的资源调度方法，前者通过对目前资源节点的利用率进行检测，超过既定门限值进行资源增减；后者对WEB流量进行了专门的研究，得到WEB流量的处理门限值，并对虚拟机的性能进行监控，超过门限值时候触发资源调动。这两种资源调度方法都属于被动型的资源调度方法，即只能通过虚拟机实际资源已经消耗量进行调度，在业务量繁忙的时候会导致调度滞后于业务需求，使得业务需求无法及时响应。上述方法绝大部分都基于资源现状对确定性资源进行调度，而云计算环境中，业务量具有一定的不确定性，检测业务量再进行调度往往会导致资源短期严重不足或浪费。
发明内容
基于此，有必要针对现有技术在云计算资源中根据预测业务量进行资源调度的计算问题，提供一种基于隐马尔可夫模型的云计算资源调度方法。—种基于隐马尔可夫模型的云计算资源调度方法，使用隐马尔可夫模型对业务量变化情况进行描述和预测，所述方法包括模型训练步骤，对隐马尔可夫模型进行训练得到相关的模型参数；业务量探测步骤，对云 计算资源的业务量进行探测得到业务量观测值；业务量预测步骤，将探测得到的业务量观测值输入所述隐马尔可夫模型进行状态计算，得到预测状态，所述隐马尔可夫模型采用模型训练步骤得到的模型参数；资源调度步骤，根据所述预测状态对云计算资源进行调度。在其中一个实施例中，所述云计算资源的业务量为网络流量参数。在其中一个实施例中，所述业务量预测步骤包括每隔t时间作为一个时隙对业务量进行记录，每N个时隙构成一个观测窗口，在每个观测窗口进行数据处理得到业务量观测值，其中，t大于0，N为大于或等于I的正整数；在每个观测窗口进行数据处理得到业务量观测值具体包括将第i个观测窗口 Ti的第j个时隙记为k」，对应的业务量记录值为Xi,」，其中
I彡j彡N，计算Ti内所有记录值的平均值4丨N，其中，I彡j彡N ;计算第i个观测窗口 Ti的记录值平均值Xi与第i_l个观测窗口 Tg的记录值平均值Xh的差值，作为第i个观测窗口 Ti的业务量观测值第一参数Oiil = X1-Xp1 ；计算第i个观测窗口 Ti的内所有记录值的对比度CONi= Σ m,nIm-n I Pi,mn，作为第i个观测窗口 Ti的业务量观测值第二参数观测值C^2,其中，minxi；J O ^ m, n ^ max(xi；J),
I彡j彡N，Piinm是第i个观测窗口 Ti的第j个记录值为m且第j + I个记录值为η的情况在第i个观测窗口 Ti中出现的频度，Pi,mn=#(Xi,j=m, Xi，j+i=n)/(T-1),其中，minUi,j) < m, η < max (Xi,」)；对0i,2和0i,2进行转换得到对应的业务量观测值。在其中一个实施例中所述模型参数包括状态集合、观测值取值集合、状态跳转概率矩阵、观测值产生概率矩阵和初始概率分布矩阵；所述状态集合S= {s1; S2, s3},其中S1表示业务量增加状态，S2表示业务量持平状态，S3表示业务量减少状态；所述观测值取值集合V = Iv1, V2,…νκ}，Κ彡I ；所述状态跳转概率矩阵A = {amn}，其中am表示从状态Sni跳转到状态Sn的概率；所述观测值产生概率矩阵B= {bm (k)}，其中bm (k)表示在状态Sm下产生观测值Vk的概率；
所述初始概率分布矩阵Ji = {> J，其中Ji m表示初始状态为Sm的概率；所述业务量预测步骤具体包括计算第e个观测窗口 Te的预测状态qe
权利要求
1.一种基于隐马尔可夫模型的云计算资源调度方法，其特征在于，使用隐马尔可夫模型对业务量变化情况进行描述和预测，所述方法包括 对隐马尔可夫模型进行训练得到相关的模型参数； 对云计算资源的业务量进行探测得到业务量观测值； 将探测得到的业务量观测值输入所述隐马尔可夫模型进行状态计算，得到预测状态，所述隐马尔可夫模型采用模型训练步骤中得到的模型参数； 根据所述预测状态对云计算资源进行调度。
2.根据权利要求1所述的基于隐马尔可夫模型的云计算资源调度方法，其特征在于，所述云计算资源的业务量为网络流量参数。
3.根据权利要求1所述的基于隐马尔可夫模型的云计算资源调度方法，其特征在于，所述业务量预测步骤包括 每隔t时间作为一个时隙对业务量进行记录，每N个时隙构成一个观测窗口，在每个观测窗口进行数据处理得到业务量观测值，其中，t大于O，N为大于或等于I的正整数。
4.根据权利3所述的基于隐马尔可夫模型的云计算资源调度方法，其特征在于，在每个观测窗口进行数据处理得到业务量观测值具体包括 计算当前观测窗口内的所有记录值的平均值作为第一平均值； 以上一观测窗口内的所有记录值的平均值作为第二平均值，计算第一平均值与第二平均值的差值，作为当前观测窗口的业务量观测值第一参数； 计算当前观测窗口内的所有记录值的对比度，作为当前观测窗口的业务量观测值第二参数，所述对比度CONi= Σ m, n|m-n|pmn,其中，Pmn是当期观测窗口的记录值为m且上一个记录值为η的情况在当期观测窗口中出现的频度；对业务量观测值第一参数和业务量观测值第二参数进行转换得到对应的业务量观测值。
5.根据权利要求4所述的基于隐马尔可夫模型的云计算资源调度方法，其特征在于 所述模型参数包括状态集合、观测值取值集合、状态跳转概率矩阵、观测值产生概率矩阵和初始概率分布矩阵； 所述状态集合S= {s1; S2, s3},其中S1表示业务量增加状态，S2表示业务量持平状态，S3表示业务量减少状态； 所述观测值取值集合V=Iv1, V2, ···, vk, ···, vj, K ^ I, vk为第k个观测值； 所述状态跳转概率矩阵A = {a }，其中Bnm表示从状态Sm跳转到状态Sn的概率； 所述观测值产生概率矩阵B= {bm(k)}，其中bm(k)表示在状态Sm下产生观测值Vk的概率； 所述初始概率分布矩阵π = 1> J ,其中JI m表示初始状态为Sm的概率； 所述业务量预测步骤具体包括 计算第e个观测窗口 Te的预测状态qe
6.根据权利要求5所述的基于隐马尔可夫模型的云计算资源调度方法，其特征在于，所述资源调度步骤具体包括 如果预测状态为业务量减少状态，则回收云计算资源； 如果预测状态为业务量增加状态，则增加云计算资源； 如果预测状态为业务量持平状态，则维持云计算资源。
7.一种基于隐马尔可夫模型的云计算资源调度系统，其特征在于，包括 模型训练模块，用于对隐马尔可夫模型进行训练得到相关的模型参数； 业务量探测模块，用于对云计算资源的业务量进行探测得到业务量观测值，并发送到业务量预测模块； 业务量预测模块，用于将业务量探测模块探测得到的业务量观测值输入所述隐马尔可夫模型进行状态计算，得到预测状态并发送到资源调度模块，所述隐马尔可夫模型采用模型训练模块得到的模型参数； 资源调度模块，用于根据从业务量预测模块获得的预测状态对云计算资源进行调度。
8.根据权利要求7所述的基于隐马尔可夫模型的云计算资源调度系统，其特征在于 所述业务量探测模块包括 记录子模块，用于每隔t时间作为一个时隙对业务量进行记录； 业务量观测值计算子模块，用于每N个时隙构成一个观测窗口，在每个观测窗口进行数据处理得到业务量观测值，具体用于 计算当前观测窗口内的所有记录值的平均值作为第一平均值； 以上一观测窗口内的所有记录值的平均值作为第二平均值，计算第一平均值与第二平均值的差值，作为当前观测窗口的业务量观测值第一参数； 计算当前观测窗口内的所有记录值的对比度，作为当前观测窗口的业务量观测值第二参数，所述对比度CONi= Σ m,n|m-n I Pnin7Pmn是当期观测窗口的记录值为m且上一个记录值为η的情况在当期观测窗口中出现的频度；对业务量观测值第一参数和业务量观测值第二参数进行转换得到对应的业务量观测值并传送到业务量预测模块。
9.根据权利要求8所述的基于隐马尔可夫模型的云计算资源调度系统，其特征在于 所述模型参数包括状态集合、观测值取值集合、状态跳转概率矩阵、观测值产生概率矩阵和初始概率分布矩阵； 所述状态集合S= {s1; S2, s3},其中S1表示业务量增加状态，S2表示业务量持平状态，S3表示业务量减少状态； 所述观测值取值集合V = Iv1, V2,…νκ}，Κ彡I, Vk为第k个观测值； 所述状态跳转概率矩阵A = {a }，其中Bnm表示从状态Sm跳转到状态Sn的概率； 所述观测值产生概率矩阵B= {bm(k)}，其中bm(k)表示在状态Sm下产生观测值Vk的概率； 所述初始概率分布矩阵π = 1> J ,其中JI m表示初始状态为Sm的概率； 所述业务量预测模块具体用于计算第e个观测窗口 Te的预测状态_ 「 .(/) n (L — 31S X',#/) ’其中，\⑴为第e个观测窗口 Te的第i个前向变量，且 Ki<M^bj(Oe),e = l,l<i<M e(0= ΓΛ、 H U，其中，Oe为第θ个观测窗口 Te的业务量预测值。 2^ae-1U)aji MoeIe^M、L /=I_
10.根据权利要求9所述的基于隐马尔可夫模型的云计算资源调度系统，其特征在于，所述资源调度模块包括 业务量减少调度子模块，用于预测状态为业务量减少状态，回收云计算资源； 业务量增加调度子模块，用于预测状态为业务量增加状态，增加云计算资源； 业务量持平调度子模块，用于预测状态为业务量持平状态，维持云计算资源。
全文摘要
本发明涉及云计算相关技术领域，特别是涉及一种基于隐马尔可夫模型的云计算资源调度方法和系统，所述方法包括模型训练步骤，对隐马尔可夫模型进行训练得到相关的模型参数；业务量探测步骤，对云计算资源的业务量进行探测得到业务量观测值；业务量预测步骤，将探测得到的业务量观测值输入所述隐马尔可夫模型进行状态计算，得到预测状态，所述隐马尔可夫模型采用模型训练步骤得到的模型参数；资源调度步骤，根据所述预测状态对云计算资源进行调度。由于通过隐马尔可夫模型(Hidden Markov Model,HMM)对业务量进行预测，从而根据预测的结果进行云计算资源调度，能够进行提前调度，能更有效地利用资源。
文档编号H04L29/08GK103036974SQ20121053899
公开日2013年4月10日 申请日期2012年12月13日 优先权日2012年12月13日
发明者陆伟宙, 王晖, 庞志鹏, 陈运动, 郑建飞, 赖志坚 申请人:广东省电信规划设计院有限公司