一种云数据中心运行状态评估方法与流程

本发明涉及大数据分析
技术领域：
，具体涉及一种云数据中心运行状态评估方法。
背景技术：
：众所周知，数据中心是信息系统的中心，通过网络向企业或公众提供信息化服务。云计算给数据中心带来了新的需求。与传统的企业数据中心相比，面向云计算的数据中心具有以下不同之处：(1)云计算数据中心通常具有更大的规模；(2)云计算数据中心对管理自动化的要求更高，一般采用诸多的自动化运维工具辅助运维工作；(3)云计算数据中心采用横向伸缩(scaleout)解决负载扩展问题，即会将负载分布到其他运行的普通服务器上，而传统数据中心则通常采用纵向扩展；(4)传统的企业数据中心一般由某公司拥有，运行公司特有的部分应用，数据中心可以更好的进行管理与评估，而云计算数据中心要支撑多种类型的应用，更要将自身的负载分布在更大规模的普通服务器上(横向伸缩)，云数据中心由云计算服务厂商所拥有，提供云计算作为商品给企业或者个人用户。由于其具备商品属性，对云数据中心的平稳安全运行提出了更高的要求，同时也对评估模型的建立提出了更高的要求。现有的云数据中心监控方案大多采用的是高层监控底层监控分开进行监控的方式，即监控工具停留在对底层的数据中心的物理机cpu使用率、内存使用率等物理机指标以及动力环境指标进行监控，或是对高层的sla指标项、服务质量等指标进行监控。虽然已经开始做一些底层到高层监控项进行映射的尝试，比如使用马尔科夫链进行建模，使用深度学习的手段建立两种监控之间的映射关系，但还是缺乏一个合理有效的映射度量去将二者关联起来。对iaas层状态的监控更是还停留在早期的驻场运维工程师的现场巡检的状态，而没有进一步的向自动化运维平台进行集成。这也造成了一些基础运维工作的效率低下以及人力浪费严重的问题。可以看出，当前运维工作人员主要将数据中心的运行状态表述成为各个指标项当前状态值一个状态集合，运维工程师对整体状态的把握无法直观的得出。如何对云数据中心的整体运行状态进行表述，以及合理的进行量化使其在时间纵向上可以比较，同时进一步将整体运行状态集成进自动化运维平台是一个尚未解决的问题。技术实现要素：为解决现有技术存在的不同，本发明提供了一种云数据中心运行状态评估方法，包括如下步骤：步骤s1：获取所有评估者给出的评估矩阵，剔除其中不满足一致性指标的评估矩阵，并获取剩余评估矩阵的权值向量；步骤s2：将整理出的权值向量通过均值漂移聚类方法划分成若干个意见群落，并剔除意见群落中人数不足整体5％的意见群落；步骤s3：对于剔除后的意见群落，使用基于一致性指标的权值修正算法计算出每个意见群落中，各个权值向量的可信参数，并基于每个权值向量的可信参数得到每个意见群落修正后的权值向量；步骤s4：根据每个意见群落中的人数，对每个意见群落修正后的权值向量进行加权平均，得到最终评估出的权值。其中，所述步骤s1中，评估矩阵以及评估矩阵的一致性指标通过同层子准则权值分配的方法获取。其中，所述步骤s1中，评估矩阵的权值向量的获取方法包括：步骤s11：从层次评估模型的根节点开始，确定每个度量元层中每个子度量因子相对于上个度量元层中父度量因子的相对权重；步骤s12：利用子度量因子的相对权重乘以该子度量因子所对应的上一层的父度量因子的绝对权重，得到子度量因子的绝对权重；步骤s13：从根节点至最底层的度量元层，依次执行步骤s12，直至获得最底层的度量元层中每个度量因子的绝对权重，再以每个最底层的度量元层中每个度量因子的绝对权重乘以相应的度量值，即得评估矩阵的权值向量。其中，所述步骤s11中，每个子度量因子相对于上个度量元层中父度量因子的相对权重，通过使用同层子准则权值分配法确定。其中，所述步骤s2中，通过均值漂移聚类方法划分意见群落的过程包括：步骤s21：在维度与权值向量相同的向量空间内，将向量空间按照初始值划分为若干个超空间格；步骤s22：以每个超空间格的定点为圆心，确定半径为预定带宽的超球体，将整理出的权值向量落入相应的超空间格内，其中，落入同一个超球体内的权值向量属于同一聚类；步骤s23：获取属于同一个超球体内的权值向量的平均值，将对应超球体的球心向平均权值向量对应的权值点偏移；步骤s24：设定各超球体球心收敛的临界值，直至每个权值向量都属于且仅属于同一个超球体，即将每个权值向量划入不同的意见群落中，其中，每个超球体对应一个意见群落。其中，所述步骤s3中，每个意见群落修正后的权值向量通过如下公式获取：其中，wi表示相应的意见群落中对应的评估矩阵的权值向量，θi表示权值向量对应的可信参数；n表示相应的意见群落中的权值向量的数量；wfix表示相应的意见群落修正后的权值向量。其中，所述权值向量的可信参数θi，通过获取权值向量对应的评估矩阵的一致性指标c.i.得到，其中，一致性指标c.i.值越小，可信参数θi的值越大。其中，在同一个意见群落中，每个权值向量对应的可信参数θi的值之和为1。本发明提供的云数据中心运行状态评估方法，针对传统层次评估模型权值确定的问题，设计了一种权值修正算法，提出了意见群落的设想并基于均值漂移的算法，进行了意见群落的聚类划分，在保证准确全面的前提下，为云数据中心运行状态的评估提供了维度参考数据，实现了指标量化，评估结果可靠准确，为云数据中心保持安全平稳运行的后续工作的展开奠定了基础。附图说明图1：本发明采用层次分析法对所有子节点的权值分配评估流程。图2：本发明的一个实施例的权重分配流程。图3：本发明的均值漂移算法的圆心方向选择示意图。图4：本发明在实验验证阶段意见群落内的修正权值变化图。具体实施方式为了对本发明的技术方案及有益效果有更进一步的了解，下面结合附图详细说明本发明的技术方案及其产生的有益效果。一、权值分配的基础-同层子准则本发明中所述的同层子准则为拥有同一父节点的兄弟节点，在此处特别指出说明。对处于同一层级的子准则(子度量因子)采用经典的层次分析法(theanalytichierarchyprocess，简称ahp)进行权值的分配。层次分析法是一种用于多指标的综合评价和多目标决策的问题，对定性的影响因子进行定量分配的方法。层次分析法将参与决策的所有元素分解成为目标、准则、方案层次。由评估者去评估每个度量元层次中各个子准则之间的相对重要性。采用1-9标度法的形式对准则层之间的子准则之间的相对重要性进行打分，构建出两两比较矩阵。假设共有n个准则分别为m1,m2…mn。则构建成出如下所示的的两两比较矩阵d：对于每个评估者所构建出的比较矩阵计算比较矩阵的最大特征值(特征根)与其所对应的特征向量，其后利用一致性指标、随机一致性指标和一致性比率做一致性检验。对通过一致性检验的比较矩阵，计算其特征向量，进行归一化后即为各个子准则的权向量。一致性不通过则需要评估者重新构建比较矩阵，或被剔除。1-9标度法的各个标度的具体解释如表1所示。表1：1-9标度法及其含义标度含义1两个准则同等重要3一个准则比另一个准则稍微重要5一个准则比另一个准则显著重要7一个准则比另一个准则强烈重要9一个准则比另一个准则绝对重要2，4，6，8各个标度之间的相对重要性采用层次分析法对一个节点(度量因子/准则)的所有子节点的权值分配评估过程的流程如图1所示。用通过上述方式评估出的权值难免会被评估者的主观性所干扰，而主观性会显著的影响到评估的准确性。因此使用层次分析法评估中关键的一步就是进行一致性检验。一般可采用一致性指标(consistencyindex,c.i.)和比率一致性r.i.去检验一次评估的合理性。其中平均随机一致性指标(randomindex,r.i.)是由ahp作者所给出的计算方法计算得到的，用以检查在不同指标项的项数下，满足一致性的值。计算过程在本文中不展开论述，现仅将常用的低阶平均随机一致性以表2给出。参照所给出的平均随机一致性，计算比率一致性(ratioindex,c.r.)的值是否小于0.1，以此来判断比较矩阵是否具备一致性。c.i.和c.r.计算方式如下：1、一致性指标c.i.(λmax是比较矩阵的最大特征向量，n为比较矩阵的阶数，也即为子准则的个数)：2、比率一致性c.r.：3、平均随机一致性r.i.的典型取值如表2所示：表2平均随机一致性指标标度12345678910r.i.000.520.891.121.261.361.411.461.49采用上表的平均随机一致性指标，并使用计算得到的一致性指标c.i.计算出比率一致性指标，如果比率一致性指标小于0.1，则表示该比较矩阵具备一致性并可以用以进一步计算各个子准则的权值。二、权值分配方法权值分配方法基于上文所述的同层子准则给出的评估矩阵进行，本节着重论述每个子准则的所分配到的权值大小及最终模型对应的权值向量的获取方法。首先，请结合图2所示的一个简单的模型对应的权值理解在子准则(即度量因子)的权值分配中，所涉及到的相对权重和绝对权重的含义。相对权重：相对权重指度量因子或者子准则相对于上层节点的权重。属于同一上层节点的所有子节点的相对权重的值和为1。表现在图2中，例如1为根节点，2、3、4为根节点1下的三个子节点，2、3和4节点的相对权重分别是0.2、0.3及0.5；2作为一个父节点，其下另外可以划分出三个子节点5、6、7，子节点5、6、7的相对权重分别是0.2、0.2及0.6，同样的，不难理解在图2中，作为父节点3下面的子节点8和9的相对权重分别是0.4和0.6，作为父节点4下面的子节点10和11的相对权重分别是0.5和0.5。绝对权重：绝对权重是指度量元或者子准则在整个评估模型中的权重值的大小。对于一个已经分配完权重的层次模型，模型的所有子准则的绝对权重值之和为1。现在以一条评价树中根节点到子节点的路径来说明相对权重与绝对权重直接的关系。假设该路径上共有m个节点，分别为n1，n2…nm来表示，每个节点的度量值大小分别为v1，v2…vm，拥有的相对权重大小为w1，w2…wm。对于路径上的一个节点k设其为nk来说，假设该节点所拥有的绝对权重大小awk。则该节点相对权重的计算方式为：基于以上对相对权重以及绝对权重的理解，不难理解本发明中权值向量的获取方法，为如下所述的逐层权重分配算法：1、从层次评估模型的根节点开始，对层次模型每层的每个度量因子使用层次分析法确定的相对权重；2、对于该层每个完成权重分配的度量因子，使用相对权重值乘父度量元的绝对权重值得到该度量因子的绝对权重的值；3、对于层次评估模型的每层度量因子，重复上述1，2过程直到所有层的权重值分配完毕。例如，针对图2中的节点5，从根节点至该节点的路径为1-2-5，每个节点的相对权重大小分别是1、0.2、0.2，则节点5的绝对权重大小为1×0.2×0.2＝0.04。对于层次模型的最底层为度量元层，假设该层存在m个度量元，分别为n1，n2…nm，每个度量元的度量值为v1，v2…vm，分别具有的绝对权重大小为aw1，aw2...awm。则该模型的总评估分w为：如上，在最底层的度量元层中，节点5-11的绝对权重值分别为0.04、0.04、0.12、0.12、0.18、0.25、0.25，假设每个节点的度量值均为1，则最终得到的该模型对应的评估矩阵的权值向量为(0.04、0.04、0.12、0.12、0.18、0.25、0.25)，在下文中，针对其构建的向量空间为7维向量空间(下文详述)。在整个评估模型中，根节点的绝对权重值为1，每个父节点-子节点单元中，子节点的相对权重值通过构建上文所述的评估矩阵得到，即，针对图2所示模型，需要构建四组一致性指标合格的评估矩阵，分别针对节点2、3、4节点，5、6、7节点，8、9节点以及10、11节点构建评估矩阵。本发明中，所谓的“父节点”和“子节点”是一个相对的概念，在一个评估矩阵模型中，处于低阶度量元层的度量因子为子节点，处于高阶度量元层的度量因子为父节点，当然，某一个评估矩阵模型中的子节点可能是其它评估矩阵模型中的父节点，如在针对2、3、4节点构建评估矩阵时，节点2为子节点，但在针对5、6、7节点构建评估矩阵时，节点2为父节点。三、基于均值漂移聚类的权值调整算法如上文所述，经过评估矩阵和权值分配后，针对每一个评估者，本发明都得到了一个权值向量，而如何将多个权值向量整个为一个权威的，作为最终结果的权值向量，是均值漂移聚类所解决的问题。本发明假设对一个问题看法趋近于相同的一群评估者属于同一个集合，在下文中，本发明将该集合确定为意见群落。在前文所述的采用层次分析法并进行一致性检验的过程中，如果发现比率一致性的值小于0.1，则一般认为通过层次分析法所计算得出的权值向量是较为合理的。但能通过一致性检验只能说明此次评估对各个权值之间的分配是较为合理的，并不能称之为是客观的。在此处提出假设，在一次完整的评估过程中，具备完备领域知识的评估者对各个子准则的评估如果通过一致性检验，则该评估是相对客观的。对系统多个子准则进行评估的过程中，我们可以认为具备完整领域知识的评估者对每项指标的评估是合理的，在指标i的客观权重wiob存在的情况下，不同评估者(设数量为k)对指标i的评估得到的主观权重w(wi1，wi2，…wik)应当满足均值为客观权重值的正态分布，此处记为w～n(wiob，σ2)。则此时可以将使用层次分析法对多指标两两比较进行打分的过程抽象成从k个指标中选择一个主观最重要的指标。我们假设在一次评估过程中，评估者对各个评估指标的主观程度均是相同的，也即每个指标所服从的正态分布的标准差均为σ。则由正态分布的特性，在一次评估过程中指标i比指标j重要的概率为：在这里省略去推导过程。易知，上式是一个仅与wiob与wjob相关的函数，记为p(wiob，wjob)。推广到多指标体系的权值评估中。易知，在一次评估中，指标i被评估为最重要的概率为：p(wiob，wmob)。其中，wmob是所有参与评估的指标中，选择的最重要指标的权重。设事件ti为一次具备完备领域知识的评估者对子准则的评估中指标i被选择为最重要的指标，则其发生的概率为记为p(ti)。而在一次评估过程中，指标i被选定为最重要指标的概率即为指标i的权重wi，则可得出wi＝p(ti)。在上述推论的基础上，本发明使用历史评估数据去修正主观权重。在客观权重存在的基础上，在同一个意见群落内。我们认为一个评估者所构建的评估矩阵的一致性指标c.i.的值越小，则该评估者的评估应当越可信，则该评估矩阵应当被赋予更高的权重。那么可以据此提出根据历史或者其他评估者评估矩阵对同属于一个意见群落进行修正的算法。综上文论述，每个评估者评估得到的实际权值在客观权值上下正态波动。我们令每个评估矩阵具有可信参数θ。显然可信参数θ与一致性指标c.i.是负相关的，则针对每个最终收敛出的意见群落，均具有一个修正后的权值向量wfix具体的，该修正后的权值向量可用该意见群落中每个权值向量wi与其相对应的可信参数θi进行加权得到。即：我们将上述修正后的权值向量作为该意见群落中的代表性权重。且该权值向量具备平均的一致性指标c.i.mean。为了对所有的评估产生的权值向量进行划分，在计算上述修正后的权值向量之前，需要首先使用均值漂移算法，将所有的评估矩阵对应的权值向量划分为若干个意见群落，即完成一个分类问题。均值漂移算法的主要实现步骤如下：1、在多维度的向量空间内，将向量空间按照初始值划分为超空间格，其中，该向量空间的维度与评估者得到的权值向量的维度相同。2、初始化均值漂移的带宽，可以认为，落入同一个带宽内的权值向量同属于一个聚类。3、对于每个超空间格的定点，画半径为带宽的超球体，落入同一个超球体的权值点(权值向量在该超空间格内对应的点)属于同一聚类。4、计算同属于一个超球体的权值向量的平均值，将该超球体的球心向平均向量方向进行偏移；5、设定球心收敛的临界值，直到每个权值向量都属于且仅属于一个意见群落。均值漂移算法的圆心方向选择示意图如图3所示。以初始圆心为c1_o的定格位置来说明一次均值漂移的情况。计算当前圆内所有点到圆心c1_o的距离向量。对所有计算得到的距离向量进行平均，计算得出下次圆心的位置，继续进行迭代计算，直到两次迭代的圆心距离小于设定的阈值。对于完成划分的意见群落的均值进行筛选。每个意见群落的表示形式为一个三元组，用c＜w，c.i.mean，n>来表示。其中w为该意见群落经过群落内权值修正算法修正过后的修正权重，c.i.mean是该意见群落的平均一致性指标，n为该意见群落的总人数。综上，本发明提供的评估方法，一个整体的实现过程如下：1、获取初始的评估矩阵，对于其中不满足一致性指标的评估矩阵进行剔除，并计算剩余评估矩阵对应的权值向量。2、将所有满足一致性指标的评估矩阵对应的权值向量经过均值漂移聚类算法划分成若干个意见群落，对于意见群落中的人数不足整体5％的意见群落进行剔除。3、对于每个意见群落，使用基于一致性指标的权值修正算法计算出代表整个意见群落的修正后的权值向量及平均一致性指标。4、对于所有的满足要求的意见群落的权值向量按照群落人数进行加权平均，得到本次评估的最终权值(例如，最终得到的3个意见群落，分别具有人数3人、5人、7人，则分别利用人数乘以该意见群落的修正后的权值向量，相加后再除以15)。四、算法可靠性验证本发明采用四个准则的权值评估过程去验证算法的有效性。首先构建权值评估矩阵，对来自云计算服务商的从业人员以及云计算的专家学者等以网上调查的形式对数据中心稳定运行的四个方面，业务延续性、能耗指标、资源池状态指标以及动环指标进行相对重要性评价，以此进行四个评价维度的权值分配，为后面构建完整的运行状态评估模型提供依据。本章采用调查问卷的形式搜集原始重要性数据，将调查结果采用层次分析法的形式，构建出两两比较矩阵。对通过一致性检验的评估矩阵进行下一步分析。共计有47份两两评估矩阵样本，其中通过一致性检验的评估样本共有39份。使用均值漂移算法进行意见群落划分，现将搜集到的意见使用ahp法进行权值预处理，得到相应的权值向量。将预处理完成的权值向量存储，并调用原型工具中的meanshift包进行权值划分。各个参数的含义分别说明如下。圆心半径指的是同属于一个聚类的范围大小，为经验值。网格大小，为分配初始值漂移圆的密度，该值设定的越小，则漂移圆越多，但迭代次数会增加。收敛圆心距离为两个漂移圆区分开的最小距离，当两个圆的圆心距离小于该值时，则认为这两个圆为同属于一个聚类。收敛移动距离为，一次漂移的最小阈值，当两次漂移之间的距离小于该值时则认为已经收敛。试验结果如表4所示，结果保留至小数点后三位：该群落内的意见较好的散落在了四维超球心坐标[0.417,0.235,0.140,0.208]的周围。共计有18组数据。舍弃小于总人数5％的意见群落，则最终统计前三大意见群落的评估权重，对于每个意见群落使用权值调整算法进行群落内权值调整，下面以人数最多的意见群落为例，说明群落内权值向量的调整过程。表4意见群落结果统计表最终收敛圆心个数[0.417,0.235,0.140,0.208]18[0.432,0.228,0.136,0.204]10[0.627,0.120,0.114,0.139]9[0.428,0.228,0.113,0.206]2采用依次加入新评估者的方式来验证新评估者的加入对整个意见群落的整体权值的影响，每次新加入的评估意见，我们以整体样本的方差变化，以及实时的意见群落的代表权值的变化来分析群落内权值修正算法的正确性。其中业务延续性准则的代表权值随群落内评估人数的变化如图4所示。从图4可以看出，修正后的权值随着历史评估数据的增多，权值的变化逐渐的趋于统一，也即是整个意见群落的意见趋向于收敛。下面从整体权值随着新的评估样本的加入所引起的整体群落内的方差变化这一维度来说明群落内基于一致性指标进行的权值调整算法的有效性。由于样本数量较小，采用bootstrapping的方式扩充原始的样本集，将样本集扩充至1560个。采样方式为使用初始的39份评估数据集作为初始集，对此数据集进行有放回的抽取进行重采样，重复这个操作共计1560次，可得到一个大小为1560的样本。此时在该样本上运行群落划分算法后，落入最大群落的样本数量为722。对于每个新评估意见的加入对于整体意见的加入对总体意见的修正效果，其中最大群落经过有放回重抽样之后的获取群落内方差变化图：每个新增的评估样本数据，会使评估权值方差越来越小，在评估样本较小的时候，修正的权值集合方差会波动很大，但随着评估样本的扩充，最终会逐渐在一个方差值非常小的范围波动，说明群落内的意见会收敛到较为一致的状态。通过该权值修正算法修正得到的权值可以作为群落内的代表权值。最终完成修正的权值结果如表5(结果保留至小数点后3位)所示，由此确认四个评估维度在整体状态评估是所占的权重。表1最终完成修正的权值分配结果本发明提供的云数据中心运行评估方法，针对传统层次评估模型权值确定的问题，设计了一种权值修正算法，提出了意见群落的设想并基于均值漂移的算法，进行了意见群落的聚类划分，在保证准确全面的前提下，为云数据中心运行状态的评估提供了维度参考数据，实现了指标量化，评估结果可靠准确，为云数据中心保持安全平稳运行的后续工作的展开奠定了基础。虽然本发明已利用上述较佳实施例进行说明，然其并非用以限定本发明的保护范围，任何本领域技术人员在不脱离本发明的精神和范围之内，相对上述实施例进行各种变动与修改仍属本发明所保护的范围，因此本发明的保护范围以权利要求书所界定的为准。当前第1页12