云计算系统中资源的管理方法和装置与流程

本发明涉及信息处理领域，尤指一种云计算系统中资源的管理方法和装置。

背景技术

云计算(cloudcomputing)是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。云是网络、互联网的一种比喻说法。过去在图中往往用云来表示电信网，后来也用来表示互联网和底层基础设施的抽象。因此，云计算甚至可以让你体验每秒10万亿次的运算能力，拥有这么强大的计算能力可以模拟核爆炸、预测气候变化和市场发展趋势。用户通过电脑、笔记本、手机等方式接入数据中心，按自己的需求进行运算。

对云计算的定义,现阶段广为接受的是美国国家标准与技术研究院定义：云计算是一种按使用量付费的模式，这种模式提供可用的、便捷的、按需的网络访问，进入可配置的计算资源共享池，其中资源包括网络、服务器、存储、应用软件和服务等，这些资源能够被快速提供，只需投入很少的管理工作，或与服务供应商进行很少的交互。在数据中心建设的初期主要是完成网络、计算、存储的搭建，构建统一的资源管理平台，完成资源的统一化管理和自主服务；在后续的发展过程中用户逐渐关注资源的真正使用情况，以便更好的规划资源和控制资源的使用。

在数据中心建设的初期主要是完成网络、计算、存储的搭建，构建统一的资源管理平台，完成资源的统一化管理和自主服务；在后续的发展过程中用户逐渐关注资源的真正使用情况，以便更好的规划资源和控制资源的使用。因此如何预测资源的使用情况是亟待解决的问题。

技术实现要素：

为了解决上述技术问题，本发明提供了一种云计算系统中资源的管理方法和装置，实现预测资源的使用情况。

为了达到本发明目的，本发明提供了一种云计算系统中资源的管理方法，包括：

获取云计算系统中资源的数据信息，其中所述数据信息包括资源使用状态信息和资源的参数信息，其中所述资源的参数信息的大小与资源的性能的大小有对应关系；

利用获取到的数据信息，建立资源消耗的数据模型；

利用所述资源消耗的数据模型计算未来某一时刻所述云计算系统的资源使用状态。

其中，所述方法还具有如下特点：所述资源使用状态信息包括如下至少一个：

响应用户的管理操作所产生的资源消耗；

在满足预设条件时，对逻辑资源进行动态调整的资源管理信息。

其中，所述方法还具有如下特点：所述资源的参数信息包括如下至少一个：

用户在不同时段对资源的使用信息；

虚拟机、物理机和集群中的至少一个在硬件性能的配置要求；

机房环境的参数信息。

其中，所述方法还具有如下特点：所述利用获取到的数据信息，建立资源消耗的数据模型，包括：

将获取到的数据划分为用于资源预测的数据和用于测试模型可用性的数据，其中每类数据均包括使用状态信息和资源的参数信息；

利用用于资源预测的数据建立数据模型；

所述利用获取到的数据信息，建立资源消耗的数据模型，所述方法之后还包括：

按照所述数据模型中预设的输入参数，利用测试数据中的参数得到对应的输出结果；

通过计算数据的平均绝对值、均方根误差、均方根误差和平均绝对误差中的至少一个，得打输出结果与测试数据中实际获取的结果的比对结果；

根据比对结果，判断数据模型的可行性。

其中，所述方法还具有如下特点：所述利用所述资源消耗的数据模型计算未来某一时刻所述云计算系统的资源使用状态之后，所述方法还包括：

在得到预测的数据后，在所述预测时间真实发生之后记录实际数据；

将真实数据与预测数据进行比对，得到实际数据与预测数据的差值；

根据所述实际数据与预测数据的差距，实时动态的调整所述数据模型。

一种云计算系统中资源的管理装置，包括：

获取模块，用于获取云计算系统中资源的数据信息，其中所述数据信息包括资源使用状态信息和资源的参数信息，其中所述资源的参数信息的大小与资源的性能的大小有对应关系；

建立模块，用于利用获取到的数据信息，建立资源消耗的数据模型；

计算模块，用于利用所述资源消耗的数据模型计算未来某一时刻所述云计算系统的资源使用状态。

其中，所述装置还具有如下特点：所述获取模块获取的资源使用状态信息包括如下至少一个：

响应用户的管理操作所产生的资源消耗；

在满足预设条件时，对逻辑资源进行动态调整的资源管理信息。

其中，所述装置还具有如下特点：所述获取模块获取的资源的参数信息包括如下至少一个：

用户在不同时段对资源的使用信息；

虚拟机、物理机和集群中的至少一个在硬件性能的配置要求；

机房环境的参数信息。

其中，所述装置还具有如下特点：

所述建立模块包括：

处理单元，用于将获取到的数据划分为用于资源预测的数据和用于测试模型可用性的数据，其中每类数据均包括使用状态信息和资源的参数信息；

建立单元，用于利用用于资源预测的数据建立数据模型；

所述装置之后还包括：

测试模块，用于在建立资源消耗的数据模型，按照所述数据模型中预设的输入参数，利用测试数据中的参数得到对应的输出结果；

第一比对模块，用于通过计算数据的平均绝对值、均方根误差、均方根误差和平均绝对误差中的至少一个，得打输出结果与测试数据中实际获取的结果的比对结果；

判断模块，用于根据比对结果，判断数据模型的可行性。

其中，所述装置还具有如下特点：所述装置还包括：

记录模块，用于在得到预测的数据后，在所述预测时间真实发生之后记录实际数据；

第二比对模块，用于将真实数据与预测数据进行比对，得到实际数据与预测数据的差值；

调整模块，用于根据所述实际数据与预测数据的差距，实时动态的调整所述数据模型。

本发明提供的实施例，通过资源使用状态信息和资源的参数信息，其中所述资源的参数信息的大小与资源的性能的大小有对应关系；利用获取到的数据信息，建立资源消耗的数据模型；再利用所述资源消耗的数据模型计算未来某一时刻所述云计算系统的资源使用状态，通过数据预测可以为用户提供资源规划参考信息，节省物理资源成本，提升了云平台在资源精细化管理中的竞争力。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。

图1为本发明提供的云计算系统中资源的管理方法的流程图；

图2为本发明提供的基于arima算法完成数据中心未来剩余资源预测的方法的流程图；

图3为本发明提供的基于训练数据进行资源预测结果的示意图；

图4为本发明提供的数据拟合度的对比图

图5为本发明提供的云计算系统中资源的管理装置的结构图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图1为本发明提供的云计算系统中资源的管理方法的流程图。图1所示方法包括：

步骤101、获取云计算系统中资源的数据信息，其中所述数据信息包括资源使用状态信息和资源的参数信息，其中所述资源的参数信息的大小与资源的性能的大小有对应关系；

步骤102、利用获取到的数据信息，建立资源消耗的数据模型；

步骤103、利用所述资源消耗的数据模型计算未来某一时刻所述云计算系统的资源使用状态。

本发明提供的方法实施例，通过资源使用状态信息和资源的参数信息，其中所述资源的参数信息的大小与资源的性能的大小有对应关系；利用获取到的数据信息，建立资源消耗的数据模型；再利用所述资源消耗的数据模型计算未来某一时刻所述云计算系统的资源使用状态，通过数据预测可以为用户提供资源规划参考信息，节省物理资源成本，提升了云平台在资源精细化管理中的竞争力。

下面对本发明提供的方法实施例作进一步说明：

本发明主要应用于云数据中心未来资源的预测，通过多个维度收集用户的历史数据，经过数据清理之后调用本案的算法，生成数据模型，通过数据模型来完成未来资源使用情况的预测分析，更好的帮助用户节省资源和规划资源，达到精细化管理的要求。

为了节省资源成本，提出“精细化管理的构建思想”；为了满足用户的要求本案提供一种基于arima算法完成数据中心未来剩余资源预测的方案，通过收集用户的历史数据，自动构建数据模型来完成未来资源剩余情况的预测分析。

本发明应用实例提出了一种基于arima算法完成数据中心未来剩余资源预测的方案。

本发明包括历史数据收集、数据清理、构建数据模型、模型校验、模型训练、数据校对、数据预测。使用脚本方式抓取多个维度(机房环境、剩余资源实时使用情况、用户操作日志、资源生命周期、特殊业务操作等)的历史数据作为基础数据；针对收集的数据完成清理和数据规范化，生成训练数据和测试数据；调用arima算法完成模型的创建；使用模型预测数据并且完成算法的校验和数据拟合度校验最终确认模型；根据确认的模型嵌入云管理平台完成实际数据的预测。

本发明提供的基本思路如下：

1)根据实际的业务场景收集历史数据，要更可能多的收集数据，数据范围越广，数据量越大，生成的数据模型可靠性越高，收集到的数据包括直接影响因素和间接影响因素；

2)整理清洗历史数据，规范化数据作为样本数据；

3)通过样本数据完成模型的创建，并且通过行业标准校验数据模型的可行性；

4)通过数据模型预测未来数据，使用预测后的数据与测试数据进行拟合测试，判断模型的拟合率；

5)根据实际要求动态调整算法参数，使数据模型达到自主学习的能力

6)使用已有模型完成数据的预测，并且根据预测的结果动态调整模型参数，重新生成新的模型。

下面对上述发明思路进行详述：

图2为本发明提供的基于arima算法完成数据中心未来剩余资源预测的方法的流程图。图2所示方法包括历史数据收集、数据清理、构建数据模型、模型训练、模型校验、模型自主学习、数据预测，具体实施过程如下：

一、历史数据收集

收集历史数据作为模型入参，为了更好的完成模型的构建，需要收集各个维度的数据，数据分为直接影响因素和间接影响因素：

所述资源使用状态信息为直接影响因素，即直接对资源使用情况的影响，可以包括如下至少一个：

响应用户的管理操作所产生的资源消耗；

在满足预设条件时，对逻辑资源进行动态调整的资源管理信息。

举例来说，可以包括如下两类：

a)用户对资源的直接使用，包括但不限于：创建虚拟机、虚拟机的开关机、虚拟机的删除；物理资源的增加和删除以及资源大小的调整。

b)逻辑资源的规划，包括但不限于：整个部门资源需求的规划、资源生命周期到期之后的执行策略(直接删除或者增加物理资源)。

所述资源的参数信息为间接影响因素，不会对资源的使用情况构成影响，但是会对物理资源的性能构成影响，从而影响整个集群资源分配的效率，具体可以包括如下至少一个：

用户在不同时段对资源的使用信息；

虚拟机、物理机和集群中的至少一个在硬件性能的配置要求；

机房环境的参数信息。

在实际应用中，可以通过获取如下信息来获取：

a)用户操作日志：主要是记录用户的操作习惯，因为用户的操作习惯会增加系统运行在某个时间段对资源的操作更加频繁；

b)系统平台日志：主要是记录云管理平台各个组件之间的交互情况，尤其是抓取底层虚拟机、物理机、集群性能的频率和响应时间；

c)机房环境，包括但不限于：主机的温度信息、磁盘转速、通电时间、机房整体温度和湿度。

其中，数据收集方式包括：抓取用户操作日志；通过虚拟化接口或者监控脚本抓取虚拟机、主机、集群的性能数据；用户提前把部门未来资源的使用情况录入云平台统一管理；通过bmc接口抓取主机的温度、磁盘转速、通电时间等信息；通过传感器抓取机房的温度和湿度等相关的信息。

二、数据清理

该步骤主要通过使用数据清理工具，把收集到的历史数据序列化，实现入参的格式化的目的。

a.规范化数据：删除不适用的数据，比如重复收集的数据、有明显显示错误的数据；增加某个时间段缺失的数据，并且所有收集到的数据进行时间序列化，并且设置入参对模型的影响的百分比。

b.拆分数据：把数据拆分为训练数据(用来预测未来数据)，测试数据(与预测数据进行比对，确认算法的可用性)

c.平稳化处理：对于非平稳时间序列要先进行d阶差分运算，化为平稳时间序列；判断标准为adf检验可以得到单位根检验统计量对应的p值，若此值显著大于0.05，则该序列非平稳，否则认为是平稳数据。

三、构建数据模型

模型构建采用arima算法完成，主要是完成p、d、q参数的确定；采用极大似然比装置进行模型的参数估计，估计各个参数值，然后针对各个不同模型，采用bic信息准则(贝叶斯信息准则)对模型进行定阶，确定p,q参数，从而选择最优模型。arima算法的思路是构建一个多维度的大型矩阵，然后在矩阵中获取bic值最小的对应p、q的值。

四、模型校验：使用一些技术手段评估数据模型的可用性：

a.做d-w检验：德宾-沃森(durbin-watson)检验:确定数据模型是否符合自相关性

b.观察是否符合正态分布：观察数据模型释放符合动态分布

c.ljung-box检验：ljung-boxtest是对randomness的检验,或者说是对时间序列是否存在滞后相关的一种统计检验。

五、模型训练

图3为本发明提供的基于训练数据进行资源预测结果的示意图。使用训练数据，模型确认完成之后可以直接调用arima算法完成未来数据的预测。

六、数据校对

在建立模型时，将获取到的数据划分为用于资源预测的数据和用于测试模型可用性的数据，其中每类数据均包括使用状态信息和资源的参数信息；利用用于资源预测的数据建立数据模型；

在建立资源消耗的数据模型之后，按照所述数据模型中预设的输入参数，利用测试数据中的参数得到对应的输出结果；通过计算数据的平均绝对值、均方根误差、均方根误差和平均绝对误差中的至少一个，得打输出结果与测试数据中实际获取的结果的比对结果；根据比对结果，判断数据模型的可行性。

图4为本发明提供的数据拟合度的对比图。通过使用预测的数据与测试数据进行比对，观察拟合率，采用三个衡量模型预测精度的统计指标：平均绝对值、均方根误差、均方根误差和平均绝对误差，这三个指标从不同侧面反映了算法的预测精度。主要是完成模型可行性的确认。

七、数据模型自学习

在得到预测的数据后，在所述预测时间真实发生之后记录实际数据；

将真实数据与预测数据进行比对，得到实际数据与预测数据的差值；

根据所述实际数据与预测数据的差距，实时动态的调整所述数据模型。

通过自动调整参数，观察拟合率，选择拟合率比较高的模型作为剩余资源预测的模型，并且可以根据数据量自动调整参数，动态生成数据模型。

在生产环境中调用已经生成的模型来完成未来数据的预测，并且实时记录预测的数据，在预测数据真实发生之后完成与预测数据的比对，来确定该模型在实际生产环境中的可用度，并且根据预置的预置(实际数据与预测数据的方差百分比)，实时动态的调整模型。

八、数据预测

按照模型的入参要求，输入入参，完成对未来某一时刻的资源的剩余情况的获取。

本发明提供的应用实例，通过数据预测可以为用户提供资源规划参考信息，节省物理资源成本。增加了云平台在资源精细化管理中的竞争力。

图5为本发明提供的云计算系统中资源的管理装置的结构图。图5所示方法包括：

获取模块501，用于获取云计算系统中资源的数据信息，其中所述数据信息包括资源使用状态信息和资源的参数信息，其中所述资源的参数信息的大小与资源的性能的大小有对应关系；

建立模块502，用于利用获取到的数据信息，建立资源消耗的数据模型；

计算模块503，用于利用所述资源消耗的数据模型计算未来某一时刻所述云计算系统的资源使用状态。

在本发明提供的一个装置实施例中，所述获取模块获取的资源使用状态信息包括如下至少一个：

响应用户的管理操作所产生的资源消耗；

在满足预设条件时，对逻辑资源进行动态调整的资源管理信息。

在本发明提供的一个装置实施例中，所述获取模块501获取的资源的参数信息包括如下至少一个：

用户在不同时段对资源的使用信息；

虚拟机、物理机和集群中的至少一个在硬件性能的配置要求；

机房环境的参数信息。

在本发明提供的一个装置实施例中，所述建立模块502包括：

处理单元，用于将获取到的数据划分为用于资源预测的数据和用于测试模型可用性的数据，其中每类数据均包括使用状态信息和资源的参数信息；

建立单元，用于利用用于资源预测的数据建立数据模型；

所述装置之后还包括：

测试模块，用于在建立资源消耗的数据模型，按照所述数据模型中预设的输入参数，利用测试数据中的参数得到对应的输出结果；

第一比对模块，用于通过计算数据的平均绝对值、均方根误差、均方根误差和平均绝对误差中的至少一个，得打输出结果与测试数据中实际获取的结果的比对结果；

判断模块，用于根据比对结果，判断数据模型的可行性。

在本发明提供的一个装置实施例中，所述装置还包括：

记录模块，用于在得到预测的数据后，在所述预测时间真实发生之后记录实际数据；

第二比对模块，用于将真实数据与预测数据进行比对，得到实际数据与预测数据的差值；

调整模块，用于根据所述实际数据与预测数据的差距，实时动态的调整所述数据模型。

本发明提供的装置实施例，通过资源使用状态信息和资源的参数信息，其中所述资源的参数信息的大小与资源的性能的大小有对应关系；利用获取到的数据信息，建立资源消耗的数据模型；再利用所述资源消耗的数据模型计算未来某一时刻所述云计算系统的资源使用状态，通过数据预测可以为用户提供资源规划参考信息，节省物理资源成本，提升了云平台在资源精细化管理中的竞争力。

本领域普通技术人员可以理解上述实施例的全部或部分步骤可以使用计算机程序流程来实现，所述计算机程序可以存储于一计算机可读存储介质中，所述计算机程序在相应的硬件平台上(如系统、设备、装置、器件等)执行，在执行时，包括装置实施例的步骤之一或其组合。

可选地，上述实施例的全部或部分步骤也可以使用集成电路来实现，这些步骤可以被分别制作成一个个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

上述实施例中的各装置/功能模块/功能单元可以采用通用的计算装置来实现，它们可以集中在单个的计算装置上，也可以分布在多个计算装置所组成的网络上。

上述实施例中的各装置/功能模块/功能单元以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。上述提到的计算机可读取存储介质可以是只读存储器，磁盘或光盘等。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求所述的保护范围为准。