基于统一分类接口的数据中心自动化资源管理系统及方法

专利名称：基于统一分类接口的数据中心自动化资源管理系统及方法
技术领域：
本发明涉及一种资源管理系统及其工作方法，具体是一种基于统一分类接口 的数据中心自动化资源管理系统及其工作方法，其应用了基于统一的分类资源接 口，实现了一个自动化的多应用共享数据中心资源管理系统。
背景技术：
随着计算机技术以及Internet的高速发展，越来越多的人或团体以基于 Web的方式发布各种各样的服务。这些服务其中的成功者会以非常迅速的方式在 Internet中流行开来。而流行的服务意味着每时每刻大量的访问流量。流量的 快速上升意味着服务提供者必须投入大量的计算、存储、软/硬件资源来保证服 务质量(后面通称其为基础设施)，以免因为客户体验的下降而造成客户流失。 一般服务提供者基于成本的考虑，会选择将服务部署于第三方所有数据中心。但 是，即使这样，基础设施规模不断膨胀。这样对于数据中心以及服务提供者，如 何降低拥有和使用成本成为一个关键的问题。而即使对于一些大型机构，拥有自 己的数据中心，也同样会对运行多个与业务相关的服务带来的管理问题。除了数 量上的增加，服务提供者所使用的第三方的组件类型也随相应增加。于是带来了 如何管理这些基础设施的问题。
传统的情况下，服务提供者需要雇佣大量的专业管理员来管理这些基础设 施。表现为一般服务提供公司都会设有规模可观的运营维护部门。这样， 一来造 成了公司的经营成本，二来专业管理员的培训跟不上Internet膨胀的速度，必 然导致管理人员开始相对稀缺。管理员的稀缺会导致更多水平达不到要求的管理 员被迫上岗，同时也造成管理维护的质量得不到保证，进而影响系统对外的服务 质量。
在这样的背景下，使得资源管理能够尽可能地自动化，必然能有效地节约 服务提供者的成本。这个方法要能够屏蔽各种组件的异构性，并能够灵活地被各 种上层的自动化策略所整合。

发明内容
本发明所要解决的技术问题是提供一种能够屏蔽各种软硬件资源异构性的 数据中心自动化资源管理系统，使得各种各样的智能决策技术能够很方便地应用
5其上，使得整个资源管理可以尽可能的自动化，此外，本发明还提供了该系统的 工作方法。
一种基于统一分类接口的数据中心自动化资源管理系统，包括通过Internet 连接的多个资源，分属应用所有者与资源所有者，其特征是它还包括统一资源 管理接口、资源池管理器和应用管理器，应用所有者与资源所有者的每个资源都 使用统一资源管理接口来封装各种异构的资源，若干应用所有者资源经各自的统 一资源管理接口连接应用管理器，应用管理器与资源池管理器之间通信用来申请 或释放资源所有者的资源；资源池管理器通过统一资源管理接口与资源所有者的 资源连接用于提供或接受释放资源。
上述统一资源接口包括生命周期管理接口 、参数配置接口和状态检査接口 。 一种基于统一分类接口的数据中心自动化资源管理方法，包括通过Internet 连接的多个资源，分属应用所有者与资源所有者，其特征是它还包括统一资源 管理接口、资源池管理器和应用管理器，统一资源管理接口用于封装各种异构的 资源，资源池管理器用于提供资源申请和释放的机制，应用管理器负责管理单个 应用；其步骤如下
h) 对于应用所有者与资源所有者的各种软硬件资源，都使用统一资源管理 接口来封装，使不同类型的资源可以用统一的接口来访问；
i) 对于每个应用，应用所有者自行提供一套应用管理器，负责此应用资源
使用的管理；
j)某个应用开始运行时，应用管理器根据预先配置基于资源池管理器申请 资源；
k)资源池管理器接到应用管理器申请后，根据应用所有者与资源所有者的
服务协议决定是否满足这个申请； 1)应用管理器在得到资源池管理器所分配的资源后，通过资源管理接口对
资源整体进行配置，并激发其处于服务状态； m)应用管理器通过状态检査接口监视应用运行的过程中环境的变化，发出
对额外资源的申请，过程同上面启动过程； n)对于空闲不使用的资源，应用管理器将其归还资源池管理器。 上述步骤a)中，统一资源接口包括三套接口生命周期管理接口、参数配置 接口和状态检査接口。在上述步骤b)和C)中，使用资源类型名来区分不同类型的资源。
在上述步骤e)中，资源池管理器所返回的是应用管理器根据服务约定能够定 位资源的资源唯一标识符，它在实现中是一个IP地址、URL或者UUID。
在上述步骤f)中，收集运行状态信息的检査接口实现上分为探针(probe) 和度量(gauge)两部分，先由探针获得原始的监视信息，然后由度量部分分析 处理，形成应用管理器能理解的事件。
上述方法需要使用下面的接口
接口 1申请和释放资源
Request "Resource Type" Release "Resource Type，，
Request 用于向资源池管理器申请资源，而Release则用于向资源池 管理器归还资源。
接口 2生命周期管理
Create "component name" Remove "component name" Start Stop
其中Create表示安装比较的组件，Remove表示卸载所安装的组件。Start 表示激活资源使其处于可访问状态，Stop表示使资源处于就绪状态。 接口 3配置 ReadConfig "key" WriteConfig "key""new value"
ReadConfig用来读取当前某个配置项目的配置值。WriteConfig用于用新的 值更新配置项目的值。"key"是配置项目的名字，"new value"是配置项目的新 值。
接口4状态检査
readStatusVariable '"variable name" readStatusVariable读取某个状态项目的值，比如系统响应时间、吞吐量等。
本发明与现有的技术相比，其显著优点是能够减少应用管理者的学习成 本，以及更有效地实现管理的自动化。当前，在Internet上发布公共服务，大多数服务提供者会选择组合现有的解决方案，在加入自身个性的部分来实现。这 种开发方式虽然縮短了开发周期，但是却为系统管理的自动化造成困难。这个困 难来源于现有的各种解决方案由于来源、作者、出现的时间等的不同，造成其在 管理接口、管理方式上的不同，这是所谓的资源异构性的一个突出方面。资源异 构性造成了困难l)应用的管理者为了要对系统进行管理，需要掌握大量平台相 关的细节知识；困难2)如果要将管理自动化，那么自动化程序则也需要应对这 种管理接口和方管理式的复杂性，并且如果要新加入一个即使是常用的第三方组 件，也需要进行相对大量的再开发劳动。因此，本发明所描述的方法正好能够很 好地解决这个问题。应用管理者管理通过统一的资源管理接口封装过的资源，仅 仅需要知道资源本身的职能以及可以调整的参数，不需要重新学习很多平台的细 节。而对于自动化资源管理来说，由于统一的接口屏蔽了资源的异构型，决策模 块对系统状态进行推理并选择行为的时候可以根据资源本质的属性(如，资源的 类型、职能等)，而不需要涉及很多平台以及技术相关的细节。
四

图l显示了本发明的系统结构。 图2显示了资源管理分类接口的进一步细节。
图3—1， 3—2分别显示了资源池管理器和应用管理器的主要工作流程。
五具体实施例方式
1、 运行环境
(1) 数据中心，拥有足够的计算设备(如，PC服务器)。
(2) 使用至少一个主机用于部署资源池管理器。
(3) 每个服务至少有一个主机用于部署应用服务器。
(4) 在主机资源上分别部署各种所需类型的软件资源。
(5) 为各种软件资源编写管理接口的实现。
系统结构如图l所示，它包括资源、资源池管理器、应用管理器，应用管理 器根据服务提供者的设定，通过状态检査接口监视资源的运行状况，在一定情况 下向资源池管理器申请或释放资源。资源池管理器根据资源拥有者(数据中心所 有者)和服务提供者的协议确定是否提供资源(还可以进行资源使用计费)。
2、 场景
图2显示了应用管理器如何通过管理接口来管理资源。为了使得资源的管理
8标准化，这里首先需要用如上面说明书所介绍的管理接口对各种异构资源进行封 装。在参考实现中，我们使用Java JMX技术来对外暴露管理接口，原因是Java 本身跨平台的优点对于屏蔽资源的异构性很有益处。当然这里也可以采用更通用 的Web Service来实现，取决于实际系统的需要。这里要实现的接口分三类生 命周期管理接口、配置接口和状态检查接口。
生命周期管理接口主要用于负责资源的安装卸载和启动停止。配置接口用于 配置资源(主要是软件资源)的启动参数和各种运行时参数。状态检査接口主要 用于査询资源运行时的各种状态参数。
声明周期接口在实现的时候需要使用原始的调用接口，也就是跟原始管理所 使用的调用方式一致(例如，Shell、 API等)。而配置接口，需要将原来被管理 资源可能被修改的配置项目使用键-值映射(key-value mapping)保存起来，使 得应用管理器能够通过键值读取以及修改配置值。这里实现读取和修改也要用到 资源的原始接口。状态检査接口的实现需要讲究一点技巧，原始的资源本身可能 并没有提供所需要的度量，因此需要根据资源目前提供的度量来计算或推断所需 要的度量。
如图3-l所示，当底层的资源都已经封装完毕，应用管理器可以通过相对简 单的方式来管理这些资源。首先是启动状态申请运行必须的最少资源，然后配置 部署服务，并启动之。服务运行过程，应用管理器会不断通过检查资源的运行状 态，当发现有服务的负载过重的时候，它根据预先设定或者学习得到的知识去确 定问题所在。应用管理器可以作需要资源的决策，并向资源池管理器申请额外资 源以增加服务能力。
如图3-2所示，资源池管理器的工作流程相对简单，首先是分类保存现在已 有的资源，然后进入主循环。主循环中，只是等待并满足其他模块的请求。几个 要实现核心功能分别是加入新资源，满足应用管理器的申请和释放的请求。其实 在满足申请需求的时候，资源池管理器还需要根据服务约定来判断是否满足服务 请求。
3、技术描述
(1) JMX
参考实现中使用JMX技术，是Java平台上一个为应用程序植入管理功能的 框架。它是一个完整的网络管理应用程序开发环境，它提供了一套标准的代理和服务，有效降低了管理系统的开发代价。另外，Java的跨平台特性也使得用这 套框架进行开发具有非常良好的可扩展性。
(2) 分类接口
分类接口的制定是根据一般计算机资源(软/硬件)的整个使用过程安装一 启动前配置一启动一运行时配置一停止—卸载，来制定的。分类的接口很好地覆 盖了资源整个管理过程的各种事务，是对管理动作的有效抽象。
(3) 状态信息加工
应用管理器通过状态检査接口获得状态的时候，仅仅通过提供各种各样原始 的信息会使得管理的复杂度增加。所以在这里可以采用将这些原始信息加工的方 式，将其提取成更高语义层次的词汇。例如，可以定义响应时间大于5秒为System Overload。这样可以用少量形式较集中的词汇来概括当前系统状态。上层所面对 的状况值域也变得简单。
权利要求
1、一种基于统一分类接口的数据中心自动化资源管理系统，包括通过Internet连接的多个资源，分属应用所有者与资源所有者，其特征是它还包括统一资源管理接口、资源池管理器和应用管理器，应用所有者与资源所有者的每个资源都使用统一资源管理接口来封装各种异构的资源，若干应用所有者资源经各自的统一资源管理接口连接应用管理器，应用管理器与资源池管理器之间通信用来申请或释放资源所有者的资源；资源池管理器通过统一资源管理接口与资源所有者的资源连接用于提供或接受释放资源。
2、 权利要求1所述的基于统一分类接口的数据中心自动化资源管理系统， 其特征是统一资源接口包括生命周期管理接口、参数配置接口和状态检査接 □。
3、 一种基于统一分类接口的数据中心自动化资源管理方法，包括通过 Internet连接的多个资源，分属应用所有者与资源所有者，其特征是它还包 括统一资源管理接口、资源池管理器和应用管理器，统一资源管理接口用于封 装各种异构的资源，资源池管理器用于提供资源申请和释放的机制，应用管理 器负责管理单个应用；其步骤如下a) 对于应用所有者与资源所有者的各种软硬件资源，都使用统一资源管理 接口来封装，使不同类型的资源可以用统一的接口来访问；b) 对于每个应用，应用所有者自行提供一套应用管理器，负责此应用资源 使用的管理；c) 某个应用开始运行时，应用管理器根据预先配置基于资源池管理器申请 资源；d) 资源池管理器接到应用管理器申请后，根据应用所有者与资源所有者的 服务协议决定是否满足这个申请；e) 应用管理器在得到资源池管理器所分配的资源后，通过资源管理接口对 资源进行配置，并激发其处于服务状态；f) 应用管理器通过状态检査接口监视应用运行的过程中资源状态的变化， 当发现系统资源出现短缺的时候，向资源所有者发出对额外资源的申 请，过程同上面启动过程；g) 对于空闲不使用的资源，应用管理器将其置于停止使用的状态。如果相 当长的时间不会使用则归还资源池管理器。
4、 根据权利要求3所述的基于统一分类接口的数据中心自动化资源管理方 法，其特征是在步骤a)中，统一资源接口包括三套接口生命周期管理接口、 参数配置接口和状态检査接口 。
5、 根据权利要求3或4所述的基于统一分类接口的数据中心自动化资源管 理方法，其特征是在步骤b)和C)中，使用资源类型名来区分不同类型的资源。
6、 根据权利要求3或4所述的基于统一分类接口的数据中心自动化资源管 理方法，其特征是在步骤e)中，资源池管理器所返回的是应用管理器根据服 务约定能够定位资源的资源唯一标识符，它在实现中是一种事先约定的URI。
7、 根据权利要求3或4所述的基于统一分类接口的数据中心自动化资源管 理方法，其特征是在步骤f)中，收集运行状态信息的检査接口实现上分为探 针(probe)和度量(gauge)两部分，先由探针获得原始的监视信息，然后由 度量部分分析处理，形成应用管理器能理解的事件。
8、 根据权利要求3所述的基于统一分类接口的数据中心自动化资源管理方法，其特征是需要使用下面的接口接口1申请和释放资源Request "Resource Type" Release "Resource Type"Request 用于向资源池管理器申请资源，在步骤c中使用，而 Release则用于向资源池管理器归还资源，在步骤g中使用； 接口2生命周期管理Create "component name" Remove "component name" Start Stop其中Create表示安装比较的组件，Remove表示卸载所安装的组件，Start 表示激活资源使其处于可访问状态，St叩表示使资源处于就绪状态，接口2的 Create和Start在步骤g中使用；接口 3配置ReadConfig "key"WriteConfig ."key""new value"ReadConfig用来读取当前某个配置项目的配置值，WriteConfig用于用新的值更新配置项目的值，"key"是配置项目的名字，"new value"是配置项目的新值，接口3在步骤e中对资源配置的时候使用；接口 4状态检査readStatusVariable "variable name"readStatusVariable读取某个状态项目的值，接口 4被用在步骤g监视应用运行过程中资源运行状态的变化。
全文摘要
本发明公开基于统一分类接口的数据中心自动化资源管理系统及方法，系统包括多个分属应用所有者与资源所有者的资源，统一资源管理接口、资源池管理器和应用管理器，应用所有者与资源所有者的每个资源都使用统一资源管理接口来封装各种异构的资源，若干应用所有者资源经各自的统一资源管理接口连接应用管理器，应用管理器与资源池管理器之间通信用来申请或释放资源所有者的资源；资源池管理器通过统一资源管理接口与资源所有者的资源连接用于提供或接受释放资源。本发明与现有的技术相比服务在运营过程中，除了一些特别严重的突发事件，系统可以做到很高的自动化程度，而且也很能容易支持各种上层的决策系统。
文档编号H04L12/46GK101488903SQ20091002450
公开日2009年7月22日 申请日期2009年2月18日 优先权日2009年2月18日
发明者建 吕, 春 曹, 马晓星 申请人:南京大学