高性能计算和云计算混合环境中的动态资源管理方法
【专利摘要】本发明公开了一种高性能计算和云计算混合环境中的动态资源管理方法，主要解决目前集群数据中心运行的多种任务对不同的计算模式的需求问题，核心机制为此混合环境中的动态资源管理机制。本发明首先利用集群物理资源构建高性能计算和云计算双栈式混合环境，然后针对混合系统云环境里的虚拟机资源建立物理资源最大化利用的优化模型，提出虚拟机迁移算法，最终实现高性能计算和云计算混合环境的动态资源管理，提高底层资源的利用率，进而有效满足应用需求。
【专利说明】高性能计算和云计算混合环境中的动态资源管理方法
【技术领域】
[0001] 本发明属于高性能计算和云计算领域，涉及一种高性能计算和云计算混合环境中 的动态资源管理方法。
【背景技术】
[0002] 目前在学术界和工业界已展开深入研究并获得广泛认可的计算模式主要有：高性 能计算和云计算。高性能计算（High Performance Computing)是一种传统地并行计算模 式，是计算机科学的一个重要分支。高性能计算的发展与高性能计算机技术的不断推进密 不可分，一方面，高性能计算机的研制开发为高性能计算提供了强大的底层硬件工具和物 质基础，而高性能计算的广泛应用也推动了高性能计算机技术自身的发展。高性能计算主 要用于处理复杂的计算问题，应用在需要大规模科学计算的环境中，主要涉及天气预报、核 武器研究、核材料储存仿真、石油勘探与油储模拟、生物信息技术、基因测序等。通常而言， 高性能计算的应用程序一般采用并行算法，把一个大的普通问题根据一定的规则分为许多 小的子问题，在集群内的不同节点上进行并行计算，从而可以缩短问题的处理时间。
[0003] 另一种计算模式为云计算，云计算（Cloud Computing)是一种利用互联网实现随 时随地、按需、便捷、弹性地访问共享资源池（如计算设施、存储设备、应用程序等）的计算 模式，是分布式计算、互联网技术、大规模资源管理等技术的融合与发展。云计算借鉴了很 多传统技术的思想，比如面向服务的体系结构（S0A)，网格计算，效用计算，虚拟化技术等 等。通常情况下，云计算采用计算机集群构成数据中心，并以服务的形式交付给用户，使得 用户可以像使用水、电一样按需购买云计算资源。云计算的服务根据其抽象层次的不同，通 常可分为平台即服务（PaaS)，软件即服务（SaaS)，和基础设施即服务（IaaS)。其中，平台即 服务是指运营商在云端提供一种软件开发和部署的环境，对底层的0S进行了屏蔽和抽象。 软件即服务是指运营商提供运行在云计算基础设施上的应用程序，用户可以在各种设备上 通过诸如浏览器等客户端访问云计算应用。基础设施即服务提供给用户的服务是对云端计 算设施的利用，包括处理、存储、网络和其它基本的计算资源，用户能够部署和运行任意软 件，包括操作系统和应用程序。
[0004] 云计算IaaS服务构建于大型数据中心之上，利用虚拟化技术为用户提供可定制 的、可靠的、可弹性扩展的虚拟机资源。基于云计算IaaS服务，用户可按需构建虚拟机集 群，并可根据上层应用工作负载的变化动态改变虚拟机集群的规模。另外，由于IaaS层可 托管于云计算服务提供商，所以用户可以简化系统资源管理的复杂性，降低运维成本，提高 经济效益。目前，典型的云计算IaaS服务提供商有Amazon、Rackspace等公司，它们在全球 各地构建大型数据中心，并以虚拟机的形式为用户提供可伸缩的云服务。虚拟化技术是支 撑云计算的基础，其主要是由虚拟机形式运行在物理机上，虚拟机是指通过软件模拟的、具 有完整硬件系统功能的运行在一个完全隔离环境中的完整计算机系统。其特点主要包括： 1)平台无关性。虚拟机将各类型的硬件平台抽象成统一标准，减少了硬件的支持成本并增 加了 IT资源的共享能力。2)灵活性。虚拟机以单个虚拟磁盘文件的形式存在，其相关操作 如安装、复制、删除等极其简单。3)资源复用性。利用虚拟机可有效消除传统数据中心"一 台服务器运行一个应用程序"模式下效率低下的现象。利用虚拟化技术可大幅提高处理资 源和存储资源的利用率，并显著降低设备、能源和管理等方面的成本。目前云计算IaaS层 被广泛研究和部署的虚拟机管理平台是Openstack,它由Rackspace和NASA共同开发的开 源云计算平台，帮助服务商和企业内部实现类似于Amazon EC2和S3的云架构服务。
【发明内容】
[0005] 技术问题：本发明提供了一种通过预测下一时刻的任务到达率，在满足用户QoS 需求的前提下，动态为任务提供所需的计算资源，提高了混合环境的资源利用率，同时提高 了混合环境中的云计算环境里资源利用率的高性能计算和云计算混合环境的动态资源管 理方法。
[0006] 技术方案：本发明的高性能计算和云计算混合环境中的动态资源管理方法，在高 性能计算和云计算混合环境下，不断对到达的任务进行动态资源分配，当完成对一批任务 的动态资源分配后，按照如下方法对混合环境中的云计算环境里的物理资源进行资源优 化：
[0007] 采集云环境里系统物理机的计算机CPU利用率、存储利用率和内存利用率，根据 系统状态约束条件，建立物理机资源利用最大化优化模型，求解所述优化模型，得到虚拟 机放置方案，然后按照如下改进的虚拟机迁移方法实现云计算环境里的资源优化：
[0008] 1)获取物理机列表和物理机上运行的所有虚拟机列表；
[0009] 2)将所述物理机列表中的所有物理机按负载量从小到大依次排序；
[0010] 3)将当前物理机上的所有虚拟机取出并按负载量从小到大依次排列，确定其中负 载量最小的虚拟机，所述当前物理机在初始步骤中为负载量最小的物理机；
[0011] 4)进行虚拟机迁移：即按照所述步骤3)中的排序，依次为虚拟机寻找并迁至放置 的物理机，当出现一个虚拟机无法找到合适放置的物理机时，进入步骤6)，否则在完成为当 前物理机中所有虚拟机的迁移后，进入步骤5);
[0012] 5)判断是否完成所有物理机的虚拟机迁移，如是，则进入步骤7);否则按照所述 步骤2)的排序，将当前物理机的下一个物理机更新为当前物理机后返回步骤3);
[0013] 6)如果当前物理机为负载量最小的物理机，则判定无法进行资源优化，结束云计 算环境里的资源优化流程，否则将当前物理机之前已完成的虚拟机迁移方案作为云计算环 境里的资源优化输出；
[0014] 7)将所有的虚拟机迁移方案作为云计算环境里的资源优化输出。
[0015] 本发明方法的优选方案中，系统状态约束条件为物理机的负载最大化，物理机的 资源利用率最大，以及物理机的计算机CPU利用率、存储利用率和内存利用率不超过物理 机最大容量。
[0016] 本发明方法的优选方案中，动态资源分配的具体方法为：
[0017] 步骤一：根据高性能计算和云计算混合环境的历史日志数据，分析混合环境任务 到达率的历史数据特征，得到任务到达率的时间序列特征，同时选取AR模型，将所述任务 到达率的时间序列特征输入AR模型进行系统到达率的预测；
[0018] 步骤二：将所述步骤一中预测得到的任务到达率作为输入，将混合系统的任务到 达模式、任务执行时间的分布特征以及硬件资源池的容量作为限制条件，建立G/M/n排队 模型，然后求解所述G/M/n排队模型，得到混合系统的动态资源分配。
[0019] 本发明方法的优选方案中，步骤二中求解所述G/M/n排队模型的方法为：
[0020] a)将响应时间R最小作为优化问题，根据以下约束条件构建最优化问题：计算资 源量不超过总得资源池总量以及计算时间不超过用户需求的计算时间；
[0021] 所述响应时间R为；
[0022]
【权利要求】
1. 一种高性能计算和云计算混合环境中的动态资源管理方法，其特征在于：该方法在 高性能计算和云计算混合环境下，不断对到达的任务进行动态资源分配，当完成对一批任 务的动态资源分配后，按照如下方法对混合环境中的云计算环境里的物理资源进行资源优 化： 采集云环境里系统物理机的计算机CPU利用率、存储利用率和内存利用率，根据系统 状态约束条件，建立物理机资源利用最大化优化模型，求解所述优化模型，得到虚拟机放置 方案，然后按照如下改进的虚拟机迁移方法实现云计算环境里的资源优化： 1) 获取物理机列表和物理机上运行的所有虚拟机列表； 2) 将所述物理机列表中的所有物理机按负载量从小到大依次排序； 3) 将当前物理机上的所有虚拟机取出并按负载量从小到大依次排列，确定其中负载量 最小的虚拟机，所述当前物理机在初始步骤中为负载量最小的物理机； 4) 进行虚拟机迁移：即按照所述步骤3)中的排序，依次为虚拟机寻找并迁至放置的物 理机，当出现一个虚拟机无法找到合适放置的物理机时，进入步骤6)，否则在完成为当前物 理机中所有虚拟机的迁移后，进入步骤5); 5) 判断是否完成所有物理机的虚拟机迁移，如是，则进入步骤7);否则按照所述步骤 2)的排序，将当前物理机的下一个物理机更新为当前物理机后返回步骤3); 6) 如果当前物理机为负载量最小的物理机，则判定无法进行资源优化，结束云计算环 境里的资源优化流程，否则将当前物理机之前已完成的虚拟机迁移方案作为云计算环境里 的资源优化输出； 7) 将所有的虚拟机迁移方案作为云计算环境里的资源优化输出。
2. 根据权利要求1所述的高性能计算和云计算混合环境中的动态资源管理方法，其特 征在于：所述系统状态约束条件为物理机的负载最大化，物理机的资源利用率最大，以及物 理机的计算机CPU利用率、存储利用率和内存利用率不超过物理机最大容量。
3. 根据权利要求1或2所述的高性能计算和云计算混合环境中的动态资源管理方法， 其特征在于：所述动态资源分配的具体方法为： 步骤一：根据高性能计算和云计算混合环境的历史日志数据，分析混合环境任务到达 率的历史数据特征，得到任务到达率的时间序列特征，同时选取AR模型，将所述任务到达 率的时间序列特征输入AR模型进行系统到达率的预测； 步骤二：将所述步骤一中预测得到的任务到达率作为输入，将混合系统的任务到达模 式、任务执行时间的分布特征以及硬件资源池的容量作为限制条件，建立G/M/n排队模型， 然后求解所述G/M/n排队模型，得到混合系统的动态资源分配。
4. 根据权利要求3所述的高性能计算和云计算混合环境中的动态资源管理方法，其特 征在于：所述步骤二中求解所述G/M/n排队模型的方法为： a)将响应时间R最小作为优化问题，根据以下约束条件构建最优化问题：计算资源量 不超过总得资源池总量以及计算时间不超过用户需求的计算时间； 所述响应时间R为；
其中，τ为计算完提交任务量所耗时间，X表示计算完成的任务量，η为服务器数量，:Γ 为任务平均到达时间间隔，Ρ为系统中的设备利用率，W为任务到达时间间隔方差，<为 系统服务时间方差； b)利用内点罚函数方法求解所述步骤a)构建的最优化问题，得到到达任务的需求计 算资源。
【文档编号】G06F9/50GK104216782SQ201410410274
【公开日】2014年12月17日 申请日期:2014年8月19日 优先权日:2014年8月19日
【发明者】东方, 罗军舟, 陈苗 申请人:东南大学