一种资源管理方法及装置的制造方法
【技术领域】
[0001]本发明涉及通信技术领域，具体涉及一种资源管理方法及装置。
【背景技术】
[0002]随着大数据和云计算时代的来临，数据中心等概念越来越被人所熟知。目前，最大的数据中心由超过十万台的物理节点组成，功耗超过20兆瓦已经非常普遍，预期不久的将来会达到200兆瓦，正在逼近数据中心供电的极限。然而，当前数据中心也同时面临着资源使用率不高的问题。例如，许多大的云计算基础设施提供商，其数据中心中CPU和内存资源使用率都低于40%，就单个节点(物理机)来说，大部分的物理机资源使用率都低于50%。因此，在硬件成本不断提高的背景下，如何有效的将数据中心中的应用进行整合，提高资源使用率，具有重要的现实意义。
[0003]在主流云计算提供商如亚马逊、Google的大力推动下，越来越多的应用提供商将他们的应用迁徙到数据中心云平台上，利用数据中心的规模效应降低应用部署成本。一般来说，数据中心应用可以分为两种类型:
[0004]服务类应用:此类应用如搜索引擎(Search Engine)、社交网络(Social Network)和电子商务(E-commerce)等往往提供在线服务,用户对请求延迟十分敏感,请求的执行时间稍有延迟就会造成大量的用户流失和经济损失。
[0005]分析类应用:此类应用如Hadoop上排序、kneans等对任务处理时间不敏感,其性能往往用吞吐量(单位时间处理的任务数)来衡量。
[0006]在当前的数据中心中，往往基于虚拟化技术将多个应用整合在同一个节点上。如图1所示，数据中心包含η个节点，每个节点上均运行有服务类应用和分析类应用，这种数据中心运行的服务类应用通常有如下特征:
[0007](1)大规模、高并发:现代数据中心中的每个服务类应用，往往部署在多个服务器上，而一个请求，也会被切分为多个子任务在这些服务器上并发执行。因此，请求的响应时间，取决于反应最慢的服务器，称为瓶颈服务器。
[0008](2)客户端用户请求变化:客户端用户请求量会周期性变化，例如搜索引擎，白天访问量大而晚上访问量小，工作日访问量大而周末访问量小；另外，客户端用户请求量也会因为一些事件而变化，例如电子商务，访问量会因为促销活动而在一段时间内突然变大，从而导致对节点资源的使用情况发生变化。
[0009](3)服务器端资源使用状况变化:服务器端会周期性的有一些更新和维护的活动，从而影响其资源使用状况。例如，搜索引擎会定期更新服务器端的索引文件，在更新的过程中需要占用较多的CPU资源。
[0010]另外，在这种数据中心运行的分析类应用通常有如下特征:
[0011](1)资源需求的多样性:例如Hadoop上的分析类应用，有高CPU计算资源需求的分析类应用如K-means，也有高1/0资源需求的分析类应用如排序算法。
[0012](2)资源间的共享、竞争、干扰:当将这些应用混合部署在同一个节点上时，不同的应用间会共享、竞争资源，导致应用性能下降。虽然当前的虚拟机技术如Xen、Rainforest可以通过不同的操作系统实例，将CPU和内存资源进行隔离，但是对于微体系结构层的资源例如Cache、TLB、网络带宽、磁盘带宽，应用仍然会竞争资源。进一步，根据应用特性的不同，会竞争不同的微体系结构层的资源。例如,CPU密集型的k-means应用主要竞争CPU相关微体系结构资源如Cache和TLB ；I/O密集型的排序应用主要竞争I/O相关微体系结构资源如网络和磁盘带宽。因此k-means和排序应用等分析类应用会对在同一个节点上并行运行的服务类应用造成不同的干扰。
[0013]综上所述，如何考虑不同应用的特征，以及它们在微体系结构层对不同资源的竞争，是进行合理的资源调度和管理的关键问题。
[0014]现有的基于干扰意识的资源管理，是在应用运行前，分析共存于同一个节点上的服务类应用和分析类应用之间的相互干扰，从而避免将干扰大的分析类应用与服务类应用放在同一个节点上。
[0015]例如文章“Bubble-Up:1ncreasing Utilizat1n in Modern Warehouse ScaleComputers via Sensible Co-locat1ns”,提出了一种性能干扰预测方法，具体如下:
[0016]首先，针对一个延迟敏感的服务类应用，从LLC和内存带宽的角度，来度量在不同的负载压力下应用的性能；然后，选取一个分析类应用，解析它在运行时对资源的竞争和干扰；通过前两步的分析，预测该分析类应用，对并行的服务类应用性能的影响。最后将对服务类应用性能干扰影响较小的分析类应用与服务类应用整合到同一个节点。
[0017]这种方法仅仅在应用运行前，通过静态资源管理的方式来避免对服务类应用造成严重的干扰，没有考虑服务类应用负载的动态性，无法保证运行过程中服务类应用的QoS，往往导致资源利用率低，用户体验差。因此，有必要提供一种新的资源管理方法解决上述问题。
【发明内容】
[0018]有鉴于此，本发明提供了一种资源管理方法及装置，能够保证服务类应用的QoS，提高资源的利用率。
[0019]第一方面，本发明实施例提供的资源管理方法应用于资源管理系统，所述资源管理系统中分布有至少两个物理节点，每个物理节点上运行有服务类应用及分析类应用，所述方法包括:
[0020]检测所述服务类应用的服务质量QoS是否满足QoS阈值；
[0021]若不满足，则在所述资源管理系统中检测所述服务类应用的瓶颈节点，所述瓶颈节点指的是针对请求响应时间最长的服务类应用所在的物理节点；
[0022]确定所述服务类应用的待补充资源；
[0023]在所述瓶颈节点中查找对所述服务类应用在所述待补充资源上干扰度最大的分析类应用，将查找到的对所述服务类应用在所述待补充资源上干扰度最大的分析类应用占用的所述待补充资源分配给所述服务类应用，以使得所述服务类应用的QoS满足所述QoS阈值。
[0024]结合第一方面，在第一方面的第一种实施方式中，所述方法还包括:
[0025]检测运行在各个物理节点上的所述服务类应用是否有空闲资源；
[0026]若任意一个物理节点上运行的所述服务类应用有空闲资源，则在所述物理节点上查找对所述服务类应用在所述空闲资源上干扰度最小的分析类应用，在保证所述服务类应用的QoS满足所述QoS阈值的前提下，将所述空闲资源分配给对所述服务类应用在所述空闲资源上干扰度最小的分析类应用。
[0027]结合第一方面的第一种实施方式，在第一方面的第二种实施方式中，在检测所述服务类应用的服务质量QoS是否满足QoS阈值之前，所述方法还包括:
[0028]检测每个物理节点上的每个分析类应用对所述服务类应用在每类资源上的干扰度，每个分析类应用对所述服务类应用在每类资源上的干扰度指的是:调整每个分析类应用单位数量的每类资源所造成的所述服务类应用的响应时间变化值。
[0029]结合第一方面的第二种实施方式，在第一方面的第三种实施方式中，所述每类资源包括中央处理器CPU资源和输入/输出I/O资源；
[0030]所述确定所述服务类应用的待补充资源具体为:
[0031]检测所述服务类应用的CPU资源和I/O资源的利用率是否大于预设阈值，若所述服务类应用的CPU资源和/或I/O资源的利用率大于所述预设阈值，则确定所述CPU资源和/或I/o资源为所述待补充资源。
[0032]结合第一方面的第二种实施方式，在第一方面的第四种实施方式中，所述每类资源包括中央处理器CPU资源和输入/输出I/O资源；
[0033]所述检测运行在各个物理节点上的所述服务类应用是否有空闲资源具体为:
[0034]检测各个物理节点上的所述服务类应用的CPU资源和I/O资源的利用率是否小于或等于所述预设阈值，若所述服务类应用的CPU资源和/或I/O资源的利用率小于或等于所述预设阈值，则确定所述CPU资源和/或I/O资源为所述空闲资源。
[0035]第二方面，本发明实施例提供了一种源管理装置，所述资源管理装置应用于资源管理系统，所述资源管理系统中分布有至少两个物理节点，每个物理节点上运行有服务类应用及分析类应用，所述装置包括:
[0036]第一检测单元，用于检测所述服务类应用的服务质量QoS是否满足QoS阈值；
[0037]第二检测单元，用于在所述服务类应用的QoS不满足所述QoS阈值时，在所述资源管理系统中检测所述服务类应用的瓶颈节点，所述瓶颈节点指的是针对请求响应时间最长的服务类应用所在的物理节点；
[0038]确定单元，用于确定所述服务类应用的待补充资源；
[0039]第一调整单元，用于在所述瓶颈节点中查找对所述服务类应用在所述待补充资源上干扰度最大的分析类应用，将查找到的对所述服务类应用在所述待补充资源上干扰度最大的分析类应用占用的所述待补充资源分配给所述服务类应用，以使得所述服务类应用的QoS满足所述QoS阈值。
[0040]结合第二方面，在第二方面的第一种实施方式中，所述装置还包括:
[0041]第三检测单元，用于检测运行在各个物理节点上的所述服务类应用是否有空闲资源；
[0042]第二调整单元，用于在任意一个物理节点上运行的所述服务类应用有空闲资源时，在所述物理节点上查找对所述服务类应用在所述空闲资源上干扰度最小的分析类应用，在保证所述服务类应用的QoS满足所述QoS阈值的前提下，将所述空闲资源分配给对所述服务类应用在所述空闲资源上干扰度最小的分析类应用。
[0043]结合第二方面的第一种实施方式，在第二方面的第二种实施方式中，所述装置还包括:
[0044]第四检测单元，用于在所述第一检测单元检测所述服务类应用的QoS是否满足QoS阈值之前，检测每个物理节点上的每个分析类应用