资源调度处理方法和装置制造方法
【专利摘要】本发明提供一种资源调度处理方法和装置，包括：分别预测数据中心内每一个候选服务器承载第一负载时的带权能效值；所述候选服务器的带权能效值是相关于所述第一负载与所述候选服务器已承载的各第二负载之间的性能干扰及所述候选服务器已承载的各第二负载之间的性能干扰；根据各所述候选服务器的带权能效值，确定最小的带权能效值所对应的候选服务器作为最优服务器；调度所述最优服务器承载所述第一负载。通过该资源调度处理方法调度最优服务器承载第一负载时，可避免第一负载与第二负载之间出现的严重的性能干扰现象，不会影响各负载的服务质量，利于提高数据中心的能效。
【专利说明】资源调度处理方法和装置
【技术领域】
[0001]本发明涉及计算机信息【技术领域】，尤其涉及一种资源调度处理方法和装置。
【背景技术】
[0002]随着数据中心的迅速发展，许多大型的网络公司，如Google、Facebook等在世界各地建立了多个数据中心以更好的支持网络应用服务。其中数据中心是由大量服务器通过通信设备相互连接，并形成具有一定拓扑结构的大型网络，其中大量的服务器可进行集中统一管理。目前，新一代的数据中心已采用虚拟化技术，即数据中心可向封装在虚拟机中的负载提供资源，该资源具体可以为可承载负载的服务器，而合理的分配策略与数据中心提供的网络应用服务息息相关；举例来说，建立数据中心的开销巨大，服务器的花费占到了总花费的45%，其中包括服务器的软硬件资源、冷却和维护等。但在实际应用中，服务器的资源利用率仅为5%-15%，造成资源的浪费且增加维护成本，因此如何合理分配资源，提高数据中心的资源利用率并减少数据中心的能耗已成为目前研究的热点问题。
[0003]在现有技术中，根据各个负载所需的资源的不同，动态地聚合多个负载至同一个服务器上，以提高资源利用率和能源使用效率。例如当前负载A由一个服务器承载，负载B由另一个服务器承载，而负载A和负载B所需的CPlXCentral Processing Unit,中央处理器)资源总和远小于一个服务器可提供的CPU资源，因此，为了提高提高资源利用率和能源使用效率，可调度一个服务器同时承载负载A和负载B，并关闭另一个服务器。
[0004]但采用上述调度策略时发现，由于不同负载会竞争服务器内的资源(例如不同负载抢占内存资源)，从而不同负载之间会出现严重的性能干扰现象，造成严重的性能下降，影响了负载的服务质量，还会极大地降低数据中心的能效。
【发明内容】
[0005]本发明提供一种资源调度处理方法和装置，该资源调度处理方法用于优化面向负载的调度策略，避免服务器上不同负载之间出现严重的性能干扰现象，从而可优化数据中心的能效。
[0006]第一方面，本发明提供一种资源调度处理方法，包括:
[0007]当数据中心内每一个服务器均承载至少一个第二负载时，分别预测数据中心内每一个候选服务器承载第一负载时的带权能效值；所述候选服务器的带权能效值是相关于所述第一负载与所述候选服务器已承载的各第二负载之间的性能干扰及所述候选服务器已承载的各第二负载之间的性能干扰；
[0008]根据各所述候选服务器的带权能效值，确定最小的带权能效值所对应的候选服务器作为最优服务器；
[0009]调度所述最优服务器承载所述第一负载。
[0010]第二方面，本发明提供一种资源调度处理装置，包括:
[0011]预测模块，用于若数据中心内每一个服务器均承载至少一个第二负载时，分别预测数据中心内每一个候选服务器承载第一负载时的带权能效值；所述候选服务器的带权能效值是相关于所述第一负载与所述候选服务器已承载各第二负载之间的性能干扰及所述候选服务器已承载的各第二负载之间的性能干扰；
[0012]确定模块，用于根据各所述候选服务器的带权能效值，确定最小的带权能效值所对应的候选服务器作为最优服务器；
[0013]调度模块，用于调度所述最优服务器承载所述第一负载。
[0014]通过本发明提供的资源调度处理方法和装置，确定的最优服务器是考虑了负载之间的性能干扰而确定的，从而调度该最优服务器承载第一负载，可避免候选服务器承载第一负载后，该候选服务器上各个负载之间出现的严重的性能干扰现象，从而不会影响各负载的服务质量，利于提高数据中心的能效。
【专利附图】
【附图说明】
[0015]图1为本发明资源调度处理方法实施例一的流程图；
[0016]图2为本发明资源调度处理方法实施例二的流程图；
[0017]图3为本发明资源调度处理装置实施例一的结构图；
[0018]图4为本发明资源调度处理装置实施例二的结构图。
【具体实施方式】
[0019]图1为本发明资源调度处理方法实施例一的流程图。如图1所示，本实施例的方法可以由资源调度处理装置来实现，该处理装置可以采用硬件和/或软件方式来实现，该处理装置可优选设置在数据中心内具有数据处理能力的处理器中，以实现资源调度；该资源调度处理该方法包括:
[0020]S101、分别预测数据中心内每一个候选服务器承载第一负载时的带权能效值。
[0021]当数据中心内每一个服务器均承载至少一个第二负载时，上述第一负载为待分配的负载，资源调度处理装置在将该第一负载分配至数据中心内的一个候选服务器中之前，需要预测各个候选服务器承载该第一负载之后出现的负载之间的性能干扰、候选服务器的能效损失等问题，具体的，由于第一负载与候选服务器内已承载的各第二负载之间的性能干扰及候选服务器内已承载的各第二负载之间的性能干扰，而导致的候选服务器能效损失等信息可通过带权能效值体现，即该候选服务器的带权能效值是相关于第一负载与候选服务器已承载的各第二负载之间的性能干扰及候选服务器已承载的各第二负载之间的性能干扰；其中，资源调度处理装置可使用已建立的预测模型预测数据中心内每一个候选服务器承载第一负载时的带权能效值，该预测模型是通过分析数据中心内大量的历史负载的相关数据，并采用合理的数据处理方式建立的。
[0022]S102、根据各候选服务器的带权能效值，确定最小的带权能效值所对应的候选服务器作为最优服务器。
[0023]若候选服务器的带权能效值越小，则可表明若第一负载由该候选服务器承载后，该候选服务器上各个负载之间的性能干扰及候选服务器的能效损失偏低，因此该候选服务器承载第一负载后，可向该候选服务器上的各个负载提供较佳的资源并使各负载保持较佳的服务质量。因此，在各所述候选服务器的带权能效值中确定出最小的带权能效值，随即确定该最小的带权能效值所对应的候选服务器作为最优服务器。
[0024]S103、调度最优服务器承载第一负载。
[0025]本实施例中，在多个候选服务器中选择承载第一负载的最优服务器时，本实施例是通过预测数据中心内每一个候选服务器承载第一负载时的带权能效值，并选择带权能效值最小的候选服务器作为最优服务器，而该带权能效值是与第一负载及候选服务器已承载的至少一个第二负载相关的；因此，最终确定的最优服务器是考虑了负载之间的性能干扰而确定的，从而避免了调度该最优服务器承载第一负载后各个负载之间出现的严重的性能干扰现象，并且不会影响各负载的服务质量，利于提高数据中心的能效。
[0026]图2为本发明资源调度处理方法实施例二的流程图。如图2所示，本实施例是在图1所示的实施例一的基础上，进一步描述资源调度处理方法，该处理方法包括:
[0027]S201、学习数据中心内各历史负载的相关数据，建立负载分类规则并获得模拟数据及第一预测模型和第二预测模型。
[0028]具体的，对数据中心内各历史负载的相关数据进行聚类分析，该相关数据可具体包括负载执行时间、负载CPU使用率、负载内存使用率等，而进行聚类分析时可以采用K-means算法；通过聚类分析可将负载分为大型负载L、中型负载M和小负载S(本实施例中的三种负载类别L、M和S仅用于举例说明，在实际应用中不以上述三种负载类别为限制)；随后采用分类算法(例如决策树算法)学习上述三种类别的负载，可确定用于分类的负载分类规则，基于该负载分类规则资源调度处理装置可对负载进行类别的分类；在对负载进行类别的分类时，可建立一个负载分类模型，资源调度处理装置使用该负载分类模型对负载进行类别分类；例如分类规则规定当一个负载的负载CPU使用率或其他相关数据大于一定的阈值，则认为该负载的负载类别为L，从而负载分类模型基于该分类规则，可确定负载的类别；例如，一个负载的负载执行时间为4536秒，负载CPU使用率为0.012%、负载内存使用率为0.0011%及负载磁盘使用率为0.024%，则可根据负载分类模型设定的阈值确定该负载类别为L或M或S。
[0029]在建立负载分类规则之后，可基于负载分类规则，资源调度处理装置可生成不同类别的模拟负载，例如负载分类规则规定负载的相关数据处于一定阈值范围内时，该负载的负载类别为M，则资源调度处理装置可模拟生成一个相关数据处于负载类别M对应的阈值范围内的模拟负载，且该模拟负载可在数据中心内的服务器上运行，从而可根据模拟负载进行实验承载，获得模拟数据。具体的，对多个模拟负载进行多种随机组合获得多个模拟负载组合，该多个模拟负载组合中的任意一个模拟负载组合中的负载个数为至少一个，且在该至少一个负载中负载的负载类别为至少一种；随后在实验服务器上实验承载各个模拟负载组合，获得各个模拟负载组合对应的模拟数据；例如为满足一定的准确性，可在10 (根据实际需要也可以为20、30等)个模拟负载中随机组合，并在实验服务器上依次运行各模拟负载组合，以获取各模拟负载组合对应的模拟数据；举例来说，上述各模拟负载组合可以
为L、S、M、LL、MM、SS、LM、LS、MS、LMS、LLS, MLLLSS......，则在实验服务器上依次实验承载上
述各模拟负载组合并获得各模拟数据；上述模拟数据包括各模拟负载组合的性能干扰对应
的模拟负载组合的性能干扰值及实验服务器的能效损失值；具体可采用公式
【权利要求】
1.一种资源调度处理方法，其特征在于，包括: 当数据中心内每一个服务器均承载至少一个第二负载时，分别预测数据中心内每一个候选服务器承载第一负载时的带权能效值；所述候选服务器的带权能效值是相关于所述第一负载与所述候选服务器已承载的各第二负载之间的性能干扰及所述候选服务器已承载的各第二负载之间的性能干扰； 根据各所述候选服务器的带权能效值，确定最小的带权能效值所对应的候选服务器作为最优服务器； 调度所述最优服务器承载所述第一负载。
2.根据权利要求1所述的处理方法，其特征在于，预测每一个候选服务器承载所述第一负载时的带权能效值，包括: 使所述第一负载及所述候选服务器已承载的各第二负载进行两两组合，获得< 个负载对，其中η为所述候选服务器承载的全部第二负载与所述第一负载的负载总数； 根据各所述负载对中两个负载的负载类别，使用模拟数据确定各所述负载对的性能干扰值，所述模拟数据包括所述负载对与对应于该负载对的所述负载对的性能干扰值； 根据各所述负载对的性能干扰值，确定所述候选服务器的带权能效值。
3.根据权利要求2所述的处理方法，其特征在于，根据各所述负载对的性能干扰值，确定所述候选服务器的带权能效值，包括: 将各所述负载对的性能干扰值相加，获得预测性能干扰值； 根据所述预测性能干扰值，采用第一预测模型确定所述候选服务器的性能干扰值；根据所述候选服务器的性能干扰值，采用第二预测模型确定所述候选服务器的能效损失值； 将所述候选服务器的性能干扰值与所述候选服务器的能效损失值相乘，获得所述候选服务器的带权能效值。
4.根据权利要求3所述的处理方法，其特征在于，所述第一预测模型为CIS=0.505η+0.260pbCIS-0.004pbCIS2-0.269，其中CIS为所述候选服务器的性能干扰值，pbCIS为预测性能干扰值； 所述第二预测模型为Λ EE=0.310CIS+0.048CIS2+0.002CIS3+0.123，其中Λ EE 为所述候选服务器的能效损失值。
5.根据权利要求2所述的处理方法，其特征在于，分别预测每一个候选服务器承载第一负载时的带权能效值之前，所述处理方法还包括: 学习所述数据中心内各历史负载的相关数据，建立负载分类规则； 基于所述负载分类规则，生成不同类别的模拟负载； 根据所述模拟负载进行实验承载，获得所述模拟数据； 根据所述模拟数据，建立所述第一预测模型和所述第二预测模型。
6.根据权利要求5所述的处理方法，其特征在于，在根据所述模拟数据，建立所述第一预测模型和所述第二预测模型之后，分别预测每一个候选服务器承载第一负载时的带权能效值之前，所述处理方法还包括: 采用所述负载分类规则，确定所述第一负载的负载类别。
7.根据权利要求1所述的处理方法，其特征在于，所述处理方法还包括: 当所述候选服务器未承载所述第二负载，则调度该候选服务器作为所述最优服务器，承载所述第一负载。
8.一种资源调度处理装置，其特征在于，包括: 预测模块，用于若数据中心内每一个服务器均承载至少一个第二负载时，分别预测数据中心内每一个候选服务器承载第一负载时的带权能效值；所述候选服务器的带权能效值是相关于所述第一负载与所述候选服务器已承载的各第二负载之间的性能干扰及所述候选服务器已承载的各第二负载之间的性能干扰； 确定模块，用于根据各所述候选服务器的带权能效值，确定最小的带权能效值所对应的候选服务器作为最优服务器； 调度模块，用于调度所述最优服务器承载所述第一负载。
9.根据权利要求8所述的处理装置，其特征在于，所述预测模块包括: 组合单元，用于使所述第一负载及所述候选服务器已承载的各第二负载进行两两组合，获得C个负载对，其中η为所述候选服务器承载的全部第二负载与所述第一负载的负载总数； 第一确定单元，用于根据各所述负载对中两个负载的负载类别，使用模拟数据确定各所述负载对的性能干扰值，所述模拟数据包括所述负载对与对应于该负载对的所述负载对的性能干扰值； 第二确定单元，用于根据各所述负载对的性能干扰值，确定所述候选服务器的带权能效值。
10.根据权利要求9所述的处理装置，其特征在于，所述第二确定单元具体用于将各所述负载对的性能干扰值相加，获得预测性能干扰值； 根据所述预测性能干扰值，采用第一预测模型确定所述候选服务器的性能干扰值； 根据所述候选服务器的性能干扰值，采用第二预测模型确定所述候选服务器的能效损失值； 将所述候选服务器的性能干扰值与所述候选服务器的能效损失值相乘，获得所述候选服务器的带权能效值。
【文档编号】H04L29/08GK103595763SQ201310482258
【公开日】2014年2月19日 申请日期:2013年10月15日 优先权日:2013年10月15日
【发明者】徐洁, 杨任宇, 沃天宇, 康俊彬, 孙宝亚 申请人:北京航空航天大学