分布异地多云数据中心环境下时空敏感的任务调度与优化方法与流程

本发明涉及数据中心任务调度技术领域。更具体地，涉及一种分布异地多云数据中心环境下时空敏感的任务调度与优化方法。

背景技术：

云计算通常实施在由数百万台服务器和冷却设施构成的云数据中心中。目前部署在云数据中心的延迟容忍应用的类型和数量正在急剧增加。这显著地增加了云数据中心(如亚马逊和谷歌)的能量消耗。数据显示，2017年美国所有的数据中心的能量消耗约为780亿千瓦时，这约占美国总能量消耗的2.9％。这一比例预计将在2020年增加到4％。此外，2017年美国超过80％的能源是通过燃烧化石燃料(包括煤炭、石油和天然气)产生的。这给我们的环境带来了严重的危害。因此，越来越多的云数据中心安装了绿色能源装置，从而有效地减少化石燃料的消耗。

延迟容忍型应用(如深度学习、高性能仿真和大数据处理等)的任务的延迟要求一般较长(如15至30分钟)。在每个应用任务的延迟要求内，绿色云数据中心的许多因素均具有时间变化特性，如电力价格、风速、太阳辐射强度等因素均随时间的变化而变化。此外，为保证应用的可用性和鲁棒性，每个应用均部署在分布式的多个绿色云数据中心中。因此，每个应用的任务可以独立地在每个绿色云数据中心内得到执行。同样，位于不同地理位置的绿色云数据中心中的电力价格和可再生能源的可用性等具有空间变化特性。此外，分布式绿色云数据中心致力于以一种最具成本有效性的方式执行每个应用的任务，并严格满足所有应用请求的延迟要求。然而，上述因素在时间和空间上的变化特性使得如何智能地在分布式的多个绿色云数据中心之间调度多类型应用的任务变得十分困难，尤其是如何实现在严格满足所有任务的延迟要求的同时，最小化分布异地多云数据中心提供商的能量成本。

目前现有的研究方法多采用访问控制机制从而有选择地拒绝部分应用的任务。然而，这些方法未能明确给出被拒绝的任务数量和每个绿色云数据中心的任务服务率之间的数学关系。因此，需要明确提供能够描述这种关系的数学方程式。基于此，能够进一步确定在每个时间间隔中调度到每个绿色云数据中心的每个应用的任务数量。此外，现有方法多根据排队理论设计了许多不同的调度算法。因此，这些方法仅仅能满足所有任务的平均延迟要求。然而，实际的分布异地多云数据中心中任务的实际延迟时间存在长尾效应。因此，这意味着某些任务的延迟要求可能无法得到满足。因此，需要提供一种时空敏感的任务调度与优化方法，从而在满足多类型延迟容忍型应用任务延迟要求的同时最小化分布异地多云数据中心提供商的能量成本。

技术实现要素：

本发明的目的在于提供一种分布异地多云数据中心环境下时空敏感的任务调度与优化方法，综合考虑电力价格、风速、太阳辐射强度等因素在不同地理位置的时间和空间变化，能够智能地将多类型延迟容忍型应用的任务调度到分布异地多云数据中心环境下执行，从而最小化云数据中心提供商的能量成本并保证所有任务的延迟要求。

为达到上述目的，本发明采用下述技术方案：根据本发明的一个方面，建立了分布异地多云数据中心提供商能量成本的任务调度的非线性调度优化模型，包括：确定分布异地多云数据中心提供商能量成本的定义方式；确定执行所有应用任务所需的总能量的计算方式；建立执行所有应用任务所消耗的风能能量和太阳能量的计算方式；对每个应用的可用服务器个数约束、每个绿色云数据中心最大可用能量约束、每个应用的任务队列的稳定性约束、每个应用的任务的延迟约束等进行建模。进而建立分布异地多云数据中心环境下最小化其能量成本的任务调度的非线性调度优化模型。

根据本发明的另一方面，提供了一种分布异地多云数据中心环境下时空敏感的任务调度与优化方法，包括：提出了一种罚函数方法将非线性调度优化模型转化为对应的无约束优化模型；采用一种混合式智能优化算法求解该模型，该算法结合遗传算法的遗传操作、粒子群算法的社会学习、模拟退火算法的metropolis接受法则，获得分布异地多云数据中心环境下时空敏感的任务调度策略，从而最小化分布异地多云数据中心提供商的能量成本。

根据本发明的上述方面，针对目前分布异地多云数据中心环境下面向多类型延迟容忍型应用任务的架构特点，在分布异地多云数据中心环境下时空敏感的任务调度与优化方法基础上，通过综合考虑电力价格、风速、太阳辐射强度等因素在不同地理位置的时间和空间变化，最小化分布异地多云数据中心提供商的能量成本。综上，分布异地多云数据中心环境下时空敏感的任务调度与优化方法，包括如下步骤：

s1、针对多类型延迟容忍型应用的任务，建立分布异地多云数据中心环境下处理多类型延迟容忍型应用任务的架构；

s2、根据该架构，建立最小化云数据中心提供商能量成本的非线性调度优化模型；

s3、采用罚函数方法将非线性调度优化模型转化为对应的无约束优化模型；

s4、采用结合遗传算法的遗传操作、粒子群算法的社会学习、模拟退火算法的metropolis接受法则设计的混合式智能优化算法求解无约束优化模型,实现分布异地多云数据中心环境下时空敏感的任务调度，从而最小化云数据中心提供商的能量成本并满足所有应用任务的延迟要求。

优选地，所述针对多类型延迟容忍型应用(如大数据处理、科学计算和深度学习等)的分布异地多云数据中心架构包括多个位于不同地理位置的绿色云数据中心组成。每个应用均部署在多个绿色云数据中心中，并且每个应用以及其运行所需的数据在不同的绿色云数据中心之间保持严格的一致。将每个绿色云数据中心建模为一个m/m/m的排队系统，并且按照先来先服务的准则处理到达的任务。此外，每个服务器的任务处理时间符合独立同分布的负指数分布，每个应用的任务到达过程符合泊松分布。用户通过终端设备向绿色云数据中心发送任务，分类器组件根据任务所属的应用类型确定每个应用的任务到达率。这些任务被放入对应的先来先服务任务队列中。每个绿色云数据中心从电网、太阳能、风能等三种来源获取能量。任务调度器组件收集任务队列信息以及每个绿色云数据中心的能量信息。根据这些信息，任务调度器组件周期性地执行时空敏感的任务调度与优化方法从而确定最优的调度策略。

优选地，所述非线性调度优化模型的优化目标为最小化分布异地多云提供商的能量成本cost，所述非线性调度优化模型为：

其中，cost表示从时间间隔τ到时间间隔τ+γ，分布异地多云数据中心执行所有应用的任务所消耗的能量成本；c表示绿色云数据中心的个数；表示绿色云数据中心c在时间间隔τ+b内通过火力发电方式得到的能量价格；表示绿色云数据中心c在时间间隔τ+b内执行所有应用任务所消耗的总能量；表示绿色云数据中心c在时间间隔τ+b内执行所有应用任务所消耗的太阳能能量；表示绿色云数据中心c在时间间隔τ+b内执行所有应用任务所消耗的风能能量；表示在时间间隔τ+b内绿色云数据中心c中应用n的任务到达率；表示在时间间隔τ+b内绿色云数据中心c中应用n的任务处理率；bn表示应用n的任务延迟限制，γ＝maxn＝1,2,…,n(bn)。

所述针对多类型延迟容忍型应用(如大数据处理、科学计算和深度学习等)的分布异地多云数据中心架构包括多个位于不同地理位置的绿色云数据中心组成。每个应用均部署在多个绿色云数据中心中，并且每个应用以及其运行所需的数据在不同的绿色云数据中心之间保持严格的一致。将每个绿色云数据中心建模为一个m/m/m的排队系统，并且按照先来先服务的准则处理到达的任务。此外，每个服务器的任务处理时间符合独立同分布的负指数分布，每个应用的任务到达过程符合泊松分布。用户通过终端设备向绿色云数据中心发送任务，分类器组件根据任务所属的应用类型确定每个应用的任务到达率。这些任务被放入对应的先来先服务任务队列中。每个绿色云数据中心从电网、太阳能、风能等三种来源获取能量。任务调度器组件收集任务队列信息以及每个绿色云数据中心的能量信息。根据这些信息，任务调度器组件周期性地执行时空敏感的任务调度与优化方法从而确定最优的调度策略。

优选地，所述非线性调度优化模型的优化目标为最小化分布异地多云提供商的能量成本cost，所述非线性调度优化模型为：

其中，cost表示从时间间隔τ到时间间隔τ+γ，分布异地多云数据中心执行所有应用的任务所消耗的能量成本；c表示绿色云数据中心的个数；表示绿色云数据中心c在时间间隔τ+b内通过火力发电方式得到的能量价格；表示绿色云数据中心c在时间间隔τ+b内执行所有应用任务所消耗的总能量；表示绿色云数据中心c在时间间隔τ+b内执行所有应用任务所消耗的太阳能能量；表示绿色云数据中心c在时间间隔τ+b内执行所有应用任务所消耗的风能能量；表示在时间间隔τ+b内绿色云数据中心c中应用n的任务到达率；表示在时间间隔τ+b内绿色云数据中心c中应用n的任务处理率；bn表示应用n的任务延迟限制，γ＝maxn＝1,2,…,n(bn)。

优选地，所述非线性调度优化模型的约束包括：绿色云数据中心c在时间间隔τ+b内执行所有应用任务所消耗的总能量的计算方式，具体为：

其中，l表示每个时间间隔的长度；n表示分布异地多云数据中心环境下应用的个数；表示绿色云数据中心c中对应于应用n的每个服务器的平均闲时功率；表示绿色云数据中心c中对应于应用n的每个服务器的平均峰时功率；γ^c表示绿色云数据中心c的pue(powerusageeffectiveness)值；表示在时间间隔τ+b内绿色云数据中心c中应用n的累积任务到达率；表示在时间间隔τ+b内绿色云数据中心c中应用n的任务到达率；表示绿色云数据中心c中每个开启的对应于应用n的服务器单位时间处理任务的个数；表示绿色云数据中心c中对应于应用n的任务队列的容量；表示在时间间隔u(τ+b-bn≤u≤τ+b-1)内，绿色云数据中心c中应用n的剩余的任务到达率。

优选地，所述非线性调度优化模型的约束包括：绿色云数据中心c在时间间隔τ+b内执行所有应用任务所消耗的太阳能能量和风能能量具体为：

其中，κ^c表示绿色云数据中心c中太阳辐射到电的转换率；表示绿色云数据中心c中太阳能电池板的有效照射面积；表示绿色云数据中心c在时间间隔τ+b内的太阳辐射强度；η^c表示绿色云数据中心c中风到电的转换率；α^c表示绿色云数据中心c中的现场空气密度；表示绿色云数据中心c中风力发电机的转子面积；表示绿色云数据中心c在时间间隔τ+b内的风速。

优选地，所述非线性调度优化模型的约束包括：在时间间隔τ+b内，绿色云数据中心c中开启的对应于应用n的服务器的个数不能超过对应于应用n的可用的服务器个数限制；在时间间隔τ+b内，绿色云数据中心c中执行所有应用的任务所需要的能量不能超过绿色云数据中心c中最大可用的能量；在时间间隔τ+b内，为保证绿色云数据中心c中对应于应用n的任务队列的稳定性，绿色云数据中心c中应用n的累积任务到达率必须小于该应用的任务处理率，具体为：

其中，表示绿色云数据中心c中对应于应用n的可用的服务器个数；表示绿色云数据中心c中最大可用的能量。

优选地，所述非线性调度优化模型的约束包括：在时间间隔τ+b内，每个绿色云数据中心c中应用n的任务到达率之和必须等于该应用的任务到达率；截止到时间间隔τ+b，绿色云数据中心c中所有在时间间隔τ-bn+b到达的应用n的任务均得到调度；此外，截止到时间间隔τ+bn，绿色云数据中心c中累积调度的任务个数，等于在时间间隔τ到达的应用n的任务个数。具体为：

其中，表示在时间间隔τ+b内应用n的任务到达率。

优选地，采用罚函数方法将非线性调度优化模型转化为对应的无约束优化模型。具体为：将非线性调度优化模型中的每个约束设计为一个惩罚项，并采用如下罚函数计算得到所有约束对应的惩罚项的值：

其中，表示对应于所有约束对应的惩罚项的值；w表示不等式约束的个数；z表示等式约束的个数；表示每个不等式约束所对应的惩罚项；表示每个等式约束所对应的惩罚项；表示由和组成的决策向量；α和β表示两个常数。

优选地，转化后的无约束优化模型具体为：

其中，表示无约束优化模型的目标函数；ε表示一个大的正整数。

优选地，采用结合遗传算法的遗传操作、粒子群算法的社会学习、模拟退火算法的metropolis接受法则设计的混合式智能优化算法求解无约束优化模型,实现分布异地多云数据中心环境下时空敏感的任务调度，具体为：

1)首先随机初始化解空间以及其他相关参数(包括种群规模、迭代次数、开始温度等)；

2)在每次迭代过程中更新种群中每个粒子的速度和位置，并计算出每个粒子的局部最优位置pbest以及所有粒子的全局最优位置gbest；

3)针对每个粒子，对pbest和gbest进行遗传算法的交叉操作；

4)进一步对交叉操作产生的精英粒子进行变异和选择操作，从而得到与每个粒子对应的精英粒子；

5)根据pbest、gbest以及每个粒子对应的精英粒子更新每个粒子的速度；

6)按照模拟退火算法的metropolis接受法则更新每个粒子的位置；

7)回到2)，直至达到算法迭代结束条件；

8)输出全局最优解即得到能够最小化分布异地多云数据中心提供商的能量成本并满足所有应用任务的延迟要求的任务调度策略。

本发明的有益效果如下：

本发明所述技术方案能够解决分布异地多云数据中心环境下，电力价格、风速、太阳辐射强度等因素在不同地理位置的时间和空间变化给任务调度带来的难题，并使得分布异地多云提供商在保证每个应用的任务延迟要求的同时智能地调度所有的任务。且本发明所述技术方案综合考虑了分布异地多云云数据中心环境下可用的服务器个数限制、绿色云数据中心中最大可用的能量限制、任务队列的稳定性、任务延迟要求等因素，实现分布异地多云数据中心环境下时空敏感的任务调度，能够将所有延迟容忍型应用的任务调度到多个云数据中心环境下执行，从而最小化分布异地多云数据中心提供商的能量成本。

附图说明

下面结合附图对本发明的具体实施方式作进一步详细的说明；

图1示出分布异地多云数据中心环境下时空敏感的任务调度与优化方法的流程图。

图2示出分布异地多云数据中心架构图。

具体实施方式

为了更清楚地说明本发明，下面结合优选实施例和附图对本发明做进一步的说明。附图中相似的部件以相同的附图标记进行表示。本领域技术人员应当理解，下面所具体描述的内容是说明性的而非限制性的，不应以此限制本发明的保护范围。

如图1和图2所示，本发明公开的一种分布异地多云数据中心环境下时空敏感的任务调度与优化方法，包括如下步骤：

s1、针对多类型延迟容忍型应用的任务，建立分布异地多云数据中心环境下处理多类型延迟容忍型应用任务的架构：

所述针对多类型延迟容忍型应用(如大数据处理、科学计算和深度学习等)的分布异地多云数据中心架构包括多个位于不同地理位置的绿色云数据中心组成。每个应用均部署在多个绿色云数据中心中，并且每个应用以及其运行所需的数据在不同的绿色云数据中心之间保持严格的一致。将每个绿色云数据中心建模为一个m/m/m的排队系统，并且按照先来先服务的准则处理到达的任务。此外，每个服务器的任务处理时间符合独立同分布的负指数分布，每个应用的任务到达过程符合泊松分布。用户通过终端设备向绿色云数据中心发送任务，分类器组件根据任务所属的应用类型确定每个应用的任务到达率。这些任务被放入对应的先来先服务任务队列中。每个绿色云数据中心从电网、太阳能、风能等三种来源获取能量。任务调度器组件收集任务队列信息以及每个绿色云数据中心的能量信息。根据这些信息，任务调度器组件周期性地执行时空敏感的任务调度与优化方法从而确定最优的调度策略。

s2、根据该架构，建立最小化云数据中心提供商能量成本的非线性调度优化模型：

本发明采用一种分布异地多云提供商的能量成本cost的计算方法，来刻画执行所有应用的任务为分布异地多云提供商带来的能量成本，非线性调度优化模型的优化目标为最小化cost，非线性约束优化模型为：

其中，cost表示从时间间隔τ到时间间隔τ+γ，分布异地多云数据中心执行所有应用的任务所消耗的能量成本；c表示绿色云数据中心的个数；表示绿色云数据中心c在时间间隔τ+b内通过火力发电方式得到的能量价格；表示绿色云数据中心c在时间间隔τ+b内执行所有应用任务所消耗的总能量；表示绿色云数据中心c在时间间隔τ+b内执行所有应用任务所消耗的太阳能能量；表示绿色云数据中心c在时间间隔τ+b内执行所有应用任务所消耗的风能能量；表示在时间间隔τ+b内绿色云数据中心c中应用n的任务到达率；表示在时间间隔τ+b内绿色云数据中心c中应用n的任务处理率；bn表示应用n的任务延迟限制，γ＝maxn＝1,2,…,n(bn)。

上述非线性调度优化模型的优化目标中，所述非线性调度优化模型的优化目标中，绿色云数据中心c在时间间隔τ+b内执行所有应用任务所消耗的总能量的计算方式，具体为：

其中，l表示每个时间间隔的长度；n表示分布异地多云数据中心环境下应用的个数；表示绿色云数据中心c中对应于应用n的每个服务器的平均闲时功率；表示绿色云数据中心c中对应于应用n的每个服务器的平均峰时功率；γ^c表示绿色云数据中心c的pue(powerusageeffectiveness)值；表示在时间间隔τ+b内绿色云数据中心c中应用n的累积任务到达率；表示在时间间隔τ+b内绿色云数据中心c中应用n的任务到达率；表示绿色云数据中心c中每个开启的对应于应用n的服务器单位时间处理任务的个数；表示绿色云数据中心c中对应于应用n的任务队列的容量；表示在时间间隔u(τ+b-bn≤u≤τ+b-1)内，绿色云数据中心c中应用n的剩余的任务到达率。

上述非线性调度优化模型的优化目标中，绿色云数据中心c在时间间隔τ+b内执行所有应用任务所消耗的太阳能能量和风能能量具体为：

其中，κ^c表示绿色云数据中心c中太阳辐射到电的转换率；表示绿色云数据中心c中太阳能电池板的有效照射面积；表示绿色云数据中心c在时间间隔τ+b内的太阳辐射强度；η^c表示绿色云数据中心c中风到电的转换率；α^c表示绿色云数据中心c中的现场空气密度；表示绿色云数据中心c中风力发电机的转子面积；表示绿色云数据中心c在时间间隔τ+b内的风速。

上述非线性调度优化模型的约束包括下述(1)～(6)：

(1)在时间间隔τ+b内，绿色云数据中心c中开启的对应于应用n的服务器的个数不能超过对应于应用n的可用的服务器个数限制，具体为：

其中，表示绿色云数据中心c中对应于应用n的可用的服务器个数。

(2)在时间间隔τ+b内，绿色云数据中心c中执行所有应用的任务所需要的能量不能超过绿色云数据中心c中最大可用的能量，具体为：

其中，表示绿色云数据中心c中最大可用的能量。

(3)在时间间隔τ+b内，为保证绿色云数据中心c中对应于应用n的任务队列的稳定性，绿色云数据中心c中应用n的累积任务到达率必须小于该应用的任务处理率，具体为：

(4)在时间间隔τ+b内，每个绿色云数据中心c中应用n的任务到达率之和必须等于该应用的任务到达率，具体为：

其中，表示在时间间隔τ+b内应用n的任务到达率。

(5)截止到时间间隔τ+b，绿色云数据中心c中所有在时间间隔τ-bn+b到达的应用n的任务均得到调度，具体为：

(6)截止到时间间隔τ+bn，绿色云数据中心c中累积调度的任务个数，等于在时间间隔τ到达的应用n的任务个数，具体为：

s3、采用罚函数方法将非线性调度优化模型转化为对应的无约束优化模型；

将步骤s2得到的非线性调度优化模型中的每个约束设计为一个惩罚项，并采用如下罚函数计算得到所有约束对应的惩罚项的值，通过如下罚函数计算：

其中，表示对应于所有约束对应的惩罚项的值；w表示不等式约束的个数；z表示等式约束的个数；表示每个不等式约束所对应的惩罚项；表示每个等式约束所对应的惩罚项；表示由和组成的决策向量；α和β表示两个常数。

令表示无约束优化模型的目标函数，转化后的无约束优化模型具体为：

其中，ε表示一个非常大的正整数。

s4、采用结合遗传算法的遗传操作、粒子群算法的社会学习、模拟退火算法的metropolis接受法则设计的混合式智能优化算法求解无约束优化模型,实现分布异地多云数据中心环境下时空敏感的任务调度，从而最小化云数据中心提供商的能量成本并满足所有应用任务的延迟要求：

该算法首先随机初始化解空间以及其他相关参数(包括种群规模、迭代次数、开始温度等)；在每次迭代过程中更新种群中每个粒子的速度和位置，并计算出每个粒子的局部最优位置pbest以及所有粒子的全局最优位置gbest；针对每个粒子，对pbest和gbest进行遗传算法的交叉操作；进一步对交叉操作产生的精英粒子进行变异和选择操作，从而得到与每个粒子对应的精英粒子；根据pbest、gbest以及每个粒子对应的精英粒子更新每个粒子的速度；按照模拟退火算法的metropolis接受法则更新每个粒子的位置；直至达到算法迭代结束条件输出全局最优解即得到能够最小化分布异地多云数据中心提供商的能量成本并满足所有应用任务的延迟要求的任务调度策略。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定，对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。