一种云工作流作业调度方法
【技术领域】
[0001] 本发明涉及云计算领域，具体涉及一种云工作流作业调度方法。
【背景技术】
[0002] 工作流调度是工作流研究中的重要问题之一，也一直得到了学术界的深入研究和 工业界的广泛实践。面向云计算环境的工作流的调度方法与传统工作流和网格工作流的调 度方法存在着很大的区别。云工作流运行时，如何根据云计算环境和云服务QoS模型，将云 资源高效、灵活地分配到工作流的计算任务中是云工作流调度中需要解决的问题，而现有 的云工作流调度方法普遍存在着成本高、误码率高、反应速度慢等问题，云工作流调度能力 亟待提尚。
【发明内容】
[0003] 本发明的目的是解决现有技术的缺陷，提供一种云工作流作业调度方法，采用的 技术方案如下：
[0004] 一种云工作流作业调度方法，包括：
[0005] S1.对每一个云工作流作业，根据其DAG流程图进行分解，得到多个相互独立的子 云工作流作业；
[0006] S2.估计每一子云工作流作业的执行时间；
[0007] S3.子云工作流作业进入等待队列；
[0008] S4.根据SLA约束分配子云工作流作业的优先级；
[0009] S5.利用强化学习对子云工作流进行调度。
[0010] 分解后的云工作流作业成为相互独立的子云工作流作业，以子云工作流作业为基 本的处理对象，这些相互独立的子云工作流作业随后进入等待队列，根据SLA约束分配子 云工作流作业的优先级，优先级高的子云工作流作业先进行调度，最后，强化学习通过与环 境不断的交互和试错，利用环境反馈的评价信号实现决策的优化。本发明能够有效提高调 度效率、降低调度成本。
[0011] 作为优选，本发明使用细粒度的云计算模型进行云工作流作业调度，所述细粒度 的云计算模型包括作业调度子模块、作业执行子模块和作业传输子模块，所述作业调度子 模块包括等待队列和作业分配器，所述作业执行子模块包括若干个子队列以及与子队列对 应的虚拟机，所述作业传输子模块包括全局队列和作业传输器，所述等待队列接收子云工 作流作业，所述作业分配器将等待队列中的子云工作流作业分配给子队列，所述虚拟机执 行子云工作流作业，所述全局队列接收虚拟机执行完毕后的作业结果，所述作业传输器将 作业结果反馈给用户。
[0012] 本发明结合队列理论设计了细粒度的云计算系统模型，该模型由相互作用并协同 工作的多个子模块构成，以子云工作流作业作为基本的处理对象，按照该对象在模型中的 处理过程，将总的响应时间分为三部分，分别对应作业调度子模块、作业执行子模块和作业 传输子模块，能够准确分析动态变化的云计算环境性能，将云资源高效、灵活地分配到工作 流的计算任务中，有效提高调度效率、降低调度成本。
[0013] 作为优选，所述强化学习以：
化目标进行学习，其中
为用户任务响应时间，
为作业传输子模块 作业的到达率，μ ttsm为作业传输子模块作业的服务率，P i为当前作业分配给虚拟机i的概 率。
[0014] 在细粒度的云计算系统模型中，以子云工作流作业作为基本的处理对象，按照该 对象在模型中的处理过程，将总的响应时间分成了 rttssm、rttesm和rtttsm三部分，那么对于任 何一个子云工作流作业，我们可以单独分析该响应时间的组成，从而能够准确分析动态变 化的云计算环境性能。本发明在各虚拟机资源占有量不变的约束下，以作业响应时间最小 化为优化目标，通过云工作流作业的合理调度，提高了资源利用率和服务质量。
[0015] 作为优选，所述强化学习以当前云计算平台中的虚拟机资源为状态空间，以作业 调度动作为动作空间，以当前作业执行时间为立即回报。
[0016] 与现有技术相比，本发明的有益效果：本发明能够准确分析动态变化的云计算环 境性能，将云资源高效、灵活地分配到工作流的计算任务中。同时，本发明在各虚拟机资源 占有量不变的约束下，以作业响应时间最小化为优化目标，通过利用强化学习对云工作流 作业进行合理的调度，提高了资源利用率和服务质量。
【附图说明】
[0017] 图1是本发明的流程图；
[0018] 图2是本发明细粒度的云计算模型的结构示意图；
[0019] 图3是本发明将云工作流作业进行分解的示意图。
【具体实施方式】
[0020] 下面结合附图和实施例对本发明作进一步详细描述。
[0021] 实施例：
[0022] 如图1所示，一种云工作流作业调度方法，包括：
[0023] S1.对每一个云工作流作业，根据其DAG流程图进行分解，得到多个相互独立的子 云工作流作业；
[0024] S2.估计每一子云工作流作业的执行时间；
[0025] S3.子云工作流作业进入等待队列；
[0026] S4.根据SLA约束分配子云工作流作业的优先级；
[0027] S5.利用强化学习对子云工作流进行调度。
[0028] 分解后的云工作流作业成为相互独立的子云工作流作业，以子云工作流作业为基 本的处理对象，这些相互独立的子云工作流作业随后进入等待队列，根据SLA约束分配子 云工作流作业的优先级，优先级高的子云工作流作业先进行调度，最后，强化学习通过与环 境不断的交互和试错，利用环境反馈的评价信号实现决策的优化。
[0029] 本实施例使用细粒度的云计算模型进行云工作流作业调度，所述细粒度的云计算 模型包括作业调度子模块、作业执行子模块和作业传输子模块，所述作业调度子模块包括 等待队列和作业分配器，所述作业执行子模块包括若干个子队列以及与子队列对应的虚拟 机，所述作业传输子模块包括全局队列和作业传输器，所述等待队列接收子云工作流作业， 所述作业分配器将等待队列中的子云工作流作业分配给子队列，所述虚拟机执行子云工作 流作业，所述全局队列接收虚拟机执行完毕后的作业结果，所述作业传输器将作业结果反 馈给用户。
[0030] 本实施例结合队列理论设计了细粒度的云计算系统模型，该模型由相互作用并协 同工作的多个子模块构成，以子云工作流作业作为基本的处理对象，按照该对象在模型中 的处理过程，将总的响应时间分为三部分，分别对应作业调度子模块、作业执行子模块和作 业传输子模块，能够准确分析动态变化的云计算环境性能，将云资源高效、灵活地分配到工 作流的计算任务中，有效提高调度效率、降低调度成本。
[0031] 所述强化学习以：
标进行学习，其中，rttot= rt tssm+rttesm+rtttsn%用户任务响应时间，
,λ 为作业传输子模块 作业的到达率，μ ttsm为作业传输子模块作业的服务率，P i为当前作业分配给虚拟机i的概 率。
[0032] 在细粒度的云计算系统模型中，以子云工作流作业作为基本的处理对象，按照该 对象在模型中的处理过程，将总的响应时间分成了 rttssm、rttesm和rtttsm三部分，那么对于任 何一个子云工作流作业，我们可以单独分析该响应时间的组成，从而能够准确分析动态变 化的云计算环境性能。
[0033] 所述强化学习以当前云计算平台中的虚拟机资源为状态空间，以作业调度动作为 动作空间，以当前作业执行时间为立即回报。
[0034] 如图3所示，以医学图像分析工作流应用为例，步骤S1对云工作流作业进行分解 的过程为：第一次归纳
[0036] 进一步分析可发现，分支（b)，（c)，（d)，（e)都需要经过节点（1)和节点（2)，则可 进一步归纳为
[0038] 从第一次归纳和进一步归纳的结果可见，（b)、（c)、（d)、（e)均需要步骤（2)，那么 这一步的执行结果可被（b)、（c)、（d)、（e)共享，这样就合并了作业的执行过程。
[0039] 本实施例的云工作流调度方法能够准确分析动态变化的云计算环境性能，将云资 源高效、灵活地分配到工作流的计算任务中，通过云工作流作业的合理调度，提高了资源利 用率和服务质量。
【主权项】
1. 一种云工作流作业调度方法，其特征在于，包括：51. 对每一个云工作流作业，根据其DAG流程图进行分解，得到多个相互独立的子云工 作流作业；52. 估计每一子云工作流作业的执行时间；53. 子云工作流作业进入等待队列；54. 根据SLA约束分配子云工作流作业的优先级；55. 利用强化学习对子云工作流进行调度。2. 根据权利要求1所述的一种云工作流作业调度方法，其特征在于，使用细粒度的云 计算模型进行云工作流作业调度，所述细粒度的云计算模型包括作业调度子模块、作业执 行子模块和作业传输子模块，所述作业调度子模块包括等待队列和作业分配器，所述作业 执行子模块包括若干个子队列以及与子队列对应的虚拟机，所述作业传输子模块包括全局 队列和作业传输器，所述等待队列接收子云工作流作业，所述作业分配器将等待队列中的 子云工作流作业分配给子队列，所述虚拟机执行子云工作流作业，所述全局队列接收虚拟 机执行完毕后的作业结果，所述作业传输器将作业结果反馈给用户。3. 根据权利要求2所述的一种云工作流作业调度方法，其特征在于，所述强 化学习以：为优化目标进行 学习，其中为用户任务响应时间，为作业传输子模块 作业的到达率，μ ttsm为作业传输子模块作业的服务率，P i为当前作业分配给虚拟机i的概 率。4. 根据权利要求3所述的一种云工作流作业调度方法，其特征在于，所述强化学习以 当前云计算平台中的虚拟机资源为状态空间，以作业调度动作为动作空间，以当前作业执 行时间为立即回报。
【专利摘要】本发明公开一种云工作流作业调度方法，包括：对每一个云工作流作业，根据其DAG流程图进行分解，得到多个相互独立的子云工作流作业;估计每一子云工作流作业的执行时间；子云工作流作业进入等待队列；根据SLA约束分配子云工作流作业的优先级;利用强化学习对子云工作流进行调度。本发明提高了云计算系统中资源利用率和服务质量。
【IPC分类】G06F9/48, G06F9/455
【公开号】CN105354085
【申请号】CN201510733199
【发明人】崔得龙, 彭志平, 柯文德, 左敬龙
【申请人】广东石油化工学院
【公开日】2016年2月24日
【申请日】2015年10月30日