高动态资源非均衡条件下的多节点任务调度方法与流程

本发明涉及计算机软件技术，尤其涉及一种多节点任务调度方法。

背景技术：

在高动态资源非均衡条件下，网络中各节点的计算资源、通信能力、负载状况和网络拓扑结构是动态变化的。由动态性决定了当前任务调度技术无法在事前准确计算每个节点的任务处理时间，因此当前任务调度技术将任务执行时间作为任务调度目标将比较困难。目前，单个服务中心的计算和传输容量有限，数量庞大且资源异构，同时可能随着时间推进，遭受损毁而中断服务的问题。同时，由于计算资源不均等地分布在多个服务中心与服务节点，计算任务的优化目标存在差异等，使任务的调度问题更为复杂。

技术实现要素：

本发明的一个优势在于提供一种高动态资源非均衡条件下的多节点任务调度方法，通过该方法将计算任务合理高效地在节点间动态调度，以保障和加快任务处理与反馈。

本发明的另一优势在于提供一种高动态资源非均衡条件下的多节点任务调度方法，通过该方法提高了计算效率和资源利用率。

本发明的另一优势在于提供一种高动态资源非均衡条件下的多节点任务调度方法，通过该方法在高动态连接资源非均衡条件下，针对常见计算任务，优化分布式计算调度策略，提升分布式计算任务组件处理性能，并减少计算任务迁移的开销。

本发明的其它优势和特点通过下述的详细说明得以充分体现并可通过所附权利要求中特地指出的手段和装置的组合得以实现。

依本发明的一个方面，能够实现前述目的和其他目的和优势的本发明一种高动态资源非均衡条件下的多节点任务调度方法，包括以下步骤：

（a）通过一个作业管理器分解每个被提交的计算任务为多个计算任务组件；和

（b）根据依赖关系拆分每个计算任务组件，按序提交至该一个调度集合，并通过该作业管理器监控每个计算任务组件的运行情况。

进一步地，该步骤（a）包括子步骤：向一个作业监控器提交一个计算任务，以使该作业监控器能够根据该计算任务生成一个作业管理器。

进一步地，该步骤（a）包括子步骤：监控该计算任务的运行。

进一步地，进一步包括步骤：（c）监控每个资源节点的资源，提供一个资源相关信息至一个任务调度器。

进一步地，进一步包括步骤：（d）基于多目标优化的调度策略，调度每个计算组件至合适的资源节点并处理。

进一步地，该步骤（a）包括子步骤：通过该作业管理器分析每个计算任务组件的计算量和存储资源量。

通过对随后的描述和附图的理解，本发明进一步的目的和优势将得以充分体现。

本发明的这些和其它目的、特点和优势，通过下述的详细说明，附图和权利要求得以充分体现。

附图说明

图1是根据本发明的一个实施例的高动态资源非均衡条件下的多节点任务调度方法的结构示意图。

图2是根据本发明的上述实施例的高动态资源非均衡条件下的多节点任务调度方法的结构示意图。

图3是根据本发明的上述实施例的高动态资源非均衡条件下的多节点任务调度方法的系统运行流程图。

具体实施方式

以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。

本领域技术人员应理解的是，在本发明的揭露中，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系是基于附图所示的方位或位置关系，其仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此上述术语不能理解为对本发明的限制。

可以理解的是，术语“一”应理解为“至少一”或“一个或多个”，即在一个实施例中，一个元件的数量可以为一个，而在另外的实施例中，该元件的数量可以为多个，术语“一”不能理解为对数量的限制。

参考本发明说明书附图之图1至3，依本发明一个实施例的高动态资源非均衡条件下的多节点任务调度方法被揭露。如图1所示，虚拟中心节点具有作业监控器11、作业管理器12、资源管理器13和任务调度器14等部件。其中作业监控器11接受计算任务的提交，为每个计算任务生成一个对应的作业管理器12，并监控该计算任务的运行。作业管理器12由作业分析器121和任务监控器122组成。作业分析器121将计算任务分解成若干计算任务组件，并对各计算任务组件的计算量和存储资源量等进行分析。任务监控器122负责将计算任务组件按依赖关系拆分，按序提交到任务调度器14的调度集合，并监控每个计算任务组件的运行情况。资源管理器13负责监控各资源节点的资源，为任务调度器14提供资源相关信息。任务调度器14负责基于多目标优化的调度策略，将各计算组件调度至合适的资源节点进行处理。

如图2所示，可以将调度过程分为两个过程，第一个过程是作业管理器12将具有依赖关系的计算组件进行拆分，提交到调度集合，如图2中虚线部分所示。第二个过程是将调度集合中计算任务组件调度到资源节点进行处理，如图2中实线部分所示。在第一个过程中，各计算任务组件的依赖关系由dag图给出。据此，每个计算任务组件的入度值代表前驱计算任务组件的数量。假设任意一个任务组件为vi，其入度值为in(vi)，当入度值为0时，该计算任务组件可以被提交至调度结合进行调度。对于第二个过程，当服务节点应用对实时服务性能敏感时，将以任务处理性能优化为目标，以任务处理资源开销为约束，实现在可控开销代价下的性能优化，满足服务节点应用的实时响应需求。相似地，当服务节点期待减小开销（如减少能量消耗），以任务处理资源开销最小化为目标，以服务节点应用最低性能保证为约束进行调度决策优化。此外，若服务节点期待同时优化任务处理性能与资源开销，则可依据虚拟中心节点的偏好对性能与开销赋予不同权重，并优化性能与开销的加权目标函数，从而达到性能与开销多目标协同优化的目的。当服务节点应用对实时服务性能敏感时，以任务处理性能优化为目标，以计算任务迁移开销为约束，实现在可控开销代价下的性能优化，满足服务节点应用的实时响应需求。相似地，当服务节点期待减小开销（如减少能量消耗或信息资源管理服务中心的资源成本），以计算任务迁移开销最小化为目标，以用户最低性能保证为约束进行计算任务调度决策优化。此外，若计算资源节点期待同时优化任务处理性能与开销，则可依据服务节点的偏好对性能与开销赋予不同权重，并优化性能与开销的加权目标函数，从而达到性能与开销多目标协同优化的目的。进一步，服务中心实时检测多节点计算任务调度的数据流图，合并用户计算任务中的同质组件，实现多个同质组件一次调度而多用户共享，减少网络通信开销和计算资源占用，降低能量消耗。最后，基于多目标跨层优化技术，考虑到任务在执行过程中可能被调整，虚拟中心节点将任务图调整分解为多个子任务，调度到域内不同的计算资源节点分布式执行，从而适应节点资源和任务的动态变化。

如图3所示，第一步，将任务按依赖关系分解成dag图。第二步，根据多因素构建任务分解模型。第三步，根据模型进行任务分解调度规划，第四步，采集节点资源状态信息，并反馈回主节点进行任务分解模型更新。

本领域的技术人员应理解，上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明。本发明的目的已经完整并有效地实现。本发明的功能及结构原理已在实施例中展示和说明，在没有背离所述原理下，本发明的实施方式可以有任何变形或修改。