一种面向集群系统的资源优化管理方法与流程

文档序号:12363189阅读:418来源:国知局

本发明涉及群集系统优化方法,具体涉及一种面向集群系统的资源优化管理方法。



背景技术:

集群系统是指一组相互独立的计算机,利用高速通信网络组成一个计算机系统,每个群集节点,即集群中的每台计算机,都是运行期自己进程的一个独立服务器。这些进程可以彼此通信,对网络客户机来说就像是形成了一个单一系统,协同起来向用户提供应用程序、系统资源和数据处理,并以单一系统的模式加以管理。然而现在的集群系统中,会存在由于资源分配不当,使得很多节点大部分时间都处于空闲状态,而该空闲状态的节点所在队列里又仍有很多待完成的作业,由于这种情况,使得集群系统的节点利用率变得极低,造成集群系统工作效率低下。



技术实现要素:

本发明的目的在于提供一种面向集群系统的资源优化管理方法,解决目前的集群系统中存在即是在有大量待完成的作业的情况下,仍有许多节点由于系统原因而处于空闲状态,导致的集群系统效率低下的问题,达到提升集群系统节点利用率,改善集群系统整体工作效率的目的。

本发明通过下述技术方案实现:

一种面向集群系统的资源优化管理方法,包括:步骤一、将集群系统中的计算节点整合为不同的队列,当任务进入某一队列,则计算出该任务在所述队列中的配置属性;步骤二、根据任务的优先级影响因子,计算该任务在队列中的优先级,并按照优先级高低在队列中为任务设定执行顺序,执行顺序为从高优先级到低优先级;步骤三、检查队列中是否有高优先级任务已经占据了部分资源,却因为尚未获取所有需要的资源而导致任务暂时无法执行且所占用的资源处于空闲状态;步骤四、若步骤四中判断有处于空闲的资源,则在不影响高优先级任务的前提下,根据分配策略的选择,将处于空闲状态的资源分配给该队列中低优先级的任务。

进一步的,步骤二中任务的优先级影响因子包括,

任务来源:提交该任务的用户的级别;

公平共享:提交该任务的用户的资源使用历史记录;

任务申请资源:该任务索要占用的计算节点数;CPU个数、GPU个数、DSP个数、内存;

服务级别:任务排队等待的时间和任务所需时间的比值、任务已经在队列中排队的时间。

进一步的,分配策略包括:

首次适应策略:扫描队列中处于排队状态的任务,执行第一个能放入处于空闲状态的计算节点的任务;

最优适应策略:扫描队列中处于排队状态的任务,执行能够最大程度利用处于空闲状态的计算节点的数量和其空闲实现的任务;

贪婪适应策略:扫描队列中处于排队状态的任务,挑选出优先级最高的任务分配给空闲节点,达到最大程度上使得系统中的空闲节点完全被利用起来的情况,提升了系统的整体效率。

本发明与现有技术相比,具有如下的优点和有益效果:

1、本发明一种面向集群系统的资源优化管理方法, 通过系统内部对空闲节点的灵活调用与安排,达到提升集群系统中的节点利用率,提升集群系统整体效率的目的。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白,下面结合实施例,对本发明作进一步的详细说明,本发明的示意性实施方式及其说明仅用于解释本发明,并不作为对本发明的限定。

实施例

本发明一种面向集群系统的资源优化管理方法,包括:

步骤一、将集群系统中的计算节点整合为不同的队列,当任务进入某一队列,则计算出该任务在所述队列中的配置属性;

步骤二、根据任务的优先级影响因子,计算该任务在队列中的优先级,并按照优先级高低在队列中为任务设定执行顺序,执行顺序为从高优先级到低优先级;

步骤三 、检查队列中是否有高优先级任务已经占据了部分资源,却因为尚未获取所有需要的资源而导致任务暂时无法执行且所占用的资源处于空闲状态;

步骤四、若步骤四中判断有处于空闲的资源,则在不影响高优先级任务的前提下,根据分配策略的选择,将处于空闲状态的资源分配给该队列中低优先级的任务。

进一步的,步骤二中任务的优先级影响因子包括,

任务来源:提交该任务的用户的级别;

公平共享:提交该任务的用户的资源使用历史记录;

任务申请资源:该任务索要占用的计算节点数;CPU个数、GPU个数、DSP个数、内存;

服务级别:任务排队等待的时间和任务所需时间的比值、任务已经在队列中排队的时间。

进一步的,分配策略包括:

首次适应策略:扫描队列中处于排队状态的任务,执行第一个能放入处于空闲状态的计算节点的任务;

最优适应策略:扫描队列中处于排队状态的任务,执行能够最大程度利用处于空闲状态的计算节点的数量和其将处于空闲状态的持续时长;该任务通过计算处于空闲状态的计算节点的梳理

贪婪适应策略:扫描队列中处于排队状态的任务,挑选出优先级最高的任务分配给空闲节点。该策略最大程度上保障了利用空闲节点完成优先级为第二高的任务。

以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1