专利名称：一种分布式计算管理平台机群分级管理的自适应调整方法
技术领域：
本发明属于分布式计算领域，更准确地说是一种可用于电力系统但不限于此的分布式计算管理平台机群分级管理的自适应调整方法。
背景技术：
在分布式计算领域，特别是需要进行大量计算的领域，例如在电力系统安全稳定分析领域，随着电力系统不断发展，电网规模日益扩大，由于在线系统对于时间响应快速性的要求，计算速度已成为制约在线应用的瓶颈。并行计算是实现大规模、复杂电网在线分析计算的行之有效的方法，对于大规模机群进行有效管理，使之适用于在线分析计算的不同计算功能，并在保证可靠性的基础上最大限度的发挥大规模机群的计算性能，成为电力领域提高系统计算性能的关键。文献一《分布式并行计算平台及其计算任务分配方法》(申请号200810239104. 2) 提供一种分布式并行计算平台系统及其计算任务分配方法。该系统中分布式并行计算平台负责接收计算输入文件，形成在线和离线任务分配方案。该方法根据数据来源，将机群划分为离线机群和在线机群，在线机群只计算在线任务，离线机群可计算在线任务和离线任务。 机群节点的角色切换需要手工配置来完成。该方法采用客户端/服务器的架构方式，机群节点统一接收服务器的计算数据和其他指令，计算数据的过滤和处理在每一个机群节点上独立完成。文献二《利用机群节点相互备份的容错方法》(申请号02159479. 1)提出了一种利用机群节点相互备份的容错方法。该方法在机群节点之间通过心跳环连接、相互通信和备份；主节点分配新加入节点在机群中的位置，并返回新加入节点所承担的服务信息；新加入节点逐一启动服务所依赖的进程，并设置相应的服务IP ；如果启动失败，主节点则选择其他节点来启动该服务；当机群中节点发现相邻节点异常时，向该相邻节点进行确认；主节点对该故障服务进行接管。该方法主要解决了机群管理中的节点热备问题，但该方法并不适用于电力系统并行计算机群的针对不同计算功能的差异化管理。文献三《一种机群应用管理系统及其应用管理方法》(申请号201010286186)提出了一种应用于大规模集群管理的机群应用管理系统。该系统包括执行引擎模块和数据库模块，数据库模块用于实时地存储各应用的处理结果，并建立监控表，所述监控表中记录多个应用的所有关联应用的处理结果的改变信息；执行引擎模块用于执行机群系统中的各个应用，并将各应用的处理结果实时地写入数据库模块，还用于按照所设定的周期定期读取数据库模块中的所述监控表，每次读取所述监控表后根据所读取的多个应用的处理结果的改变信息，分别判断各应用的触发条件是否已满足，并在触发条件满足时触发相应的应用。 本发明还提供了相应的机群应用管理方法。本发明能够减少数据库访问连接数，降低开销； 能够处理应用间各种复杂逻辑关系；更加便于管理和操作。以上三种方法中，文献一没有考虑电力系统分布式计算管理平台在运行过程的突发情况(如计算规模的变化、机群节点的运行异常)对系统的影响，机群的划分仅仅依据数据源的不同，并且机群节点的计算功能在初始分配时就固定，在计算过程中没有根据计算功能对节点资源的需求变化自动调整，计算资源无法得到充分利用；文献二和文献三没有考虑电力系统并行计算不同应用功能间的并发调度关系，无法解决电力系统的不同计算功能的计算要求、数据来源以及计算过程的差异性问题。因此上述三种方法都没有很好的解决电力系统分布式计算管理平台机群管理的问题，机群节点的计算资源无法得到最大限度的利用。
发明内容
本发明所要解决的技术问题是，克服现有技术的局限性，考虑不同计算功能的计算特点、工作周期以及由此产生的对计算资源不断变化的需求，提供一种电力系统中可用的并行计算机群分级管理的自适应调整方法。本发明中，对计算机群按照“系统_工作域_机群节点”的层次进行分级管理，系统用于区分不同数据源，工作域用于满足一个系统中计算功能不同工作周期的要求。将系统中的机群节点划分不同的工作域，数据处理和结果汇总均以工作域为单位，不同工作域之间的数据处理、任务调度和结果回传都是独立的。在每个工作域内，都独自拥有一个管理节点。对于系统中的机群节点通过下述方法实现在多个工作域间动态调整，具体步骤如下
1.在机群节点上部署分布式计算管理平台，实现节点的角色识别、节点间数据通信、 任务调度和管理、数据获取和结果回传等功能；
2.在应用服务器上部署机群节点自适应调整程序，实现工作域和计算节点的状态监视以及机群节点的优化分配管理；
3.当工作域运行状态或机群节点数量发生变化时，应用服务器上的机群节点自适应调整程序依据各个工作域的参考工作周期、最小保留节点数和最大保留节点数等参数，重新调整机群节点在各个工作域上的分配，并将调整后的分配信息发布给机群节点；
4.机群节点上运行的分布式计算管理平台依据修改后的机群节点所属工作域的信息实现机群节点在多个工作域间的动态切换。假定系统中正常运行的工作域数目为 d ，正常运行的机群节点数目为q ,巧(i = l-dr)是第i个工作域设置的参考工作周期；当
前~个机群节点在i,个工作域上分配关系用矩阵J^表示，% ==(状
态为未分配的机群节点默认属于工作域0)是第i个机群节点与第j个工作域分配隶属关系(若为1表示第i个节点从其他工作域切换给工作域j使用；若为0，表示其不属于工作域 j ’若为-1表示第i个节点从工作域j切换给其他工作域使用)；式(1)表示G个机群节点
在之个工作域上满足(4)- (7)各类约束的机群节点调整数量最小的优化分配目标函数;
4)〗=〗···<)是第i个工作域分配的机群节点数目，具体如式(2)所示；式(3)保证一个
机群节点只能分配给一个工作域(在机群节点数目c,小于等于所有工作域的最大保留节点
数目之和幻时);式(4)保证每个工作域基于参考工作周期分配机群节点资源；式(5)保证尽可能将所有可用的机群节点资源都分配给工作域(如果机群节点数目&超过所有工
作域的最大保留节点数目之和O,则存在节点处于未分配状态)；
■d)
是第i个工作域最少分配的机群节点数目(默认为0)，式(6)是工作域正常运行时对计算资源的最低要求；腿(O (ι = 1-^)是第i个工作域最多分配的机群节点数目(默认为机群节点总数)，式(7)是工作域正常运行时计算资源的最高配置。
(1)
)
A=^ajE
a
■I
Iai = U,Vx^ ？ -Ι,υ < j <i3r I
ΦΡ
,C1MK CO^ cr
O
⑵
Σ xi/ = O或“l·Cmss (/) <c7
⑶
内e
， }， = 1·υ = 0,1·
r
2-1
.4) “丽
(4)
(5)
(6)
LJ-Oi-1
niSy. η 》、…..ni4r、n …7}‘ K
1 n(i)<cr(
{n(i)eN,i = l"-dr
(i = ··· ^) ,,
=(7)
机群节点优化分配求解过程基于迭代计算的方法实现，具体步骤如下
(1)待调整的工作域集合记为 ,初值为⑷J = U, ·_·Γ},分配完成工作域集合
记为初值力 判断正常运行的机群节点数目为&是否满足正常运行工作域的最低计算资源要求，即式⑶是否成立。若成立，转(2);若不成立，则从待调整的工作域集合选取分配优先级最低的工作域dk，加入到分配完成的工作域巧s集合中，即
_
；i = 1,2，■ O幻，￡)舟=fe},形成新的待调整工作域集合{dl，…，cU dk+1,
dr}，并将工作域dk分配的机群节点数目《P)置为0，转(1)；
4
—〉；C min )
(8)
权利要求
1.分布式计算管理平台机群分级管理的自适应调整方法，该方法管理和调整的内容包括机群节点，由一台或多台计算机组成，用于运行分布式计算管理平台及相关计算程序， 它是分布式计算管理平台计算资源调度和管理的最小单位；所有机群节点的信息交互基于局域网进行，支持TCP和UDP协议；工作域，也称计算域，是指为了实现某些相关应用功能而划分的机群节点的集合；它是分布式计算管理平台应用功能实现工作周期设置的基础单元；应用服务器，负责计算数据生成、计算结果处理以及节点和工作域状态信息收集和发布的工作；机群节点基于分级管理的自适应调整方法应用于电力系统的分布式计算管理平台，其中在应用服务器上运行机群节点自适应调整程序，实现对系统中所有工作域和机群节点的运行监视；在所有机群节点上运行分布式计算管理平台，识别各自所属的工作域，实现每个工作域的独立计算和运行状态的更新；具体步骤如下1)根据应用功能的需要将系统划分成多个工作域，以工作域为单位进行各自计算功能的数据处理、计算调度和结果回收，工作域间不存在数据和控制信息的交互，以满足不同应用功能不同工作周期的需求；2)当已运行的工作域退出运行或增加新的工作域时，应用服务器上的机群节点自适应调整程序根据各个工作域的参考工作周期、最小保留节点数和最大保留节点数等参数，动态调整各个工作域的机群节点分配信息；3)当已运行的机群节点退出运行或新增机群节点时，应用服务器上的机群节点自适应调整程序依据各个工作域的参考工作周期、最小保留节点数和最大保留节点数等参数，动态调整各个工作域的机群节点分配信息；4)机群节点上运行的分布式计算管理平台依据修改后的机群节点所属工作域信息实现机群节点在多个工作域间的动态切换。
2.根据权利要求1所述的分布式计算管理平台机群分级管理的自适应调整方法，其特征在于步骤1)中分布式计算管理平台的备用机制由单个工作域内扩充到整个机群系统。
3.根据权利要求1所述的分布式计算管理平台机群分级管理的自适应调整方法，其特征在于步骤2)和3)中以机群节点调整数量最少为目标，根据工作域和机群节点的运行状态实现机群节点在工作域间的分级优化分配；
全文摘要
本发明属分布式计算领域，提出一种机群节点资源分级管理的自适应调整方法，应用于分布式计算管理平台中。分布式计算管理平台根据应用功能的需要将系统划分成多个工作域，以工作域为单位组织计算，满足不同应用功能不同工作周期的需求，同时通过工作域间的节点支持相互切换提升系统的备用能力。当正常运行的工作域数量或机群节点数量发生变化时，应用服务器上的机群节点优化分配模块以机群节点调整数量最少为目标，依据各个工作域的参考工作周期、最小保留节点数和最大保留节点数等参数，确定各个工作域的机群节点分配信息，充分利用计算机群的计算能力。
文档编号H04L29/08GK102325054SQ20111031667
公开日2012年1月18日 申请日期2011年10月18日 优先权日2011年10月18日
发明者万芳茹, 卢耀华, 张劲中, 徐健, 徐泰山, 方勇杰, 王胜明, 许剑冰, 邵伟, 郭剑 申请人:南京南瑞集团公司, 国网电力科学研究院