一种电力系统混合仿真并行计算系统及其任务调度方法与流程

文档序号:14871376发布日期:2018-07-07 00:26阅读:149来源:国知局

本发明涉及电力系统分布式计算领域,并且更具体地,涉及一种电力系统混合仿真并行计算系统及其任务调度方法。



背景技术:

近年来,并行计算机群管理技术飞跃式发展,分布式并行计算管理机群由两路双核跃升到目前四路六核甚至更高,可供利用计算资源cpu核数由早年的单机四核发展至单机二十四核甚至更多,计算能力显著增强。随着智能电网调度控制支持系统的建设,分布式并行计算平台作为基本功能组件集成至智能电网调度控制支持系统基础平台d5000平台、电力系统云仿真平台以及超算平台,在电力系统离线仿真和在线分析领域中起着关键、基本的平台支撑作用。目前,分布式并行计算平台已经成功应用至在线运行态、在线研究态大电网预警及辅助决策系统,静态安全校核系统,离线研究态预警计算,综合稳定计算网络版,方式协同计算系统以及沙盘推演系统等。

从应用现状表现看,优缺点都很明显:在线运行态分布式并行计算平台不论是周期计算还是事件或者人工触发计算,计算任务相对计算资源饱和的情况下,运行高效、稳定;在线、离线研究态并行计算管理机群cpu资源总核数小于总的仿真计算任务数,也就是在仿真计算任务饱和的情况下,运行高效、稳定;在线、离线研究态分布式并行计算平台集群任务不饱和情况下,运行稳定,但是计算资源利用率低,例如:计算故障数为400,机群计算刀片为700片,每片具备计算资源24核,机群能提供的cpu核数为16800核,单任务独占整个并行计算集群时间期间,计算资源核与节点利用率都不到2.4%;分布式并行计算平台机群计算耗时木桶效应明显,单批任务(阶段与轮次)分析计算总耗时等同于轮次内最长耗时计算占用时间。

交直流混联电网形成后,特高压直流送受端系统相互作用、交直流系统相互耦合、特高压与超高压系统相互制约的问题更加明显,这对电力系统分析和运行控制的精益化和一体化水平提出了更高要求。复杂交直流电力系统的不断发展及其运行控制对电力系统仿真计算提出了更快、更智能的要求。在此背景下,计算资源更丰富,计算处理能力更强,但需要支撑的仿真作业则更多、数据传输量更大、计算模式更为复杂,采用原有仿真程序的简单移植已不能充分发挥超算平台的计算资源优势,甚至由于仿真的巨量作业导致拥堵,使得网络带宽不足造成总体仿真效率低下。



技术实现要素:

为了解决背景技术存在的电力系统超算平台仿真作业拥堵,仿真效率低下的技术问题,本发明提供一种电力系统混合仿真并行计算系统,所述系统包括:

调度单元,其用于进行仿真计算任务的调度以及仿真计算结果文件的接收和转发,其中所述仿真并行计算任务的调度包括根据接收的每个仿真并行计算任务所需要的计算单元的cpu核数,将所述仿真并行计算任务分配至计算单元中的一个或者多个空闲资源cpu核;

数据存储单元,其用于存储调度单元转发的计算结果文件和系统运行过程中生成的日志文件;

计算单元,其用于从调度单元接收计算输入数据或者计算指令并进行计算,以及将计算结果返回调度单元;

人机交互单元,其用于向调度单元下发仿真计算任务数据。

进一步地,所述系统还包括数据网关单元,其用于与人机交互单元、调度单元、数据存储单元进行数据的传输。

进一步地,所述系统中的数据网关单元、调度单元、数据存储单元和计算单元是具有cpu众核能力的计算机。

进一步地,所述系统中的数据网关单元、调度单元和数据存储单元全部是2台。

进一步地,所述系统中的每个数据网关单元、调度单元、数据存储单元和计算单元配置两张千兆级别网卡,并通过两个交换机连接成网络。

进一步地,所述系统的通信方式包括组播和单播,其中组播分为管理组和计算组,所述管理组包括人机交互单元、数据网关单元和调度单元,计算组包括调度单元和计算单元。

进一步地,所述数据存储单元的存储模式是本地存储和共享存储中的至少一个。

进一步地,所述计算单元中安装有第三方核心计算程序。

进一步地,所述人机交互单元提交的仿真计算任务数据包括计算潮流数据、故障设置数据和对仿真计算任务进行划分的配置文件。

根据本发明的另一方面,本发明提供一种基于电力系统混合仿真并行计算系统的任务调度方法,所述方法包括:

人机交互单元向调度单元发送仿真并行计算任务数据;

调度单元对仿真并行计算任务数据进行预处理后,将所述任务存储在任务待处理队列中;

调度单元与计算单元通信,确定计算单元可利用的空闲cpu核数;

调度单元将任务待处理队列中的任务加上包头信息后打包到计算单元请求计算,并更新计算单元空闲cpu核数为减去处理新任务占用的一个或者多个cpu核后的值;

调度单元新建任务定时器函数并执行所述定时器函数;

当所述仿真并行计算任务完成或者任务完成时间超过定时器函数确定的时间后,调度单元将计算单元空闲cpu核数恢复为未处理新任务时的cpu核数;

调度单元将仿真并行计算任务的计算结果传输到数据存储单元进行存储。

进一步地,在人机交互单元向调度单元发送仿真并行计算任务之前在所述电力系统混合仿真并行计算系统中的每个单元上进行软件配置,其中,所述软件配置包括在每个单元上新建用户并安装软件包后,进行用于各个单元之间登录的授权配置以及环境变量设置。

进一步地,所述调度单元与计算单元通信,确定计算单元可利用的空闲cpu核数包括:

计算单元按照固定时间间隔将每个单元的资源信息打包发送至调度单元;

调度单元将接收的资源信息进行存储;

调度单元开启定时器,定期检查计算单元上报的资源信息并对存储的每个单元的资源信息进行更新;

调度单元将未按照定时器间隔进行计算单元资源信息更新的计算单元中的cpu核数从所述系统可用cpu核数中去除。

进一步地,人机交互单元向调度单元发送仿真并行计算任务数据是指人机交互单元直接向调度单元发送仿真并行计算任务数据或者人机交互单元通过数据网关单元向调度单元发送仿真并行计算任务数据。

本发明所提供的技术方案应用支持分网并行和任务并行的大规模混合仿真分布式并行计算关键技术进行电力系统仿真分析,可有效地将众核服务器机群中的cpu核心充分利用起来,同时扫描上万个机电-电磁混合仿真预设故障并生成仿真结果,实现了对超大规模众核服务器机群的巨量cpu核计算资源的监视、调度和控制,充分考虑闲置状态下如何对计算资源进行有效管理,进一步降低了运行成本,大大提升了计算效率,实现了对资源的重复利用,提高了资源的利用率。

附图说明

通过参考下面的附图,可以更为完整地理解本发明的示例性实施方式:

图1是本发明具体实施方式的电力系统混合仿真并行计算系统的结构图;

图2是本发明具体实施方式的电力系统混合仿真并行计算系统的通信原理图;

图3是本发明具体实施方式的电力系统混合仿真并行计算系统的任务调度方法的流程图;

图4是本发明具体实施方式的电力系统混合仿真并行计算系统采集计算资源cpu核数的流程图;

图5是本发明另一个具体实施方式的电力系统混合仿真并行计算系统的实际应用原理图;

图6是本发明另一个具体实施方式的电力系统混合仿真并行计算系统的网络拓扑图。

具体实施方式

现在参考附图介绍本发明的示例性实施方式,然而,本发明可以用许多不同的形式来实施,并且不局限于此处描述的实施例,提供这些实施例是为了详尽地且完全地公开本发明,并且向所属技术领域的技术人员充分传达本发明的范围。对于表示在附图中的示例性实施方式中的术语并不是对本发明的限定。在附图中,相同的单元/元件使用相同的附图标记。

除非另有说明,此处使用的术语(包括科技术语)对所属技术领域的技术人员具有通常的理解含义。另外,可以理解的是,以通常使用的词典限定的术语,应当被理解为与其相关领域的语境具有一致的含义,而不应该被理解为理想化的或过于正式的意义。

具体实施例一

图1是本发明具体实施方式的电力系统混合仿真并行计算系统的结构图。如图1所示,本具体实施方式所述的电力系统混合仿真并行计算系统100包括:

调度单元101,其用于进行仿真计算任务的调度以及仿真计算结果文件的接收和转发,其中所述仿真并行计算任务的调度包括根据接收的每个仿真并行计算任务所需要的计算单元的cpu核数,将所述仿真并行计算任务分配至计算单元中的一个或者多个空闲资源cpu核;

数据存储单元102,其用于存储调度单元转发的计算结果文件和系统运行过程中生成的日志文件;

计算单元103,其用于从调度单元接收计算输入数据或者计算指令并进行计算,以及将计算结果返回调度单元;

人机交互单元104,其用于通过数据网关单元105向调度单元下发仿真计算任务数据;

数据网关单元105,其用于与人机交互单元104、调度单元101、数据存储单元102进行数据的传输。

其中,所述系统100中的数据网关单元105、调度单元101、数据存储单元102和计算单元103是具有cpu众核能力的计算机,所述系统100中的数据网关单元105、调度单元101和数据存储单元102全部是2台,两者互为冗余。所述系统100中的每个数据网关单元105、调度单元101、数据存储单元102和计算单元103配置两张千兆级别网卡,并通过两个交换机连接成网络。

优选地,所述系统的通信方式包括组播和单播,其中组播分为管理组和计算组,所述管理组包括人机交互单元、数据网关单元和调度单元,计算组包括调度单元和计算单元。

图2是本发明具体实施方式的电力系统混合仿真并行计算系统的通信原理图。如图2所示,人机交互单元通过数据网关单元同时向调度单元、数据存储单元提交任务,调度单元则向计算单元中的多个计算机进行任务分配,以及计算单元向调度单元返回计算结果后,调度单元将计算结果同时发送至数据存储单元和人机交互单元均是组播形式,而计算单元向调度单元返回计算结果则是单播形式。

优选地,所述数据存储单元的存储模式是本地存储和共享存储中的至少一个。如图2所示,每个单元均有本地磁盘进行数据本地存储,同时,为了数据共享以及数据高效永久存储,每个单元均可以与磁盘阵列/分布式文件系统连接,实现共享存储。

优选地,所述计算单元中安装有第三方核心计算程序。

优选地,所述人机交互单元提交的仿真计算任务数据包括计算潮流数据、故障设置数据和对仿真计算任务进行划分的配置文件。

图3是本发明具体实施方式的电力系统混合仿真并行计算系统的任务调度方法的流程图。如图3所示,本发明所述基于电力系统混合仿真并行计算系统的任务调度方法300从步骤301开始。

在步骤301,人机交互单元向调度单元发送仿真并行计算任务数据;

在步骤302,调度单元对仿真并行计算任务数据进行预处理后,将所述任务存储在任务待处理队列中;

在步骤303,调度单元与计算单元通信,确定计算单元可利用的空闲cpu核数;

在步骤304,调度单元将任务待处理队列中的任务加上包头信息后打包到计算单元请求计算,并更新计算单元空闲cpu核数为减去处理新任务占用的一个或者多个cpu核后的值;

在步骤305,调度单元新建任务定时器函数并执行所述定时器函数;

在步骤306,当所述仿真并行计算任务完成或者任务完成时间超过定时器函数确定的时间后,调度单元将计算单元空闲cpu核数恢复为未处理新任务时的cpu核数;

在步骤307,调度单元将仿真并行计算任务的计算结果传输到数据存储单元进行存储。

在步骤302中,所述调度单元对仿真并行计算任务数据进行预处理是指将数据转换为计算机可以识别的格式。

优选地,在人机交互单元向调度单元发送仿真并行计算任务之前在所述电力系统混合仿真并行计算系统中的每个单元上进行软件配置,其中,所述软件配置包括在每个单元上新建用户并安装软件包后,进行用于各个单元之间登录的授权配置以及环境变量设置。

图4是本发明具体实施方式的电力系统混合仿真并行计算系统采集计算资源cpu核数的流程图。如图4所示,所述调度单元与计算单元通信,确定计算单元可利用的空闲cpu核数包括:

在步骤401,计算单元按照固定时间间隔将每个单元的资源信息打包发送至调度单元;

在步骤402,调度单元将接收的资源信息进行存储;

在步骤403,调度单元开启定时器,定期检查计算单元上报的资源信息并对存储的每个单元的资源信息进行更新;

在步骤404,调度单元将未按照定时器间隔进行计算单元资源信息更新的计算单元中的cpu核数从所述系统可用cpu核数中去除。

其中,所述调度单元定时器设定的时间间隔与计算单元向调度单元发送资源信息的固定时间间隔不要求同步。比如调度单元定时器的时间间隔可以是5分钟,而计算单元向调度单元打包发送资源信息的固定时间间隔是20秒。

进一步地,人机交互单元向调度单元发送仿真并行计算任务数据是指人机交互单元直接向调度单元发送仿真并行计算任务数据或者人机交互单元通过数据网关单元向调度单元发送仿真并行计算任务数据。

具体实施例二

图5是本发明另一个具体实施方式的电力系统混合仿真并行计算系统的实际应用原理图。图5所示是面向国分省多级调度的国家电网仿真中心超算平台。如图5所示,所述超算平台相当于本发明中所述混合仿真并行计算系统,其利用超大规模众核服务器机群分布式并行混合仿真计算、仿真计算服务云化等一系列关键技术,解决了电力仿真应用资源、计算、数据能力高效利用和共享等难题,构建了面向国分省多级调度具备超强计算能力的电力系统仿真超算平台,实现了国分省多用户远程异地协同方式计算,支撑大电网多级调度运行一体化分析和决策。在该实施例中,国分省多级用户通过网络,可作为所述系统的人机交互单元同时向超算中心提出仿真并行计算任务请求。

图6是本发明另一个具体实施方式的电力系统混合仿真并行计算系统的网络拓扑图。如图6所示,所述各种客户端作为人机交互单元通过以太网与网关节点、数据节点、各分区调度以及计算节点集群形成一个混合仿真平行计算系统,在所述系统中,网关节点即数据网关单元,用于将客户端的仿真并行计算任务发送至各分区调度,即本申请中所述调度单元,然后调度单元根据每个计算节点集群中的计算机,即计算单元cpu空闲核数进行任务分配,所述数据节点作为数据存储单元对所述系统中传输的数据进行存储,而磁盘阵列作为共享存储介质,实现系统中所有数据的云端存储。

通常地,在权利要求中使用的所有术语都根据他们在技术领域的通常含义被解释,除非在其中被另外明确地定义。所有的参考“一个/所述/该【装置、组件等】”都被开放地解释为所述装置、组件等中的至少一个实例,除非另外明确地说明。这里公开的任何方法的步骤都没必要以公开的准确的顺序运行,除非明确地说明。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1