高性能计算与云计算混合计算系统及其资源管理方法_3

文档序号:9432376阅读:来源:国知局
计算节点112的云计算代理服务模块1121发送第一清理命令以由该云计算代理服务模块1121清理该空闲计算节点,清理完后将其加入到云计算资源池120中,如图2所示。
[0056]图2所示的混合计算系统100中,当云计算管理系统121监控到云计算资源冗余(例如云计算业务需求下降)时,将之前从高性能计算资源池I1申请到的一部分计算节点112释放以返还给高性能计算资源池110。云计算管理系统121向待释放的计算节点112的云计算代理服务模块1121发送第二清理命令以由云计算代理服务模块1121清理待释放的计算节点。然后高性能计算调度系统111根据云计算代理服务模块1121清理相应的计算节点后返回的信息将该清理后的计算节点112回收到高性能计算资源池。
[0057]基于以上所介绍的高性能计算与云计算混合计算系统,本发明还提出一种高性能计算与云计算混合计算系统的资源管理方法。图3示出了根据本发明一个实施例的高性能计算与云计算混合计算系统的资源管理方法200的流程图。如图3所示,该资源管理方法200包括如下步骤:
[0058]步骤S201中,在高性能计算资源池的每一个计算节点中设置云计算代理服务模块,所述云计算代理服务模块同时与高性能计算调度系统和云计算管理系统连接。
[0059]步骤S202中,在云计算管理系统监控到云计算资源池的资源不足时,由所述云计算管理系统向高性能计算调度系统发送节点资源申请,并根据高性能计算调度系统通知的空闲的计算节点信息向该空闲的计算节点的云计算代理服务模块发送第一清理命令以由所述云计算代理服务模块清理该空闲的计算节点并将其加入到云计算资源池。
[0060]步骤S203中,在云计算管理系统监控到云计算资源池的资源冗余时,由所述云计算管理系统释放从高性能计算资源池申请到的一部分计算节点,并向待释放的计算节点的云计算代理服务模块发送第二清理命令以由所述云计算代理服务模块清理待释放的计算节点,然后由所述高性能计算调度系统根据所述云计算代理服务模块清理相应的计算节点后返回的信息将该清理后的计算节点回收到高性能计算资源池。
[0061]通过以上所述的资源管理方法,本发明的高性能计算与云计算混合计算系统可以在高性能计算资源闲置时,将闲置的高性能计算资源进行相应管理设置,加入到云计算资源池中,以满足云计算资源池的业务应用,并可以在云计算资源冗余时将加入云计算资源池的计算节点释放出来,由高性能计算资源池回收,从而避免资源闲置,提高资源利用率。
[0062]图4示出了根据本发明另一具体实施例的高性能计算与云计算混合计算系统的资源管理方法300的流程图。如图4所示,该资源管理方法300的具体流程如下:
[0063]步骤S301中,云计算管理系统监控云计算资源的使用情况。例如,云计算管理系统可通过判断当前云计算资源池中的剩余资源是否小于预设的资源剩余量阈值或判断当前云计算资源池中的剩余资源是否满足资源申请需求来判断资源是不足还是冗余。当云计算资源不足时,方法300执行步骤S302,当云计算资源冗余时,方法300执行步骤S308。
[0064]步骤S302中,当云计算资源不足时,云计算管理系统向高性能计算调度系统发送节点资源申请,以申请空闲的计算节点。例如,云计算管理系统可以调用高性能计算调度系统API以普通作业形式申请节点资源。
[0065]步骤S303中,高性能计算调度系统调度空闲的计算节点。高性能计算调度系统可将云计算管理系统发送的节点资源申请设置为最高优先级。当前没有空闲的计算节点时,方法300接着执行步骤S304,等待出现空闲的计算节点。当出现空闲的计算节点时,方法300接着执行步骤S305,高性能计算调度系统锁定该空闲的计算节点,并将该空闲的计算节点信息通知给云计算管理系统。
[0066]步骤S306中,云计算管理系统根据高性能计算调度系统通知的空闲的计算节点信息向该空闲的计算节点的云计算代理服务模块发送第一清理命令以由云计算代理服务模块清理该空闲的计算节点。具体实施例中,云计算代理服务模块执行以下清理工作:
[0067]1.结束所有的高性能计算作业进程。云计算代理服务模块将所有ssh登陆的用户(包含root)及ssh服务器子进程强制下线,防止对后面的操作造成影响;云计算代理服务模块遍历所有系统进程,将非系统内置程序的进程全部结束。
[0068]2.卸载高性能计算作业使用的分布式文件系统。
[0069]3.设置防火墙策略,设置cgroup资源策略,以禁止高性能计算用户访问该计算节点。
[0070]4.对计算节点进行服务切换,即将该空闲的计算节点从高性能计算环境需要的服务切换到云计算环境需要的服务。
[0071]5.调用云计算管理系统API从云计算管理系统获取云计算需要使用的分布式文件系统或IP-SAN、FC-SAN等存储资源的连接数据,挂载对应的文件系统或存储资源,并将连接信息反馈给云计算管理系统。
[0072]6.创建虚拟交换机,并将该虚拟交换机信息返回给云计算管理系统。
[0073]步骤S307中,云计算管理系统将该清理后的计算节点的CPU、内存、本地磁盘等资源加入到云计算资源池中。
[0074]至此,云计算资源池从高性能计算资源池申请计算资源的过程结束。
[0075]当步骤S301中监控到云计算资源冗余(例如云计算业务需求下降)时,方法300执行步骤S308。
[0076]步骤S308中,云计算管理系统释放从高性能计算资源池申请到的一部分计算节点。具体实施例中,云计算管理系统统计云计算资源池中有多少CPU、内存剩余,通过计算剩余资源来确定可以返还给高性能计算资源池的计算节点数量。如果完全空闲的计算节点数量不够,将只有少量虚拟机在运行的计算节点中的虚拟机迀出,直到有足够数量的空闲计算节点。
[0077]步骤S309中,云计算管理系统向待释放的计算节点的云计算代理服务模块发送第二清理命令以由云计算代理服务模块清理待释放的计算节点。具体实施例中,云计算代理服务模块执行以下清理工作:
[0078]1.卸载云计算使用的分布式文件系统或存储资源。云计算代理服务模块确认无虚拟机在相应节点上运行后卸载云计算使用的分布式文件系统或者IP-SAN、FC-SAN等存储资源。
[0079]2.对计算节点进行服务切换,即将该计算节点从云计算环境需要的服务切换到高性能计算环境需要的服务,并在成功后通知云计算管理系统以便云计算管理系统将该计算节点从云计算资源池中删除。
[0080]3.挂载高性能计算需要的分布式文件系统。
[0081]4.设置防火墙和cgroup资源策略,以允许高性能计算用户通过高性能计算调度系统正常访问该计算节点。
[0082]5.返回相应的信息给高性能计算调度系统表示该计算节点当前已无作业,可以接受新的作业。
[0083]然后步骤S310中,高性能计算调度系统将该清理后的计算节点回收到高性能计算资源池中,提供给高性能计算业务使用。
[0084]至此,云计算资源池将从高性能计算资源池申请的计算资源返还给高性能计算资源池的过程结束。
[0085]以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含
当前第3页1 2 3 4 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1