智能数值模拟作业管理与反馈方法与流程

文档序号:11406934阅读:166来源:国知局

本发明涉及一种数值模拟作业调度管理计算资源优化技术领域,具体是指数值模拟作业管理计算资源智能过滤及反馈优化方法。



背景技术:

数值模拟作业计算后端计算资源优化技术是南海西部盆地油藏数值模拟工作得以有效开展的关键技术之一。

现有的数值模拟作业管理技术多为优先级固定的节点调度管理,或为节点随机调度管理,但计算节点受多方面不可控的因素影响,各种因素都有可能导致存在坏节点的情况,因而导致数值模拟作业整体的计算成功率下降,而节点随机调度管理,虽可以减轻坏节点对整体的影响,却不能有效的提高计算效率。油藏数值模拟用户多次反映作业计算不规律的出现失败的情况,实为后端计算资源质量下降的问题,极大的降低了科研工作的效率,为此,亟需一种能有效提高后端计算资源质量的作业管理调度方法。



技术实现要素:

本发明的目的在于克服上述已有技术的不足,提供一种通用性强且可靠性高的数值模拟作业管理计算资源智能过滤及反馈优化方法。

为了实现上述目的,本发明采用的技术方案是:一种智能数值模拟作业管理与反馈方法,其特征在于:包括下列步骤:

s1:计算节点安装驱动后,持续采样节点状态信息发送到数据库,采集的状态信息包括节点的处理器使用率、后台作业进程、网络连接情况和网络存储情况;

s2:服务器程序从数据库获取各计算节点的优先级及状态信息,排除异常节点后按各节点优先级排列,组合成等候调度的计算资源,节点异常情况包括网络连接异常、网络存储未挂载、节点硬件异常;

s3:用户使用客户端程序将数值模拟作业计算请求发送到数据库,作业计算请求信息含有作业路径信息;

s4:服务器程序从数据库读取用户的作业计算请求,在计算资源足够的情况下,将作业优先指派到优先级高的计算节点上计算;

s5:作业计算结束后,客户端程序通过分析作业日志,根据作业完成情况不同会有不同的作业日志标志,获得作业完成情况,分为作业计算完成和作业计算失败两种情况;

s6:客户端程序根据作业完成情况进行反馈,若作业计算完成,提高计算所用节点优先级,若作业计算失败,降低所用节点优先级,更新数据库中节点的优先级。

进一步地,所述步骤s2中,所述服务器程序通过智能分析节点的各种状态信息,若判定为异常节点,对异常的节点具备过滤排除功能。

进一步地,在所述步骤s4中,所述服务器程序具备以优先级加权调度节点的管理功能,对优先级高的节点优先调用,优先级低的节点少调用或标记为冗余节点不调用。

进一步地,在所述步骤s6中,所述客户端程序根据作业完成情况进行反馈的方法具体是:客户端程序给用户显示作业日志的同时,通过同步分析作业日志,根据日志中特殊的多个标志字段,综合判断形成作业完成情况,分为作业计算完成和作业计算失败两种情况,对这两种情况执行不同的操作来改变数据库中节点的优先级,数据库中优先级字段为整形数据,优先级数值大,则优先级高;具体操作方法如下:若作业计算完成,则所用节点优先级加1;若作业计算失败,分两种情况,当所用节点优先级大于0,则优先级减半再减1,当优先级小于等于0,则优先级减1。

本发明的有益效果是:利用本发明的方法,通过异常计算节点智能过滤、作业完成情况反馈优化、计算节点以优先级加权调度管理,可以有效的避免作业反复送到异常节点上计算,逐步提高计算效率高的节点优先级,从而提高数值模拟作业整体的计算成功率以及效率,有效的提高科研人员的工作效率,具有较强的通用性。本发明为数值模拟作业管理技术计算资源调度管理技术提供了更稳定更可靠的方法。

附图说明

下面结合附图对本发明作进一步的详细说明。

图1为本发明的流程方框图。

具体实施方式

本发明一种智能数值模拟作业管理与反馈方法,其特征在于:包括下列步骤:

s1:计算节点安装驱动后,持续采样节点状态信息发送到数据库,采集的状态信息包括节点的处理器使用率、后台作业进程、网络连接情况和网络存储情况;

s2:服务器程序从数据库获取各计算节点的优先级及状态信息,排除异常节点后按各节点优先级排列,组合成等候调度的计算资源,节点异常情况包括网络连接异常、网络存储未挂载、节点硬件异常;

s3:用户使用客户端程序将数值模拟作业计算请求发送到数据库,作业计算请求信息含有作业路径信息;

s4:服务器程序从数据库读取用户的作业计算请求,在计算资源足够的情况下,将作业优先指派到优先级高的计算节点上计算;

s5:作业计算结束后,客户端程序通过分析作业日志,根据作业完成情况不同会有不同的作业日志标志,获得作业完成情况,分为作业计算完成和作业计算失败两种情况;

s6:客户端程序根据作业完成情况进行反馈,若作业计算完成,提高计算所用节点优先级,若作业计算失败,降低所用节点优先级,更新数据库中节点的优先级。

进一步地,所述步骤s2中,所述服务器程序通过智能分析节点的各种状态信息,若判定为异常节点,对异常的节点具备过滤排除功能。

进一步地,在所述步骤s4中,所述服务器程序具备以优先级加权调度节点的管理功能,对优先级高的节点优先调用,优先级低的节点少调用或标记为冗余节点不调用。

进一步地,在所述步骤s6中,所述客户端程序根据作业完成情况进行反馈的方法具体是:客户端程序给用户显示作业日志的同时,通过同步分析作业日志,根据日志中特殊的多个标志字段,综合判断形成作业完成情况,分为作业计算完成和作业计算失败两种情况,对这两种情况执行不同的操作来改变数据库中节点的优先级,数据库中优先级字段为整形数据,优先级数值大,则优先级高;具体操作方法如下:若作业计算完成,则所用节点优先级加1;若作业计算失败,分两种情况,当所用节点优先级大于0,则优先级减半再减1,当优先级小于等于0,则优先级减1。

以上内容仅用以说明本发明的技术方案,本领域的普通技术人员对本发明的技术方案进行的简单修改或者等同替换,均不脱离本发明技术方案的实质和范围。



技术特征:

技术总结
本发明公开了一种智能数值模拟作业管理与反馈方法,包括如下步骤:计算节点持续采样节点状态信息;服务器程序排除异常节点后,按各节点优先级排列,组合成等候调度的计算资源;用户使用客户端程序发送数值模拟作业计算请求;服务器程序在计算资源足够的情况下,将作业计算请求优先指派到优先级高的计算节点上计算;作业计算结束后,客户端程序通过分析作业日志,获得作业完成情况;客户端程序根据作业完成情况进行反馈,更新计算节点的优先级。本发明可以有效的避免作业反复送到异常节点上计算,逐步提高计算效率高的节点优先级,从而提高数值模拟作业整体的计算成功率以及效率,有效的提高科研人员的工作效率,具有较强的通用性。

技术研发人员:郑志锋;邓志勇;周家雄;王一;陈祖银
受保护的技术使用者:中国海洋石油总公司;中海石油(中国)有限公司湛江分公司
技术研发日:2017.04.27
技术公布日:2017.09.01
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1