资源调度的方法及系统的制作方法
【技术领域】
[0001]本发明涉及计算机领域，具体而言，涉及一种资源调度的方法及系统。
【背景技术】
[0002]面向服务的体系结构(service oriented architecture，简称为S0A)是一个组件模型，它将应用程序的不同功能单元称为服务，通过这些服务之间定义良好的接口和契约联系起来，接口是采用中立的方式进行定义的，独立于实现服务的硬件平台、操作系统和编程语言，使得构建在各种这样的系统中的服务可以用一种统一和通用的方式进行交互。
[0003]SOA提供了一个更高级抽象层，通过这个抽象层，可以将业务构造成现有服务的集合。使用这种新的服务只需要知道它的接口和名称，服务的内部细节以及组成服务的组件之间的数据复杂性都对外界隐藏了。这种组件的匿名性使组织能够利用现有的投资，从而通过合并构建在不同的机器上、运行在不同的操作系统中和用不同的编程语言开发的组件来创建服务。组织可以继续从现有的资源中获益，而不必重新构建系统。
[0004]过去通常的情况是，一台工作站的利用率非常高，处于满负荷状态，而另一台工作站却长期处于闲置的状态。在工作站应用的时间上，每周只有不到25%的时间工作站有计算任务，而其他时间仍然处于资源闲置的状态。
[0005]集群作业负载软件在本地的一个单一管理域中管理大范围的基于计算的系统，且通常以主节点作节点(Master-worker)的范例进行工作。每个集群只有唯一的主节点并具有任意数目的执行节点。它们在管理资源时，具有动态可扩展性，具备预测和评估能力，具备对调度失败作业的重调度能力等。解决了工作站资源的总体利用率低的问题。
[0006]传统的SOA框架能够以工作流的方式将不同的业务服务整合起来，提高系统资源的复用性，但它只能够调用固定的服务，对于遥感地面站集群式的软件部署，SOA没有能力把任务均匀的分配到所有集群上；PLATF0RM LSF是一种计算资源分配软件，它能够对集群进行管理，把任务下发到最合适的处理节点上执行，但它不具备流程调度的功能。
[0007]而在遥感数据地面处理系统中，即要求能对遥感数据的处理流程进行编排，而且由于数据处理量大，又必须采用集群的方式对数据进行分布式处理，上述两种技术中任意一种都无法满足遥感数据运行管理系统的需求。
[0008]针对相关技术中SOA和PLATFORM LSF无法实现既对数据的处理流程进行编排又对数据进行分布式处理的问题，目前尚未提出有效的解决方案。
【发明内容】
[0009]针对相关技术中SOA和PLATFORM LSF无法实现既对数据的处理流程进行编排又对数据进行分布式处理的问题，本发明提供了一种资源调度的方法及系统，以至少解决上述问题。
[0010]根据本发明的一个方面，提供了一种资源调度的系统，其特征在于，包括:流程调度装置和资源分配装置，其中，
[0011]所述流程调度装置，包括:面向服务的体系结构SOA流程调度引擎，用于按照预设流程语法将数据处理流程分解成任务，并按所述数据处理流程调度服务以执行数据处理流程；任务管理器，用于与所述资源分配装置通信，向所述资源分配装置下发所述分解得到的任务；
[0012]所述资源分配装置，包括:通信接口，用于与所述流程调度装置通信，接收所述分解得到的任务；调配模块，用于根据分配和调度策略选择集群中的资源完成所述分解得到的任务。
[0013]可选地，所述流程调度装置，还包括:算法注册模块，用于注册数据处理算法，实现调用算法的服务和对算法的全流程管理；流程设计模块，用于接收流程设计命令，根据流程设计命令生成可以被所述SOA流程调度引擎识别的数据处理流程。
[0014]可选地，所述流程调度装置，还包括:流程模板管理模块，用于将所述流程设计模块得到的数据处理流程保存成数据处理流程模板；所述SOA流程调度引擎，用于将数据处理流程模板实例化，并根据实例化得到的流程调度语句将数据处理流程分解成任务，并按照数据处理流程调度服务以执行数据处理流程。
[0015]可选地，所述资源分配装置，还包括:任务状态监测接口，用于监测任务状态；所述任务管理器，还用于定期调用所述任务状态监测接口，以监测任务状态，以及当作业状态提示为完成时，收集作业的完成报告；所述SOA流程调度引擎，还用于当任务状态提示为完成时决定下发其他的任务执行，直到所有任务执行完成。
[0016]根据本发明的另一个方面，提供了一种资源调度的方法，包括:流程调度装置按照预设流程语法将数据处理流程分解成任务，并按所述数据处理流程调度服务以执行数据处理流程；所述流程调度装置向资源分配装置下发所述分解得到的任务，其中，所述资源分配装置，具有与所述流程调度装置通信的接口，用于根据分配和调度策略选择集群中的资源完成所述分解得到的任务。
[0017]可选地，流程调度装置按照预设流程语法将数据处理流程分解成任务之前，还包括:所述流程调度装置接收流程设计命令，根据流程设计命令生成可以被所述SOA流程调度引擎识别的数据处理流程。
[0018]可选地，所述方法还包括:所述流程调度装置将所述流程设计模块得到的数据处理流程保存成数据处理流程模板；流程调度装置按照预设流程语法将数据处理流程分解成任务，并按所述数据处理流程调度服务以执行数据处理流程，包括:所述流程调度装置将数据处理流程模板实例化，并根据实例化得到的流程调度语句将数据处理流程分解成任务，并按照数据处理流程调度服务以执行数据处理流程。
[0019]通过本发明，解决了相关技术中SOA和PLATFORM LSF无法实现既对数据的处理流程进行编排又对数据进行分布式处理的问题，实现了既对数据的处理流程进行编排又对数据进行分布式处理。
【附图说明】
[0020]此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中:
[0021]图1是根据本发明实施例的资源调度的系统的示意图；
[0022]图2是根据本发明实施例的资源调度的方法的流程图；以及
[0023]图3是根据本发明实施例可选地资源调度的系统的示意图。
【具体实施方式】
[0024]下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
[0025]图1是根据本发明实施例的资源调度的系统的示意图，如图1所示，该系统包括:流程调度装置I和资源分配装置2，其中，
[0026]流程调度装置1，包括:S0A流程调度引擎10，用于按照预设流程语法将数据处理流程分解成任务，并按所述数据处理流程调度服务以执行数据处理流程；任务管理器12，用于与所述资源分配装置2通信，向资源分配装置2下发所述分解得到的任务；
[0027]资源分配装置2，包括:通信接口 20，用于与所述流程调度装置I通信，接收所述分解得到的任务；调配模块22，用于根据分配和调度策略选择集群中的资源完成所述分解得到的任务。
[0028]在本发明实施例的一个实施方式中，流程调度装置I还可以包括:算法注册模块14，用于注册数据处理算法，实现调用算法的服务和对算法的全流程管理；流程设计模块16，用于接收流程设计命令，根据流程设计命令生成可以被所述SOA流程调度引擎10识别的数据处理流程。
[0029]可选地，上述流程设计模块16可以采用可视化的图形用户界面，便于用于设计流程。流程设计采用标准的BPEL流程定义语句，可以被多种流程调度引擎识别。
[0030]在本发明实施例中，流程调度装置I还可以包括:流程模板管理模块18，用于将所述流程设计模块得到的数据处理流程保存成数据处理流程模板；S0A流程调度引擎10，用于将数据处理流程模板实例化，并根据实例化得到的流程调度语句将数据处理流程分解成任务，并按照数据处理流程调度服务以执行数据处理流程。
[0031]可选地，资源分配装置2还可以包括:任务状态监测接口，用于监测任务状态；任务管理器12，还用于定期调用所述任务状态监测接口，以监测任务状态，以及当作业状态提示为完成时，收集作业的完成报告；S0A流程调度引擎10，还用于当任务状态提示为完成时决定下发其他的任务执行，直到所有任务执行完成。
[0032]图2是根据本发明实施例的资源调度的方法的流程图，如图2所示，该方法包括步骤201至步骤202:
[0033]步骤201，流程调度装置按照预设流程语法将数据处理流程分解成任务，并按所述数据处理流程调度服务以执行数据处理流程；
[0034]步骤202，流程调度装置向资源分配装置下发所述分解得到的任务，其中，所述资源分配装置，具有与所述流程调度装置通信的接口，用于根据分配和调度策略选择集群中的资源完成所述分解得到的任务。
[0035]在本发明实施例的一个实施方式中，流程调度装置按照预设流程语法将数据处理流程分解成任务之前，还包括:所述流程调度装置接收流程设计命令，根据流程设计命令生成可以被所述SOA流程调度引擎识别的数据处理流程。
[0036]可选地，上述方法还可以包括:所述流程调度装置将所述流程设计模块得到的数据处理流程保存成数据处理流程模板；流程调度装置按照预设流程语法将数据处理流程分解成任务，并按所述数据处理流程调度服务以执行数据处理流程，包括:所述流程调度装置将数据处理流程模板实例化，并根据实例化得到的流程调度语句将数据处理流程分解成任务，并按照数据处理流程调度服务以执行数据处理流程。
[0037]下面对本发明实施例的一个可选实施方式进行描述。
[0038]在本发明实施例中，将SOA流程调度软件和PLATFORM LSF资源分配平台结合起来使用，形成了一套统一的遥感数据运行管理框架，解决了传统SOA框架不具备计算资源动态分配的问题，提高了硬件资源的总体利用率。
[0039]如图3所示，本发明实施例的系统上层是SOA流程调度软件层，下层是PLATFORMLSF软件层。
[0040]一、SOA流程调度软件
[0041]SOA流程调度软件层的主要作用是按照预设的流程动态的调度不同的服务去完成处理任务。对于遥感数据运行管理系统来说，根据要处理的数据按卫星型号、载荷，处理级另IJ，处理算法的区分，其处理算法和处理流程也是不一样的。
[0042]SOA流程调度软件层中的模块就是为了实现上述需求而设计的，其中: