用于调度工作流作业的设备和方法

用于调度工作流作业的设备和方法
【专利摘要】提供了工作流作业调度设备及其方法。该方法包括：当定义用户工作流时，作为最终结果指定每一作业的输出文件是否是必要的，收集构成该用户工作流的个别应用的资源使用信息，如果连续作业是I/O密集作业，则指定数据地点依赖性参数，使得在其中运行连续作业之中的前一作业的节点处运行连续作业之中的后一作业，并基于对于计算系统的所有资源收集的实时工作负荷信息，来调度要依次运行的对于同一计算节点具有数据地点依赖性的一组作业。
【专利说明】用于调度工作流作业的设备和方法
[0001](多个)相关申请
[0002]本申请要求2013年2月14日提交的韩国专利申请第10-2013-0015841号的权益，由此通过引用对其进行合并，如同全部在这里阐明一样。
【技术领域】
[0003]本发明涉及调度工作流作业的技术，并更具体地，涉及能够通过在高性能计算系统中自动运行大规模并行分布作业来获得结果的、适于实现资源管理和作业调度的、用于调度工作流作业的设备和方法。
【背景技术】
[0004]如公知的，在诸如超级计算机、高性能簇、网格系统、和网络服务的各种计算资源环境下，已利用了用于代替人处理大量数据的科学计算操作、工作流管理系统、资源管理系统、和工作调度器，由此一次全部(in a lump)运行在各阶段作业之间具有依赖性的复杂的作业。
[0005]工作流管理系统是这样的软件系统，其通过用户友好的界面(U1:用户界面)组成(compose)其中作业序列彼此具有关系的工作流,符合(in line with)包括高性能计算机、网络服务、和网格的各种计算资源来运行工作流，并报告运行结果。传统工作流管理系统包括 Taverna、Galaxy 和 Kepler。
[0006]资源管理系统是用于簇或高性能计算机的、运行作业的批处理和计算资源的管理的软件系统。例如，资源管理系统包括具有0penPBS、T0RQEU和PBS pro的一系列便携批系统(PBS)，并进一步包括SLURM和Oracle网格引擎(Oracle Grid Engine)。资源管理系统通常使用具有先来先服务(FCFS)方案的作业调度。
[0007]工作调度器通常被用来与资源管理系统相连。工作调度器是这样的软件系统，其在基于比较期望资源的数量、作业的优先级、是否存在可用资源、以及可用资源的类型的结果而动态改变运行顺序的同时，运行工作队列上的作业。传统工作调度器包括Mau1、ALPS、LSF 和 Moab。

【发明内容】

[0008]如公知的，在包括基因组(genome)序列分析的大多数科学应用的情况下，通过对预先开发的应用程序进行汇编来获得期望结果。工作流或管线是基于基于时间的顺序的依赖性和数据依赖性、而进行具有所述依赖性的应用程序(作业)的顺序或流。该工作流可包括各种尺寸，诸如包括一个或两个应用的简单类型、以及包括几十或几百应用的类型。
[0009]为了通过将工作流映射到正确计算资源来有效获得结果，需要关于构成工作流的作业所必需的计算资源的精确信息。然而，除了应用的开发者之外的其他人难以知道关于实际运行作业的应用程序对资源的使用的信息。资源的使用信息包括应用程序必需的CPU的数目、存储容量、盘容量、和网络带宽。用于从源代码获得资源使用配置文件的分析工具的开发也稍微(rather)下降(depress)。
[0010]在现有技术中，引入了用于运行具有样本文件的测试作业并然后分析该作业、或者存储运行先前作业的结果作为作业配置文件并然后当调度下一作业时利用存储的结果的方法。另外，还引入了 CPU资源和存储器资源的隔离功能，使得对于需要大量计算的作业或使用很多存储器的作业，使用隔离功能来分配需要数目的CPU内核和存储器，以运行该作业。结果，因为隔离了资源使用，所以每一作业不影响另一作业。
[0011]然而，不对于输入和输出提供资源隔离。例如，不向全局文件系统(GFS)和用作高性能计算网络的无穷大频带(infiniband)提供用于输入/输出(I/O)带宽的隔离功能。所以，如果具有不同特性的多个应用同时运行并共享输入/输出(I/O)资源，则不可能实现具有期望级别的CPU使用效率。特别是，在其中同时运行许多输入和输出的I/O密集应用的情况下，等待输入/输出的时间变得非常长，并由此CPU使用效率可在CPU密集作业中严重恶化。
[0012]为了解决可在运行包括I/O密集作业的工作流时发生的资源使用的问题，本发明提供了以下方法，用于在调度中反映个别应用的实时工作负荷信息和资源使用信息两者，以便防止I/o密集作业使得高性能计算系统的操作效率恶化。
[0013]根据本发明的一个方面，提供了一种工作流作业调度设备，包括:工作流用户接口单元，被配置为提供用于用户工作流的接口 ；工作流引擎单元，被配置为使用个别应用的资源使用信息来将用户工作流变换为运行工作流，执行该运行工作流，并生成调度指令；资源管理单元，被配置为收集和管理用于计算系统的所有资源的实时工作负荷信息；作业调度单元，被配置为基于该实时工作负荷信息并根据该调度指令，来调度要依次运行的对同一计算节点具有数据地点依赖性的一组作业；计算资源作业管理单元，位于个别计算节点处，并被配置为当该作业调度单元请求作业的运行时，在所分配的节点处运行作业；计算节点监视单元，被配置为当在个别计算资源处正运行作业时，监视个别计算资源的负荷信息，并将该负荷信息提供到该资源管理单元；全局文件系统资源监视单元，被配置为测量全局文件系统的使用比率和总输入/输出(I/o)带宽，并将测量信息提供到该资源管理单元；和应用资源使用管理单元，被配置为基于来自该全局文件系统资源监视单元的测量信息和来自该计算节点监视单元的负荷信息，来生成个别应用的资源使用信息。
[0014]该接口可包括图形用户接口(⑶I)或网络接口。
[0015]工作流管理单元可提供存储、改变、删除、和检查该用户工作流的功能。
[0016]该用户工作流可以是不在计算资源处运行的抽象级别的工作流。
[0017]当将该用户工作流变换为运行工作流时，该工作流引擎单元可将该用户工作流的作业的顺序变换为当提交作业时需要的数据地点依赖性参数，并将所述个别应用的资源使用信息变换为当提交作业时需要的资源使用要求参数。
[0018]该工作流引擎单元可生成包括该数据地点依赖性参数和该资源使用要求参数的作业运行请求信息，并将该作业运行请求信息提供到该作业调度单元。
[0019]该工作流引擎单元可提供存储、删除、和检查计算资源的运行结果的功能。
[0020]该实时工作负荷信息可包括关于计算系统的资源的配置信息、关于负荷以及是否向作业分配个别节点的资源的信息、全局文件系统的负荷、和I/O带宽使用。
[0021]该资源可包括计算节点、全局文件系统节点、管理网络开关、计算网络开关、和网络架构。
[0022]该作业调度单元可根据作业的优先级以及是否存在可用资源，来向计算资源分配当前作业队列上未决的作业，并运行所述作业。
[0023]是否存在可用资源包括可实时I/O带宽可用性。
[0024]该计算资源的负荷信息可包括CPU使用比率、存储器使用比率、盘I/O带宽使用、盘使用比率、网络I/o使用、和网络I/O使用比率中的至少一个。
[0025]该计算资源监视单元可监视该负荷信息，并周期性地或者在完成作业之后将该负荷信息提供到该资源管理单元或该应用资源使用管理单元。
[0026]当运行该用户工作流时，可自动收集并生成所述个别应用的资源使用信息。
[0027]通过作业管理器的监视，经由手动输入，可生成所述个别应用的资源使用信息。
[0028]根据本发明的另一方面，提供了一种工作流作业调度方法，包括:当定义用户工作流时，作为最终结果指定每一作业的输出文件是否是必要的；收集构成该用户工作流的个别应用的资源使用信息；如果连续作业是I/o密集作业，则指定数据地点依赖性参数，使得在其中运行连续作业之中的前一作业的节点处运行连续作业之中的后一作业；和基于对于计算系统的所有资源收集的实时工作负荷信息，来调度要依次运行的对同一计算节点具有数据地点依赖性的一组作业。
[0029]该前一作业可在其中运行前一作业的节点的本地盘处存储临时(interim)文件，并且该后一作业命令I/O目录地点从其中运行后一作业的节点的本地盘读取前一作业所存储的临时文件。
[0030]该调度步骤可包括:选择作业队列上的作业；检查所选作业的全局文件系统的I/O带宽要求是否满足该全局文件系统能提供的可用I/O带宽；当满足该I/O带宽需求时，选择满足所选择的作业所需要的资源使用的计算节点；和在所选择的计算节点处运行所选择的作业。
[0031]可根据预定优先级控制标准来执行所述作业的选择。
[0032]所述需求可包括第一和第二需求。该第一需求是当前全局文件系统的使用相对小于最大全局文件系统的稳定化使用，而该第二需求是当前全局文件系统的I/o使用和所选择的作业的全局文件系统的I/o要求之和相对小于全局文件系统的最大实际I/O带宽。
[0033]根据本发明的实施例，当在高性能计算机或簇中运行包括I/O密集作业的工作流时，可能通过利用在作业调度中反馈的全局文件系统和计算节点的实时输入/输出带宽信息，来防止计算资源的使用效率由于输入/输出而显著恶化。结果，可能使得计算资源的使用最大化，并由此降低工作流的运行时间，并迅速获得结果。另外，根据本发明的实施例，即使一般用户不具有关于计算资源的深厚知识并且不知道如何使用系统，用户也能最佳地运行其工作流。
【专利附图】

【附图说明】
[0034]通过结合附图给出的实施例的以下描述，本发明的以上和其他目的和特征将变得明显，其中:
[0035]图1图示了包括通过文件输入/输出彼此连接的作业的工作流；
[0036]图2示出了典型高性能计算机系统的配置；[0037]图3图示了根据本发明实施例的工作流作业调度设备的框图；
[0038]图4图示了在包括I/O密集作业的工作流中、在本地盘和全局文件系统之间分布输入和输出的方法；和
[0039]图5是示出了用于I/O密集作业的作业调度单元的调度的流程图。
【具体实施方式】
[0040]在本发明的以下描述中，如果已知结构和操作的详细描述可使得本发明的主题模糊，则将省略其详细描述。以下术语是通过考虑本发明的实施例中的功能而定义的术语，并且可改变运算符(operator)意欲用于本发明和实践。由此，应贯穿本发明的说明书定义这些术语。
[0041]其后，将参考附图来详细描述本发明的实施例，使得本领域技术人员可容易地实现这些实施例。
[0042]首先，本发明针对包括其中存在相对大量的输入和输出的作业(即I/O密集作业)的工作流的作业调度方法。为此目的，本发明调度方法可包括以下方案，实时监视输入/输出带宽、以及通过预先分析在运行工作流上的作业时使用的计算资源的数量而获得的预先分析的信息，并在作业调度上连续反映所监视的结果。
[0043]图1图示了包括通过文件输入/输出彼此连接的作业的工作流。图1示出了工作流(或管线)类型，其中将作为某一作业的结果存储的文件提供为下一作业的输入，使得运行下一作业。
[0044]这里，工作流的输入数据按照文件形式存储，或者作为标准输入输入到作业。每一阶段的作业可具有各种应用特性，并且是计算密集作业、存储密集作业或I/O密集作业。计算密集作业代表具有大量计算工作的作业，而存储密集作业代表使用大量存储器的作业。
[0045]图2示出了典型高性能计算机系统(或超级计算机)的配置，其包括多个服务节点202 -1到202 - 3、管理网络开关204、多个计算节点206 — I到206 — 4、计算网络开关208、多个全局文件系统服务器节点210 -1到210 — 3、以及多个储存节点212 — I到212 - 3。这里，所述多个服务节点202 -1到202 — 3包括比所述多个计算节点206 — I到206 — 4更少的节点。
[0046]参考图2，所述多个服务节点202 -1到202 — 3中的每一个包括登入节点，一般
用户通过其登入并提交作业；以及管理节点，用于操作执行诸如簇管理、资源管理、工作流管理等的管理功能的各种服务器。
[0047]这里，所述多个服务节点202 -1到202 — 3中的每一个、所述多个计算节点206 -1到206 - 4中的每一个、以及所述多个全局文件系统服务器节点210 — I到210 —
3中的每一个通过计算网络开关208和管理网络开关204而彼此双双耦接。管理网络开关204按照比计算网络开关208相对较低的速度操作。
[0048]计算节点206 -1到206 — 4中的每一个可以包括或者可以不包括本地盘。大多数计算作业按照读出全局文件系统中存储的输入文件、执行必要计算操作、以及在全局文件系统中重新存储该计算操作的结果的方式运行。
[0049]所以，如果I/O密集作业所使用的总I/O带宽超出全局文件系统所提供的带宽，则根据现有技术影响高性能计算系统的所有作业。本发明提供了能够解决这些问题的方案。[0050]图3图示了根据本发明实施例的工作流作业调度设备的框图，其包括工作流用户接口单元302、工作流管理单元304、工作流弓I擎单元306、资源管理单元308、作业调度单元310、计算资源作业管理单元312、计算资源监视单元314、全局文件系统资源监视单元316、和应用资源使用管理单元318。
[0051]参考图3，工作流用户接口单元302通过图形用户界面(⑶I)或网络界面来运行能够容易地定义、执行和分析用户所需工作流的用户接口。
[0052]工作流管理单元304提供存储、改变、删除和检查该用户接口所指定(或选择)的用户工作流的功能。这里，用户工作流是抽象级别的工作流，其可直接应用到计算资源。将用户工作流变换为可依次运行的特定运行工作流。
[0053]工作流引擎单元306将使用个别应用的资源使用信息建立的用户工作流变换为运行工作流，通过计算资源来运行该运行工作流，并基于运行结果来生成调度指令。从应用资源使用管理单元318提供个别应用的资源使用信息。这里，工作流引擎单元306可存储、删除和检查通过计算资源的运行而获得的结果。
[0054]另外，当将用户工作流变换为运行工作流时，工作流引擎单元306将用户工作流的作业的顺序变换为当提交作业时所需的数据地点依赖性参数，并将个别应用的资源使用信息变换为当提交作业时所需的资源使用要求参数。工作流引擎单元306生成包括该数据地点依赖性参数和该资源使用要求参数的作业运行请求信息，并将该作业运行请求信息传递到作业调度单元310。
[0055]资源管理单元308收集并管理关于计算系统的总资源的实时工作负荷信息，例如包括关于计算系统的总资源的配置信息、关于负荷(使用)以及是否向每一节点分配资源的信息、以及全局文件系统的输入/输出带宽使用和负荷的实时工作负荷信息。总资源包括计算节点、全局文件系统节点、管理网络开关、计算网络开关、网络架构等。这里，将实时工作负荷信息传递到作业调度单元310。
[0056]当从工作流引擎单元306传送调度指令时，作业调度单元310基于从资源管理单元308传递的实时工作负荷信息，来调度要依次运行的组中的作业，该组中的作业具有对于同一计算节点的数据地点依赖性。即，作业调度单元310根据它们的优先级以及是否存在可用资源，而向计算资源分配在当前作业队列上未决的作业，并运行这些作业。这里，是否存在可用资源可包括实时输入/输出带宽可用性。
[0057]例如，作业调度单元310根据预定优先级控制标准来选择作业队列上的作业，并检查所选作业的全局文件系统的输入/输出带宽要求是否满足该全局文件系统能够提供的需求。如果满足该需求，则作业调度单元310执行调度以选择满足所选作业必需的资源使用的计算节点，并运行所选作业。这里，该需求可包括当前全局文件系统的使用应相对小于最大全局文件系统的稳定化使用、以及当前全局文件系统的I/O使用与所选作业的全局文件系统的I/o要求之和应相对小于文件系统的最大实际I/O带宽的条件。
[0058]计算资源作业管理单元312位于个别计算节点处，当从作业调度单元310接收运行作业的请求时，在分配的节点处运行作业，监视运行的作业，并报告作业运行的结果。
[0059]计算资源作业监视单元314监视当在计算资源处运行作业时的个别节点的计算资源的负荷信息，并周期性地或者在完成所选作业之后，向资源管理单元308或应用资源使用管理单元318报告该负荷信息。该负荷信息包括CPU使用比率、存储器使用比率、盘I/O带宽使用、盘使用比率、网络的I/O使用和使用比率等。
[0060]这里，通过计算资源监视单元314监视的资源使用配置文件性能度量可包括CPU使用比率(峰值、均值)、存储器使用(峰值、均值)、盘使用比率和I/o带宽使用(峰值、均值)、网络使用比率和I/o带宽使用(峰值、均值)等。
[0061]全局文件系统资源监视单元316周期性地测量全局文件系统的总I/O带宽和使用比率，并将测量的带宽和使用比率传递到资源管理单元308。
[0062]应用资源使用管理单元318基于从计算资源监视单元315传递的负荷信息和从全局文件系统资源监视单元316传递的测量信息，来生成个别应用的资源使用信息，并将资源使用信息传递到工作流引擎单元306。这里，当运行用户工作流时，可自动收集或生成个别应用的资源使用信息，或者作业管理器可通过监视资源使用来手动输入个别应用的资源使用信息。
[0063]图4图示了在包括I/O密集作业的工作流中、在本地盘和全局文件系统之间分布输入和输出的方法。
[0064]参考图4，I/O密集作业消耗相对大的输入/输出带宽。由此，需要许多成本来设立提供非常大的全局带宽的全局文件系统。所以，当有效使用相对便宜的本地盘时，可降低全局输入/输出带宽，使得可能设立并操作成本有效的系统。
[0065]例如，如图4中所示，假设工作流的作业(作业1、作业2、和作业3)的全部或一部分是I/O密集作业，则应一次运行作业1、作业2、和作业3。从全局文件系统传递作业I的输入。提供作业I的输出(临时文件I)作为作业2的输入。提供作业2的输出(临时文件
2)作为作业3的输入。将作业3的最终输出存储在全局文件系统中。
[0066]如图4中所示，临时文件可被暂时存储在本地盘而不是全局文件系统中。在该情况下，通过有效使用计算节点的本地文件系统，可能省略在全局文件系统中再次写入临时文件I和2以及从全局文件系统再次读取临时文件I和2的作业。为此目的，将作业2和作业3调度为在其中运行作业I的计算节点处运行。
[0067]S卩，在根据现有技术的作业调度器中，仅将作业顺序指定为依赖性参数。然而，在根据本发明实施例的方法中，通过指定除了作业顺序之外的数据地点并调度作业，可能将全局文件系统的输入/输出限制为本地盘的输入/输出。为此目的，本发明提供了以下处理I)到4)。
[0068]I)当通过工作流用户接口单元定义工作流时，用户作为最终结果指定每一作业的输出文件是否是必需的。
[0069]2)应用资源使用管理单元收集和提供构成该工作流的应用的资源使用信息。
[0070]3)如果连续作业是I/O密集作业，则工作流引擎单元指定数据地点依赖性参数，使得在其中运行前一作业的节点处运行该前一作业之后的后一作业。而且，前一作业在其中运行前一作业的计算节点的本地盘(而不是全局文件系统)处存储临时文件。后一作业命令输入/输出目录地点从其中运行后一作业的节点的本地盘中读出前一作业所存储的临时文件。该处理是指定数据地点依赖性以及前一作业和后一作业之间的顺序依赖性，并且命令删除用户指定为不必要文件的临时文件，或者在完成作业之后将临时文件拷贝到全局文件系统上。
[0071]4)作业调度单元根据来自工作流引擎单元的调度指令，来调度要依次运行的对于同一计算节点具有数据地点依赖性的一组作业。
[0072]图5是示出了用于I/O密集作业的作业调度单元的调度的流程图。
[0073]参考图5，在步骤502根据预定优先级控制标准来选择作业队列上的作业。
[0074]在步骤504，检查所选作业的全局文件系统的I/O带宽要求是否满足全局文件系统可提供的需求。即，检查满足第一和第二需求。第一需求是当前全局文件系统的使用应相对小于最大全局文件系统的稳定化使用。第二需求是当前全局文件系统的I/o使用和所选作业的全局文件系统的I/o要求之和应相对小于全局文件系统的最大实际I/O带宽。
[0075]作为步骤504的检查处理的结果，如果确定不满足第一和第二需求中的至少一个，则过程进行到步骤502以便选择另一作业。可通过整体系统操作来补偿全局文件系统的稳定化使用。
[0076]作为步骤504的检查处理的结果，如果确定满足第一和第二需求两者，则在步骤506，作业调度单元在计算节点之中选择满足所选节点需要的本地盘、存储器、和CPU内核数目的I/O带宽要求的计算节点，甚至在允许所选作业所需要的带宽之后、可能稳定操作全局文件系统。这时，所选作业可以不使用本地盘，或者如图4所示使用本地盘来存储临时文件的作业可以需要本地盘带宽。这里，如果计算节点不具有本地盘，则可省略检查本地盘的I/O带宽要求的处理。
[0077]此后，在步骤508，作业调度单元调度要在所选节点处运行的所选作业。
[0078]尽管已针对优选实施例示出和描述了本发明，但是本发明不限于此。本领域技术人员将理解的是，可进行各种改变和修改，而不脱离以下权利要求中限定的本发明的范围。
【权利要求】
1.一种工作流作业调度设备，包括: 工作流用户接口单元，被配置为提供用于用户工作流的接口 ； 工作流引擎单元，被配置为使用个别应用的资源使用信息来将用户工作流变换为运行工作流，执行该运行工作流，并生成调度指令； 资源管理单元，被配置为收集和管理用于计算系统的所有资源的实时工作负荷信息；作业调度单元，被配置为基于该实时工作负荷信息并根据该调度指令，来调度要依次运行的对同一计算节点具有数据地点依赖性的一组作业； 计算资源作业管理单元，位于个别计算节点处，并被配置为当该作业调度单元请求作业的运行时，在所分配的节点处运行作业； 计算节点监视单元，被配置为当在个别计算资源处正运行作业时，监视个别计算资源的负荷信息，并将该负荷信息提供到该资源管理单元； 全局文件系统资源监视单元，被配置为测量全局文件系统的使用比率和总输入/输出(I/O)带宽，并将测量信息提供到该资源管理单元；和 应用资源使用管理单元，被配置为基于来自该全局文件系统资源监视单元的测量信息和来自该计算节点监视单元的负荷信息，来生成个别应用的资源使用信息。
2.根据 权利要求1的工作流作业调度设备，其中该接口包括图形用户接口(⑶I)或网络接口。
3.根据权利要求1的工作流作业调度设备，进一步包括工作流管理单元，被配置为提供存储、改变、删除、和检查该用户工作流的功能。
4.根据权利要求3的工作流作业调度设备，其中该用户工作流是不在计算资源处运行的抽象级别的工作流。
5.根据权利要求1的工作流作业调度设备，其中，当将该用户工作流变换为运行工作流时，该工作流引擎单元被配置为将该用户工作流的作业的顺序变换为当提交作业时需要的数据地点依赖性参数，并将所述个别应用的资源使用信息变换为当提交作业时需要的资源使用要求参数。
6.根据权利要求5的工作流作业调度设备，其中该工作流引擎单元被配置为生成包括该数据地点依赖性参数和该资源使用要求参数的作业运行请求信息，并将该作业运行请求信息提供到该作业调度单元。
7.根据权利要求1的工作流作业调度设备，其中该工作流引擎单元被配置为提供存储、删除、和检查计算资源的运行结果的功能。
8.根据权利要求1的工作流作业调度设备，其中该实时工作负荷信息包括关于计算系统的资源的配置信息、关于负荷以及是否向作业分配个别节点的资源的信息、全局文件系统的负荷、和I/O带宽使用。
9.根据权利要求8的工作流作业调度设备，其中该资源包括计算节点、全局文件系统节点、管理网络开关、计算网络开关、和网络架构。
10.根据权利要求1的工作流作业调度设备，其中该作业调度单元被配置为根据作业的优先级以及是否存在可用资源，来向计算资源分配当前作业队列上未决的作业，并运行所述作业。
11.根据权利要求10的工作流作业调度设备，其中是否存在可用资源包括实时I/O带宽可用性。
12.根据权利要求1的工作流作业调度设备，其中该计算资源的负荷信息包括CPU使用比率、存储器使用比率、盘I/O带宽使用、盘使用比率、网络I/O使用、和网络I/O使用比率中的至少一个。
13.根据权利要求12的工作流作业调度设备，其中该计算资源监视单元被配置为监视该负荷信息，并周期性地或者在完成作业之后将该负荷信息提供到该资源管理单元或该应用资源使用管理单元。
14.根据权利要求1的工作流作业调度设备，其中当运行该用户工作流时，自动收集并生成所述个别应用的资源使用信息。
15.根据权利要求1的工作流作业调度设备，其中通过作业管理器的监视，经由手动输入，生成所述个别应用的资源使用信息。
16.一种工作流作业调度方法，包括: 当定义用户工作流时，作为最终结果指定每一作业的输出文件是否是必要的； 收集构成该用户工作流的个别应用的资源使用信息； 如果连续作业是I/ O密集作业，则指定数据地点依赖性参数，使得在其中运行连续作业之中的前一作业的节点处运行连续作业之中的后一作业；和 基于对于计算系统的所有资源收集的实时工作负荷信息，来调度要依次运行的对同一计算节点具有数据地点依赖性的一组作业。
17.根据权利要求16的工作流作业调度方法，其中该前一作业在其中运行前一作业的节点的本地盘处存储临时文件，并且该后一作业命令I/O目录地点从其中运行后一作业的节点的本地盘读取前一作业所存储的临时文件。
18.根据权利要求16的工作流作业调度方法，其中该调度步骤包括: 选择作业队列上的作业； 检查所选作业的全局文件系统的I/O带宽要求是否满足该全局文件系统能提供的可用I/O带宽； 当满足该I/O带宽需求时，选择满足所选择的作业所需要的资源使用的计算节点；和 在所选择的计算节点处运行所选择的作业。
19.根据权利要求18的工作流作业调度方法，其中根据预定优先级控制标准来执行所述作业的选择。
20.根据权利要求18的工作流作业调度方法，其中所述需求包括第一和第二需求， 其中该第一需求是当前全局文件系统的使用相对小于最大全局文件系统的稳定化使用，而该第二需求是当前全局文件系统的I/o使用和所选择的作业的全局文件系统的I/O要求之和相对小于全局文件系统的最大实际I/O带宽。
【文档编号】G06F9/46GK103995735SQ201310249906
【公开日】2014年8月20日 申请日期:2013年6月21日 优先权日:2013年2月14日
【发明者】安信荣, 裵承朝 申请人:韩国电子通信研究院