一种作业调度方法及系统的制作方法
【技术领域】
[0001] 本发明涉及信息处理领域的集群调度技术，尤其涉及一种作业调度方法及系统。
【背景技术】
[0002] 为了处理大规模数据，出现了多种面向数据处理的专用计算框架，例如离线计算 框架MapReduce、内存计算框架Spark和流式计算框架Storm等，这些计算框架被广泛地应 用到各种组织和商业公司的生产环境之中。随着数据处理技术的不断发展与普及，在同一 集群上使用资源的用户数量也在不断增加。在实践中，共享资源已经成为一种在数据处理 集群中广泛应用的技术趋势。多租户技术允许多个租户共享集群资源，不同租户可以混合 部署、错峰使用集群，提高资源利用率，进而取得更好的经济效益。
[0003] 在数据处理集群中，存在多个租户，需要保证不同租户公平地共享集群资源； 每个租户都具有关键性作业，需要保证关键性作业的服务水平目标（ServiceLevel 0bjectiVe，SL0)，确保在指定时间内完成。因此，数据处理集群需要一种可以同时满足公平 和SL0的调度机制。但是，多租户调度强调公平；SL0强调作业效率，要求关键性作业按时 完成，二者侧重点不同，很难同时满足。
【发明内容】
[0004] 有鉴于此，本发明实施例的目的在于提供一种作业调度方法及系统，能至少解决 现有技术存在的上述问题。
[0005] 本发明实施例提供了一种作业调度方法，所述方法包括：
[0006] 获取到至少一个用户的作业信息，利用所述至少一个用户的作业信息，计算得到 每个用户的至少一个作业的第一特征参数；所述第一特征参数用于表征所述作业的处理紧 急度；
[0007] 基于所述每个用户的至少一个作业的第一特征参数，分别选取至少一个用户中每 个用户的第一作业；
[0008] 根据所述每个用户的第一作业的第一特征参数，从至少一个用户的所述每个用户 的第一作业中选取第二作业；
[0009] 当所述第二作业符合第一预设条件时，选取第三作业；所述第一预设条件表征所 述第二作业的第一特征参数大于第一预设门限值；
[0010] 将所述第三作业对应的资源分配给所述第二作业，并利用分配的所述资源处理所 述第二作业。
[0011] 本发明实施例还提供了一种作业调度系统，所述系统包括：
[0012] 信息获取单元，用于获取到至少一个用户的作业信息，利用所述至少一个用户的 作业信息，计算得到每个用户的至少一个作业的第一特征参数；所述第一特征参数用于表 征所述作业的处理紧急度；
[0013] 第一选取单元，用于基于所述每个用户的至少一个作业的第一特征参数，分别选 取至少一个用户中每个用户的第一作业；
[0014] 第二选取单元，用于根据所述每个用户的第一作业的第一特征参数，从至少一个 用户的所述每个用户的第一作业中选取第二作业；
[0015] 第三选取单元，用于当所述第二作业符合第一预设条件时，选取第三作业；所述第 一预设条件表征所述第二作业的第一特征参数大于第一预设门限值；
[0016] 资源管理单元，用于将所述第三作业对应的资源分配给所述第二作业，并利用分 配的所述资源处理所述第二作业。
[0017] 本发明实施例所提供的作业调度方法及系统，能根据处理紧急度从至少一个用户 的至少一个作业中选取出第二作业，在所述第二作业需要获取其他作业的处理资源时，选 取第三作业，并占用所述第三作业的处理资源。如此，能够优先调度整个集群的多个用户中 最为紧急的作业，从而使得集群实现公平且高效的进行作业调度。
【附图说明】
[0018] 图1为本发明实施例作业调度方法流程示意图；
[0019] 图2为本发明实施例选取第三作业流程黑丝一天；
[0020] 图3为本发明实施例图例一；
[0021] 图4为本发明实施例图例二；
[0022] 图5为本发明实施例图例三；
[0023] 图6为本发明实施例效果示意图一；
[0024] 图7为本发明实施例效果示意图二；
[0025] 图8为本发明实施例效果示意图三；
[0026] 图9为本发明实施例效果示意图四；
[0027]图10为本发明实施例作业调度系统组成结构示意图；
[0028] 图11为本发明实施例硬件组成结构示意图。
【具体实施方式】
[0029] 下面结合附图及具体实施例对本发明实施例再作进一步详细的说明。
[0030] 实施例一、
[0031] 本发明实施例提供了一种作业调度方法，如图1所示，所述方法包括：
[0032] 步骤101 :获取到至少一个用户的作业信息，利用所述至少一个用户的作业信息， 计算得到每个用户的至少一个作业的第一特征参数；所述第一特征参数用于表征所述作业 的处理紧急度；
[0033] 步骤102 :基于所述每个用户的至少一个作业的第一特征参数，分别选取至少一 个用户中每个用户的第一作业；
[0034] 步骤103 :根据所述每个用户的第一作业的第一特征参数，从至少一个用户的所 述每个用户的第一作业中选取出第二作业；
[0035] 步骤104 :当所述第二作业符合第一预设条件时，选取第三作业；所述第一预设条 件表征所述第二作业的第一特征参数大于第一预设门限值；
[0036] 步骤105 :将所述第三作业对应的资源分配给所述第二作业，并利用分配的所述 资源处理所述第二作业。
[0037] 这里，所述计算得到每个用户的至少一个作业的第一特征参数可以包括：分别获 取所述每个用户的至少一个作业对应的运行时长以及截止时刻；利用作业的所述截至时刻 计算得到可用时长；将作业的运行时长与所述可用时长的比值作为所述作业的第一特征参 数。
[0038] 本实施例中，为了实现多个用户均能够公平高效地共享集群中的资源，为每个用 户设置了运行作业列表，并且为每一个用户均设置了资源配额以及资源使用阈值；其中，所 述资源配额以及资源使用阈值可以采用百分比的形式来表征。
[0039] 优选地，所述选取至少一个用户中每个用户的第一作业可以包括：为至少一个用 户中每个用户建立运行作业列表，所述运行作业列表包括有用户信息、作业的标识、以及作 业的第一特征参数；从所述运行作业列表中选取最大的第一特征参数，获取到最大的第一 特征参数对应的作业作为所述第一作业。
[0040] 本实施例中，所述根据每个用户的第一作业的第一特征参数，从至少一个用户的 所述每个用户的第一作业中选取出第二作业，可以包括：根据所述每个用户的第一作业的 第一特征参数，从所述至少一个用户中选取最大的第一特征参数对应的作业作为第二作 业。
[0041] 优选地，所述第二作业的第一特征参数大于第一预设门限值，其中，所述第一预设 门限值可以为根据实际情况设置的门限值，比如，可以设置为〇. 9。
[0042] 优选地，上述选取第三作业的方法可以为：
[0043] 获取到所述第二作业对应的第一用户，判断所述第一用户是否满足第二预设条 件，若满足第二预设条件，则从所述第一用户的运行作业列表中选取第三作业；
[0044] 若不满足第二预设条件，则从除所述第一用户外的其他用户中选取符合第二预设 条件的第二用户，从所述第二用户的运行作业列表中选取处理资源大于等于所述第二作业 的第三作业；
[0045] 其中，所述第二预设条件表征所述用户的已用资源超过其资源配额。
[0046] 进一步的，上述选取第三作业的具体方式可以为从运行作业列表中选取处理资源 大于等于所述第二作业的一个作业作为第三作业；或者，还可以为将运行作业列表中排在 最前一个作业作为第三作业。
[0047] 可见，采用上述方案，就能够根据处理紧急度从至少一个用户的至少一个作业中 选取出第二作业，在所述第二作业需要获取其他作业的处理资源时，选取第三作业，并占用 所述第三作业的处理资源。如此，能够优先调度整个集群的多个用户中最为紧急的作业，从 而使得集群实现公平且高效的进行作业调度。
[0048] 实施例二、
[0049] 本发明实施例提供了一种作业调度方法，应用于服务器，如图1所示，所述方法包 括：
[0050] 步骤101 :获取到至少一个用户的作业信息，利用所述至少一个用户的作业信息， 计算得到每个用户的至少一个作业的第一特征参数；所述第一特征参数用于表征所述作业 的处理紧急度；
[0051] 步骤102 :基于所述每个用户的至少一个作业的第一特征参数，分别选取至少一 个用户中每个用户的第一作业；
[0052] 步骤103 :根据所述每个用户的第一作业的第一特征参数，从至少一个用户的所 述每个用户的第一作业中选取出第二作业；
[0053] 步骤104 :当所述第二作业符合第一预设条件时，选取第三作业；所述第一预设条 件表征所述第二作业的第一特征参数大于第一预设门限值；
[0054] 步骤105 :将所述第三作业对应的资源分配给所述第二作业，并利用分配的所述 资源处理所述第二作业。
[0055] 这里，所述计算得到每个用户的至少一个作业的第一特征参数可以包括：分别获 取所述每个用户的至少一个作业对应的运行时长以及截止时刻；利用作业的所述截至时刻 计算得到可用时长；将作业的运行时长与所述可用时长的比值作为所述作业的第一特征参 数。第一特征参数的计算可以采用以下公式：urgency=run_duration/avail_time;其中， run_duration表示作业的运行时长，avail_time表示当前时刻至第一作业的所述截止时 刻之间的可用时长。
[0056]本实施例中假设作业的可用时长总是大于0的，因为如果可用时长小于等于0,则 表示作业已经错过完成截止时间，运行该作业通常已经没有实际意义。由于假设可用时长 总是大于〇的，且作业的预计运行时间必然大于〇,因此作业第一特征参数也总是大于0。在 此基础上，以数值1作为第一特征参数的分界线，如果第一特征参数大于等于1，表明作业 的预计运行时长大于等于可用时长，则作业理论上已经无法在截止时间前完成；如果第一 特征参数小于1，则表明作业的预计运行时间小于可用时长，则作业预计可以在截止时间前 顺利完成。从变化趋势上看，第一特征参数越大，表示相比于作业的预计运行时间，可用时 长已经不多，表明作业更为紧急，为了保证作业在截止时间前完成，应当尽早调度该作业； 第一特征参数越小，表示相比于作业的预计运行时间，可用时长还较为充足，表明作业相对 不紧急，可以优先调度其他紧急程度更高的作业。
[0057] 可以理解的是，执行上述步骤101之前，首先需要在提交作业时确定作业的运行 时长和截止时刻；所述运行时长表示作业从开始执行到完成