一种Hadoop集群中的作业调度方法和作业调度器的制造方法
【专利摘要】本发明公开了一种Hadoop集群中的作业调度方法和作业调度器，根据作业的优先级、提交时间和任务运行数对Hadoop集群中的作业进行评价，并根据评价结果自适应地选择作业，缩短了优先级较高的小作业的等待时间，保证了对优先级高的小作业的公平性，同时缩短了多作业的整体运行时间，避免了局部最优的出现，提高了作业调度的适应性和调度合理性，改善了Hadoop集群处理任务的效率和整体性能。
【专利说明】一种Hadoop集群中的作业调度方法和作业调度器
【技术领域】
[0001] 本发明涉及计算机【技术领域】，具体涉及一种Hadoop集群中的作业调度方法和作 业调度器。
【背景技术】
[0002] Hadoop集群是一种具有高可靠性和良好的扩展性的分布式系统，在数据处理领域 得到了广泛的应用。在Hadoop集群得到应用的初期阶段，使用FIFO(First In First Out, 先入先出）调度机制分配任务，将所有作业统一提交到一个队列中，并按照提交的先后顺 序依次运行队列中的作业。但随着Hadoop用户及应用程序种类的不断增加，FIFO调度机 制无法有效地利用集群中的资源，也不能满足不同应用程序的服务质量要求。
[0003] 现有技术中，通常使用公平调度机制和计算能力调度机制分配任务，按照应用需 求对用户或应用程序分组，对不同的分组分配不同的资源量，同时通过添加各种约束条件 防止单个用户或者应用程序独占资源。
[0004] 然而，公平调度机制会导致负载不均衡，影响系统的响应时间，同时，配置文件的 配置影响整个系统的性能。而在计算能力调度机制中，无法自动进行队列设置和队列分组， 并且存在局部最优现象，从而影响系统的整体性能。
【发明内容】
[0005] 本发明提供了一种Hadoop集群中的作业调度方法和作业调度器，用以解决现有 作业调度机制中的负载不均衡和系统的整体性能受到影响的缺陷。
[0006] 本发明提供了一种Hadoop集群中的作业调度方法，包括以下步骤：
[0007] Sl、获取所述Hadoop集群中的各个队列占用的资源量，根据各个队列占用的资源 量，计算各个队列的资源使用率；
[0008] S2、根据各个队列的资源使用率，选择资源使用率最低的队列作为当前队列；
[0009] S3、获取当前队列中的各个作业的优先级、提交时间、未完成任务数和总任务数， 根据各个作业的优先级、提交时间、未完成任务数和总任务数，计算当前队列中的各个作业 的评价值；
[0010] S4、根据当前队列中的各个作业的评价值，从当前队列中选择当前作业；
[0011] S5、从当前作业中选择任务，并向选择的任务分配资源。
[0012] 可选地，所述根据各个作业的优先级、提交时间、未完成任务数和总任务数，计算 当前队列中的各个作业的评价值，具体为：
[0013] 计算当前队列中的各个作业的优先级与当前队列中的所有作业的优先级之和的 比值，将该比值作为各个作业的优先级因子；计算当前时间与当前队列中的各个作业的提 交时间的差值，将该差值与当前时间的比值作为各个作业的时间因子；计算当前队列中的 各个作业的未完成任务数和总任务数的比值，将该比值作为各个作业的任务量因子，并根 据各个作业的优先级因子、时间因子和任务量因子，计算各个作业的评价值。
[0014] 可选地，所述根据各个作业的优先级、提交时间、未完成任务数和总任务数，计算 当前队列中的各个作业的评价值，具体为：
[0015] 使用以下公式计算各个作业的评价值：
【权利要求】
1. 一种Hadoop集群中的作业调度方法，其特征在于，包括以下步骤： 51、 获取所述Hadoop集群中的各个队列占用的资源量，根据各个队列占用的资源量， 计算各个队列的资源使用率； 52、 根据各个队列的资源使用率，选择资源使用率最低的队列作为当前队列； 53、 获取当前队列中的各个作业的优先级、提交时间、未完成任务数和总任务数，根据 各个作业的优先级、提交时间、未完成任务数和总任务数，计算当前队列中的各个作业的评 价值； 54、 根据当前队列中的各个作业的评价值，从当前队列中选择当前作业； 55、 从当前作业中选择任务，并向选择的任务分配资源。
2. 如权利要求1所述的方法，其特征在于，所述根据各个作业的优先级、提交时间、未 完成任务数和总任务数，计算当前队列中的各个作业的评价值，具体为： 计算当前队列中的各个作业的优先级与当前队列中的所有作业的优先级之和的比值， 将该比值作为各个作业的优先级因子；计算当前时间与当前队列中的各个作业的提交时间 的差值，将该差值与当前时间的比值作为各个作业的时间因子；计算当前队列中的各个作 业的未完成任务数和总任务数的比值，将该比值作为各个作业的任务量因子，并根据各个 作业的优先级因子、时间因子和任务量因子，计算各个作业的评价值。
3. 如权利要求1或2所述的方法，其特征在于，所述根据各个作业的优先级、提交时间、 未完成任务数和总任务数，计算当前队列中的各个作业的评价值，具体为： 使用以下公式计算各个作业的评价值：
其中，Worth[i]为作业i的评价值，p[i]为作业i的优先级的分值，?；Μ./]为当前队 /=1 列中的所有作业的优先级的分值之和，nowtime为当前时间，submittime为作业i的提交时 间，untasks为作业i的未完成任务数，totaltasks为作业i的总任务数。
4. 如权利要求1所述的方法，其特征在于，所述步骤S4之后，还包括： 判断当前作业所在的用户占用的资源是否达到资源使用上限； 所述步骤S5,具体为： 如果当前作业所在的用户占用的资源未达到资源使用上限，从当前作业中选择任务， 并向选择的任务分配资源。
5. 如权利要求1所述的方法，其特征在于，所述步骤S4之后，还包括： 所述步骤S4之后，还包括： 判断TaskTracker节点的剩余资源是否足以运行当前作业中的一个任务； 所述步骤S5,具体为： 如果所述TaskTracker节点的剩余资源足以运行当前作业中的一个任务，从当前作业 中选择任务，并向选择的任务分配资源。
6. -种Hadoop集群中的作业调度器，其特征在于，包括： 第一获取模块，用于获取所述Hadoop集群中的各个队列占用的资源量； 第一计算模块，用于根据所述第一获取模块获取到的各个队列占用的资源量，计算各 个队列的资源使用率； 第一选择模块，用于根据所述第一计算模块计算得到的各个队列的资源使用率，选择 资源使用率最低的队列作为当前队列； 第二获取模块，用于获取所述第一选择模块选择的当前队列中的各个作业的优先级、 提交时间、未完成任务数和总任务数； 第二计算模块，用于根据所述第二获取模块获取到的各个作业的优先级、提交时间、未 完成任务数和总任务数，计算当前队列中的各个作业的评价值； 第二选择模块，用于根据所述第二计算模块计算得到的当前队列中的各个作业的评价 值，从当前队列中选择当前作业； 分配模块，用于从所述第二选择模块选择的当前作业中选择任务，并向选择的任务分 配资源。
7. 如权利要求6所述的作业调度器，其特征在于， 所述第二计算模块，具体用于计算当前队列中的各个作业的优先级与当前队列中的所 有作业的优先级之和的比值，将该比值作为各个作业的优先级因子；计算当前时间与当前 队列中的各个作业的提交时间的差值，将该差值与当前时间的比值作为各个作业的时间因 子；计算当前队列中的各个作业的未完成任务数和总任务数的比值，将该比值作为各个作 业的任务量因子，并根据各个作业的优先级因子、时间因子和任务量因子，计算各个作业的 评价值。
8. 如权利要求6或7所述的作业调度器，其特征在于， 所述第二计算模块，具体用于使用以下公式计算各个作业的评价值：
η 其中，Worth[i]为作业i的评价值，p[i]为作业i的优先级的分值，Σ/U为当前队 ;=1 列中的所有作业的优先级的分值之和，nowtime为当前时间，submittime为作业i的提交时 间，untasks为作业i的未完成任务数，totaltasks为作业i的总任务数。
9. 如权利要求6所述的作业调度器，其特征在于，还包括： 第一判断模块，用于判断所述第二选择模块选择的当前作业所在的用户占用的资源是 否达到资源使用上限； 所述分配模块，具体用于当所述第一判断模块判断出当前作业所在的用户占用的资源 未达到资源使用上限时，从当前作业中选择任务，并向选择的任务分配资源。
10. 如权利要求6所述的作业调度器，其特征在于，还包括： 第二判断模块，用于判断TaskTracker节点的剩余资源是否足以运行当前作业中的一 个任务； 所述分配模块，具体用于当所述第二判断模块判断出所述TaskTracker节点的剩余资 源足以运行当前作业中的一个任务，从当前作业中选择任务，并向选择的任务分配资源。
【文档编号】G06F9/50GK104239154SQ201410528405
【公开日】2014年12月24日 申请日期:2014年10月9日 优先权日:2014年10月9日
【发明者】宗栋瑞, 郭美思, 吴楠 申请人:浪潮(北京)电子信息产业有限公司