可以包括:量化的用于表示该队列任务所需资源大小的数组；
[0026]上述队列任务所需资源大小的数组也可以为二元数组，具体可以为:
[0027]<cpu,<4,8?
[0028]<memory<2,16>>
[0029]<disk〈10，1000>>
[0030]调度模块103，用于依据该配制节点标签和队列标签将队列任务分配到节点中执行。
[0031]上述调度模块103，具体用于队列标签对任务队列中的任务进行判别，确定任务的种类，其次查看对应的可用节点列表，将任务分配到符合该队列任务所需资源大小的对应的节点上。
[0032]本发明是对Hadoop传统的基于标签的调度器的一种优化，从调度的角度讲，这种调度器可以在多任务的环境下是任务执行的更快，使不同任务分配在合适的节点上运行。在一定程度上对任务有隔离的作用。
[0033]另外，本发明中的调度器相比现有的基于标签的调度器，能够更好的提高资源的使用率。在异构环境下，解决了大数据集群资源使用率低的缺点。是一种更细粒度分配资源的方式。
[0034]本发明确定了接口形式和量化标签的表示形式，这种表示简单易用，可扩展性强。在大规模的集群中可以很好的发挥作用，并且当集群中计算节点增加使，只需要修改xml配置文件便可使这种调度方式有效。这种新的调度方式能让Yarn更好地运行在异构集群中，进而更好地管理和调度混合类型的应用程序。
[0035]针对每种资源，不仅仅用一个非量化标签标识，而是使用不同的资源等级量化的表示资源。在作业队列中，也只需限定作业调度于某类节点中，下面详细说明节点标签的表示方式、队列标签的表示方式、基于量化标签的接口表示。
[0036]上述基于量化标签的接口表示
[0037]设置每个节点的标签可以通过配置文件实现，标签中应该包括cpu个数、内存、硬盘读写、网络1等设置。
[0038]〈property〉
[0039]<name>yarn.nodemanager-labe1.cpu〈/name>
[0040]<value>8</value>
[0041 ] 〈/property〉
[0042]〈property〉
[0043]<name>yarn.nodemanager-labe1.memory</name>
[0044]<value>32</value>
[0045]〈/property〉
[0046]如附图2中所示，对每类不同的任务，基于量化标签的调度方式可以将不同类型的任务调度在不同的节点上，保证异构集群中任务调度的合理高效进行。调度器对任务队列中的任务进行判别，确定任务的种类，其次查看对应的可用节点列表，将任务分配到对应的节点上。
[0047]需要说明的是，对于前述的各方法实施方式或实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为根据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述实施方式或实施例均属于优选实施例，所涉及的动作和单元并不一定是本发明所必须的。
[0048]在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
[0049]本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。
[0050]本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。本领域的技术人员可以将本说明书中描述的不同实施例以及不同实施例的特征进行结合或组合。
[0051]通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本发明可以用硬件实现，或固件实现，或它们的组合方式来实现。
[0052]总之，以上所述仅为本发明技术方案的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
【主权项】
1.一种基于量化标签的Yarn资源调度器，其特征在于，所述资源调度器包括: 节点配置模块，用于配制节点标签，所述节点标签可以包括:量化的用于表示该节点资源大小的数组； 队列配置模块，用于配制队列标签，该队列标签可以包括:量化的用于表示该队列任务所需资源大小的数组； 调度模块，用于依据该配制节点标签和队列标签将队列任务分配到节点中执行。2.根据权利要求1所述的调度器，其特征在于，所述调度模块，具体用于队列标签对任务队列中的任务进行判别，确定任务的种类，其次查看对应的可用节点列表，将任务分配到符合该队列任务所需资源大小的对应的节点上。3.根据权利要求1所述的调度器，其特征在于，所述量化的用于表示该节点资源大小的数组为二元数组，所述二元数组包括:资源类型以及量化数量。4.根据权利要求1所述的调度器，其特征在于，所述量化的用于表示该队列任务所需资源大小的数组为二元数组，所述二元数组包括:所需资源的类型以及量化数量。
【专利摘要】本发明提供了一种基于量化标签的Yarn资源调度器，所述资源调度器包括：节点配置模块，用于配制节点标签，所述节点标签可以包括：量化的用于表示该节点资源大小的数组；队列配置模块，用于配制队列标签，该队列标签可以包括：量化的用于表示该队列任务所需资源大小的数组；调度模块，用于依据该配制节点标签和队列标签将队列任务分配到节点中执行。本发明提供的技术方案具有任务调度合理和资源利用率高的优点。
【IPC分类】G06F9/48
【公开号】CN105677467
【申请号】CN201511032371
【发明人】杨洋, 喻之斌, 刘勇, 曾永刚, 须成忠
【申请人】中国科学院深圳先进技术研究院
【公开日】2016年6月15日
【申请日】2015年12月31日