一种资源调度方法及装置的制造方法
【技术领域】
[0001]本发明涉及通信控制技术，具体涉及一种资源调度方法及装置。
【背景技术】
[0002]Hadoop技术是目前在大数据平台中应用率最高的技术。而目前，Hadoop技术采用基于优先级和时间的策略对资源进行调度；具体的，所有应用都提交到默认队列中，在该默认队列中，所有应用先按照优先级进行排队，相同优先级的按时间先后顺序进行排队，即优先级高且排队时间在先的应用优先分配资源。
[0003]但随着Hadoop技术的普及，单个Hadoop集群中的用户量和应用程序种类不断增力口，采用上述的资源调度机制已不能很好的利用集群的资源，也不能够满足不同应用的服务质量要求，尤其在特定高优先级应用需要独占资源的场景下，上述资源调度机制已不能满足该特定场景的需求，因此亟待提出一种新的资源调度方案。
【发明内容】
[0004]为解决现有存在的技术问题，本发明实施例提供一种资源调度方法及装置，能够实现特定业务场景下的资源独占。
[0005]为达到上述目的，本发明实施例的技术方案是这样实现的:
[0006]本发明实施例提供了一种资源调度方法，所述方法包括:
[0007]预先配置队列属性信息；所述队列属性信息包括队列的专属服务器信息，以及所述队列的优先级信息；
[0008]基于所述队列的专属服务器信息以及所述队列的优先级信息进行资源调度。
[0009]上述方案中，所述基于所述队列的专属服务器信息以及所述队列的优先级信息对所有队列中的作业进行资源调度，包括:
[0010]按所述队列的优先级由高到低为所述队列分配所述队列对应的专属服务器的资源。
[0011]上述方案中，所述方法还包括:当所述队列的优先级相同时，按先入先出规则为所述队列分配所述队列对应的专属服务器的资源。
[0012]上述方案中，当所述队列属性信息中不包括所述队列的专属服务器信息，或者所述队列的专属服务器信息配置为空时，所述方法还包括:
[0013]按所述队列的优先级由高到低为所述队列分配所有服务器的资源。
[0014]上述方案中，所述方法还包括:当所述队列的优先级相同时，按先入先出规则为所述队列分配所有服务器的资源。
[0015]本发明实施例还提供了一种资源调度装置，所述装置包括:配置单元和调度单元；其中，
[0016]所述配置单元，用于预先配置队列属性信息；所述队列属性信息包括队列的专属服务器信息，以及所述队列的优先级信息；
[0017]所述调度单元，用于基于所述配置单元配置的所述队列的专属服务器信息以及所述队列的优先级信息进行资源调度。
[0018]上述方案中，所述调度单元，用于按所述队列的优先级由高到低为所述队列分配所述队列对应的专属服务器的资源。
[0019]上述方案中，所述调度单元，还用于当所述队列的优先级相同时，按先入先出规则为所述队列分配所述队列对应的专属服务器的资源。
[0020]上述方案中，所述调度单元，还用于当所述配置单元配置的所述队列属性信息中不包括所述队列的专属服务器信息，或者所述队列的专属服务器信息配置为空时，按所述队列的优先级由高到低为所述队列分配所有服务器的资源。
[0021]上述方案中，所述调度单元，还用于当所述队列的优先级相同时，按先入先出规则为所述队列分配所有服务器的资源。
[0022]本发明实施例提供的资源调度方法及装置，通过预先配置队列属性信息；所述队列属性信息包括队列的专属服务器信息，以及所述队列的优先级信息；基于所述队列的专属服务器信息以及所述队列的优先级信息进行资源调度。如此，实现了特定业务场景下的资源独占，避免了安全性和稳定性要求较高的特殊业务之间相互抢占资源所带来的不利影响。
【附图说明】
[0023]图1为本发明实施例一的资源调度方法的流程示意图；
[0024]图2为本发明实施例一的资源调度装置的组成结构示意图；
[0025]图3为本发明实施例二的资源调度方法的流程示意图；
[0026]图4为本发明实施例二中资源调度器对队列进行的遍历的示意图；
[0027]图5为本发明实施例二中资源调度器对队列进行资源调度的示意图。
【具体实施方式】
[0028]下面结合附图及具体实施例对本发明作进一步详细的说明。
[0029]本发明实施例提供了一种资源调度方法；图1为本发明实施例一的资源调度方法的流程示意图；如图1所示，所述方法包括:
[0030]步骤101:预先配置队列属性信息；所述队列属性信息包括队列的专属服务器信息，以及所述队列的优先级信息。
[0031]本实施例中，所述资源调度方法在实际应用中，可通过分布式系统中的主节点中的调度器实现。所述调度器在资源调度之前加载队列配置文件，所述队列配置文件中新增队列属性信息，所述队列属性信息可预先由用户配置。
[0032]其中，所述队列属性信息包括队列的专属服务器信息，所述队列的专属服务器信息具体可以如下所示:yarn.queueAl.hosts = Cl, C3 ;其中，Cl和C3表示为队列配置的专属服务器标识，所述专属服务器标识可以是所述专属服务器的主机名或者主机的互联网协议(IP，Internet Protocol)地址；当所述队列的专属服务器信息中设置的专属服务器为两个或两个以上时，两个专属服务器标识之间用逗号分隔。若所述队列属性信息中无所述队列的专属服务器信息、或所述队列的专属服务器信息设置为空时，表明所述队列无配置的专属服务器，所有的服务器均可分配至所述队列进行作业处理。
[0033]其中，所述队列属性信息还包括队列的优先级信息，所述队列的优先级信息用于配置队列优先级；例如队列优先级分为5级；其中，队列优先级I级为最高级；当没有配置队列的优先级信息时，默认所述队列的优先级为最低级，即默认所述队列的优先级为5级。
[0034]步骤102:基于所述队列的专属服务器信息以及所述队列的优先级信息进行资源调度。
[0035]这里，所述基于所述队列的专属服务器信息以及所述队列的优先级信息对所有队列中的作业进行资源调度，包括:
[0036]按所述队列的优先级由高到低为所述队列分配所述队列对应的专属服务器的资源。
[0037]具体的，以队列的优先级为5级为例，当队列A的优先级为3、队列B的优先级为5时，且所述队列A和所述队列B的队列属性信息中配置的专属服务器均为服务器C，则所述服务器C的资源优先为所述队列A的作业分配，再为所述队列B中的作业分配。
[0038]进一步地，当所述队列的优先级相同时，按先入先出(FIFO, First Input FirstOutput)规则为所述队列分配所述队列对应的专属服务器的资源。
[0039]具体的，以队列的优先级为5级为例，当队列A的优先级为3、队列B的优先级为3时，且所述队列A和所述队列B的队列属性信息中配置的专属服务器均为服务器C，则根据所述队列A和所述队列B中的作业的时间先后顺序，所述服务器C的资源优先为所述队列A和所述队列B中时间在先的作业分配资源。
[0040]采用本发明实施例的技术方案，实现了特定业务场景下的资源独占，避免了安全性和稳定性要求较高的特殊业务之间相互抢占资源所带来的不利影响。
[0041]依据本发明实施例的另一优选实施例，当所述队列属性信息中不包括所述队列的专属服务器信息，或者所述队列的专属服务器信息配置为空时，所述方法还包括:
[0042]按所述队列的优先级由高到低为所述队列分配所有服务器的资源。
[0043]具体的，所述按所述队列的优先级由高到低为所述队列分配所有服务器的资源，为:按所述队列的优先级由高到低为所述队列分配所有服务器中的空闲资源。例如，以队列的优先级为5级为例，当队列A的优先级