基于协处理器的作业调度处理方法及装置的制造方法
【技术领域】
[0001]本发明通信领域，更具体地说，涉及一种基于协处理器的作业调度处理方法及装置。
【背景技术】
[0002]集群作业管理系统(Job Management System,简称为JMS)是根据用户的需求,统一管理和调度集群的软硬件资源，保证用户作业公平合理地共享集群资源，提高系统资源利用率和吞吐率。集群JMS包括系统资源管理和作业调度管理，作业调度技术是集群作业管理系统中关键的技术之一，作业调度的功能在于提供作业提交、调度、执行及控制的新机制，更加有效地利用系统资源、平衡网络负载、提高系统整体性能。
[0003]作业调度策略是根据一定的算法，从输入的一批作业中选出作业，分配必要的资源，将其投入运行。该技术是提高集群系统执行并行作业的效率及系统资源利用率的关键因素，对集群系统提高并行处理能力具有重大的意义。目前，作业调度策略可以划分为两种类型:一类是面向提高资源利用率的调度策略:根据某种算法选取合适的作业，达到尽量使资源的使用最大化，提高资源的利用率的目的，这类中常见的有FirstFit。另一类是面向公平性的调度策略:确保每个作业在较短的时间内能够获得资源，资源的获取使用具有公平性，这类调度策略常见的是FCFS。
[0004]图形处理器(Graphic Process Unit,简称为GPU),是专用于图形输出流水线的处理和加速，因此当GPU的功能越来越强时，与图形有关的处理便自然而然地从CPU向GPU转移。最先发生的转移是最靠近应用程序的几何变换部分，包括造型变换和观察变换；其次是局部或特殊光照效果的计算和生成。当顶点级和像素级的可编程功能越来越灵活时，图形本身的处理速度和灵活性都得到了前所未有的提高。而当GPU内部像素级的纹元达到可以参与编程的运算时，则向着可作通用计算的方向发展。这时，基于GPU的通用计算便应运而生了。
[0005]基于GPU的通用计算(General Purpose GPU,简称为GPGPU)指的是利用图形卡来实现一般意义上的计算。采用GPU来做通用计算的主要目的是为了加速，加速的动力来自这些新硬件所具有的以下主要优势:一定的并行性；高密集的运算；减少了 GPU与CPU的数据通信。
[0006]GPU的每个流多处理器被看作类似于CPU的单个核心，每个流多处理器以单指令流多线程方式工作，只能执行相同的程序。尽管GPU运行频率低于CPU，但由于其流处理器数目远远多于CPU的核心数，我们称之为“众核”，其单精度浮点处理能力达到了同期CPU的十倍之多。上面两种技术都旨在提高并行作业的执行效率，不同的是前者考虑的层面是节点数，而后者则是单个节点上的计算核心数。
[0007]目前针对相关技术中的上述问题，目前尚未提出有效的解决方案。
【发明内容】
[0008]本发明提供了一种基于协处理器的作业调度处理方法及装置，以至少解决相关技术中，尚无有效的技术方案实现集群和协处理器相结合的调度方法的问题。
[0009]为了达到上述目的，根据本发明的一个方面，提供了一种基于协处理器的作业调度处理方法，包括:获取待调度作业所请求的资源类型以及各个节点的负载信息，其中所述资源类型包括协处理器资源和CPU资源；根据所述资源类型和所述负载信息选择执行所述待调度作业的节点。
[0010]优选地，获取待调度作业所请求的资源类型以及各个节点的负载信息之前，包括:根据各个作业的优先级确定所述待调度作业。
[0011]优选地，根据各个作业的优先级确定所述待调度作业，包括:利用所述作业的初始优先级和等待时间进行加权计算得到所述作业的当前优先级；在所述当前优先级大于第一预设阈值时，为所述当前优先级对应的作业预约执行所述当前优先级对应的作业所需要的资源；将所述当前优先级对应的作业设置为所述待调度作业。
[0012]优选地，根据所述资源类型和所述负载信息选择执行所述待调度作业的节点，包括:当获取的所述资源类型为CPU资源时，比较所述资源类型所对应的请求资源和根据所述负载信息确定的剩余CPU资源，在所述剩余节点资源满足所述待调度作业所请求的资源时，从所述剩余CPU资源所对应的节点中选择执行所述待调度作业的节点。
[0013]优选地，上述方法还包括:在所述剩余CPU资源不满足所述待调度作业所请求的资源时，比较所述待调度作业所请求的资源和协处理器资源，在所述剩余协处理器资源满足所述待调度作业所请求的资源时，从所述剩余协处理器资源所对应的节点中选择执行所述待调度作业的节点。
[0014]优选地，根据所述资源类型和所述负载信息选择执行所述待调度作业的节点，包括:当获取的所述资源类型为协处理器资源时，比较所述资源类型所对应的请求资源和根据所述负载信息确定的剩余协处理器资源，在所述剩余协处理器资源满足所述待调度作业所请求的资源时，从所述剩余协处理器资源所对应的节点中选择执行所述待调度作业的节点。
[0015]优选地，上述方法还包括:在所述剩余协处理器资源不满足所述待调度作业所请求的资源时，比较所述待调度作业所请求的资源和剩余CPU资源，在所述剩余CPU资源满足所述待调度作业所请求的资源时，从所述剩余CPU资源所对应的节点中选择执行所述待调度作业的节点。
[0016]优选地，根据所述资源类型和所述负载信息选择执行所述待调度作业的节点之前，还包括:获取所述协处理器资源和CPU资源的指定性能指标，其中，在所述指定性能指标未超过第二预设阈值时，从所述协处理器资源所对应的节点或CPU资源所对应的节点中选择执行所述待调度作业的节点。
[0017]优选地，根据所述资源类型和所述负载信息选择执行所述待调度作业的节点之前，还包括:获取所述协处理器资源和CPU资源的指定性能指标，对各个所述指定性能指标进行加权运算得到综合性能指标；在所述综合性能指标未超过第三预设阈值时，从所述协处理器资源所对应的节点或CPU资源所对应的节点中选择所述执行所述待调度作业的节点。
[0018]优选地，根据所述资源类型和所述负载信息选择执行所述待调度作业的节点之后，还包括:将选择的所述待调度作业节点通知给集群服务器。
[0019]为了达到上述目的，根据本发明的另一个方面，还提供了一种基于协处理器的作业调度处理装置，包括:获取模块，用于获取待调度作业所请求的资源类型以及各个节点的负载信息，其中所述资源类型包括协处理器资源和CPU资源；选择模块，用于根据所述资源类型和所述负载信息选择执行所述待调度作业的节点。
[0020]优选地，所述装置还包括:确定模块，用于根据各个作业的优先级确定所述待调度作业。
[0021]通过本发明，采用根据获取到的待调度作业所请求的资源类型以及各个节点的负载信息来选择执行所述待调度作业的节点的技术手段。解决了相关技术中，尚无有效的技术方案实现集群和协处理器相结合的调度方法。本发明提出一种集群中有效调度协处理器的方法，支持协处理器的基于预约策略和负载均衡的集群调度，来达到最大的任务并行效率。
【附图说明】
[0022]此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中:
[0023]图1为根据本发明实施例的基于协处理器的作业调度处理方法的流程图；
[0024]图2是根据本发明实施例的基于协处理器的作业调度处理装置的结构框图；
[0025]图3是根据本发明实施例的基于协处理器的作业调度处理装置的再一结构框图；
[0026]图4为根据本发明优选实施例的基于协处理器的作业调度处理系统的结构框图；
[0027]图5为根据本发明优选实施例的基于协处理器的作业调度处理系统示意图；
[0028]图6为根据本发明优选实施例的基于协处理器的作业调度处理方法的流程图。
【具体实施方式】
[0029]下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
[0030]图1为根据本发明实施例的基于协处理器的作业调度处理方法的流程图，如图1所示，该方法包括:步骤S102至步骤S104，
[0031]S102:获取待调度作业所请求的资源类型以及各个节点的负载信息，其中上述资源类型包括协处理器资源和CPU资源；
[0032]在该步骤之前，即在获取集群作业管理系统中待调度作业所请求的资源类型以及各个节点的负载信息之前，还需执行以下过程:根据上述集群作业管理系统中各个作业的优先级确定上述待调度作业。其中，根据上述集群作业管理系统中各个作业的优先级确定上述待调度作业具体可以包括但不限于以下步骤:利用上述作业的初始优先级和等待时间进行加权计算得到上述作业的当前优先级；在当前优先级大于第一预设阈值时，为上述当前优先