GPU集群资源控制系统、方法、装置、设备及存储介质与流程

本公开涉及容器集群技术领域，特别是涉及一种gpu集群资源控制系统、方法、装置、设备及存储介质。

背景技术：

随着深度学习的广泛推广和使用，在越来越多的实际应用中，利用gpu(graphicsprocessingunit，图形处理器)进行模型训练和在线预测服务。gpu作为一种高成本的资源，如何能最大程度的提高其利用率，已经成为亟待解决的问题。

相关技术中，可以将位于多台物理机上的多块gpu组成gpu集群，例如，每台物理机上安装有4至8块gpu，利用docker容器技术，可以将每块gpu与一个容器相绑定。在基于建立的该gpu集群提供服务时，每块gpu可以供一个服务使用。

而没有使用docker(开源的应用容器引擎)容器技术做gpu资源隔离的情况，从服务稳定性的角度考虑，每台物理机只能部署一个服务，然而一个服务通常又很难将一台物理机上的gpu卡都利用上。使用docker容器技术做gpu资源隔离后，每个容器绑定一块gpu，供一个服务使用。这样可以做到比物理机更细粒度的资源分配，提高了gpu资源的利用率。

然而，上述相关技术中存在的问题是：每块gpu供一个服务的一个进程使用，对gpu资源的利用率仍然不高，而且当一个gpu集群中存在多种类型的gpu卡时，无法解决gpu混部和资源分配的问题。

技术实现要素：

本公开提供一种gpu集群资源控制系统、方法、装置、电子设备、存储介质及包含指令的计算机程序产品，以至少解决相关技术中当一个gpu集群中存在多种类型的gpu卡时，无法解决gpu混部和资源分配的问题。

本公开的技术方案如下：

根据本公开实施例的第一方面，本公开提供一种gpu集群资源控制系统，所述系统包括：

调度器以及多台物理机；

各所述物理机，被配置为安装至少一块gpu，各所述物理机中安装的gpu的卡类型相同；

所述调度器，被配置为获取待处理服务的gpu的卡类型和gpu的卡数量，根据所述待处理服务的gpu的卡类型和各所述物理机中gpu的卡类型在所述多台物理机中确定所述待处理服务的目标物理机，并根据所述待处理服务的gpu的卡数量和所述目标物理机中安装的gpu的卡数量确定处理所述待处理服务的目标gpu。

可选的，所述调度器还被配置为接收所述待处理服务的启动信息，所述待处理服务包括多个进程，所述启动信息为各所述进程的启动信息。

可选的，所述系统还包括：

容器，所述容器创建于各所述物理机中，所述容器用于存储所述待处理服务的启动信息，各所述物理机创建至少一个容器。

可选的，所述调度器还被配置为确定存储所述待处理服务的启动信息的目标容器，并将所述目标容器与所述目标gpu建立关联关系。

可选的，所述容器包括进程管理工具，所述目标容器的进程管理工具被配置为从所述目标容器中读取所述待处理服务的启动信息，依据各所述进程的启动信息，获取各所述进程对应的启动项，所述启动项为启动该进程所需要的程序，基于各所述进程的启动项，在所述目标gpu中启动各所述进程。

根据本公开实施例的第二方面，本公开提供一种gpu集群资源控制方法，所述方法包括：

获取待处理服务的gpu的卡类型和gpu的卡数量；

根据所述待处理服务的gpu的卡类型和各物理机中gpu的卡类型在预设多台物理机中确定所述待处理服务的目标物理机，各所述物理机中安装至少一块gpu，各所述物理机中安装的gpu的卡类型相同；

根据所述待处理服务的gpu的卡数量和所述目标物理机中安装的gpu的卡数量确定处理所述待处理服务的目标gpu。

可选的，所述方法还包括：

接收所述待处理服务的启动信息，所述待处理服务包括多个进程，所述启动信息为各所述进程的启动信息。

可选的，所述方法还包括：

从预设容器中确定存储所述待处理服务的启动信息的目标容器，并将所述目标容器与所述目标gpu建立关联关系，所述预设容器创建于各所述物理机中，各所述物理机创建至少一个所述预设容器。

可选的，所述方法还包括：

从所述目标容器中读取所述待处理服务的启动信息；

依据各所述进程的启动信息，获取所述进程对应的启动项，所述启动项为启动该进程所需要的程序；

基于各所述进程的启动项，在所述目标gpu中启动各所述进程。

根据本公开实施例的第三方面，本公开提供一种gpu集群资源控制装置，所述装置包括：

采集模块，被配置为获取待处理服务的gpu的卡类型和gpu的卡数量；

第一确定模块，被配置为根据所述待处理服务的gpu的卡类型和各物理机中gpu的卡类型在预设多台物理机中确定所述待处理服务的目标物理机，各所述物理机中安装至少一块gpu，各所述物理机中安装的gpu的卡类型相同；

第二确定模块，被配置为根据所述待处理服务的gpu的卡数量和所述目标物理机中安装的gpu的卡数量确定处理所述待处理服务的目标gpu。

可选的，所述装置还包括：

接收模块，被配置为接收所述待处理服务的启动信息，所述待处理服务包括多个进程，所述启动信息为各所述进程的启动信息。

可选的，所述装置还包括：

处理模块，被配置为从预设容器中确定存储所述待处理服务的启动信息的目标容器，并将所述目标容器与所述目标gpu建立关联关系，所述预设容器创建于各所述物理机中，各所述物理机创建至少一个所述预设容器。

可选的，所述装置还包括：

读取模块，被配置为从所述目标容器中读取所述待处理服务的启动信息；

获取模块，被配置为依据各所述进程的启动信息，获取所述进程对应的启动项，所述启动项为启动该进程所需要的程序；

启动模块，被配置为基于各所述进程的启动项，在所述目标gpu中启动各所述进程。

根据本公开实施例的第四方面，本公开提供一种电子设备，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现上述第二方面任一所述的gpu集群资源控制方法。

根据本公开实施例的第五方面，提供一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述第二方面任一所述的gpu集群资源控制方法。

根据本公开实施例的第六方面，提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第二方面任一所述的gpu集群资源控制方法。

本公开的实施例提供的gpu集群资源控制系统、方法、装置、电子设备、存储介质及包含指令的计算机程序产品，至少带来以下有益效果：

通过在各物理机中安装卡类型相同的gpu，根据所述待处理服务的gpu的卡类型和各所述物理机中gpu的卡类型在所述多台物理机中确定所述待处理服务的目标物理机，并根据所述待处理服务的gpu的卡数量和所述目标物理机中安装的gpu的卡数量确定处理所述待处理服务的目标gpu，以实现当一个gpu集群中存在多种类型的gpu卡时gpu资源分配的问题，从而提高gpu资源的利用率。

当然，实施本公开的任一产品或方法并不一定需要同时达到以上所述的所有优点。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起被配置为解释本公开的原理，并不构成对本公开的不当限定。

图1-a是根据一示例性实施例示出的第一种gpu集群资源控制系统的示意图；

图1-b是根据一示例性实施例示出的第二种gpu集群资源控制系统的示意图；

图2是根据一示例性实施例示出的一种gpu集群资源控制方法的示意图；

图3是根据一示例性实施例示出的一种gpu集群资源控制装置的示意图；

图4是根据一示例性实施例示出的第一种电子设备的示意图；

图5是根据一示例性实施例示出的第二种电子设备的示意图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是被配置为区别类似的对象，而不必被配置为描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的设备和方法的例子。

本公开实施例公开了用gpu集群资源控制系统、方法、装置、电子设备、存储介质及包含指令的计算机程序产品，以下分别进行说明。

图1-a是根据一示例性实施例示出的一种gpu集群资源控制系统的示意图，如图1-a所示，上述系统包括：调度器10以及多台物理机11。

各上述物理机11，被配置为安装至少一块gpu111，各上述物理机11中安装的gpu111的卡类型相同。

物理机11可以是服务器，也可以是计算机设备，其中物理机11中安装至少1块gpu，可以为1块，也可以为多块，且每个物理机11中安装的gpu的卡类型相同。其中，gpu卡类型可以是根据gpu的出厂型号进行设定。例如，上述系统包括3台物理机，物理机1中，安装了3块gpu，其中物理机1中3块gpu的卡类型均为gtx1060，物理机2中安装了10块gpu，其中物理机2中10块gpu的卡类型均为gtx1070，物理机3中，安装了5块gpu，其中物理机3中5块gpu的卡类型均为gtx1080。

上述调度器10，被配置为获取待处理服务的gpu的卡类型和gpu的卡数量，根据上述待处理服务的gpu的卡类型和各上述物理机11中gpu的卡类型在上述多台物理机11中确定上述待处理服务的目标物理机11，并根据上述待处理服务的gpu的卡数量和上述目标物理机11中安装的gpu的卡数量确定处理上述待处理服务的目标gpu。

调度器10可以是kubernetesscheduler(开源的一个容器编排引擎)，上述调度器10获取待处理服务的gpu的卡类型和gpu的卡数量。用户可以根据上述待处理服务的类型或者业务需求来选择或者配置用于运行上述待处理服务的进程的gpu的卡类型和卡数量，若上述待处理服务提供的是重要业务，则可以选择性能较高的gpu卡来运行该服务的进程。

例如，上述系统包括3台物理机，上述待处理服务为图像处理模型的训练，其中上述图像处理模型的训练需要的gpu的卡类型为gtx1080，且需要gpu的卡数量为2块，调度器10根据上述待处理服务的gpu的卡类型和各上述物理机11中gpu的卡类型在上述多台物理机11中确定上述待处理服务的目标物理机，例如，确定目标物理机为上述物理机3，并根据上述图像处理模型的训练需要的gpu的卡数量为2块，在上述物理机3中安装的5块gpu中选出2块gpu确定为处理上述图像处理模型的训练的目标gpu，具体的，可随机从5块gpu中选出2块gpu确定为处理上述图像处理模型的训练的目标gpu。

例如，上述系统包括4台物理机，物理机1中，安装了3块gpu，其中物理机1中3块gpu的卡类型均为gtx1060，物理机2中安装了10块gpu，其中物理机2中10块gpu的卡类型为gtx1070，物理机3中，安装了5块gpu，其中物理机3中5块gpu的卡类型为gtx1080，物理机4中，安装了5块gpu，其中物理机3中5块gpu的卡类型为gtx1080。上述待处理服务为在线测评服务，上述在线测评服务需要的gpu的卡数量为10块，gpu的卡类型为gtx1080，其中物理机3中有5块gpu，gpu的卡类型为gtx1080，物理机4中有5块gpu，gpu的卡类型为gtx1080，则调度器10确定物理机3和物理机4为目标物理机，并将物理机3和物理机4中的gpu确定为处理上述图像处理模型的训练的目标gpu。

例如，上述系统包括3台物理机，物理机1中，安装了3块gpu，其中物理机1中3块gpu的卡类型均为gtx1060，物理机2中安装了10块gpu，其中物理机2中10块gpu的卡类型为gtx1060，物理机3中，安装了5块gpu，其中物理机3中5块gpu的卡类型为gtx1080，上述图像处理模型的训练需要的gpu的卡数量为1块，gpu的卡类型为gtx1060，其中物理机1中有3块gpu，gpu的卡类型为gtx1060，物理机2中有10块gpu，gpu的卡类型为gtx1060，则调度器10确定物理机1或物理机2为目标物理机，具体的，可随机将物理机1或物理机2确定为处理上述图像处理模型的训练的目标物理机，也可以根据各物理机的运行情况进行选择，例如物理机1正在处理其他服务，则选择物理机2为目标物理机。

以实现当一个gpu集群中存在多种类型的gpu卡时gpu资源分配的问题，从而提高gpu资源的利用率。另外，因为每台物理机中安装的gpu的卡类型相同，则根据每台物理机中安装的gpu的卡类型，可以给每台物理机添加对应的类型标签，例如上述物理机1中安装的gpu的卡类型为gtx1060，则物理机1的类型标签也设置为gtx1060，以此提高资源分配的效率，使得gpu和物理机的管理规范化。进一步的，还可以根据各个物理机所属的地址信息，为物理机添加机房标签，该机房标签可以表示物理机的存放地址，以此提高资源分配的效率，使得gpu和物理机的管理规范化。

通过在各物理机中安装卡类型相同的gpu，根据上述待处理服务的gpu的卡类型和各上述物理机中gpu的卡类型在上述多台物理机中确定上述待处理服务的目标物理机，并根据上述待处理服务的gpu的卡数量和上述目标物理机中安装的gpu的卡数量确定处理上述待处理服务的目标gpu，以实现当一个gpu集群中存在多种类型的gpu卡时gpu资源分配的问题，从而提高gpu资源的利用率。

在一种可能的实施方式中，上述调度器10还被配置为接收上述待处理服务的启动信息，上述待处理服务包括多个进程，上述启动信息为各上述进程的启动信息。

上述待处理服务包括多个进程，每个进程包括有启动信息，启动信息是能够为每个进程提供程序运行时所需的环境以及为每个进程提供程序的启动方式的信息，例如进程程序所需的类库、其他二进制文件、配置文件等，其中，各进程的启动信息是预先进行配置的。

在一种可能的实施方式中，上述系统还包括：

容器，上述容器创建于各上述物理机11中，上述容器用于存储上述待处理服务的启动信息，各上述物理机11创建至少一个容器。

图1-b是根据一示例性实施例示出的第一种gpu集群资源控制系统的示意图，如图1-b所示，上述容器创建于各上述物理机11中，上述容器用于存储上述待处理服务的启动信息，为了实现gpu单卡隔离，上述容器的数量至少为上述物理机11中安装的gpu的卡数量，为了节省资源，上述容器的数量等于上述物理机11中安装的gpu的卡数量。本实施例中，容器可以是利用docker容器技术在物理机中创建的docker容器，容器中存储了预先配置的每个进程的启动信息。例如，上述物理机1中，安装了3块gpu，则上述物理机2中创建3个容器。容器可以是docker容器，也可以是containerd(开源的行业标准容器)容器，用于存储上述待处理服务的启动信息。容器的具体创建方式可以参考现有现有/相关技术中的容器的创建方法，此处不再详述。

在一种可能的实施方式中，上述调度器10还被配置为确定存储上述待处理服务的启动信息的目标容器，并将上述目标容器与上述目标gpu建立关联关系。

上述调度器10上述调度器10接收待处理服务的启动信息后，将上述待处理服务的启动信息存储至目标物理机中的容器中，上述调度器确认处理待处理服务的gpu为物理机1中的1号gpu，物理机1中有3个容器，确定将上述待处理服务的启动信息存储至容器1中，其中，上述待处理服务的包括10个进程，其中每个进程包括有启动信息，则上述待处理服务的包括有10个启动信息，则上述容器1存储有10个启动信息。将上述物理机1中的容器1与上述物理机1中的1号gpu建立关联关系，以使待处理服务的10个启动信息均运行在1号gpu中，共享1号gpu卡的内存信息，以此提高gpu卡的利用率。另外，当用户预先选择了预设数量的gpu卡时，例如选择了20块gpu，调度器10将上述待处理服务的启动信息发送到该20块gpu卡所在的物理机中的容器中，假设这20块gpu中两两分布在10台物理机中，则调度器10会将启动信息发送至该10台物理机中每台物理机的2个容器中，以提高单块卡的使用率，从而提高gpu资源的利用率。

在一种可能的实施方式中，上述容器包括进程管理工具，上述目标容器的进程管理工具被配置为从上述目标容器中读取上述待处理服务的启动信息，依据各上述进程的启动信息，获取各上述进程对应的启动项，上述启动项为启动该进程所需要的程序，基于各上述进程的启动项，在上述目标gpu中启动各上述进程。

容器中的进程管理工具，用于从所属的容器中读取上述待处理服务的每个进程的启动信息，并针对每个进程，依据该进程的启动信息，获取该进程对应的启动项，该启动项为启动该进程所需要的程序，以及基于每个进程的启动项，在与所属的容器建立关联关系的gpu中启动每个进程。这样使得待处理服务的进程均运行在同一个gpu卡上，以此共享gpu卡的内存信息，提高单块卡的使用率，提高gpu卡的利用率。在本实施例中，容器中可以包括容器环境变量，可以通过配置容器环境变量，为每个进程提供程序运行的环境。调度器可以将接收到的预先配置的每个进程的启动信息存储在容器环境变量中，进程管理工具可以从自身所属的容器中读取容器环境变量，得到服务的每个进程的启动信息。

图2是根据一示例性实施例示出的一种gpu集群资源控制方法的示意图，如图2所示，上述方法包括以下步骤：

在步骤s21中，获取待处理服务的gpu的卡类型和gpu的卡数量。

本公开实施例的gpu集群资源控制方法可以通过电子设备实现，具体的，该电子设备可以是服务器等。

待处理服务可以为深度学习模型训练，或者在线预测服务，用户可以根据服务的类型或者业务需求来选择或者配置用于运行服务的进程的gpu的卡类型和卡数量，例如，上述待处理服务为图像处理模型的训练，其中上述图像处理模型的训练需要的gpu的卡类型为gtx1060，且需要gpu的卡数量为1块。

在步骤s22中，根据上述待处理服务的gpu的卡类型和各物理机中gpu的卡类型在预设多台物理机中确定上述待处理服务的目标物理机，各上述物理机中安装至少一块gpu，各上述物理机中安装的gpu的卡类型相同。

物理机可以是服务器，也可以是计算机设备，其中物理机中安装至少1块gpu，可以为1块，也可以为多块，且每个物理机中安装的gpu的卡类型相同。根据上述待处理服务的gpu的卡类型和各上述物理机中gpu的卡类型在上述多台物理机中确定上述待处理服务的目标物理机，物理机共有3台，物理机1中，安装了3块gpu，其中物理机1中3块gpu的卡类型均为gtx1060，物理机2中安装了10块gpu，其中物理机2中10块gpu的卡类型为gtx1070，物理机3中，安装了5块gpu，其中物理机3中5块gpu的卡类型为gtx1080。根据上述待处理服务的gpu的卡类型和各物理机中gpu的卡类型确定目标物理机为上述物理机1，以实现当一个gpu集群中存在多种类型的gpu卡时gpu资源分配的问题，从而提高gpu资源的利用率。当多个物理机中安装的gpu的卡类型相同时，具体可根据各物理机的运行情况，从安装的gpu的卡类型和待处理任务的gpu的卡类型相同的物理机中随机确定目标物理机，例如，共有5台物理机，其中只有物理机1，物理机2中安装的gpu的卡类型均为gtx1080，待处理服务需要的卡类型需要的gpu的卡类型为gtx1080，当物理机1和物理机2均未运行服务时，则随机从物理机1和物理机2中确定目标物理机，或者，当物理机1正在运行其他服务时，则确定物理机2为目标物理机。

另外，因为每台物理机中安装的gpu的卡类型相同，则根据每台物理机中安装的gpu的卡类型，可以给每台物理机添加对应的类型标签，例如上述物理机1中安装的gpu的卡类型为gtx1060，则物理机1的类型标签也设置为gtx1060，以此提高资源分配的效率，使得gpu和物理机的管理规范化。进一步的，还可以根据各个物理机所属的地址信息，为物理机添加机房标签，该机房标签可以表示物理机的存放地址。以此提高资源分配的效率，使得gpu和物理机的管理规范化。

在步骤s23中，根据上述待处理服务的gpu的卡数量和上述目标物理机中安装的gpu的卡数量确定处理上述待处理服务的目标gpu。

根据上述图像处理模型的训练需要的gpu的卡数量为1块，在上述物理机1中安装的3块gpu中随机选出1块，确定为处理上述图像处理模型的训练的目标gpu。以实现当一个gpu集群中存在多种类型的gpu卡时gpu资源分配的问题，从而提高gpu资源的利用率。

通过在各物理机中安装卡类型相同的gpu，根据上述待处理服务的gpu的卡类型和各上述物理机中gpu的卡类型在上述多台物理机中确定上述待处理服务的目标物理机，并根据上述待处理服务的gpu的卡数量和上述目标物理机中安装的gpu的卡数量确定处理上述待处理服务的目标gpu，以实现当一个gpu集群中存在多种类型的gpu卡时gpu资源分配的问题，从而提高gpu资源的利用率。

在一种可能的实施方式中，上述方法还包括：

接收上述待处理服务的启动信息，上述待处理服务包括多个进程，上述启动信息为各上述进程的启动信息。

上述待处理服务包括多个进程，每个进程包括有启动信息，启动信息是能够为每个进程提供程序运行时所需的环境以及为每个进程提供程序的启动方式的信息，例如进程程序所需的类库、其他二进制文件、配置文件等，其中，各进程的启动信息是预先进行配置的。

在一种可能的实施方式中，上述方法还包括：

从预设容器中确定存储上述待处理服务的启动信息的目标容器，并将上述目标容器与上述目标gpu建立关联关系，上述预设容器创建于各上述物理机中，各上述物理机创建至少一个上述预设容器。

上述预设容器创建于各上述物理机中，上述预设容器用于存储上述待处理服务的启动信息，为了实现gpu单卡隔离，上述预设容器的数量至少为上述物理机中安装的gpu的卡数量。为了节省资源，上述预设容器的数量等于上述物理机中安装的gpu的卡数量。例如，上述物理机1中，安装了3块gpu，则上述物理机2中创建3个上述预设容器。上述预设容器可以是docker容器，也可以是container容器，用于存储上述待处理服务的启动信息。接收待处理服务的启动信息后，将上述待处理服务的启动信息存储至目标物理机中的目标容器中，确认处理待处理服务的gpu为物理机1中的1号gpu，物理机1中有3个容器，确定将上述待处理服务的启动信息存储至容器1中，其中，上述待处理服务的包括10个进程，其中每个进程包括有启动信息，则上述待处理服务的包括有10个启动信息，则上述容器1存储有10个启动信息。将上述物理机1中的容器1与上述物理机1中的1号gpu建立关联关系，以使待处理服务的10个启动信息均运行在1号gpu中，共享1号gpu卡的内存信息，以提高单块卡的使用率，从而提高gpu卡的利用率。

在一种可能的实施方式中，上述方法还包括：

从上述目标容器中读取上述待处理服务的启动信息；

依据各上述进程的启动信息，获取上述进程对应的启动项，上述启动项为启动该进程所需要的程序；

基于各上述进程的启动项，在上述目标gpu中启动各上述进程。

从上述目标容器中读取上述待处理服务的每个进程的启动信息，并针对每个进程，依据该进程的启动信息，获取该进程对应的启动项，该启动项为启动该进程所需要的程序，以及基于每个进程的启动项，在与目标容器建立关联关系的gpu中启动每个进程。这样使得待处理服务的进程均运行在同一个gpu卡上，以此共享gpu卡的内存信息，提高gpu卡的利用率。在本实施例中，上述预设容器中可以包括容器环境变量，可以通过配置容器环境变量，为每个进程提供程序运行的环境。将接收到的预先配置的每个进程的启动信息存储在容器环境变量中，从自身目标容器中读取容器环境变量，得到服务的每个进程的启动信息。

图3为是根据一示例性实施例示出的一种广告推荐装置的示意图，参见图3，该装置包括采集模块310，第一确定模块320，第二确定模块330。

采集模块310，被配置为获取待处理服务的gpu的卡类型和gpu的卡数量；

第一确定模块320，被配置为根据上述待处理服务的gpu的卡类型和各物理机中gpu的卡类型在预设多台物理机中确定上述待处理服务的目标物理机，各上述物理机中安装至少一块gpu，各上述物理机中安装的gpu的卡类型相同；

第二确定模块330，被配置为根据上述待处理服务的gpu的卡数量和上述目标物理机中安装的gpu的卡数量确定处理上述待处理服务的目标gpu。

在一种可能的实施方式中，上述装置还包括：

接收模块，被配置为接收上述待处理服务的启动信息，上述待处理服务包括多个进程，上述启动信息为各上述进程的启动信息。

在一种可能的实施方式中，上述装置还包括：

处理模块，被配置为从预设容器中确定存储上述待处理服务的启动信息的目标容器，并将上述目标容器与上述目标gpu建立关联关系，上述预设容器创建于各上述物理机中，各上述物理机创建至少一个上述预设容器。

在一种可能的实施方式中，上述装置还包括：

读取模块，被配置为从上述目标容器中读取上述待处理服务的启动信息；

获取模块，被配置为依据各上述进程的启动信息，获取上述进程对应的启动项，上述启动项为启动该进程所需要的程序；

启动模块，被配置为基于各上述进程的启动项，在上述目标gpu中启动各上述进程。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

本申请实施例还提供了一种电子设备，处理器；

用于存储上述处理器可执行指令的存储器；

其中，上述处理器被配置为执行上述指令，实现如下步骤：

获取待处理服务的gpu的卡类型和gpu的卡数量；

根据上述待处理服务的gpu的卡类型和各物理机中gpu的卡类型在预设多台物理机中确定上述待处理服务的目标物理机，各上述物理机中安装至少一块gpu，各上述物理机中安装的gpu的卡类型相同；

根据上述待处理服务的gpu的卡数量和上述目标物理机中安装的gpu的卡数量确定处理上述待处理服务的目标gpu。

可选的，处理器，用于执行存储器上所存放的程序时，还可以实现上述任一gpu集群资源控制方法。

图4是根据一示例性实施例示出的第一种电子设备的示意图，参见图4，例如，电子设备800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图4，电子设备800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出(i/o)的接口812，传感器组件814，以及通信组件816。

处理组件802通常控制电子设备800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。

存储器804被配置为存储各种类型的数据以支持在电子设备800的操作。这些数据的示例包括用于在电子设备800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。

电源组件806为电子设备800的各种组件提供电力。电源组件806可以包括电源管理系统，一个或多个电源，及其他与为电子设备800生成、管理和分配电力相关联的组件。

多媒体组件808包括在上述电子设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。上述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与上述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当电子设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(mic)，当电子设备800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。

i/o接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件814包括一个或多个传感器，用于为电子设备800提供各个方面的状态评估。例如，传感器组件814可以检测到电子设备800的打开/关闭状态，组件的相对定位，例如上述组件为电子设备800的显示器和小键盘，传感器组件814还可以检测电子设备800或电子设备800一个组件的位置改变，用户与电子设备800接触的存在或不存在，电子设备800方位或加速/减速和电子设备800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如cmos或ccd图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件816被配置为便于电子设备800和其他设备之间有线或无线方式的通信。电子设备800可以接入基于通信标准的无线网络，如wifi，运营商网络(如2g、3g、4g或5g)，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，上述通信组件816还包括近场通信(nfc)模块，以促进短程通信。例如，在nfc模块可基于射频识别(rfid)技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。

在示例性实施例中，电子设备800可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述实施例中任一上述的gpu集群资源控制方法。

图5是根据一示例性实施例示出的第二种电子设备的示意图。例如，电子设备900可以被提供为一服务器。参照图5，电子设备900包括处理组件922，其进一步包括一个或多个处理器，以及由存储器932所代表的存储器资源，用于存储可由处理组件922的执行的指令，例如应用程序。存储器932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件922被配置为执行指令，以执行上述实施例中任一上述的gpu集群资源控制方法。

电子设备900还可以包括一个电源组件926被配置为执行电子设备900的电源管理，一个有线或无线网络接口950被配置为将电子设备900连接到网络，和一个输入输出(i/o)接口958。电子设备900可以操作基于存储在存储器932的操作系统，例如windowsservertm，macosxtm，unixtm,linuxtm，freebsdtm或类似操作系统。

在本公开实施例中，还提供了一种存储介质，该存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一上述的gpu集群资源控制方法。在示例性实施例中，还提供了一种包括指令的存储介质，例如包括指令的存储器804，上述指令可由电子设备800的处理器820执行以完成上述方法。可选地，例如，存储介质可以是非临时性计算机可读存储介质，例如，上述存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。

在本公开实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一上述的gpu集群资源控制方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。