调度人工智能平台资源的方法、设备和计算机可读存储介质与流程

1.本发明涉及人工智能领域，特别涉及一种调度人工智能平台资源的方法、设备和计算机可读存储介质。


背景技术：

2.随着人工智能(artificial intelligence，ai)的飞速发展，ai技术逐渐应用到与人们生活密切相关的领域。ai平台承担着各种类型的任务，例如，有些任务属于交互式任务，有些任务属于推理型任务，有些任务则属于训练任务，等等，不同类型的任务对资源的要求不同。
3.现有人工智能平台在调度资源时，主要是按照时间顺序来调度，即，哪个任务对ai平台的请求在先，则先为该任务调度ai平台的资源，例如，任务a属于推理型任务，任务b属于交互式任务，并且，任务a先于任务b向ai平台申请资源，则任务a优先获取该ai平台的资源，直至任务a完成后，ai平台才释放出资源供任务b使用。
4.然而，上述现有调度人工智能平台资源的方法的缺陷在于，尽管任务a先于任务b向ai平台申请资源，但任务b的优先级实际上比任务a的优先级高，如此，任务a可能事先将资源耗尽，待到具有更高优先级的任务b申请ai平台的资源时将无资源可用。


技术实现要素：

5.本申请提供一种调度人工智能平台资源的方法、装置、设备和计算机可读存储介质，以合理、高效地调度ai平台的资源。
6.一方面，本申请提供了一种调度人工智能平台资源的方法，包括：
7.人工智能ai平台接收ai任务请求，所述ai任务请求对应任务的类型包括模型训练任务、模型推理任务或交互式任务；
8.根据所述ai任务请求对应任务的资源属性，确定所述ai任务请求对应任务的优先级；
9.根据所述ai任务请求对应任务的优先级，优先将所述ai平台的资源调度给所述任务中优先级相对较高的任务。
10.另一方面，本申请提供了一种调度人工智能平台资源的装置，包括：
11.任务请求接收模块，用于人工智能ai平台接收至少一个ai任务请求；所接受任务请求对应任务的类型包括模型训练任务、模型推理任务或交互式任务；
12.优先级确定模块，用于根据所述ai任务请求对应任务的资源属性，确定所述ai任务请求对应任务的优先级；
13.调度模块，用于根据所述ai任务请求对应任务的优先级，优先将所述ai平台的资源调度给所述任务中优先级相对较高的任务。
14.第三方面，本申请提供了一种设备，所述设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现
如上述调度人工智能平台资源的方法的技术方案的步骤。
15.第四方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述调度人工智能平台资源的方法的技术方案的步骤。
16.从上述本申请提供的技术方案可知，在人工智能ai平台接收ai任务请求后，根据ai任务请求对应任务的资源属性确定ai任务请求对应任务的优先级，然后，根据ai任务请求对应任务的优先级，优先将ai平台的资源调度给任务中优先级相对较高的任务。相比于现有技术仅仅按照任务请求的先后时间顺序来调度ai平台资源而带来的种种缺陷，本申请的技术方案始终保证优先级相对较高的任务具有资源可用，是一种合理、高效的资源调度方式。
附图说明
17.为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
18.图1是本申请实施例提供的调度人工智能平台资源的方法的流程图；
19.图2是本申请实施例提供的对任务中断和重启时处理的示意图；
20.图3是本申请实施例提供的调度人工智能平台资源的装置的结构示意图；
21.图4是本申请另一实施例提供的调度人工智能平台资源的装置的结构示意图；
22.图5是本申请另一实施例提供的调度人工智能平台资源的装置的结构示意图；
23.图6是本申请另一实施例提供的调度人工智能平台资源的装置的结构示意图；
24.图7是本申请另一实施例提供的调度人工智能平台资源的装置的结构示意图；
25.图8是本申请实施例提供的设备的结构示意图。
具体实施方式
26.下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
27.在本说明书中，诸如第一和第二这样的形容词仅可以用于将一个元素或动作与另一元素或动作进行区分，而不必要求或暗示任何实际的这种关系或顺序。在环境允许的情况下，参照元素或部件或步骤(等)不应解释为局限于仅元素、部件、或步骤中的一个，而可以是元素、部件、或步骤中的一个或多个等。
28.在本说明书中，为了便于描述，附图中所示的各个部分的尺寸并不是按照实际的比例关系绘制的。
29.本申请提出了一种调度人工智能平台资源的方法。如附图1所示，调度人工智能平台资源的方法主要包括步骤s101至s103，详述如下：
30.步骤s101：人工智能ai平台接收ai任务请求，其中，ai任务请求对应任务的类型包
括模型训练任务、模型推理任务或交互式任务。
31.在本申请实施例中，ai平台可用于完成各种类型的任务，例如，交互式任务、推理型任务和训练任务，等等。这些任务可由用户以ai任务请求的形式向ai平台发出，ai平台接收这些ai任务请求。一般而言，ai任务请求对应任务的类型可包括模型训练任务、模型推理任务或交互式任务，等等。
32.步骤s102：根据ai任务请求对应任务的资源属性，确定ai任务请求对应任务的优先级。
33.无论是ai平台正在运行的任务，还是新接收到的任务，都有优先级的区分。所谓优先级，是指先于其他任务优先处理的等级。在本申请实施例中，优先级主要包括最高优先级、中等优先级和最低优先级，其中，最高优先级的任务的最高优先级表现在除非用户自动退出该任务，否则，该任务不会被停止运行，即使ai平台收到了相同优先级的任务的请求。在本申请实施例中，可以根据ai任务请求对应任务的资源属性，确定ai任务请求对应任务的优先级，其中，任务的资源属性包括该任务的资源不可被抢占或可被抢占，或者，任务可以分为不可被抢占任务和可被抢占任务，所谓不可被抢占任务，其资源仅在该任务执行完毕后被释放，而可被抢占任务，其资源可能随时被ai平台释放。按照上述约定，相对于推理型任务和/或训练任务，由于交互式任务的实时性较强，推理型任务次之，而训练任务的实时性要求最弱，因此，在交互式任务、推理型任务和训练任务等三种任务中，交互式任务的资源具有不可被抢占的属性，当ai平台正在执行交互式任务时，除非用户自动退出，否则，交互式任务不会被停止执行，而推理型任务和训练任务则根据实际应用场景，其资源可能可被抢占，也可能不可被抢占。
34.具体地，根据ai任务请求对应任务的资源属性，确定ai任务请求对应任务的优先级可以是：根据交互式任务的不可被抢占的资源属性，将交互式任务的优先级确定为最高优先级，当模型训练任务和模型推理任务的资源属性为可被抢占时，将模型推理任务的优先级确定为中等优先级，将模型训练任务的优先级确定为最低优先级。显然，当模型训练任务和模型推理任务的资源属性为不可被抢占时，则如交互式任务一样，可以将其优先级确定为最高优先级。
35.步骤s103：根据ai任务请求对应任务的优先级，优先将ai平台的资源调度给任务中优先级相对较高的任务。
36.与现有技术仅仅按照任务请求的先后时间顺序来调度ai平台资源，从而可能导致ai平台收到更高优先级的ai任务请求时ai平台将无资源可调度不同，本申请的技术方案是根据ai任务请求对应任务的优先级，优先将ai平台的资源调度给任务中优先级相对较高的任务，从而始终保证优先级相对较高的任务具有资源可用。作为本申请一个实施例，根据ai任务请求对应任务的优先级，优先将ai平台的资源调度给任务中优先级相对较高的任务可通过步骤s1031和步骤s1032实现：
37.步骤s1031：计算ai平台当前具有的可用资源，其中，ai平台当前具有的可用资源包括空闲资源和/或较低优先级的任务正在使用的资源，较低优先级的任务正在使用的资源包括中等优先级和/或最低优先级的任务正在使用的资源。
38.所谓ai平台的资源，主要是指ai平台的计算资源，例如中央处理器资源等，也包括内存等其他资源。若ai平台具有空闲资源，则这些空闲资源当然是ai平台的可用资源，然
而，若ai平台正在运行的任务，当这些任务的优先级较低时，这些任务正在使用的资源也属于一种潜在的可用资源，原因在于这些较低优先级的任务可以暂停，从而释放出其正在使用的资源。因此，在本申请实施例中，ai平台当前具有的可用资源包括空闲资源和/或较低优先级的任务正在使用的资源，其中，较低优先级的任务正在使用的资源包括中等优先级的任务正在使用的资源和/或最低优先级的任务正在使用的资源。
39.步骤s1032：当ai任务请求对应任务包含最高优先级的任务时，若空闲资源能够满足最高优先级的任务对资源的需求，则将空闲资源调度给最高优先级的任务。
40.经步骤s102的确定，当ai任务请求对应任务包含最高优先级的任务时，若空闲资源能够满足最高优先级的任务对资源的需求，则将空闲资源调度给最高优先级的任务。此处，如前所述，空闲资源属于ai平台当前具有的可用资源。若空闲资源能够满足最高优先级的任务，则只需将空闲资源调度给最高优先级的任务即可。例如，如前所述，相对于推理型任务和/或训练任务，交互式任务的实时性较强，当ai平台接收到的ai任务请求对应任务包括交互式任务时，若ai平台的空闲资源能够满足该交互式任务，则将空闲资源调度给该交互式任务。
41.反之，若ai平台的空闲资源不能满足最高优先级的任务对资源的需求，并且正在运行任务包括中等优先级和/或最低优先级的任务，则释放正在运行的中等优先级和/或最低优先级的任务所占用资源，将ai平台的空闲资源和释放的资源调度给最高优先级的任务，其中，释放正在运行的中等优先级和/或最低优先级的任务所占用资源，将ai平台的空闲资源和释放的资源调度给最高优先级的任务可以是：首先暂停最低优先级的任务，若暂停最低优先级的任务后释放的资源连同之前的空闲资源能够满足最高优先级的任务对资源的需求，则将ai平台的空闲资源连同因暂停最低优先级的任务而释放的资源调度给最高优先级的任务；若ai平台的空闲资源连同因暂停所有最低优先级的任务而释放的资源仍然不能满足最高优先级的任务对资源的需求，则暂停中等优先级的任务，将ai平台的空闲资源连同因暂停中等优先级的任务和最低优先级的任务而释放的资源调度给交互式任务。例如，ai平台接收到对交互式任务的ai任务请求时，若ai平台的空闲资源不能满足该交互式任务对资源的需求，而ai平台正在运行推理型任务和/或训练任务，则首先暂停训练任务，若暂停训练任务后释放的资源连同之前的空闲资源能够满足交互式任务对资源的需求，则将ai平台的空闲资源连同因暂停训练任务而释放的资源调度给交互式任务；若ai平台的空闲资源连同因暂停所有训练任务而释放的资源仍然不能满足交互式任务对资源的需求，则暂停推理型任务，将ai平台的空闲资源连同因暂停推理型任务和训练任务而释放的资源调度给交互式任务。
42.上述实施例是经步骤s102的确定，当ai任务请求对应任务包含最高优先级的任务时的ai平台资源调度方案，实际应用中显然还会存在经步骤s102的确定，ai任务请求对应任务不包含最高优先级的任务，即ai平台接收的是中等优先级和/或最低优先级的ai任务请求的情形。针对上述情形，本申请的技术方案可以是：当ai任务请求对应任务不包含最高优先级的任务时，若ai平台的空闲资源能够满足中等优先级和/或最低优先级的任务，则将ai平台的空闲资源调度给中等优先级和/或最低优先级的任务；若ai平台的空闲资源不能满足中等优先级的任务，并且ai平台正在运行任务包括最低优先级的任务，则释放ai平台正在运行的最低优先级的任务所占用资源；将ai平台的空闲资源和释放ai平台正在运行的
最低优先级的任务所占用的资源调度给中等优先级的任务。
43.如前所述，最低优先级的任务是ai平台随时可以暂停的任务，然而，对于中等优先级的任务，一般不会如最低优先级的任务那样随时可暂停，而需要视情况区别对待。具体地，上述实施例还可以包括：统计正在运行的中等优先级的任务对ai平台的资源的占用状况；若中等优先级的任务对ai平台的资源的连续非使用时间超过预设阈值，则暂停对ai平台的资源的连续非使用时间超过预设阈值的中等优先级的任务；若收到对暂停的中等优先级的任务的新的模型推理请求，则重启暂停的中等优先级的任务。如此，因暂停这类中等优先级的任务而释放出来的ai平台的资源可以调度给其他任务使用，既避免了资源的长期占用却不使用导致的浪费，又使得中等优先级的任务在资源的使用上得到一定程度的保证。
44.对上述本申请实施例中那些因故中断而重启的任务，本申请实施例的解决方案是：若ai平台正在运行的模型训练任务中断，则保存中断时断点(check
‑
point)处模型的权重信息；当这些中断的模型训练任务重启时，根据在断点处保存的模型权重信息，从其断点处再次运行这些中断的模型训练任务。如图2所示，假设某个最低优先级的任务(例如，模型训练任务)，其整个运行过程包含5个周期(epoch)，如图2中标识有数字1至5的小方格所示。由于ai平台接收到对最高优先级的ai任务请求，而当前ai平台并无空闲资源，因此，当运行完毕该最低优先级的模型训练任务的第2个周期(任务每运行完毕一个周期，小方格使用灰黑色小方格表示)时，该最低优先级的模型训练任务被迫中断。此时，可在运行完该最低优先级的模型训练任务的第2个周期后，保存此时的权重信息。待最高优先级的任务运行完成而释放资源后，该最低优先级的模型训练任务得以重新获得释放的资源，于是，该最低优先级的模型训练任务重启，从该最低优先级的模型训练任务的第3个周期开始运行，运行时利用了此前在断点处保存的权重信息，直至该最低优先级的模型训练任务运行完成。当然，若在第3个周期及其之后的周期，该最低优先级的模型训练任务再次被迫中断，其处理过程如在第2个周期运行完毕时的处理方式相同，不做赘述。
45.需要说明的是，在上述本申请实施例中，若ai平台正在运行的任务是是模型推理任务，则该模型推理任务中断时，无需保持断点(check
‑
point)处的信息，当该中断的模型推理任务重启时，直接恢复运行中断的模型推理任务。
46.另需说明的是，上述对因故中断而重启的任务的处理，是针对可以中断的任务。如前所述，对于最高优先级的任务，除非用户自动退出该任务，否则，最高优先级的任务不会被停止运行。因此，上述对因故中断而重启的任务的处理，前提是该任务属于中等优先级的任务或最低优先级的任务，而非最高优先级的任务。
47.从上述附图1示例的调度人工智能平台资源的方法可知，在人工智能ai平台接收ai任务请求后，根据ai任务请求对应任务的资源属性确定ai任务请求对应任务的优先级，然后，根据ai任务请求对应任务的优先级，优先将ai平台的资源调度给任务中优先级相对较高的任务。相比于现有技术仅仅按照任务请求的先后时间顺序来调度ai平台资源而带来的种种缺陷，本申请的技术方案始终保证优先级相对较高的任务具有资源可用，是一种合理、高效的资源调度方式。
48.请参阅附图3，是本申请实施例提供的一种调度人工智能平台资源的装置，可以包括任务请求接收模块301、优先级确定模块302和调度模块303，详述如下：
49.任务请求接收模块301，用于人工智能ai平台接收ai任务请求，其中，ai任务请求
对应任务的类型包括模型训练任务、模型推理任务或交互式任务；
50.优先级确定模块302，用于根据ai任务请求对应任务的资源属性，确定ai任务请求对应任务的优先级；
51.调度模块303，用于根据ai任务请求对应任务的优先级，优先将ai平台的资源调度给任务中优先级相对较高的任务。
52.可选地，附图3示例的优先级确定模块302可包括第一确定单元和第二确定单元，其中：
53.第一确定单元，用于根据交互式任务的不可被抢占的资源属性，将交互式任务的优先级确定为最高优先级；
54.第二确定单元，用于当模型训练任务和模型推理任务的资源属性为可被抢占时，将模型推理任务的优先级确定为中等优先级，将模型训练任务的优先级确定为最低优先级。
55.可选地，上述附图3示例的调度模块303可以包括可用资源计算单元401和空闲资源调度单元402，如附图4所示本申请另一实施例提供的调度人工智能平台资源的装置，其中：
56.可用资源计算单元401，用于计算ai平台当前具有的可用资源，其中，ai平台当前具有的可用资源包括空闲资源和/或较低优先级的任务正在使用的资源，较低优先级的任务正在使用的资源包括中等优先级和/或最低优先级的任务正在使用的资源；
57.空闲资源调度单元402，用于当ai任务请求对应任务包含最高优先级的任务时，若ai平台的空闲资源能够满足最高优先级的任务对资源的需求，则将ai平台的空闲资源调度给最高优先级的任务。
58.可选地，附图4示例的装置还可以包括第一资源释放模块501和第一资源调度模块503，如附图5所示本申请另一实施例提供的调度人工智能平台资源的装置，其中：
59.第一资源释放模块501，用于若ai平台的空闲资源不能满足最高优先级的任务对资源的需求，并且正在运行任务包括中等优先级和/或最低优先级的任务，则释放正在运行的中等优先级和/或最低优先级的任务所占用资源；
60.第一资源调度模块503，用于将ai平台的空闲资源和释放正在运行的中等优先级和/或最低优先级的任务所占用资源调度给最高优先级的任务。
61.可选地，附图4示例的装置还可以包括第二资源调度模块601、第二资源释放模块602和第三资源调度模块603，如附图6所示本申请另一实施例提供的调度人工智能平台资源的装置，其中：
62.第二资源调度模块601，用于当ai任务请求对应任务不包含最高优先级的任务时，若ai平台的空闲资源能够满足中等优先级和/或最低优先级的任务，则将ai平台的空闲资源调度给中等优先级和/或最低优先级的任务；
63.第二资源释放模块602，用于若ai平台的空闲资源不能满足中等优先级的任务，并且ai平台正在运行任务包括最低优先级的任务，则释放ai平台正在运行的最低优先级的任务所占用资源；
64.第三资源调度模块603，用于将ai平台的空闲资源和释放正在运行的最低优先级的任务所占用资源调度给中等优先级的任务。
65.可选地，附图3示例的装置还可以包括统计模块、暂停模块和第一任务重启模块，其中：
66.统计模块，用于统计正在运行的中等优先级的任务对ai平台的资源的占用状况；
67.暂停模块，用于若中等优先级的任务对ai平台的资源的连续非使用时间超过预设阈值，则暂停对ai平台的资源的连续非使用时间超过预设阈值的中等优先级的任务；
68.第一任务重启模块，用于若收到对暂停的中等优先级的任务的新的模型推理请求，则重启暂停的中等优先级的任务。
69.可选地，附图3示例的装置还可以包括断点保存模块701和第二任务重启模块702，如附图7所示本申请另一实施例提供的调度人工智能平台资源的装置，其中：
70.断点保存模块701，用于若正在运行的模型训练任务中断，则保存中断时断点处模型的权重信息；
71.第一任务重启模块702，用于当中断的模型训练任务重启时，根据保存的模型权重信息从断点处再次运行中断的模型训练任务。
72.从以上技术方案的描述中可知，在人工智能ai平台接收ai任务请求后，根据ai任务请求对应任务的资源属性确定ai任务请求对应任务的优先级，然后，根据ai任务请求对应任务的优先级，优先将ai平台的资源调度给任务中优先级相对较高的任务。相比于现有技术仅仅按照任务请求的先后时间顺序来调度ai平台资源而带来的种种缺陷，本申请的技术方案始终保证优先级相对较高的任务具有资源可用，是一种合理、高效的资源调度方式。
73.图8是本申请一实施例提供的设备的结构示意图。如图8所示，该实施例的设备8主要包括：处理器80、存储器81以及存储在存储器81中并可在处理器80上运行的计算机程序82，例如调度人工智能平台资源的方法的程序。处理器80执行计算机程序82时实现上述调度人工智能平台资源的方法实施例中的步骤，例如图1所示的步骤s101至s103。或者，处理器80执行计算机程序82时实现上述各装置实施例中各模块/单元的功能，例如图3所示任务请求接收模块301、优先级确定模块302和调度模块303的功能。
74.示例性地，调度人工智能平台资源的方法的计算机程序82主要包括：人工智能ai平台接收ai任务请求，其中，ai任务请求对应任务的类型包括模型训练任务、模型推理任务或交互式任务；根据ai任务请求对应任务的资源属性，确定ai任务请求对应任务的优先级；根据ai任务请求对应任务的优先级，优先将ai平台的资源调度给任务中优先级相对较高的任务。计算机程序82可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器81中，并由处理器80执行，以完成本申请。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序82在设备8中的执行过程。例如，计算机程序82可以被分割成任务请求接收模块301、优先级确定模块302和调度模块303(虚拟装置中的模块)的功能，各模块具体功能如下：任务请求接收模块301，用于人工智能ai平台接收ai任务请求，其中，ai任务请求对应任务的类型包括模型训练任务、模型推理任务或交互式任务；优先级确定模块302，用于根据ai任务请求对应任务的资源属性，确定ai任务请求对应任务的优先级；调度模块303，用于根据ai任务请求对应任务的优先级，优先将ai平台的资源调度给任务中优先级相对较高的任务。
75.设备8可包括但不仅限于处理器80、存储器81。本领域技术人员可以理解，图8仅仅是设备8的示例，并不构成对设备8的限定，可以包括比图示更多或更少的部件，或者组合某
些部件，或者不同的部件，例如计算设备还可以包括输入输出设备、网络接入设备、总线等。
76.所称处理器80可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field
‑
programmable gatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
77.存储器81可以是设备8的内部存储单元，例如设备8的硬盘或内存。存储器81也可以是设备8的外部存储设备，例如设备8上配备的插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)等。进一步地，存储器81还可以既包括设备8的内部存储单元也包括外部存储设备。存储器81用于存储计算机程序以及设备所需的其他程序和数据。存储器81还可以用于暂时地存储已经输出或者将要输出的数据。
78.所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即，将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述装置中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
79.在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
80.本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
81.在本申请所提供的实施例中，应该理解到，所揭露的装置/设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/设备实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
82.作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
83.另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单
元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
84.集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个非临时性计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，调度人工智能平台资源的方法的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤，即，人工智能ai平台接收ai任务请求，其中，ai任务请求对应任务的类型包括模型训练任务、模型推理任务或交互式任务；根据ai任务请求对应任务的资源属性，确定ai任务请求对应任务的优先级；根据ai任务请求对应任务的优先级，优先将ai平台的资源调度给任务中优先级相对较高的任务。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。非临时性计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读内存(rom，read
‑
only memory)、随机存取存储器(ram，randomaccess memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，非临时性计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，非临时性计算机可读介质不包括电载波信号和电信信号。以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。以上所述的具体实施方式，对本申请的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本申请的具体实施方式而已，并不用于限定本申请的保护范围，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。