任务处理方法及计算设备与流程

本技术实施例涉及人工智能，尤其涉及一种任务处理方法及计算设备。

背景技术：

1、随着人工智能(artificial intelligence，ai)的发展，各种类型的人工智能模型如大模型井喷式涌现，相应地，基于人工智能模型进行应用搭建的需求也日益增多。

2、目前，基于人工智能模型进行应用搭建，通常是利用单一的人工智能模型，对应用中的待处理任务进行相应的模型推理或模型预测以获得任务处理结果的过程。

3、然而，利用单一的人工智能模型，很可能因模型能力有限而导致过度拟合、泛化能力不足等问题，使得任务处理的准确度较低。

技术实现思路

1、本技术实施例提供一种任务处理方法及计算设备，用于提供一种基于多个模型统一使用的任务处理方法，能够同时支持多个模型进行任务处理，能够有效提升任务处理的准确度。

2、为达到上述目的，本技术实施例采用如下技术方案：

3、一方面，提供了一种任务处理方法，该方法包括：响应于目标任务的处理请求，确定与该目标任务匹配的多个候选模型；从该多个候选模型中选取满足目标条件的目标模型，该目标模型的数量为两个或两个以上，将该目标任务分配至每个该目标模型的任务队列中，该任务队列用于存储对应模型的待处理任务；基于每个该目标模型对该目标任务进行处理，得到任务处理结果。

4、其中，目标任务的处理请求用于请求对目标任务进行处理。在接收到目标任务的处理请求之后，确定与目标任务匹配的多个候选模型，以便后续从该多个候选模型中选取满足目标条件的目标模型。在选取满足目标条件的目标模型之后，将该目标任务分配至每个目标模型的任务队列中。这样，通过为不同模型设置各自的任务队列，使得在任务分配时，通过向不同模型的任务队列分配任务的方式，来实现向不同模型分配任务的目的。如此，无需考虑各个模型的当前使用状态，能够在任意时间向模型的任务队列分配任务，实现了任务的灵活分配，相应地，也就实现了模型的灵活调度。进而，基于每个目标模型对该目标任务进行处理，以得到该目标任务的任务处理结果。

5、在上述技术方案中，提供了一种基于多个模型统一使用的任务处理方法，也即是提供了一种基于多个模型来对同一个任务进行处理的方案，增加了任务处理所采用的模型数量，进而能够有效弥补因单个模型能力有限而导致的过度拟合、泛化能力不足等问题，从而提升了任务处理的准确度。

6、在一些可能的实现方式中，响应于目标任务的处理请求，确定与该目标任务匹配的多个候选模型，包括：响应于该目标任务的处理请求，确定与该目标任务匹配的多个候选模型的标识以及该多个候选模型的任务队列的队列地址；

7、从该多个候选模型中选取满足目标条件的目标模型，该目标模型的数量为两个或两个以上，将该目标任务分配至每个目标模型的任务队列中，包括：基于该多个候选模型的标识，从该多个候选模型中选取满足该目标条件的目标模型；从该多个候选模型的任务队列的队列地址中，确定该目标模型的任务队列的队列地址；基于该目标模型的任务队列的队列地址，将该目标任务分配至每个目标模型的任务队列中。

8、其中，确定与目标任务匹配的多个候选模型的过程可以是：确定与目标任务匹配的多个候选模型的标识以及该多个候选模型的任务队列的队列地址。也就是说，在接收到目标任务的处理请求之后，确定与目标任务匹配的多个候选模型的标识以及该多个候选模型的任务队列的队列地址，以便执行后续任务分配的过程。

9、在一些可能的实现方式中，确定与目标任务匹配的多个候选模型的标识以及该多个候选模型的任务队列的队列地址的过程，可以包括下述两种可能实现方式中的任一项：

10、一种可能的实现方式，从本地缓存数据中，确定与目标任务匹配的多个候选模型的标识以及该多个候选模型的任务队列的队列地址。其中，本地缓存数据包括历史时间段内使用的多个模型的标识以及该多个模型的任务队列的队列地址。

11、也就是说，通过本地缓存数据所包括的近期内使用的多个模型的相关数据，来确定与目标任务匹配的多个候选模型的标识以及该多个候选模型的任务队列的队列地址。

12、另一种可能的实现方式，从模型路由数据中，确定与目标任务匹配的多个候选模型的标识以及该多个候选模型的任务队列的队列地址。其中，模型路由数据包括已注册的多个模型的标识以及该多个模型的任务队列的队列地址。

13、也就是说，通过模型路由数据所包括的已注册的多个模型的标识以及该多个模型的任务队列的队列地址，来确定多个候选模型的标识以及该多个候选模型的任务队列的队列地址。

14、如此，提供了两种确定候选模型的实现方式。其中，通过本地缓存数据所包括的近期内使用的多个模型的相关数据，能够快速且高效的确定出多个候选模型的标识以及该多个候选模型的任务队列的队列地址。通过模型路由数据所包括的已注册的多个模型的标识以及该多个模型的任务队列的队列地址，同样能够快速且高效的确定出多个候选模型的标识以及该多个候选模型的任务队列的队列地址。如此，在确保确定候选模型的效率的同时，还丰富了确定候选模型的方式，也就提高了确定候选模型的灵活性。

15、在一些可能的实现方式中，基于该多个候选模型的标识，从该多个候选模型中选取满足该目标条件的目标模型，包括：基于该多个候选模型的标识，从该多个候选模型中选取满足该目标条件的目标模型的过程可以包括：基于该多个候选模型的标识，确定该多个候选模型的优先级权重；从该多个候选模型中，选取该优先级权重由高至低的排序中排序靠前的目标模型。

16、其中，优先级权重表示用户对模型在历史时间段内的任务处理结果的选择频次，选择频次越高则优先级权重越大。也就是说，通过确定能够体现用户对模型在历史时间段内的任务处理结果的选择频次的优先级权重，以选取得到选择频次较高的目标模型。

17、如此，提供了一种基于用户选择来进行模型调度的方案。其中，模型的任务处理结果被用户选择的频次越高，则该模型的优先级权重越大，表示该模型将会被优先分配任务。这样，能够通过用户的自主选择来适应性调整模型的优先级权重，进而优先采用任务处理效果较好的模型，从而能够有效提升任务处理的效果。

18、本技术实施例中，通过确定该多个候选模型的任务队列的队列地址，以便后续从该多个候选模型的任务队列的队列地址中，确定该目标模型的任务队列的队列地址。进而，基于该目标模型的任务队列的队列地址，将该目标任务分配至每个目标模型的任务队列中。

19、在一些可能的实现方式中，针对任一模型，均可以在启动该模型时自动注册该模型的模型路由数据。相应过程可以是：响应于启动任一模型，创建该模型的任务队列。进而，在该模型路由数据中，新增该模型的标识以及该模型的任务队列的队列地址之间的关联关系。

20、也就是说，在启动任一模型时，自动创建该模型的任务队列，并自动注册该模型的模型路由数据。如此，能够在启动模型时自动完成模型路由数据的注册，提高了模型路由数据的注册效率。

21、针对上述模型路由数据，在一些可能的实现方式中，响应于对任一模型的第一数据更新请求，对该模型路由数据中该模型的数据进行更新。

22、其中，第一数据更新请求用于请求对该模型路由数据中该模型的数据进行更新。例如，第一数据更新请求可用于请求对该模型路由数据中该模型的数据进行新增、删除或修改等等。如此，能够支持管理人员进行人工的模型注册、模型注销或模型修改等操作，提高了人机交互的灵活性。且，针对单个模型的注册、注销或修改，只需要变更模型路由数据，而不会影响系统整体稳定性，从而提高了系统的鲁棒性。

23、针对上述优先级权重，在一些可能的实现方式中，响应于接收到任一终端设备的模型选择结果，对该模型选择结果对应模型的优先级权重进行更新。其中，模型选择结果用于指示用户所选择的模型以及对应模型的选择频次。

24、如此，提供了一种面向用户的动态权重更新功能，能够根据终端设备上报的模型选择结果，基于用户选择来动态调整模型的权重优先级，例如动态的提高被高频选择模型的权重优先级。

25、针对上述优先级权重，在一些可能的实现方式中，响应于对任一模型的第二数据更新请求，对该模型的优先级权重进行更新。其中，第二数据更新请求用于请求对该模型的优先级权重进行更新。

26、如此，提供了一种基于人工设置来调整模型的权重优先级的方案，支持管理人员自定义模型的权重优先级，提高了人机交互的灵活性。

27、在一些可能的实现方式中，在将该目标任务分配至每个目标模型的任务队列中之后，该方法还包括下述两种可能实现方式中的至少一项：

28、一种可能的实现方式，响应于第一目标模型的优先级权重低于第二目标模型的优先级权重且差距达到预设差距阈值，停止采用该第一目标模型对该目标任务进行处理。

29、其中，第一目标模型为两个或两个以上目标模型中的任一目标模型。第二目标模型为两个或两个以上目标模型中除该第一目标模型以外的其他目标模型。也就是说，在两个或两个以上目标模型中的任一目标模型的优先级权重低于其他目标模型的优先级权重且差距达到预设差距阈值的情况下，停止采用这一目标模型对该目标任务进行处理。

30、在一些可能的实现方式中，该目标条件还用于指示目标模型的数量，该数量为大于或等于二的整数。例如，在停止采用该第一目标模型对该目标任务进行处理之前，还将该目标模型的数量减一。如此，能够及时根据优先级权重的动态更新，来自适应调整目标模型的数量。

31、在上述实现方式中，不仅能够同时支持多个模型进行任务处理，还能够在任务处理的过程中根据用户的模型选择结果动态的挑选出任务处理效果更好的模型，避免系统算力浪费在效果较差的模型上。

32、又一种可能的实现方式，响应于新上线第三目标模型且该第三目标模型的优先级权重最大，新增该第三目标模型对该目标任务进行处理。

33、例如，在新增该第三目标模型对该目标任务进行处理之前，还将该目标模型的数量加一。如此，能够及时根据新上线模型的优先级权重，来自适应调整目标模型的数量。

34、在上述实现方式中，不仅能够同时支持多个模型进行任务处理，还能够在不停止任务处理服务的前提下，进行新模型的上线并设置新模型的权重优先级，形成了更加灵活的新模型集成能力与模型更新能力。

35、另一方面，提供了一种任务处理装置，该装置包括：

36、确定模块，用于响应于目标任务的处理请求，确定与目标任务匹配的多个候选模型；

37、分配模块，用于从该多个候选模型中选取满足目标条件的目标模型，该目标模型的数量为两个或两个以上，将该目标任务分配至每个目标模型的任务队列中，该任务队列用于存储对应模型的待处理任务；

38、处理模块，用于基于每个目标模型对该目标任务进行处理，得到任务处理结果。

39、另一方面，提供了一种计算设备，该计算设备包括处理器和存储器。其中，该存储器用于存储计算机程序指令，该处理器用于调用该存储器中的计算机程序指令执行上述实施例所示的任务处理方法。

40、另一方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序指令，该计算机程序指令用于使计算设备执行如上述实施例所示的任务处理方法。

41、另一方面，提供了一种计算机程序产品，包括计算机程序指令，当该计算机程序指令在计算设备上运行时，使得计算设备执行如上述实施例所示的任务处理方法。