一种任务处理系统、任务处理的方法及装置与流程

本技术涉及计算机，具体涉及一种任务处理系统、任务处理的方法及装置。

背景技术：

1、随着互联网的发展，人工智能(artificial intelligence,ai)技术也得到了快速发展。ai技术可以应用在很多的业务场景中，如：图像识别、文本识别、语音识别等。

2、ai技术是采用训练样本预先对ai业务模型(机器学习模型或深度学习模型等)进行训练，训练好的ai业务模型就可以应用在实际业务场景中。在业务场景中，ai业务模型可以对输入数据进行推理，输出推理结果，这样，计算机就可以根据推理结果进行后续决策。

3、目前的ai业务模型只能对与训练样本的类似的输入数据输出正确的推理结果，针对与训练样本差异较大的输入数据无法快速给出正确的推理结果，缺乏针对这种情况的应对方案。

技术实现思路

1、本技术提供一种任务处理系统，用于对ai业务模型无法处理的数据也可以做出合适的推理。本技术还提供了相应的任务处理的方法、装置、计算机可读存储介质，以及计算机程序产品等。

2、本技术第一方面提供一种任务处理系统，包括：业务节点用于：获取输入数据和第一任务组，第一任务组为非人工智能ai业务的任务组，第一任务组用于处理ai业务模型无法处理的数据；从输入数据中筛选出未知数据，未知数据为输入数据中ai业务模型无法处理的数据；根据第一任务组处理中的非ai业务模型未知数据得到未知数据的推理结果。

3、本技术中，业务节点可以是物理机，也可以是虚拟机或容器等计算实例。在边云协同的分布式系统中，业务节点可以是边侧设备(也可以称为边缘设备)，如：在不同业务场景中的终端设备。非ai业务模型指的是除ai业务模型之外的模型、指令或表达式等。

4、本技术中，ai业务指的是通过ai业务模型推理的业务，非ai业务指的是通过ai业务模型无法推理的业务，ai业务模型指的是通过机器学习或深度学习等训练出来的用于推理业务的神经网络模型。

5、本技术中，任务组是多个任务的集合，每个任务可以包括不同的模型，从而可以使得业务节点基于任务组完成对数据的推理。

6、本技术中，“未知数据”与“已知数据”是相对的，已知数据指的是ai业务模型可以处理的数据，例如：ai业务模型是采用各种猫的图片进行训练的，那么输入数据中的猫的图像就是ai业务模型可以处理的数据，属于已知数据，而输入数据中的狗或者其他动物的图像就属于ai业务模型无法正确处理的数据，属于未知数据。

7、本技术中，业务节点可以通过非ai业务的任务组对输入数据中的未知数据进行推理，得到该未知数据的推理结果，不需要上报到云端执行对未知数据的推理，提高了未知数据的推理效率。

8、一种可能的实现方式中，第一任务组包括多个第一任务，第一任务为非ai业务的任务；每个第一任务包括非ai业务模型和第一属性，不同第一任务中的非ai业务模型和第一属性不相同；一个第一任务中的第一属性是从一个第一任务的多个训练样本中提取出来的，一个第一任务中的第一属性用于指示一个第一任务中的非ai业务模型所适用的数据的特征。

9、本技术中，非ai业务模型指的是除上述机器学习模型、深度学习模型等ai业务模型之外的模型、指令或表达式。非ai业务模型可以包括机理模型、数学模型、物理模型或仿真模型等，通常为通过多年领域经验或专家经验的到的判定规则，也可以理解为是在ai技术兴起之前所使用的传统模型。

10、该种可能的实现方式中，通过多个第一任务中的不同第一属性和模型推理未知数据可以提高未知数据推理的准确度。

11、一种可能的实现方式中，业务节点具体用于：根据多个第一任务中的第一属性，为未知数据确定目标非ai业务模型，目标非ai业务模型为与未知数据最匹配的第一属性所在第一任务中的非ai业务模型；根据目标非ai业务模型处理未知数据得到未知数据的推理结果。

12、本技术中，第一属性是从多个训练样本中提取出来的有共性的特征，如：温度、季节等，通常一个第一任务中有一个非ai业务模型和一个第一属性，同一个第一任务中的非ai业务模型和第一属性是对应的，例如：如果一个第一任务中的第一属性是季节，那么该第一任务中的非ai业务模型就是用于推理与季节相关的数据的。将未知数据与多个任务中的第一属性匹配，匹配到未知数据与哪个第一属性最进阶，则可以通过该第一属性对应的非ai业务模型推理该未知数据。将未知数据与第一属性进行匹配的方法可以有多种，如：采用一些已有的数学算法计算未知数据与第一属性的相似度。

13、该种可能的实现方式中，根据第一属性与未知数据的匹配程度为未知数据分配合适的非ai业务模型，可以提高未知数据推理的准确度。

14、一种可能的实现方式中，业务节点还用于：获取第二任务组，第二任务组为ai业务的任务组；根据第二任务组中的ai业务模型，处理输入数据中的已知数据得到已知数据的推理结果，已知数据为ai业务模型能够处理的数据。

15、该种可能的实现方式中，也可以通过ai业务的任务组的方式推理已知数据，因为ai业务的任务组中会包括多个ai业务模型，这样可以为已知数据选择合适的ai业务模型进行推理，可以提高已知数据推理的准确度。

16、一种可能的实现方式中，第二任务组包括多个第二任务，第二任务为ai业务的任务；每个第二任务包括ai业务模型和第二属性，不同第二任务中的ai业务模型和第二属性不相同；一个第二任务中的第二属性是从一个第二任务的多个训练样本中提取出来的，一个第二任务中的第二属性用于指示一个第二任务中的ai业务模型所适用的数据的特征。

17、该种可能的实现方式中，通过多个第二任务中的不同第二属性和模型推理已知数据可以提高已知数据推理的准确度。

18、一种可能的实现方式中，业务节点具体用于：根据多个第二任务中的第二属性，为已知数据确定目标ai业务模型，目标ai业务模型为与已知数据最匹配的第二属性所在第二任务中的非ai业务模型；根据目标ai业务模型处理已知数据得到已知数据的推理结果。

19、该种可能的实现方式中，根据第二属性与已知数据的匹配程度为已知数据分配合适的ai业务模型，可以提高已知数据推理的准确度。

20、一种可能的实现方式中，业务节点还用于向训练节点发送未知数据，未知数据包括多条数据；训练节点用于：从多条数据中识别出已知样本的至少一条数据，以及未知样本的至少一条数据。

21、该种可能的实现方式中，训练节点可以对业务节点无法识别的未知数据进行重识别，将未知数据中的部分未知数据修正为已知样本的数据，从而减少需要训练的未知样本的数量，降低计算负载。

22、一种可能的实现方式中，训练节点还用于：将已知样本的至少一条数据添加到相匹配的样本所在的任务中，以更新ai业务的任务组。

23、该种可能的实现方式中，已知样本可以通过扩充任务中样本的方式进行任务更新，无需对已知样本再进行训练才能匹配上对应的模型，这样可以减少训练样本的计算负载，对已有的任务进行快速更新。

24、一种可能的实现方式中，训练节点还用于：为未知样本的至少一条数据生成至少一个非ai业务的任务，以更新非ai业务的任务组。

25、该种可能的实现方式中，针对未知样本的至少一条数据可以通过与其他未知样本一起训练，为这些未知样本确定合适的非ai业务模型，进而生成至少一条非ai业务的任务，更新非ai业务的任务组。

26、一种可能的实现方式中，训练节点还用于：向业务节点或评估节点发送更新后的ai业务的任务组和更新后的非ai业务的任务组，评估节点用于评估更新后的ai业务的任务组和更新后的非ai业务的任务组。

27、该种可能的实现方式中，训练节点还可以定期将更新后的ai业务的任务组和更新后的非ai业务的任务组发送给业务节点，这样可以提高业务节点所使用的第一任务组和第二任务组中的任务数量，提高后续对输入数据推理的准确度。

28、一种可能的实现方式中，训练节点具体用于：根据多条数据中每条数据的标签和训练节点中训练样本的标签的接近程度，从多条数据中识别出已知样本的至少一条数据，以及未知样本的至少一条数据。

29、该种可能的实现方式中，训练节点对未知数据重识别的过程可以是通过标签确定已知样本的至少一条数据和未知样本的至少一条数据。训练节点中的已知样本具有标签，标签通常为一个数值，未知数据中的每条数据可以在云端打标签，这样，训练节点就可以判断未知数据中的每条数据的标签与已知样本中的哪个标签接近，如：标签的差值在一定阈值范围内，判断该条数据为已知样本，若在该阈值之外，则判断该条数据为未知样本。

30、一种可能的实现方式中，训练节点具体用于：根据多条数据中每条数据的模型相似度和任务属性相似度，从多条数据中识别出已知样本的至少一条数据，以及未知样本的至少一条数据，已知样本的至少一条数据通过样本评估模型评估后的模型相似度大于第一阈值，且通过决策模型推理后的任务属性相似度小于第二阈值的数据。

31、该种可能的实现方式中，提供了另一种对未知数据进行重识别的方式，增加了重识别的多样性。需要说明的是，还可以通过其他方式实现对未知数据的重识别，未申请对此不做限定。

32、本技术第二方面提供一种任务处理的方法，包括：业务节点获取输入数据和第一任务组，第一任务组为非人工智能ai业务的任务组，第一任务组用于处理ai业务模型无法处理的数据；业务节点从输入数据中筛选出未知数据，未知数据为输入数据中ai业务模型无法处理的数据；业务节点根据第一任务组中的非ai业务模型处理未知数据得到未知数据的推理结果。

33、一种可能的实现方式中，第一任务组包括多个第一任务，第一任务为非ai业务的任务；每个第一任务包括非ai业务模型和第一属性，不同第一任务中的非ai业务模型和第一属性不相同；一个第一任务中的第一属性是从一个第一任务的多个训练样本中提取出来的，一个第一任务中的第一属性用于指示一个第一任务中的非ai业务模型所适用的数据的特征。

34、一种可能的实现方式中，上述步骤：业务节点根据第一任务组处理中的非ai业务模型未知数据得到未知数据的推理结果，包括：业务节点根据多个第一任务中的第一属性，为未知数据确定目标非ai业务模型，目标非ai业务模型为与未知数据最匹配的第一属性所在第一任务中的非ai业务模型；业务节点根据目标非ai业务模型处理未知数据得到未知数据的推理结果。

35、一种可能的实现方式中，该方法还包括：业务节点获取第二任务组，第二任务组为ai业务的任务组；业务节点根据第二任务组中的ai业务模型，处理输入数据中的已知数据得到已知数据的推理结果，已知数据为ai业务模型能够处理的数据。

36、一种可能的实现方式中，第二任务组包括多个第二任务，第二任务为ai业务的任务；每个第二任务包括ai业务模型和第二属性，不同第二任务中的ai业务模型和第二属性不相同；一个第二任务中的第二属性是从一个第二任务的多个训练样本中提取出来的，一个第二任务中的第二属性用于指示一个第二任务中的ai业务模型所适用的数据的特征。

37、一种可能的实现方式中，上述步骤：业务节点根据第二任务组中的ai业务模型，处理输入数据中的已知数据得到已知数据的推理结果，包括：业务节点根据多个第二任务中的第二属性，为已知数据确定目标ai业务模型，目标ai业务模型为与已知数据最匹配的第二属性所在第二任务中的非ai业务模型；业务节点根据目标ai业务模型处理已知数据得到已知数据的推理结果。

38、一种可能的实现方式中，该方法还包括：业务节点向训练节点发送未知数据。

39、本技术第二方面或第二方面的任一可能的实现方式中的特征和效果可以参阅前面第一方面或第一方面的任一可能的实现方式所介绍的相应内容进行理解，本次不再重复赘述。

40、本技术第三方面提供一种任务处理的方法，包括：训练节点接收业务节点发送的未知数据，未知数据为业务节点接收的输入数据中ai业务模型无法处理的数据，未知数据包括多条数据；训练节点从多条数据中识别出已知样本的至少一条数据，以及未知样本的至少一条数据。

41、一种可能的实现方式中，该方法还包括：训练节点将已知样本的至少一条数据添加到相匹配的样本所在的任务中，以更新ai业务的任务组。

42、一种可能的实现方式中，该方法还包括：训练节点为未知样本的至少一条数据生成至少一个非ai业务的任务，以更新非ai业务的任务组。

43、一种可能的实现方式中，该方法还包括：训练节点向业务节点或评估节点发送更新后的ai业务的任务组和更新后的非ai业务的任务组，评估节点用于评估更新后的ai业务的任务组和更新后的非ai业务的任务组。

44、一种可能的实现方式中，上述步骤：训练节点从多条数据中识别出已知样本的至少一条数据，以及未知样本的至少一条数据，包括：训练节点根据多条数据中每条数据的标签和训练节点中训练样本的标签的接近程度，从多条数据中识别出已知样本的至少一条数据，以及未知样本的至少一条数据。

45、一种可能的实现方式中，上述步骤：训练节点从多条数据中识别出已知样本的至少一条数据，以及未知样本的至少一条数据，包括：训练节点根据多条数据中每条数据的模型相似度和任务属性相似度，从多条数据中识别出已知样本的至少一条数据，以及未知样本的至少一条数据，已知样本的至少一条数据通过样本评估模型评估后的模型相似度大于第一阈值，且通过决策模型推理后的任务属性相似度小于第二阈值的数据。

46、本技术第三方面或第三方面的任一可能的实现方式中的特征和效果可以参阅前面第一方面或第一方面的任一可能的实现方式所介绍的相应内容进行理解，本次不再重复赘述。

47、本技术第四方面，提供了一种业务节点，用于执行上述第二方面或第二方面的任意可能的实现方式中的方法。具体地，该业务节点包括用于执行上述第一方面或第一方面的任意可能的实现方式中的方法的模块或单元，如：处理单元、发送单元和接收单元。

48、本技术第五方面，提供了一种训练节点，用于执行上述第三方面或第三方面的任意可能的实现方式中的方法。具体地，该训练节点包括用于执行上述第三方面或第三方面的任意可能的实现方式中的方法的模块或单元，如：处理单元、发送单元和接收单元。

49、本技术第六方面，提供了一种业务节点，包括：通信接口、处理器和存储器，处理器与存储器和通信接口耦合。存储器用于存储指令，处理器用于执行该指令，通信接口用于在处理器的控制下与其他网元进行通信。该指令在被处理器执行时，使处理器执行第二方面或第二方面的任意可能的实现方式中的方法。

50、本技术第七方面，提供了一种训练节点，包括：通信接口、处理器和存储器，处理器与存储器和通信接口耦合。存储器用于存储指令，处理器用于执行该指令，通信接口用于在处理器的控制下与其他网元进行通信。该指令在被处理器执行时，使处理器执行第三方面或第三方面的任意可能的实现方式中的方法。

51、本技术第八方面提供了一种芯片系统，该芯片系统包括一个或多个接口电路和一个或多个处理器；接口电路和处理器通过线路互联；接口电路用于从业务节点的存储器接收信号，并向处理器发送信号，信号包括存储器中存储的计算机指令；当处理器执行计算机指令时，业务节点执行前述第二方面或第二方面的任意可能的实现方式中的方法。

52、本技术第九方面提供了一种芯片系统，该芯片系统包括一个或多个接口电路和一个或多个处理器；接口电路和处理器通过线路互联；接口电路用于从训练节点的存储器接收信号，并向处理器发送信号，信号包括存储器中存储的计算机指令；当处理器执行计算机指令时，训练节点执行前述第三方面或第三方面的任意可能的实现方式中的方法。

53、本技术第十方面提供了一种计算机可读存储介质，其上存储有计算机程序或指令，当计算机程序或指令在计算机设备上运行时，使得计算机设备执行前述第二方面或第二方面的任意可能的实现方式中的方法。

54、本技术第十一方面提供了一种计算机可读存储介质，其上存储有计算机程序或指令，当计算机程序或指令在计算机设备上运行时，使得计算机设备执行前述第三方面或第三方面的任意可能的实现方式中的方法。

55、本技术第十二方面提供了一种计算机程序产品，该计算机程序产品包括计算机程序代码，当计算机程序代码在计算机设备上执行时，使得计算机设备执行前述第二方面或第二方面的任意可能的实现方式中的方法。

56、本技术第十三方面提供了一种计算机程序产品，该计算机程序产品包括计算机程序代码，当计算机程序代码在计算机设备上执行时，使得计算机设备执行前述第三方面或第三方面的任意可能的实现方式中的方法。

57、其中，第二方面至第十三方面或者其中任一种可能实现方式所带来的技术效果可参见第一方面或第一方面不同可能实现方式所带来的技术效果，此处不再赘述。