任务处理方法、装置、电子设备及存储介质与流程

本技术涉及人工智能，特别是涉及一种任务处理方法、装置、电子设备及存储介质。

背景技术：

1、目前，任务处理模型被广泛应用于各种场景中。相关技术中，技术人员可以根据实际需求，训练用于在指定场景下完成特定类型任务的任务处理模型。例如，针对语音识别的场景，可以预先训练用于将用户输入的语音数据转换为文本数据的任务处理模型。或者，针对图像处理的场景，可以预先训练用于在图像中检测目标对象的任务处理模型。

2、然而，基于上述方式得到的任务处理模型只能应用于单一场景下对特定类型的任务进行处理。

技术实现思路

1、本技术实施例的目的在于提供一种任务处理方法、装置、电子设备及存储介质，提高任务处理的泛化性。具体技术方案如下：

2、本技术实施例的第一方面，首先提供了一种任务处理方法，所述方法包括：

3、获取待处理任务；其中，所述待处理任务包含：待处理任务指令以及至少一个模态的待处理数据；

4、对所述待处理数据进行特征提取，得到待处理初始特征；

5、基于预先训练好的类语言对齐模型对所述待处理初始特征进行处理，得到大语言模型所支持的特征，作为待处理类语言特征；其中，在基于初始结构的类语言对齐模型和所述大语言模型对第一样本任务进行处理时，所述大语言模型的损失值用于对初始结构的类语言对齐模型的模型参数进行调整；

6、将所述待处理任务指令和所述待处理类语言特征输入至所述大语言模型，得到所述待处理任务的处理结果。

7、在一些实施例中，所述基于预先训练好的类语言对齐模型对所述待处理初始特征进行处理，得到大语言模型所支持的特征，作为待处理类语言特征，包括：

8、基于预先训练好的自对齐模型，将所述待处理初始特征对齐至预设统一特征空间，得到所述待处理数据的自对齐特征，作为待处理自对齐特征；其中，所述自对齐模型为：基于多个模态，且语义一致的数据进行训练得到的；

9、基于预先训练好的类语言对齐模型对所述待处理自对齐特征进行处理，得到大语言模型所支持的特征，作为待处理类语言特征。

10、在一些实施例中，所述待处理任务包含多个模态的待处理数据；

11、所述基于预先训练好的类语言对齐模型对所述待处理自对齐特征进行处理，得到大语言模型所支持的特征，作为待处理类语言特征，包括：

12、基于预先训练好的融合模型，对各模态的待处理数据的待处理自对齐特征进行特征融合，得到待处理融合特征；其中，在基于初始结构的融合模型、所述类语言对齐模型和所述大语言模型对第二样本任务进行处理时，所述大语言模型的损失值用于对初始结构的融合模型的模型参数进行调整；

13、将所述待处理融合特征输入至预先训练好的类语言对齐模型，得到大语言模型所支持的特征，作为待处理类语言特征。

14、在一些实施例中，所述类语言对齐模型的训练步骤包含：

15、获取第一样本任务和第一样本结果；其中，所述第一样本任务包含：第一样本任务指令以及至少一个模态的第一样本数据；所述第一样本结果表示：按照所述第一样本任务指令对所述第一样本数据进行处理得到的预期结果；

16、对所述第一样本数据进行特征提取，得到第一样本初始特征；

17、将所述第一样本初始特征输入至初始结构的类语言对齐模型，得到预测类语言特征；

18、将所述第一样本任务指令和所述预测类语言特征输入至所述大语言模型，得到所述第一样本任务的第一预测结果；

19、基于所述第一预测结果和所述第一样本结果，计算损失值；

20、基于计算出的损失值调整初始结构的类语言对齐模型的模型参数，直至达到收敛，得到训练好的类语言对齐模型。

21、在一些实施例中，所述自对齐模型的训练步骤包含：

22、获取第二样本数据；其中，所述第二样本数据包含多个不同模态，且语义一致的数据；

23、对每一所述第二样本数据进行特征提取，得到各自的第二样本初始特征；

24、针对任意两个第二样本初始特征，将该两个第二样本初始特征输入至初始结构的自对齐模型，得到该两个第二样本初始特征各自的自对齐特征；

25、基于该两个第二样本初始特征各自的自对齐特征之间特征距离，计算损失值；

26、基于计算出的损失值调整初始结构的自对齐模型的模型参数，直至达到收敛，得到训练好的自对齐模型。

27、在一些实施例中，所述融合模型的训练步骤包含：

28、获取第二样本任务和第二样本结果；其中，所述第二样本任务包含：第二样本任务指令，以及多个不同模态的第三样本数据；所述第二样本结果表示：按照所述第二样本任务指令对所述第三样本数据进行处理得到的预期结果；

29、对每一所述第三样本数据进行特征提取，得到各自的第三样本初始特征；

30、基于各第三样本初始特征，得到多个特征组合；其中，任意一个特征组合包含至少两个第三样本初始特征；

31、针对每一特征组合，将该特征组合中的第三样本初始特征输入至初始结构的融合模型，得到该特征组合对应的样本融合特征；

32、将该特征组合对应的样本融合特征输入至所述类语言对齐模型，得到所述大语言模型所支持的特征，得到该特征组合对应的样本类语言特征；

33、将所述第二样本任务指令和该特征组合对应的样本类语言特征输入至所述大语言模型，得到该特征组合对应的第二预测结果；

34、基于该特征组合对应的第二预测结果和所述第二样本结果，计算损失值；

35、基于计算出的损失值调整初始结构的融合模型的模型参数，直至达到收敛，得到训练好的融合模型。

36、本技术实施例的第二方面，提供了一种任务处理装置，所述装置包括：

37、任务获取模块，用于获取待处理任务；其中，所述待处理任务包含：待处理任务指令以及至少一个模态的待处理数据；

38、特征提取模块，用于对所述待处理数据进行特征提取，得到待处理初始特征；

39、特征处理模块，用于基于预先训练好的类语言对齐模型对所述待处理初始特征进行处理，得到大语言模型所支持的特征，作为待处理类语言特征；其中，在基于初始结构的类语言对齐模型和所述大语言模型对第一样本任务进行处理时，所述大语言模型的损失值用于对初始结构的类语言对齐模型的模型参数进行调整；

40、结果获取模块，用于将所述待处理任务指令和所述待处理类语言特征输入至所述大语言模型，得到所述待处理任务的处理结果。

41、在一些实施例中，所述特征处理模块，包括：

42、自对齐子模块，用于基于预先训练好的自对齐模型，将所述待处理初始特征对齐至预设统一特征空间，得到所述待处理数据的自对齐特征，作为待处理自对齐特征；其中，所述自对齐模型为：基于多个模态，且语义一致的数据进行训练得到的；

43、特征处理子模块，用于基于预先训练好的类语言对齐模型对所述待处理自对齐特征进行处理，得到大语言模型所支持的特征，作为待处理类语言特征。

44、在一些实施例中，所述待处理任务包含多个模态的待处理数据；

45、所述特征处理子模块，包括：

46、融合单元，用于基于预先训练好的融合模型，对各模态的待处理数据的待处理自对齐特征进行特征融合，得到待处理融合特征；其中，在基于初始结构的融合模型、所述类语言对齐模型和所述大语言模型对第二样本任务进行处理时，所述大语言模型的损失值用于对初始结构的融合模型的模型参数进行调整；

47、类语言对齐单元，用于将所述待处理融合特征输入至预先训练好的类语言对齐模型，得到大语言模型所支持的特征，作为待处理类语言特征。

48、在一些实施例中，所述类语言对齐模型的训练步骤包含：

49、获取第一样本任务和第一样本结果；其中，所述第一样本任务包含：第一样本任务指令以及至少一个模态的第一样本数据；所述第一样本结果表示：按照所述第一样本任务指令对所述第一样本数据进行处理得到的预期结果；

50、对所述第一样本数据进行特征提取，得到第一样本初始特征；

51、将所述第一样本初始特征输入至初始结构的类语言对齐模型，得到预测类语言特征；

52、将所述第一样本任务指令和所述预测类语言特征输入至所述大语言模型，得到所述第一样本任务的第一预测结果；

53、基于所述第一预测结果和所述第一样本结果，计算损失值；

54、基于计算出的损失值调整初始结构的类语言对齐模型的模型参数，直至达到收敛，得到训练好的类语言对齐模型。

55、在一些实施例中，所述自对齐模型的训练步骤包含：

56、获取第二样本数据；其中，所述第二样本数据包含多个不同模态，且语义一致的数据；

57、对每一所述第二样本数据进行特征提取，得到各自的第二样本初始特征；

58、针对任意两个第二样本初始特征，将该两个第二样本初始特征输入至初始结构的自对齐模型，得到该两个第二样本初始特征各自的自对齐特征；

59、基于该两个第二样本初始特征各自的自对齐特征之间特征距离，计算损失值；

60、基于计算出的损失值调整初始结构的自对齐模型的模型参数，直至达到收敛，得到训练好的自对齐模型。

61、在一些实施例中，所述融合模型的训练步骤包含：

62、获取第二样本任务和第二样本结果；其中，所述第二样本任务包含：第二样本任务指令，以及多个不同模态的第三样本数据；所述第二样本结果表示：按照所述第二样本任务指令对所述第三样本数据进行处理得到的预期结果；

63、对每一所述第三样本数据进行特征提取，得到各自的第三样本初始特征；

64、基于各第三样本初始特征，得到多个特征组合；其中，任意一个特征组合包含至少两个第三样本初始特征；

65、针对每一特征组合，将该特征组合中的第三样本初始特征输入至初始结构的融合模型，得到该特征组合对应的样本融合特征；

66、将该特征组合对应的样本融合特征输入至所述类语言对齐模型，得到所述大语言模型所支持的特征，得到该特征组合对应的样本类语言特征；

67、将所述第二样本任务指令和该特征组合对应的样本类语言特征输入至所述大语言模型，得到该特征组合对应的第二预测结果；

68、基于该特征组合对应的第二预测结果和所述第二样本结果，计算损失值；

69、基于计算出的损失值调整初始结构的融合模型的模型参数，直至达到收敛，得到训练好的融合模型。

70、本技术实施例的第三方面，提供了一种电子设备，包括：

71、存储器，用于存放计算机程序；

72、处理器，用于执行存储器上所存放的程序时，实现上述任一所述的任务处理方法。

73、本技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述的任务处理方法。

74、本技术实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的任务处理方法。

75、本技术实施例有益效果：

76、本技术实施例提供了一种任务处理方法，方法包括：获取待处理任务；其中，待处理任务包含：待处理任务指令以及至少一个模态的待处理数据；对待处理数据进行特征提取，得到待处理初始特征；基于预先训练好的类语言对齐模型对待处理初始特征进行处理，得到大语言模型所支持的特征，作为待处理类语言特征；其中，在基于初始结构的类语言对齐模型和大语言模型对第一样本任务进行处理时，大语言模型的损失值用于对初始结构的类语言对齐模型的模型参数进行调整；将待处理任务指令和待处理类语言特征输入至大语言模型，得到待处理任务的处理结果。

77、基于上述处理，针对任一场景下的待处理任务，可以获取到该待处理任务包含的待处理任务指令和至少一个模态的待处理数据，并对待处理数据进行特征提取得到待处理初始特征，进而，能够基于预先训练好的类语言对齐模型对待处理初始特征进行处理，得到待处理类语言特征。由于在类语言对齐模型的训练过程中，用于对初始结构的类语言对齐模型的模型参数进行调整的损失值为根据大语言模型输出的第一样本任务的处理结果确定的，因此，基于类语言对齐模型得到的待处理类语言特征有效地被大语言模型认知。相应的，将待处理任务指令和待处理类语言特征输入至大语言模型，也就能够通过大语言模型得到按照待处理任务指令对待处理数据进行处理的结果，即，得到该场景下该待处理任务的处理结果。由于大语言模型具备逻辑推理能力和常识判断能力，因此，基于本技术提供的任务处理方法能够增强任务感知的能力，也就能够对需要逻辑推理和常识判断的任务进行处理，如此，针对不同场景下的不同任务，均能够按照本技术提供的任务处理方法得到任务的处理结果，也就能够提高任务处理的泛化性。

78、当然，实施本技术的任一产品或方法并不一定需要同时达到以上所述的所有优点。