一种任务处理方法及相关装置与流程

本申请涉及人工智能，尤其涉及一种任务处理方法及相关装置。

背景技术：

1、如今，预训练微调范式已在很多领域取得了显著的成功。但是，随着预训练模型的模型参数越来越庞大，所应用的下游任务越来越多，为每个下游任务均单独微调预训练模型的所有模型参数所需耗费的成本极高，需要很高的算力和存储资源支持。

2、基于此，适配器（adapter）应运而生，其是插入到预训练模型中的一种可学习参数量极少的瓶颈结构。针对下游任务微调预训练模型时，可以只对适配器的模型参数进行训练调整，而保持预训练模型原有的模型参数不变，并且可以达到和微调预训练模型中所有模型参数相近、甚至更优的效果。

3、当将预训练模型同时应用于多个下游任务时，相关技术中基于适配器的预训练模型微调方案的实现效果普遍不够理想，插入适配器的预训练模型在下游任务中的性能不佳。

技术实现思路

1、本申请实施例提供了一种任务处理方法及相关装置，以提高插入有适配器的预训练模型在下游任务中的性能。

2、本申请第一方面提供了一种任务处理方法，该方法包括：

3、获取待处理数据；

4、通过多任务处理模型中的预训练模型，根据待处理数据，确定目标通用特征；多任务处理模型用于基于输入的数据执行多个任务；

5、通过多任务处理模型中的适配器，根据待处理数据或者预训练模型处理待处理数据时生成的参考特征，确定多个任务各自的目标私有特征；适配器中包括共享投影结构和多个任务各自对应的知识提取结构，共享投影结构用于提取参考通用特征，知识提取结构用于基于参考通用特征提取其对应的任务的参考私有特征，任务的目标私有特征根据任务的参考私有特征确定；

6、通过多任务处理模型中的每个解码器，根据解码器对应的任务的目标私有特征以及目标通用特征，确定解码器对应的任务的处理结果；多任务处理模型中包括多个任务各自对应的解码器。

7、本申请第二方面提供了一种任务处理装置，该装置包括：

8、数据获取模块，用于获取待处理数据；

9、第一特征提取模块，用于通过多任务处理模型中的预训练模型，根据待处理数据，确定目标通用特征；多任务处理模型用于基于输入的数据执行多个任务；

10、第二特征提取模块，用于通过多任务处理模型中的适配器，根据待处理数据或者预训练模型处理待处理数据时生成的参考特征，确定多个任务各自的目标私有特征；适配器中包括共享投影结构和多个任务各自对应的知识提取结构，共享投影结构用于提取参考通用特征，知识提取结构用于基于参考通用特征提取其对应的任务的参考私有特征，任务的目标私有特征根据任务的参考私有特征确定；

11、解码模块，用于通过多任务处理模型中的每个解码器，根据解码器对应的任务的目标私有特征以及目标通用特征，确定解码器对应的任务的处理结果；多任务处理模型中包括多个任务各自对应的解码器。

12、本申请第三方面提供了一种计算机设备，所述设备包括处理器和存储器：

13、所述存储器用于存储计算机程序；

14、所述处理器用于根据所述计算机程序，执行如上述第一方面所述的任务处理方法的步骤。

15、本申请第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行上述第一方面所述的任务处理方法的步骤。

16、本申请第五方面提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述第一方面所述的任务处理方法的步骤。

17、从以上技术方案可以看出，本申请实施例具有以下优点：

18、本申请实施例提供的任务处理方法，通过用于基于输入的数据执行多个任务的多任务处理模型中的预训练模型，根据获取的待处理数据确定目标通用特征；然后通过多任务处理模型中的适配器，根据待处理数据或者预训练模型处理待处理数据时生成的参考特征，确定多个任务各自的目标私有特征，适配器中包括共享投影结构和多个任务各自对应的知识提取结构，其中，共享投影结构用于提取参考通用特征，知识提取结构用于基于参考通用特征提取其对应的任务的参考私有特征，任务的目标私有特征根据任务的参考私有特征确定；然后通过多任务处理模型中的每个解码器，根据解码器对应的任务的目标私有特征以及目标通用特征，确定解码器对应的任务的处理结果，多任务处理模型中包括多个任务各自对应的解码器。其中，适配器中的共享投影结构可以基于多个任务各自的训练样本进行训练，在训练过程中可以跨任务地进行信息交互，具备较优的参考通用特征学习能力，适配器中的知识提取结构可以在共享投影结构提取的参考通用特征的基础上，提取单个任务的参考私有特征，具备较优的参考私有特征学习能力，当将多任务处理模型（即插入有适配器的预训练模型）应用于多个任务时，基于适配器的共享投影结构和知识提取结构可以更好地学习每个任务下的特征表示，从而提高该多任务处理模型在下游任务中的性能。

技术特征：

1.一种任务处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述通过所述多任务处理模型中的适配器，根据所述待处理数据或者所述预训练模型处理所述待处理数据时生成的参考特征，确定所述多个任务各自的目标私有特征，包括：

3.根据权利要求2所述的方法，其特征在于，所述通过所述适配器中的所述共享投影结构，根据所述待处理数据或者所述参考特征，确定所述参考通用特征，包括：

4.根据权利要求2所述的方法，其特征在于，所述通过所述适配器中的每个所述知识提取结构，根据所述第二子参考通用特征，确定所述知识提取结构对应的任务的参考私有特征，包括：

5.根据权利要求1至4任一项所述的方法，其特征在于，所述预训练模型中包括多个子编码结构，所述多任务处理模型中包括所述多个子编码结构各自对应的适配器；

6.根据权利要求5所述的方法，其特征在于，所述通过所述多任务处理模型中的每个解码器，根据所述解码器对应的任务的目标私有特征以及所述目标通用特征，确定所述解码器对应的任务的处理结果，包括：

7.根据权利要求1所述的方法，其特征在于，所述多任务处理模型通过以下方式训练：

8.根据权利要求1所述的方法，其特征在于，当所述待处理数据为图像数据时，所述多任务处理模型执行的所述多个任务包括语义分割任务、实例分割任务、全景分割任务、人体分割任务、显著性检测任务中的至少两个。

9.一种任务处理装置，其特征在于，所述装置包括：

10.一种计算机设备，其特征在于，所述计算机设备包括处理器及存储器；

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行权利要求1至8中任一项所述的任务处理方法。

技术总结
本申请实施例公开了一种人工智能领域的任务处理方法及相关装置，通过多任务处理模型中的预训练模型，根据获取的待处理数据确定目标通用特征；通过多任务处理模型中的适配器，根据待处理数据或者预训练模型处理待处理数据时生成的参考特征，确定多个任务各自的目标私有特征，适配器中的共享投影结构用于提取参考通用特征，多个任务各自对应的知识提取结构用于基于参考通用特征提取其对应的任务的参考私有特征，任务的目标私有特征根据任务的参考私有特征确定；通过多任务处理模型中的每个解码器，根据解码器对应的任务的目标私有特征以及目标通用特征，确定解码器对应的任务的处理结果。如此，提高预训练模型在任务中的性能。

技术研发人员：辛毅,杜俊珑,鄢科
受保护的技术使用者：腾讯科技（深圳）有限公司
技术研发日：
技术公布日：2024/1/16