一种多任务模型训练的方法、装置及电子设备与流程

本说明书涉及数据处理，尤其涉及一种多任务模型训练的方法、装置及电子设备。

背景技术：

1、随着移动互联网、数字媒体、人工智能(ai)等技术及应用的飞速发展，互联网上的信息内容急剧膨胀。然而这些信息中充斥着大量不良信息和泄露个人隐私的信息。基于人工智能的各种应用程序都可能遭受数据样本污染的攻击，从而严重影响互联网空间的内容安全。因此，目前亟需提供一种更优的多任务模型训练的方案。

技术实现思路

1、本说明书实施例提供一种多任务模型训练的方法、装置及电子设备，以提供一种更优的多任务模型训练方案。

2、第一方面，本说明书一个或多个实施例提供一种多任务模型训练的方法，包括：获取已训练的至少包括问答任务分支的多任务模型，所述多任务模型的参数包括基础参数和所述问答任务分支对应的第一分支参数，所述第一分支参数为对所述基础参数进行调整的参数；在接收到对所述问答任务分支的输出数据进行检测的指令的情况下，在所述多任务模型中增加检测任务分支，并获取训练语料集，所述训练语料集包括多个训练文本以及各个训练文本与所述指令中的检测内容的预测结果对应的标签；将所述训练文本输入所述多任务模型，在所述多任务模型中各个神经网络层生成数据并传递给下一神经网络层时，将所述问答任务分支的第一分支参数对应的数据进行掩盖，以得到所述检测任务分支输出的所述训练文本对应的预测结果；根据所述训练文本对应的标签和预测结果，对所述检测任务分支的第二分支参数进行调整，以得到训练后的多任务模型，所述第二分支参数为对所述基础参数进行调整的参数。

3、第二方面，本申请实施例提供了一种多任务模型训练的装置，包括：获取模块，用于获取已训练的至少包括问答任务分支的多任务模型，所述多任务模型的参数包括基础参数和所述问答任务分支对应的第一分支参数，所述第一分支参数为对所述基础参数进行调整的参数；分支模块，用于在接收到对所述问答任务分支的输出数据进行检测的指令的情况下，在所述多任务模型中增加检测任务分支，并获取训练语料集，所述训练语料集包括多个训练文本以及各个训练文本与所述指令中的检测内容的预测结果对应的标签；掩码模块，用于将所述训练文本输入所述多任务模型，在所述多任务模型中各个神经网络层生成数据并传递给下一神经网络层时，将所述问答任务分支的第一分支参数对应的数据进行掩盖，以得到所述检测任务分支输出的所述训练文本对应的预测结果；调整模块，用于根据所述训练文本对应的标签和预测结果，对所述检测任务分支的第二分支参数进行调整，以得到训练后的多任务模型，所述第二分支参数为对所述基础参数进行调整的参数。

4、第三方面，本申请实施例提供了一种电子设备，该电子设备包括：处理器，以及被安排成存储计算机可执行指令的存储器，在所述可执行指令被执行时，能够使得所述处理器：获取已训练的至少包括问答任务分支的多任务模型，所述多任务模型的参数包括基础参数和所述问答任务分支对应的第一分支参数，所述第一分支参数为对所述基础参数进行调整的参数；在接收到对所述问答任务分支的输出数据进行检测的指令的情况下，在所述多任务模型中增加检测任务分支，并获取训练语料集，所述训练语料集包括多个训练文本以及各个训练文本与所述指令中的检测内容的预测结果对应的标签；将所述训练文本输入所述多任务模型，在所述多任务模型中各个神经网络层生成数据并传递给下一神经网络层时，将所述问答任务分支的第一分支参数对应的数据进行掩盖，以得到所述检测任务分支输出的所述训练文本对应的预测结果；根据所述训练文本对应的标签和预测结果，对所述检测任务分支的第二分支参数进行调整，以得到训练后的多任务模型，所述第二分支参数为对所述基础参数进行调整的参数。

5、第四方面，本说明书实施例提供一种存储介质，用于存储计算机程序，所述计算机程序能够被处理器执行以实现以下流程：获取已训练的至少包括问答任务分支的多任务模型，所述多任务模型的参数包括基础参数和所述问答任务分支对应的第一分支参数，所述第一分支参数为对所述基础参数进行调整的参数；在接收到对所述问答任务分支的输出数据进行检测的指令的情况下，在所述多任务模型中增加检测任务分支，并获取训练语料集，所述训练语料集包括多个训练文本以及各个训练文本与所述指令中的检测内容的预测结果对应的标签；将所述训练文本输入所述多任务模型，在所述多任务模型中各个神经网络层生成数据并传递给下一神经网络层时，将所述问答任务分支的第一分支参数对应的数据进行掩盖，以得到所述检测任务分支输出的所述训练文本对应的预测结果；根据所述训练文本对应的标签和预测结果，对所述检测任务分支的第二分支参数进行调整，以得到训练后的多任务模型，所述第二分支参数为对所述基础参数进行调整的参数。

技术特征：

1.一种多任务模型训练的方法，包括：

2.根据权利要求1所述的方法，所述将所述训练文本输入所述多任务模型，在所述多任务模型中各个神经网络层生成数据并传递给下一神经网络层时，将所述问答任务分支的第一分支参数对应的数据进行掩盖，以得到所述检测任务分支输出的所述训练文本对应的预测结果，包括：

3.根据权利要求2所述的方法，在对所述第二分支参数进行调整前，所述方法还包括：

4.根据权利要求3所述的方法，所述使用所述第一掩码向量，对所述多任务模型中各个任务分支在各神经网络层的分支参数分别构成的参数矩阵进行第一掩码操作，以掩盖所述第二分支参数以外的分支参数构成的参数矩阵，包括：

5.根据权利要求1所述的方法，在所述指令中包含多种预测内容时，所述在所述多任务模型中增加检测任务分支，包括：

6.根据权利要求1所述的方法，在得到训练后的多任务模型后，所述方法还包括：

7.根据权利要求6所述的方法，在进行第二掩码操作并确定所述答案数据前，所述方法还包括：

8.根据权利要求6所述的方法，所述将所述问题数据输入所述多任务模型，在所述多任务模型中各个神经网络层生成数据并传递给下一神经网络层时，将所述第二分支参数对应的数据进行掩盖，以得到所述问答任务分支输出的所述问题数据对应的答案数据，包括：

9.一种多任务模型训练的装置，包括：

10.一种电子设备，包括：

技术总结
本说明书一个或多个实施例公开了一种多任务模型训练的方法、装置及电子设备。所述方法包括：获取已训练的至少包括问答任务分支的多任务模型；在接收到对问答任务分支的输出数据进行检测的指令的情况下，在多任务模型中增加检测任务分支，并获取训练语料集；将训练文本输入所述多任务模型，在所述多任务模型中各个神经网络层生成数据并传递给下一神经网络层时，将所述问答任务分支的第一分支参数对应的数据进行掩盖，以得到所述检测任务分支输出的所述训练文本对应的预测结果；根据所述训练文本对应的标签和预测结果，对所述检测任务分支的第二分支参数进行调整，以得到训练后的多任务模型，所述第二分支参数为对所述基础参数进行调整的参数。

技术研发人员：王宁涛,杨阳,傅幸,王维强
受保护的技术使用者：支付宝（杭州）信息技术有限公司
技术研发日：
技术公布日：2024/4/29