文本分析模型的训练方法、装置、设备及存储介质与流程

本申请实施例涉及人工智能，特别涉及一种文本分析模型的训练方法、装置、设备及存储介质。

背景技术：

1、目前，在对文本内容进行处理时，对于不同的需求对应不同的文本分析任务，因此在文本内容处理的方面存在对文本内容进行多维度多任务分析的需求。

2、在相关技术中，针对不同的文本分析任务各自训练一个对应的文本分析模型，在对文本内容进行处理时，针对不同的文本分析任务选择不同的文本分析模型，对上述文本内容进行处理。

3、在相关技术中，在对文本内容进行多任务分析时，需要针对不同的文本分析任务训练不同的文本分析模型，并在实际应用中需要部署多个文本分析模型，导致在文本分析模型训练过程中，存在流程繁琐、耗时长的问题。

技术实现思路

1、本申请实施例提供了一种文本分析模型的训练方法、装置、设备及存储介质。本申请实施例提供的技术方案如下：

2、根据本申请实施例的一个方面，提供了一种文本分析模型的训练方法，所述方法包括：

3、获取多个不同的文本分析任务各自的训练数据，每个所述文本分析任务的训练数据包括与所述文本分析任务有关的提示信息和标注回复结果，所述提示信息用于指示与所述文本分析任务有关的文本内容，以及针对所述文本内容执行所述文本分析任务；

4、将所述多个不同的文本分析任务各自的训练数据进行混合，得到多任务训练数据；

5、采用所述多任务训练数据对预训练的大语言模型进行调整，将调整后的大语言模型作为文本分析模型，所述文本分析模型用于执行所述多个不同的文本分析任务。

6、根据本申请实施例的一个方面，提供了一种文本分析模型的训练装置，所述装置包括：

7、数据获取模块，用于获取多个不同的文本分析任务各自的训练数据，每个所述文本分析任务的训练数据包括与所述文本分析任务有关的提示信息和标注回复结果，所述提示信息用于指示与所述文本分析任务有关的文本内容，以及针对所述文本内容执行所述文本分析任务；

8、数据混合模块，用于将所述多个不同的文本分析任务各自的训练数据进行混合，得到多任务训练数据；

9、模型调整模块，用于采用所述多任务训练数据对预训练的大语言模型进行调整，将调整后的大语言模型作为文本分析模型，所述文本分析模型用于执行所述多个不同的文本分析任务。

10、根据本申请实施例的一个方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序以实现上述的方法。

11、根据本申请实施例的一个方面，提供了一种计算机可读存储介质，所述存储介质中存储有计算机程序，所述计算机程序用于被处理器执行，以实现上述的方法。

12、根据本申请实施例的一个方面，提供了一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序由处理器加载并执行以实现上述的方法。

13、本申请实施例提供的技术方案至少包括如下有益效果：

14、通过获取多个不同的文本分析任务各自的训练数据，将上述多个不同的文本分析任务各自的训练数据进行混合，得到多任务训练数据，采用该多任务训练数据对预训练的大语言模型进行调整，将调整后的大语言模型作为文本分析模型，实现了通过使用多任务训练数据对同一个预训练的大语言模型进行训练，得到一个能执行不同文本分析任务的文本分析模型，使对文本分析模型训练的过程更佳精简，减少了模型训练消耗的时间。

技术特征：

1.一种文本分析模型的训练方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述获取多个不同的文本分析任务各自的训练数据，包括：

3.根据权利要求1所述的方法，其特征在于，所述采用所述多任务训练数据对预训练的大语言模型进行调整，将调整后的大语言模型作为文本分析模型，包括：

4.根据权利要求3所述的方法，其特征在于，所述根据所述多个不同的文本分析任务各自对应的标注回复结果和预测回复结果，对所述预训练的大语言模型进行调整，将调整后的大语言模型作为所述文本分析模型，包括：

5.根据权利要求4所述的方法，其特征在于，所述预训练的大语言模型中添加有至少一项可调参数；

6.根据权利要求1所述的方法，其特征在于，所述多个不同的文本分析任务包括以下至少两种：章节标题识别任务、旁白对白识别任务、人物角色识别分析任务、对白发言人及其情感预测任务、音效预测任务。

7.一种文本分析模型的训练装置，其特征在于，所述装置包括：

8.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序以实现如权利要求1至6任一项所述的方法。

9.一种计算机可读存储介质，其特征在于，所述存储介质中存储有计算机程序，所述计算机程序用于被处理器执行，以实现如权利要求1至6任一项所述的方法。

10.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序由处理器加载并执行以实现如权利要求1至6任一项所述的方法。

技术总结
本申请公开了一种文本分析模型的训练方法、装置、设备及存储介质，涉及人工智能技术领域。该方法包括：获取多个不同的文本分析任务各自的训练数据，将上述多个不同的文本分析任务各自的训练数据进行混合，得到多任务训练数据，采用该多任务训练数据对预训练的大语言模型进行调整，将调整后的大语言模型作为文本分析模型。该方法实现了通过使用多任务训练数据对同一个预训练的大语言模型进行训练，得到一个能执行不同文本分析任务的文本分析模型，使对文本分析模型训练的过程更佳精简，减少了模型训练消耗的时间。

技术研发人员：黄杰雄,轩晓光,陈传艺
受保护的技术使用者：广州酷狗计算机科技有限公司
技术研发日：
技术公布日：2024/3/12