模型训练方法、文本分类方法、系统、设备及存储介质与流程

本技术涉及文本处理，尤其涉及一种模型训练方法、文本分类方法、系统、设备及存储介质。

背景技术：

1、随着人工智能技术的发展，机器学习尤其是深度学习已在自然语言等领域广泛应用，针对自然语言处理领域中的不同文本分类任务通常使用语言模型来实现。对于bert等预训练语言模型，在各种文本分类任务实现了效果增益，但是网络模型越深，非线性程度也就越大，但对应地会出现训练成本和模型大小的增加。同时在部署时，大模型推理速度较低且需要更好的硬件支持。随着产业应用和部署环境及硬件限制，存在对预训练模型降低尺寸和计算开销的需求。针对这类需求，采用知识蒸馏(kd)技术能够将知识从大型教师模型传播到小型学生模型，在可接受的效果损失的前提下进行预训练模型的压缩，采用小规模的文本分类模型能够提高分类速度，但是在小规模文本分类模型的知识迁移过程中，由于目标域训练样本数量少，导致迁移得到的文本分类模型的泛化性差，影响小规模文本分类模型下在不同文本分类任务下的分类效果，部分文本分类任务的分类结果准确性差。

技术实现思路

1、本技术实施例的主要目的在于提出一种模型训练方法、文本分类方法、系统、设备及存储介质，旨在提高各文本分类任务下的文本分类准确性。

2、为实现上述目的，本技术实施例的一方面提出了一种文本分类模型训练方法，包括以下步骤：

3、获取多领域任务文本数据样本和目标领域文本数据样本；

4、基于所述多领域任务文本数据样本对教师模型进行训练，得到基础文本分类模型；

5、基于所述目标领域文本数据样本，利用所述基础文本分类模型对学生模型进行知识蒸馏，得到初始文本分类模型；

6、根据初始文本分类模型对于各个文本分类任务的任务损失修正所述初始文本分类模型，得到目标文本分类模型。

7、在一些实施例中，所述基于所述多领域任务文本数据样本对教师模型进行训练，得到基础文本分类模型包括以下步骤：

8、根据任务类别将所述多领域任务文本数据样本划分为多个类别样本；

9、将每一个类别样本中的一部分数据划分到支持集，将每一个类别样本中的另一部分数据划分到查询集，其中，所述支持集和所述查询集均包括多领域文本数据；

10、根据所述支持集和所述查询集训练和优化所述教师模型，得到基础文本分类模型。

11、在一些实施例中，所述根据所述支持集和所述查询集训练和优化所述教师模型，得到基础文本分类模型包括以下步骤：

12、将查询集中的同一领域文本数据输入预训练的教师模型进行嵌入表示，得到第一特征向量；

13、根据支持集中的同一领域文本数据通过所述教师模型进行对于目标类别的原型表示，得到第二特征向量；

14、根据所述第一特征向量和所述第二特征向量确定查询集的文本数据对于目标类别的原型得分；

15、根据所述原型得分确定教师模型的第一交叉熵损失，并根据所述第一交叉熵损失更新教师模型的参数。

16、在一些实施例中，所述基于所述目标领域文本数据样本，利用所述基础文本分类模型对学生模型进行知识蒸馏，得到初始文本分类模型包括以下步骤：

17、将所述目标领域文本数据样本输入至所述基础文本分类模型，得到所述基础文本分类模型的各个网络层的第一输出结果；

18、将所述目标领域文本数据样本输入至学生模型，得到所述学生模型的各网络层的第二输出结果；

19、根据每个网络层的第一输出结果和第二输出结果，确定每个网络层的蒸馏损失；

20、根据多个网络层的蒸馏损失确定学生模型的蒸馏总损失；

21、根据所述蒸馏总损失对所述学生模型进行训练，得到初始文本分类模型。

22、在一些实施例中，所述根据初始文本分类模型对于各个文本分类任务的任务损失修正所述初始文本分类模型，得到目标文本分类模型包括以下步骤：

23、获取训练过程中的初始文本分类模型对于每个文本分类任务的多个历史损失；

24、计算每个文本分类任务的多个历史损失的平均值得到每个文本分类任务的任务损失；

25、根据多个文本分类任务的任务损失调整初始文本分类模型的损失函数；

26、根据所述损失函数更新所述初始文本分类模型，得到目标文本分类模型。

27、在一些实施例中，所述根据多个文本分类任务的任务损失调整初始文本分类模型的损失函数包括以下步骤：

28、根据多个文本分类任务的任务损失确定每个文本分类任务的整体损失比例；

29、根据整体损失比例大于比例阈值的文本分类任务的任务损失调整初始文本分类模型的损失函数。

30、为实现上述目的，本技术实施例的另一方面提出了一种文本分类方法，包括以下步骤：

31、获取待分类文本；

32、将所述待分类文本输入目标文本分类模型，得到分类结果，其中，所述目标文本分类模型通过前面所述文本分类模型训练方法训练得到。

33、为实现上述目的，本技术实施例的另一方面提出了一种目标文本分类模型训练系统，包括：

34、第一模块，用于获取多领域任务文本数据样本和目标领域文本数据样本；

35、第二模块，用于基于所述多领域任务文本数据样本对教师模型进行训练，得到基础文本分类模型；

36、第三模块，用于基于所述目标领域文本数据样本，利用所述基础文本分类模型对学生模型进行知识蒸馏，得到初始文本分类模型；

37、第四模块，用于根据初始文本分类模型对于各个文本分类任务的任务损失修正所述初始文本分类模型，得到目标文本分类模型。

38、为实现上述目的，本技术实施例的另一方面提出了一种电子设备，所述电子设备包括存储器、处理器、存储在所述存储器上并可在所述处理器上运行的程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线，所述程序被所述处理器执行时实现前面所述的文本分类模型训练方法或者文本分类方法。

39、为实现上述目的，本技术实施例的另一方面提出了一种存储介质，所述存储介质为计算机可读存储介质，用于计算机可读存储，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现前面所述的文本分类模型训练方法或者文本分类方法。

40、本技术提出的模型训练方法、文本分类方法、系统、设备及存储介质，其通过获取多领域任务文本数据样本和目标领域文本数据样本，基于多领域任务文本数据样本对教师模型进行训练得到基础文本分类模型，基于目标领域文本数据样本，利用基础文本分类模型对学生模型进行知识蒸馏，以将基础文本分类模型学习到的知识迁移到小样本学习的学生模型中，得到所需领域的初始文本分类模型，提高初始文本分类模型的泛化性，并根据训练过程中初始文本分类模型对于各个文本分类任务的任务损失优化初始文本分类模型，实现模型的任务均衡，避免仅沿部分任务进行参数优化，利用本技术的目标文本分类模型进行文本分类，不仅能够提高文本分类速度，还能提高对于各种文本分类任务的分类准确性。