文本模型的训练方法、装置、及设备与流程

本技术涉及一种人工智能，具体而言，涉及一种文本模型的训练方法、装置、及设备。

背景技术：

1、随着人工智能技术的发展，自然语言处理技术有了更多的应用场景。例如在语义相似度、文本分类、问答系统、情感分析、机器翻译等方面有广泛的应用。

2、现有技术中，在进行文本处理时，通常基于单一模型直接应用，例如，通过统计词频、句法分析等手段得到文本的向量化表示，然后计算相似度，从而得到相似度最高的文本。

3、但是，上述方法往往只考虑词频等特征，且存在语义过于稀疏的问题，因此，对文本处理的准确性不高。

技术实现思路

1、本技术的目的在于，针对上述现有技术中的不足，提供一种文本模型的训练方法、装置、及设备，以解决现有技术中存在文本处理准确性不高的问题。

2、为实现上述目的，本技术实施例采用的技术方案如下：

3、第一方面，本技术一实施例提供了一种文本模型的训练方法，所述方法包括：

4、获取训练样本集，所述训练样本集包括：标注好的文本样本；

5、将所述训练样本集，代入预训练完成的词典增强语言特征模型，获取多个特征向量；所述词典增强语言特征模型通过词条预测训练、对比学习训练获取，所述词条预测训练用于训练例句中的标记预测的词条，所述对比学习训练用于训练词条含义间的关系；

6、将多个所述特征向量进行融合，获取目标向量；

7、根据所述目标向量，获取损失函数直到完成训练，以获取文本模型。

8、在一种可选的实施方式中，所述方法还包括：

9、从预设词典中，提取原始文本，所述原始文本包括：词条、每个所述词条对应的释义和例句；

10、根据所述原始文本以及词条预测规则，生成词条预测样本集；

11、根据所述原始文本以及对比学习规则，生成对比学习样本集。

12、在一种可选的实施方式中，所述根据所述原始文本以及词条预测规则，生成词条预测样本集之后，还包括：

13、将所述词条预测样本集代入初始词典增强语言特征模型进行训练，获取预测词条；

14、根据第一损失函数以及所述预测词条，计算获取第一损失参数。

15、在一种可选的实施方式中，所述根据所述原始文本以及对比学习规则，生成对比学习样本集之后，还包括：

16、将所述对比学习样本集代入初始词典增强语言特征模型进行训练，并根据第二损失函数计算获取第二损失参数。

17、在一种可选的实施方式中，所述方法还包括：

18、根据所述第一损失参数、所述第二损失参数，反向优化所述初始词典增强语言特征模型的参数，获取预训练完成的所述词典增强语言特征模型。

19、在一种可选的实施方式中，所述将所述训练样本集，代入预训练完成的词典增强语言特征模型之前，还包括：

20、将所述训练样本集中的文本剔除停用词和/或无效词后，检索获取所述文本所在预设词条集中的目标词，作为增强词；

21、将所述训练样本集中的文本与对应的所述增强词释义组合，获取增强文本；

22、采用所述增强文本替换更新所述训练样本集。

23、在一种可选的实施方式中，所述将多个所述特征向量进行融合，获取目标向量，包括：

24、采用注意力机制融合多个所述特征向量，获取目标向量，所述目标向量包括：句表征向量。

25、在一种可选的实施方式中，所述根据所述目标向量，获取损失函数直到完成训练，以获取文本模型，包括：

26、根据所述目标向量以及第三损失函数，计算第三损失参数；

27、根据所述第三损失参数优化初始文本模型中的参数，获取训练后的所述文本模型，所述文本模型的文本处理能力与所述训练样本集中的文本关系对应。

28、第二方面，本技术另一实施例提供了一种文本模型的训练装置，所述装置包括：

29、第一获取模块，用于获取训练样本集，所述训练样本集包括：标注好的文本样本；

30、第二获取模块，用于将所述训练样本集，代入预训练完成的词典增强语言特征模型，获取多个特征向量；所述词典增强语言特征模型通过词条预测训练、对比学习训练获取，所述词条预测训练用于训练例句中的标记预测的词条，所述对比学习训练用于训练词条含义间的关系；

31、融合模块，用于将多个所述特征向量进行融合，获取目标向量；

32、训练模块，用于根据所述目标向量，获取损失函数直到完成训练，以获取文本模型。

33、在一种可选的实施方式中，所述第二获取模块，还用于从预设词典中，提取原始文本，所述原始文本包括：词条、每个所述词条对应的释义和例句；

34、根据所述原始文本以及词条预测规则，生成词条预测样本集；

35、根据所述原始文本以及对比学习规则，生成对比学习样本集。

36、在一种可选的实施方式中，所述第二获取模块，还用于将所述词条预测样本集代入初始词典增强语言特征模型进行训练，获取预测词条；

37、根据第一损失函数以及所述预测词条，计算获取第一损失参数。

38、在一种可选的实施方式中，所述第二获取模块，还用于将所述对比学习样本集代入初始词典增强语言特征模型进行训练，根据第二损失函数计算获取第二损失参数。

39、在一种可选的实施方式中，所述第二获取模块，还用于根据所述第一损失参数、所述第二损失参数，反向优化所述初始词典增强语言特征模型的参数，获取预训练完成的所述词典增强语言特征模型。

40、在一种可选的实施方式中，所述第二获取模块，还用于将所述训练样本集中的文本剔除停用词和/或无效词后，检索获取所述文本所在预设词条集中的目标词，作为增强词；

41、将所述训练样本集中的文本与对应的所述增强词释义组合，获取增强文本；

42、采用所述增强文本替换更新所述训练样本集。

43、在一种可选的实施方式中，所述融合模块，还用于采用注意力机制融合多个所述特征向量，获取目标向量，所述目标向量包括：句表征向量。

44、在一种可选的实施方式中，所述训练模块，用于根据所述目标向量以及第三损失函数，计算第三损失参数；

45、根据所述第三损失参数优化初始文本模型中的参数，获取训练后的所述文本模型，所述文本模型的文本处理能力与所述训练样本集中的文本关系对应。

46、第三方面，本技术实施例提供一种电子设备，所述电子设备包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当所述电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如第一方面中任一项所述的文本模型的训练方法的步骤。

47、第四方面，本技术实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时，实现如第一方面中任一项所述的文本模型的训练方法的步骤。

48、本技术的有益效果是：

49、本技术提供一种文本模型的训练方法、装置、设备及存储介质，该方法包括：获取训练样本集；将训练样本集，代入预训练完成的词典增强语言特征模型，获取多个特征向量；将多个特征向量进行融合，获取目标向量；根据目标向量，获取损失函数直到完成训练，以获取文本模型。本方案中，通过将训练样本集代入预训练完成的词典增强语言特征模型，一方面引入词典增强语言特征模型、另一方面通过词条预测训练和对比学习训练，该方法增强了模型的表达能力，可以提高所获取的文本模型对文本处理的准确性。