一种文本的意图识别方法及装置与流程

文档序号:22916187发布日期:2020-11-13 15:57阅读:来源:国知局

技术特征:

1.一种文本的意图识别方法,其特征在于,所述方法包括:

获取目标文本,以及预先设置的多个文本意图类别;

将所述目标文本输入预训练语言模型,确定所述目标文本对应的语义向量;

根据所述语义向量,确定所述目标文本属于每个所述文本意图类别的概率值;

根据所述目标文本属于每个所述文本意图类别的概率值,从所述多个文本意图类别中,确定与所述目标文本对应的目标文本意图类别。

2.根据权利要求1所述的方法,其特征在于,所述根据所述语义向量,确定所述目标文本属于每个所述文本意图类别的概率值的步骤,包括:

将所述语义向量输入经过预先训练的全连接层,进行全连接处理和归一化处理,得到所述目标文本属于每个所述文本意图类别的概率值。

3.根据权利要求2所述的方法,其特征在于,预先训练所述全连接层的步骤,包括:

获取多个样本文本,以及与所述样本文本对应的文本意图标签;

根据所述多个样本文本,以及与所述样本文本对应的文本意图标签,获取增强文本,以及与所述增强文本对应的文本意图标签;

利用所述样本文本和所述增强文本,以及与所述样本文本对应的文本意图标签、与所述增强文本对应的文本意图标签,预先训练所述全连接层。

4.根据权利要求3所述的方法,其特征在于,所述根据所述多个样本文本,以及与所述样本文本对应的文本意图标签,获取增强文本,以及与所述增强文本对应的文本意图标签的步骤,包括:

获取具有相同文本意图标签的样本文本i、样本文本j,以及样本文本k;

将所述样本文本i、样本文本j,以及样本文本k输入所述预训练语言模型,确定与所述样本文本i对应的语义向量ci,与所述样本文本j对应的语义向量cj,以及与所述样本文本k对应的语义向量ck;

通过以下公式计算所述增强文本:

增强文本对应的语义向量c=ci+α(cj-ck),

其中,α为大于0,且小于1的随机数;

将所述相同文本意图标签确定为与所述增强文本对应的文本意图标签。

5.根据权利要求1所述的方法,其特征在于,所述预训练语言模型包含n个隐含层,n为大于2的整数,

所述将所述目标文本输入预训练语言模型,确定所述目标文本对应的语义向量的步骤,包括:

将所述目标文本输入所述预训练语言模型;

将所述预训练语言模型第n-1个隐含层输出的语义向量,确定为所述目标文本对应的语义向量。

6.根据权利要求1所述的方法,其特征在于,在所述将所述目标文本输入预训练语言模型的步骤之前,所述方法还包括:

获取多个样本文本,以及与所述样本文本对应的文本意图标签;

根据所述多个样本文本和所述文本意图标签,对所述预训练语言模型进行微调训练。

7.根据权利要求1所述的方法,其特征在于,所述预训练语言模型包括:bert、openaigpt和elmo中的任一一种。

8.一种文本的意图识别装置,其特征在于,所述装置包括:

第一获取模块,用于获取目标文本,以及预先设置的多个文本意图类别;

第一确定模块,用于将所述目标文本输入预训练语言模型,确定所述目标文本对应的语义向量;

第二确定模块,用于根据所述语义向量,确定所述目标文本属于每个所述文本意图类别的概率值;

第三确定模块,用于根据所述目标文本属于每个所述文本意图类别的概率值,从所述多个文本意图类别中,确定与所述目标文本对应的目标文本意图类别。

9.一种计算机设备,其特征在于,所述计算机设备包括:

存储器,用于存储程序指令;

处理器,用于调用所述存储器中存储的程序指令,按照获得的程序指令执行权利要求1至7中任一所述的文本的意图识别方法包括的步骤。

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7任一所述的文本的意图识别方法。


技术总结
本发明提供了一种文本的意图识别方法、装置、计算机设备及计算机可读存储介质,包括:获取目标文本,以及预先设置的多个文本意图类别;将目标文本输入预训练语言模型,确定目标文本对应的语义向量;根据语义向量,确定目标文本属于每个所述文本意图类别的概率值,并确定与目标文本对应的目标文本意图类别。本发明基于迁移学习的思想,使用NLP领域中已经经过海量数据预先训练,具有很好的语义表达效果的预训练语言模型,可以比较准确的生成表征目标文本语义特征的语义向量,进而在系统冷启动时,即使没有数量较大的样本文本,也可以进一步根据该语义向量确定与所述目标文本对应的目标文本意图类别,从而提高了意图识别系统的准确度。

技术研发人员:潘申龄;刘设伟
受保护的技术使用者:泰康保险集团股份有限公司;泰康在线财产保险股份有限公司
技术研发日:2020.07.08
技术公布日:2020.11.13
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1