实体和意图的识别方法、装置、设备、存储介质及产品与流程

本技术涉及人工智能，特别涉及一种实体和意图的识别方法、装置、设备、存储介质及产品。

背景技术：

1、在智能问答系统中，实体识别和意图识别对于正确的回答问题十分重要。而实体识别和意图识别一般是基于识别模型实现。然而，由于识别模型中很难覆盖到全部的实体词，而实体词的范围广泛，识别模型一般基于常见的实体词训练得到。这样在待识别的文本中出现识别模型未训练过的实体词时，就会出现识别错误的情况，导致实体识别结果和意图识别结果不准确。

技术实现思路

1、本技术实施例提供了一种实体和意图的识别方法、装置、设备、存储介质及产品，能够提高实体识别和意图识别的准确性。所述技术方案如下：

2、一方面，提供了一种实体和意图的识别方法，所述方法包括：

3、基于第一词表和第二词表，确定文本中的多个词，所述第一词表包括多个非罕见词，所述第二词表包括多个罕见词和所述多个罕见词所属的实体类别；

4、获取所述多个词的特征向量，所述多个词中的罕见词的特征向量基于所述罕见词所属实体类别的特征向量表示；

5、获取所述文本中多个字的特征向量；

6、基于所述多个词的特征向量和所述多个字的特征向量，得到所述文本的隐向量序列，所述隐向量序列包括字的隐向量序列和词的隐向量序列，所述字的隐向量序列包括所述多个字的隐向量，所述词的隐向量序列包括所述多个词的隐向量；

7、基于所述隐向量序列中字的隐向量序列，对所述文本进行实体识别，得到实体识别结果；

8、基于所述隐向量序列，对所述文本进行意图识别，得到意图识别结果。

9、另一方面，提供了一种实体和意图的识别装置，所述装置包括：

10、词确定模块，用于基于第一词表和第二词表，确定文本中的多个词，所述第一词表包括多个非罕见词，所述第二词表包括多个罕见词和所述多个罕见词所属的实体类别；

11、特征向量获取模块，用于获取所述多个词的特征向量，所述多个词中的罕见词的特征向量基于所述罕见词所属实体类别的特征向量表示；

12、特征向量获取模块，还用于获取所述文本中多个字的特征向量；

13、隐向量序列确定模块，用于基于所述多个词的特征向量和所述多个字的特征向量，得到所述文本的隐向量序列，所述隐向量序列包括字的隐向量序列和词的隐向量序列，所述字的隐向量序列包括所述多个字的隐向量，所述词的隐向量序列包括所述多个词的隐向量；

14、实体识别模块，用于基于所述隐向量序列中字的隐向量序列，对所述文本进行实体识别，得到实体识别结果；

15、意图识别模块，用于基于所述隐向量序列，对所述文本进行意图识别，得到意图识别结果。

16、在一些实施例中，所述实体识别结果和所述意图识别结果基于目标识别模型得到，所述目标识别模型包括输入模块、编码模块、实体识别模块和意图识别模块；

17、所述特征向量获取模块，用于将所述文本输入所述目标识别模型的输入模块，通过所述输入模块，得到所述多个字的特征向量和所述多个词的特征向量；

18、所述隐向量序列确定模块，用于将所述多个字的特征向量和所述多个词的特征向量输入所述编码模块，通过所述编码模块对所述多个字的特征向量和所述多个词的特征向量进行注意力特征提取，得到所述隐向量序列；

19、所述实体识别模块，用于将所述字的隐向量序列输入所述实体识别模块，通过所述实体识别模块得到所述实体识别结果；

20、所述意图识别模块，用于将所述隐向量序列输入所述意图识别模块，通过所述意图识别模块得到所述意图识别结果。

21、在一些实施例中，所述特征向量获取模块，用于：

22、将所述多个字的特征向量和所述多个词的特征向量输入所述编码模块；

23、通过所述编码模块，对第一特征矩阵进行线性变换，得到第二特征矩阵，所述第一特征矩阵中的每个行向量为字的特征向量或词的特征向量；

24、基于所述第一特征矩阵中的多个行向量，得到权重矩阵，所述权重矩阵中的每个元素表示第一特征矩阵中两个行向量之间的关联程度；

25、对所述权重矩阵进行激活处理，基于激活处理后的权重矩阵和所述第二特征矩阵，得到所述隐向量序列。

26、在一些实施例中，所述权重矩阵包括多个元素，所述特征向量获取模块，用于：

27、获取第一位置和第二位置，所述第一位置为所述第一特征矩阵中第i个行向量所指示的字或词在所述文本中的位置，所述第二位置为所述第二特征矩阵中第j个行向量所指示的字或词在所述文本中的位置，所述i和j为大于0的整数；

28、基于所述第一位置和所述第二位置的位置差，确定位置向量；

29、对所述第i个行向量、所述第j个行向量和所述位置向量进行融合，得到所述权重矩阵中位于第i行、第j列的元素。

30、在一些实施例中，所述实体识别结果为所述文本的目标标签序列，所述目标标签序列包括所述多个字的类别标签，每个字的类别标签用于表示所述字所在的目标词的实体类别和所述字在所述目标词中的位置；

31、所述实体识别模块，用于将所述字的隐向量序列输入所述实体识别模块；

32、通过所述实体识别模块，对于所述多个字中的任一个字，基于所述字的隐向量和与所述字具有预设位置差的字的预设类别标签，确定所述字分别被标注为多种预设类别标签的程度参数，每种预设类别标签的程度参数用于表示所述字被标注为所述预设类别标签的合适程度；

33、基于所述多个字分别被标注为所述多种预设类别标签的程度参数和多个候选标签序列，分别确实所述多个候选标签序列的概率，所述多个候选标签序列基于所述多种预设类别标签组合得到；

34、将所述多个候选标签序列中概率最大的候选标签序列输出为所述目标标签序列。

35、在一些实施例中，所述意图识别结果包括多个意图类别的概率，所述意图识别模块，用于：

36、将所述隐向量序列输入所述意图识别模块；

37、通过所述意图识别模块，从多种预设类别标签中，确定多种目标预设类别标签，任一种预设类别标签指示所标注字所在的目标词的实体类别和所述字在所述目标词中的位置，所述目标预设类别标签指示所标注字位于所述目标词的首位；

38、对于所述多种目标预设类别标签中的每种目标预设类别标签，基于所述多个字的隐向量，确定所述多个字分别被标注为所述目标预设类别标签的概率；

39、基于所述多个字分别被标注为所述目标预设类别标签的概率，确定所述目标预设类别标签在所述文本中被标注的概率；

40、基于所述多种目标预设类别标签在所述文本中被标注的概率，确定第一概率向量；

41、对所述隐向量序列进行注意力特征提取，得到注意力向量；

42、对所述第一概率向量和所述注意力向量进行融合，得到第二概率向量，所述第二概率向量中包括多个意图类别的概率。

43、在一些实施例中，所述意图识别模块，用于对于所述多个字中的每个字，基于所述字的隐向量和目标模型参数，确定所述字被标注为所述目标预设类别标签的概率，所述目标模型参数为从所述实体识别模块获取的用于确定字被标注为任一预设类别标签的概率的模型参数。

44、在一些实施例中，所述意图识别模块，用于：

45、对第一隐向量矩阵进行线性变换，得到第二隐向量矩阵，所述第一隐向量矩阵中的每个行向量为所述隐向量序列中的一个隐向量；

46、基于所述第一隐向量矩阵中的多个行向量，得到权重向量，所述权重向量中的每个元素表示所述第一隐向量矩阵中一个行向量的重要程度；

47、对所述权重向量进行激活处理，基于激活处理后的权重向量和所述第二隐向量矩阵，得到所述注意力向量。

48、在一些实施例中，所述装置还包括训练模块，用于：

49、将训练样本输入所述目标识别模型，通过所述实体识别模块，得到预测的实体识别结果，基于所述预测的实体识别结果与真实实体识别结果，确定第一损失值，所述第一损失值表示所述预测的实体识别结果与所述真实实体识别结果之间的差距；

50、通过所述意图识别模块，得到预测的意图识别结果，基于所述预测的意图识别结果和真实意图识别结果，确定第二损失值，所述第二损失值表示所述预测的意图识别结果与所述真实意图识别结果之间的差距；

51、对所述第一损失值和所述第二损失值加权求和，得到第三损失值；

52、基于所述第三损失值调整所述目标识别模型的模型参数。

53、另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器用于存储至少一段计算机程序，所述至少一段计算机程序由所述处理器加载并执行以实现本技术实施例中的实体和意图的识别方法。

54、另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一段计算机程序，所述至少一段计算机程序由处理器加载并执行以实现如本技术实施例中的实体和意图的识别方法。

55、另一方面，提供了一种计算机程序产品，所述计算机程序产品包括计算机程序代码，所述计算机程序代码存储在计算机可读存储介质中，计算机设备的处理器从所述计算机可读存储介质读取所述计算机程序代码，所述处理器执行所述计算机程序代码，使得所述计算机设备执行上述任一实现方式所述的实体和意图的识别方法。

56、本技术实施例提供了一种实体和意图的识别方法，由于该方法基于包括有非罕见词的第一词表和包括有罕见词的第二词表确定了文本中的多个词，这样还能够将文本中的罕见词确定出来，使得所确定的词较为全面。且还基于罕见词所属实体类别的特征向量来表示罕见词的特征向量，能够获取到该罕见词的相关信息，进而进行实体识别和意图识别时，能够得到更为准确的识别结果，从而提高了实体识别和意图识别的准确性。