本发明涉及知识库检索领域,特别涉及一种融合多分类与知识库检索的意图识别方法及其系统。
背景技术:
1、现有基于深度学习的意图识别的方法分为两种,第一种是直接进行多分类意图识别,另一种是知识库检索后进行对比相似度。但是两种方法各有弊端。基于多分类模型的意图识别方法准确性更高,但更容易受语料不均衡的影响,更倾向于语料数量多的分类,但灵活性不高,只能通过重新训练模型进行逻辑优化。而基于知识库检索的方法更加灵活,但检索的准确性不高,而且输出结果缺乏多样性。
2、所以设计一种可以解决检索准确性和提高灵活性的意图识别方法是很有必要的。
技术实现思路
1、针对现有技术不足,本发明提出一种融合多分类与知识库检索的意图识别方法及其系统,旨在解决现有检索模式无法精准高效的问题。
2、本发明提出的技术方案是:
3、将待分析语料输入意图识别模型得到识别意图;
4、将所述识别意图和所述待分析语料输入知识库,获取若干目标语料,其中,所述知识库包括若干目标语料和若干对比语料;
5、将所述待分析语料输入所述知识库,获取若干所述对比语料;
6、获取各所述目标语料和各所述对比语料对应的绑定意图标签,其中,所述绑定意图标签为预先绑定于各所述目标语料和各所述对比语料的标签;
7、将若干所述目标语料和若干所述对比语料分别与所述待分析语料进行相似度对比,得到若干相似度值;
8、根据所述相似度值的大小从所述绑定意图标签和所述识别意图中选取一个作为所述待分析语料的真实意图。
9、优选地,将所述识别意图和所述待分析语料输入知识库,获取若干目标语料的步骤包括:
10、从所述知识库获取与各所述识别意图的意图相同的语料作为若干限定意图语料;
11、将所述待分析语料进行向量化得到若干待分析语料向量;
12、根据各所述待分析语料向量在若干所述限定意图语料中获取若干检索语料向量;将所述检索语料向量进行文本处理作为目标语料。
13、优选地,将所述待分析语料输入所述知识库,获取若干所述对比语料的步骤包括:
14、将所述待分析语料进行向量化得到若干待分析语料向量;
15、根据所述待分析语料在所述知识库中获取全意图语料向量;将所述全意图语料向量进行文本处理作为对比语料。
16、优选地,将若干所述目标语料和若干所述对比语料分别与所述待分析语料进行相似度对比,得到若干相似度值的步骤包括:
17、将若干所述目标语料和若干所述对比语料进行向量化,分别得到若干目标语料向量和若干对比语料向量;
18、将若干所述目标语料向量与所述待分析语料向量两两之间做余弦相似度计算得到若干所述目标语料向量与所述待分析语料向量对应的相似度值;
19、将若干所述对比语料向量分别与所述待分析语料向量两两之间做余弦相似度计算,得到若干所述对比语料向量分别与所述待分析语料向量对应的相似度值。
20、优选地,根据所述相似度值的大小从所述绑定意图标签和所述识别意图中选取一个作为所述待分析语料的真实意图的步骤包括:
21、判断是否存在任意一个所述相似度值大于预设阈值;
22、当不存在所述相似度值大于预设阈值时,将所述识别意图作为所述真实意图;
23、当存在所述相似度值大于预设阈值时,选取数值最大的所述相似度值对应的所述目标语料或所述对比语料对应的绑定意图标签作为所述真实意图。
24、优选地,将所述识别意图和所述待分析语料输入所述知识库中获取若干目标语料和与目标语料一一对应的绑定意图标签的步骤包括:
25、根据第一权重对所述识别意图进行加权处理获取第一检索信息;
26、根据第二权重对所述待分析语料进行加权处理获取第二检索信息,其中,所述第一权重大于所述第二权重;
27、将所述第一检索信息和所述第二检索信息输入到检索公式获取检索权重信息;
28、将所述检索权重信息和所述待分析语料输入所述知识库中,获取若干目标语料和与目标语料一一对应的绑定意图标签。
29、优选地,在根据所述相似度值的大小从所述绑定意图标签和所述识别意图中选取一个作为所述待分析语料的真实意图之后,所述融合多分类与知识库检索的意图识别方法的步骤还包括:
30、接收报错信息,其中,所述报错信息包括带有修正意图标签的误识别语料;
31、判断所述知识库中是否存在与所述误识别语料相同的原始语料,其中,所述原始语料包括原始意图标签;
32、当所述知识库存在与误识别语料相同的所述原始语料时,根据所述修正意图标签修改所述原始意图标签;
33、当所述知识库不存在与误识别语料相同的所述原始语料时,将所述误识别语料添加到所述知识库中。
34、本发明还提供一种融合多分类与知识库检索的意图识别系统,所述系统包括:
35、意图识别模块,用于将待分析语料输入意图识别模型得到识别意图;
36、第一检索模块,用于将所述识别意图和所述待分析语料输入知识库,获取若干目标语料,其中,所述知识库包括若干目标语料和若干对比语料;
37、第二检索模块,用于将所述待分析语料输入所述知识库,获取若干所述对比语料;
38、标签获取模块,用于获取各所述目标语料和各所述对比语料对应的绑定意图标签,其中,所述绑定意图标签为预先绑定于各所述目标语料和各所述对比语料的标签;
39、相似度对比模块,用于将若干所述目标语料和若干所述对比语料分别与所述待分析语料进行相似度对比,得到若干相似度值;
40、选取模块,用于根据所述相似度值的大小从所述绑定意图标签和所述识别意图中选取一个作为所述待分析语料的真实意图。
41、优选地,所述第一检索模块包括:
42、第一子检索模块,用于从所述知识库获取与各所述识别意图的意图相同的语料作为若干限定意图语料;
43、第一向量模块,用于将所述待分析语料进行向量化得到若干待分析语料向量;
44、第二子检索模块,用于根据各所述待分析语料向量在若干所述限定意图语料中获取若干检索语料向量;
45、第一文本模块,用于将所述检索语料向量进行文本处理作为目标语料。
46、优选地,所述第二检索模块还包括:
47、第二向量模块,用于将所述待分析语料进行向量化得到若干待分析语料向量;
48、第三子检索模块,用于根据所述待分析语料在所述知识库中获取全意图语料向量;
49、第二文本模块,用于将所述全意图语料向量进行文本处理作为对比语料。
50、优选地,所述相似度模块包括:
51、第三向量模块,用于将若干所述目标语料和若干所述对比语料进行向量化,分别得到若干目标语料向量和若干对比语料向量;
52、第一计算模块,用于将若干所述目标语料向量与所述待分析语料向量两两之间做余弦相似度计算得到若干所述目标语料向量与所述待分析语料向量对应的相似度值;
53、第二计算模块,用于若干所述对比语料向量分别与所述待分析语料向量两两之间做余弦相似度计算,得到若干所述对比语料向量分别与所述待分析语料向量对应的相似度值。
54、优选地,所述选取模块包括:
55、判断模块,用于判断是否存在任意一个所述相似度值大于预设阈值;
56、输出模块,用于当不存在所述相似度值大于预设阈值时,将所述识别意图作为所述真实意图;
57、选取子模块,用于当存在所述相似度值大于预设阈值时,选取数值最大的所述相似度值对应的所述目标语料或所述对比语料对应的绑定意图标签作为所述真实意图。
58、优选地,所述第一检索模块还包括:
59、第一加权模块,用于根据第一权重对所述识别意图进行加权处理获取第一检索信息;
60、第二加权模块,用于根据第二权重对所述待分析语料进行加权处理获取第二检索信息,其中,所述第一权重大于所述第二权重;
61、输入模块,用于将所述第一检索信息和所述第二检索信息输入到检索公式获取检索权重信息;
62、第四子检索模块,用于将所述检索权重信息和所述待分析语料输入所述知识库中,获取若干目标语料和与目标语料一一对应的绑定意图标签。
63、优选地,所述系统还包括:
64、报错模块,用于接收报错信息,其中,所述报错信息包括带有修正意图标签的误识别语料;
65、第二判断模块,用于判断所述知识库中是否存在与所述误识别语料相同的原始语料,其中,所述原始语料包括原始意图标签;
66、第一修正模块,用于当所述知识库存在与误识别语料相同的所述原始语料时,根据所述修正意图标签修改所述原始意图标签;
67、第二修正模块,用于当所述知识库不存在与误识别语料相同的所述原始语料时,将所述误识别语料添加到所述知识库中。
68、为了解决上述问题,本发明实施例还提供一种电子设备,所述电子设备包括:
69、至少一个处理器;以及,与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行如上述所述融合多分类与知识库检索的意图识别方法。
70、为了解决上述问题,本发明实施例还提供一种计算机可读存储介质,其存储计算机程序,所述计算机程序被处理器执行时实现如上述所述融合多分类与知识库检索的意图识别方法。
71、根据上述的技术方案,本发明有益效果:提出一种融合以上两种方法的意图识别方法,在知识库检索前先进行一次多分类的意图识别,用多分类的识别结果去提高检索的准确性和灵活性,在保障意图识别的过程即能灵活识别又能实现准确输出。本技术利用多重检索的模式,既能包容多分类模型的缺点,又能提升知识库检索的结果提升准确性。最后将多组输出结果进行相似度的比较,从多分类识别得到的识别意图和知识库检索到的绑定意图标签中选取一个相对准确的意图作为待分析语料的真实意图。此外,本方案还可以在保障意图识别准确性的情况下,还及时地对意图识别的模型进行修改,以进一步提高准确性。