意图识别方法、装置、电子设备及存储介质与流程

1.本发明属于自然语言处理领域，尤其涉及一种意图识别方法、装置、电子设备及存储介质。


背景技术：

2.近些年，数据量、算力、算法的不断突破，加速了人工智能与物联网的发展，使得与机器直接对话的场景离我们已经不再遥远，甚至逐渐开始步入我们的日常生活。越来越多的科技公司致力于发展人机对话系统，希望机器能够理解人类的真实意图并且为其提供基础服务。在人机长时间交互过程中，客户的体验并没有想象中那么高。据艾媒咨询调研结果显示，半数以上的用户(59.1％)认为与智能客服交互过程中机器人的回答千篇一律，主要表现有：对话流程重复循环、对话过程答非所问、机器人回复滞后。大多数任务型对话数据规模较小，缺少充足的标注数据进行模型训练。在对话系统发展的初期，也叫冷启动期间，意图的积累是靠人工进行标注或者制定业务规则完成的，而整个标注是一个成本昂贵的过程，业务规则后维护工作繁琐且优化空间有限。
3.小样本意图识别旨在用较少的数据训练出较高识别水平的意图识别模型。对于新兴领域的人机对话系统而言，小样本意图识别可以高效且低成本的理解用户的真实意图，帮助企业精准识别客户需求并及时提供个性化服务。因此，小样本意图识别研究得到了学术界和工业界的广泛关注，已经成为对话系统中研究热点之一。面向人机对话中的小样本意图学习是在对话标注数据比较少，深度学习的应用和效果都受到了限制的情况下进行的。
4.目前，小样本意图识别领域主要面临的问题是如何实现对已标注的意图数据的高效且鲁棒性学习。


技术实现要素：

5.本技术实施例提供了一种意图识别方法、装置、电子设备及存储介质，以解决如何实现对已标注的意图数据的高效且鲁棒性学习的问题。
6.第一方面，本技术实施例提供了一种意图识别方法，包括：
7.获取意图文本并对所述意图文本进行分词处理构建意图识别样本集；
8.对所述意图识别样本集进行专业术语增强得到第一样本集、进行依存句法结构增强得到第二样本集，并进行语义信息补充得到第三样本集；
9.根据所述第一样本集和词法意图识别模型计算词法意图置信度、根据所述第二样本集和句法意图识别模型计算句法意图置信度并根据所述第三样本集和语义意图识别模型计算语义意图置信度；
10.根据所述词法意图置信度、所述句法意图置信度和所述语义意图置信度确定所述意图文本的目标意图。
11.在一种可能的实现方式中，所述根据所述词法意图置信度、所述句法意图置信度
和所述语义意图置信度确定所述意图文本的目标意图，包括：
12.在种子模型对应的意图置信度大于设定阈值时，以所述种子模型对应的意图置信度作为所述意图文本的目标意图；
13.否则，确定所述词法意图置信度、所述句法意图置信度和所述语义意图置信度中最大的意图置信度为所述意图文本的目标意图；
14.相应地，该方法还包括：
15.基于验证文本集分别对所述词法意图识别模型、所述句法意图识别模型或所述语义意图识别模型进行验证；
16.确定各意图识别模型中对所述验证文本集对应的意图文本的意图识别准确率最高的模型为所述种子模型。
17.在一种可能的实现方式中，该方法还包括：
18.在不同阈值下基于验证文本集对所述词法意图识别模型、所述句法意图识别模型或所述语义意图识别模型进行验证；
19.确定意图识别效果准确率最高时对应的阈值为所述设定阈值。
20.在一种可能的实现方式中，所述对所述意图识别样本集进行专业术语增强得到第一样本集、进行依存句法结构增强得到第二样本集，并进行语义信息补充得到第三样本集，包括：
21.基于领域词典对所述意图识别样本集进行词组匹配，并将误分割的专业术语进行合并得到所述第一样本集；
22.基于使用语言技术平台(language technology platform，ltp)对所述意图识别样本集进行解析，确定输入文本的依存句法信息，使用无监督语言模型将用于表示依存句法信息的依存标签向量化，得到所述第二样本集；其中，所述无监督语言模型为word2vec模型、glove模型、elmo模型或bert模型；
23.基于中文预训练模型bert-chinese-model对所述意图识别样本集进行样本序列串行处理，并补充语义信息得到所述第三样本集。
24.在一种可能的实现方式中，所述根据所述第一样本集和词法意图识别模型计算词法意图置信度，包括：
25.根据基于词袋模型的词法意图识别模型识别所述第一样本集中样本的词法特征；
26.根据词法特征识别结果计算在文本词法层面的词法意图置信度；其中，所述基于词袋模型的词法意图识别模型为fastext模型或支持向量机svm。
27.在一种可能的实现方式中，所述根据所述第二样本集和句法意图识别模型计算句法意图置信度，包括：
28.根据面向上下文时序关系的句法意图识别模型识别所述第二样本集中样本的句法和上下依赖特征；
29.根据句法识别结果和上下依赖特征识别结果计算在文本句法层面的句法意图置信度；其中，所述句法意图识别模型为文本长短期记忆网络textlstm、文本卷积神经网络textcnn、文本循环神经网络textrnn、文本卷积循环神经网络textcrnn或文本门控循环单元textgru。
30.在一种可能的实现方式中，所述根据所述第三样本集和语义意图识别模型计算语
义意图置信度，包括：
31.根据基于微调机制的语义意图识别模型识别所述第三样本集中样本的语义信息；
32.根据语义信息识别结果计算在文本语义层面的语义意图置信度；其中，所述语义意图识别模型为语义循环神经网络bertrnn、语义卷积神经网络bertcnn、语义长短期记忆网络bertlstm、语义卷积循环神经网络bertcrnn或语义门控循环单元bertgru。
33.第二方面，本技术实施例提供了一种意图识别装置，包括：
34.分词处理模块，用于获取意图文本并对所述意图文本进行分词处理构建意图识别样本集；
35.增强处理模块，用于对所述意图识别样本集进行专业术语增强得到第一样本集、进行依存句法结构增强得到第二样本集，并进行语义信息补充得到第三样本集；
36.置信度计算模块，用奴役根据所述第一样本集和词法意图识别模型计算词法意图置信度、根据所述第二样本集和句法意图识别模型计算句法意图置信度并根据所述第三样本集和语义意图识别模型计算语义意图置信度；
37.意图决策模块，用于根据所述词法意图置信度、所述句法意图置信度和所述语义意图置信度确定所述意图文本的目标意图。
38.在一种可能的实现方式中，所述意图决策模块，具体用于在种子模型对应的意图置信度大于设定阈值时，以所述种子模型对应的意图置信度作为所述意图文本的目标意图；
39.否则，确定所述词法意图置信度、所述句法意图置信度和所述语义意图置信度中最大的意图置信度为所述意图文本的目标意图；
40.相应地，该装置还包括：
41.种子模型选取模块，用于基于验证文本集分别对所述词法意图识别模型、所述句法意图识别模型或所述语义意图识别模型进行验证，并确定各意图识别模型中对所述验证文本集对应的意图文本的意图识别准确率最高的模型为所述种子模型。
42.在一种可能的实现方式中，该装置还包括：
43.阈值选取模块，用于在不同阈值下基于验证文本集对所述词法意图识别模型、所述句法意图识别模型或所述语义意图识别模型进行验证，并确定意图识别效果准确率最高时对应的阈值为所述设定阈值。
44.在一种可能的实现方式中，所述增强处理模块，包括：
45.词法增强子模块，用于基于领域词典对所述意图识别样本集进行词组匹配，并将误分割的专业术语进行合并得到所述第一样本集；
46.句法增强子模块，用于基于ltp对所述意图识别样本集进行解析，确定输入文本的依存句法信息，使用无监督语言模型将用于表示依存句法信息的依存标签向量化，得到所述第二样本集；其中，所述无监督语言模型为word2vec模型、glove模型、elmo模型或bert模型；
47.语义增强子模块，用于基于中文预训练模型bert-chinese-model对所述意图识别样本集进行样本序列串行处理，并补充语义信息得到所述第三样本集。
48.在一种可能的实现方式中，所述置信度计算模块包括词法识别子模块，用于根据基于词袋模型的词法意图识别模型识别所述第一样本集中样本的词法特征，并根据词法特
征识别结果计算在文本词法层面的词法意图置信度；其中，所述基于词袋模型的词法意图识别模型为fastext模型或支持向量机svm。
49.在一种可能的实现方式中，所述置信度计算模块包括句法识别子模块，用于根据面向上下文时序关系的句法意图识别模型识别所述第二样本集中样本的句法和上下依赖特征，并根据句法识别结果和上下依赖特征识别结果计算在文本句法层面的句法意图置信度；其中，所述句法意图识别模型为文本长短期记忆网络textlstm、文本卷积神经网络textcnn、文本循环神经网络textrnn、文本卷积循环神经网络textcrnn或文本门控循环单元textgru。
50.在一种可能的实现方式中，所述置信度计算模块包括语义识别子模块，用于根据基于微调机制的语义意图识别模型识别所述第三样本集中样本的语义信息，并根据语义信息识别结果计算在文本语义层面的语义意图置信度；其中，所述语义意图识别模型为语义循环神经网络bertrnn、语义卷积神经网络bertcnn、语义长短期记忆网络bertlstm、语义卷积循环神经网络bertcrnn或语义门控循环单元bertgru。
51.第三方面，本技术实施例提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上第一方面或第一方面的任一种可能的实现方式所述方法的步骤。
52.第四方面，本技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上第一方面或第一方面的任一种可能的实现方式所述方法的步骤。
53.本技术实施例提供一种意图识别方法、装置、电子设备及存储介质，通过获取意图文本并对意图文本进行分词处理构建意图识别样本集，分别对意图识别样本集进行专业术语增强，避免专业名词不被分割，进行语义信息补充，便于确定与上下文依赖关系，进行语义信息补充，以便于推断出意图文本的主题或类别，保证在小样本意图识别过程中准确高效识别出文本意图。然后，综合词法意图识别模型、句法意图识别模型和语义意图识别模型多种模型进行意图识别，提升小样本意图识别过程中文本意图学习鲁棒性，使识别效果优于单个模型识别效果，提升整体文本意图识别效率。最后，通过各意图识别模型计算出的意图置信度综合确定出目标意图，提升整体意图识别能力的稳定性，提高意图识别精确度。
附图说明
54.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
55.图1是本技术一实施例提供的意图识别方法的实现流程图；
56.图2是本技术另一实施例提供的意图识别方法的实现流程图；
57.图3是本技术一实施例提供的意图识别装置的结构示意图；
58.图4是本技术另一实施例提供的意图识别装置的结构示意图；
59.图5是本技术一实施例提供的电子设备的结构示意图。
具体实施方式
60.以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本技术实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本技术。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本技术的描述。
61.本技术实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术实施例的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。
62.除非另有说明，术语“多个”表示两个或两个以上。
63.本技术实施例中，字符“/”表示前后对象是一种“或”的关系。例如，a/b表示：a或b。
64.术语“和/或”是一种描述对象的关联关系，表示可以存在三种关系。例如，a和/或b，表示：a或b，或，a和b这三种关系。
65.本技术实施例旨在实现小样本意图识别领域中，在不需要大规模语料库的同时保证意图识别准确率。
66.可选的，本技术实施例应用医疗问诊领域、电信话务、网络营销等领域，在接收到病患或用户等简单的对话文本时，能够精准识别对话意图，从而给出明确或有效回复，提高沟通效率或服务体验。
67.为使本技术的目的、技术方案和优点更加清楚，下面将结合附图通过具体实施例来进行说明。
68.图1是本技术一实施例提供的意图识别方法的实现流程图，如图1所示，该方法包括如下步骤：
69.s101，获取意图文本并对意图文本进行分词处理构建意图识别样本集。
70.其中，意图文本即要基于本技术方案进行意图识别的对话文本或待识别文本。具体结合实际场景，例如：医疗问诊领域、电信话务、网络营销等领域，对应的意图文本即病患与医护人员对话、用户与客户对话及销售人员与消费者的对话内容。可选的，意图文本是输入的文本信息或机器识别语音对话内容输出的文本信息。
71.意图文本往往是一句话或一段话，为了实现文本意图识别，需要提取词语组成，以确定意图文本对应的领域，并针对性确定服务回复内容，因此，在获取意图文本后，对意图文本进行分词处理，基于分词处理后的词组构建意图识别样本集。
72.可选的，基于条件随机场(condition random fields，crf)模型对文本进行分词，以基于crf强大的表达能力和出色的性能提高分词精确度和效率。
73.在一种可能的实现方式中，对意图文本进行分词处理构建意图识别样本集，还包括：对每行文本分批处理，替换标点符号、数字、字母等非中文字符为结束标识符《end》，降低分词后存在噪声降低意图识别效率。
74.s102，对意图识别样本集进行专业术语增强得到第一样本集、进行依存句法结构增强得到第二样本集，并进行语义信息补充得到第三样本集。
75.在一种可能的实现方式中，对意图识别样本集进行专业术语增强得到第一样本集、进行依存句法结构增强得到第二样本集，并进行语义信息补充得到第三样本集，包括：
76.基于领域词典对意图识别样本集进行词组匹配，并将误分割的专业术语进行合并得到第一样本集；旨在将误分割的专业术语进行合并，提升专业术语的语义连贯性，强化意图文本的词法信息；
77.基于ltp对意图识别样本集进行解析，确定输入文本的依存句法信息，使用无监督语言模型将用于表示依存句法信息的依存标签向量化，得到第二样本集；其中，无监督语言模型为word2vec模型、glove模型、elmo模型或bert模型；旨在便于确定与上下文依赖关系，同时挖掘依存关系之间的长距离的“语义”联系；
78.基于中文预训练模型bert-chinese-model对意图识别样本集进行样本序列串行处理，并补充语义信息得到第三样本集；旨在便于推断出意图文本的主题或类别。
79.在本实施例中，对意图识别样本集进行专业术语增强处理，主要按照具有专业术语的词典去查找意图文本中相同的词组，并通过字符串拼接的方式将词组合成一个词汇。通过借助词性组合和领域术语词典在分词阶段尽量保持领域术语的完整性，保障专业词汇不被分割，以此达到对文本词法层面上的数据强化。
80.具体的，针对专业性强，词性结构毫无规则的专有名词，通过爬虫技术从网上收集开源领域词汇，针对每个领域构建一个专有词表。通过最大正向匹配方法，保障这些专业名词最大程度上不会被误分割。
81.其中，对意图识别样本集进行依存句法结构增强处理，主要使用ltp解析输入文本的依存句法信息。通过将句法依存结构和意图文本结合的数据增强方式，在文本句法层面上进行数据强化。
82.具体方案实施过程中，在使用无监督语言模型将用于表示依存句法信息的依存标签向量化之前，需要基于训练样本集对无监督语言模型进行训练，以提高无监督语言模型的适用性和精确度。
83.其中，对意图识别样本集进行语义信息补充处理，主要借助在超大文本语料中预训练出的语言模型来使之具备许多语言特征，在文本语义层面上进行数据强化。
84.s103，根据第一样本集和词法意图识别模型计算词法意图置信度、根据第二样本集和句法意图识别模型计算句法意图置信度并根据第三样本集和语义意图识别模型计算语义意图置信度。
85.在一种可能的实现方式中，根据第一样本集和词法意图识别模型计算词法意图置信度，包括：
86.根据基于词袋模型的词法意图识别模型识别第一样本集中样本的词法特征；
87.根据词法特征识别结果计算在文本词法层面的词法意图置信度；其中，基于词袋模型的词法意图识别模型为fastext模型或支持向量机svm。在其他实施例中，词法意图识别模型可选的为基于感知器的文本分类方法。
88.具体方案实施过程中，以词法意图识别模型为fastext模型为例，在使用词法意图识别模型识别第一样本集中样本的词法特征之前，需要基于训练样本集对fastext模型进行训练，以提高fastext模型的适用性和精确度。
89.在一种可能的实现方式中，根据第二样本集和句法意图识别模型计算句法意图置信度，包括：
90.根据面向上下文时序关系的句法意图识别模型识别第二样本集中样本的句法和
上下依赖特征；
91.根据句法识别结果和上下依赖特征识别结果计算在文本句法层面的句法意图置信度；其中，句法意图识别模型为文本长短期记忆网络textlstm、文本卷积神经网络textcnn、文本循环神经网络textrnn、文本卷积循环神经网络textcrnn或文本门控循环单元textgru。
92.在一种可能的实现方式中，根据第三样本集和语义意图识别模型计算语义意图置信度，包括：
93.根据基于微调机制的语义意图识别模型识别第三样本集中样本的语义信息；
94.根据语义信息识别结果计算在文本语义层面的语义意图置信度；其中，语义意图识别模型为语义循环神经网络bertrnn、语义卷积神经网络bertcnn、语义长短期记忆网络bertlstm、语义卷积循环神经网络bertcrnn或语义门控循环单元bertgru。
95.具体方案实施过程中，以句法意图识别模型为文本长短期记忆网络textlstm为例，在根据文本长短期记忆网络textlstm识别第二样本集中样本的句法和上下依赖特征之前，需要基于训练样本集对文本长短期记忆网络textlstm进行训练，以提高文本长短期记忆网络textlstm的适用性和精确度。
96.同理，以语义意图识别模型为语义循环神经网络bertrnn为例，在根据语义循环神经网络bertrnn识别第三样本集中样本的语义信息之前，需要基于训练样本集对语义循环神经网络bertrnn进行训练。
97.s104，根据词法意图置信度、句法意图置信度和语义意图置信度确定意图文本的目标意图。
98.其中，采用动态决策机制，综合词法意图置信度、句法意图置信度和语义意图置信度确定意图文本的目标意图，确保整体模型的意图识别准确率不低于个体意图识别模型的识别准确率。
99.在本实施例中，通过获取意图文本并对意图文本进行分词处理构建意图识别样本集，分别对意图识别样本集进行专业术语增强，避免专业名词被分割，进行依存句法结构增强，便于确定与上下文依赖关系，进行语义信息补充，以便于推断出意图文本的主题或类别，保证在小样本意图识别过程中准确高效识别出文本意图。然后，综合词法意图识别模型、句法意图识别模型和语义意图识别模型多种模型进行意图识别，提升小样本意图识别过程中文本意图学习鲁棒性，使识别效果优于单个模型识别效果，提升整体文本意图识别效率。最后，通过各意图识别模型计算出的意图置信度综合确定出目标意图，提升整体意图识别能力的稳定性，提高意图识别精确度。
100.以上实施例主要介绍了方案的实施手段，以下结合具体实施例分别对上述专业术语增强处理、依存句法结构增强处理和语义信息补充处理进行说明。
101.关于专业术语增强处理，旨在强化具有规范化的约定俗成的领域术语特点。以“消化道出血”为例，该术语经过分词处理之后，会分割为两个词汇“消化道”和“出血”。通用型数据增强的一个设计原则是根据词性依赖关系提取增强逻辑。按照此强化规则，两个名词词汇“消化道”和“出血”拼接之后就能还原为原来的专业术语。而通用增强处理过程中保持了相对完成的专有术语的同时，也新增了那些没有信息含义的文本片段处理，例如片段“血象高”。这种方式会在强化过后加剧词频统计中的长尾问题。为了进一步解决该问题，对关
联规则的词性的边界进行了人为限定；另一方面，处理领域性专业术语表达较强且自身没有固定语言结构的专业术语。以“醋酸甲羟孕酮”为例，它的词性标注结果为“醋酸:n，甲:n，羟:n，孕酮:nz”，n为名词，nz为其他专名。针对这类专业性强，词性结构毫无规则的专有名词，通过爬虫技术从网上收集开源领域词汇，针对每个领域构建一个专有词表。通过最大正向匹配方法，保障这些专业名词最大程度上不会被误分割。最后使用多分类层对隐含向量进行处理，并输出意图样本的意图标签及其置信度。
102.关于依存句法结构增强处理，借助中文语言分析工具ltp解析输入文本的依存句法信息。结合文本数据，生成对应的依存关系序列构成文本数据，然后使用无监督语言模型word2vec，用于依存标签的向量化表示，同时挖掘依存关系之间的长距离的“语义”联系。例如句子“孩子”“可能”“是”“水土不服”“引起”“的”“感冒”，构建的依存序列是：sbv adv hed sbv att rad vob。利用文本长短期记忆网络textlstm作为特征学习器，去学习隐含在文本上下文中的依赖关系，来推断出给定文本(句子、文档等)的主题或类别。
103.关于语义信息补充处理，选择google官方开源的中文预训练模型bert-chinese-model作为语义语言模型，对于一个意图文本同时启用多个聚焦点，而不必局限于从前往后的或者从后往前的样本序列串行处理。识别任务型对话系统中的用户意图，还需要往语言模型中“添加”领域特征。随后通过在语言模型上层添加一个基于lstm的输出层，使用fine-tuning的原理对已知的网络结构和已知的网络参数，修改输出层，微调最后一层前的若干层的参数，这样就有效利用了深度神经网络强大的泛化能力，免去了设计复杂的模型以及耗时良久地训练。
104.在一种可能的实现方式中，步骤s104中，根据词法意图置信度、句法意图置信度和语义意图置信度确定意图文本的目标意图，包括：
105.在种子模型对应的意图置信度大于设定阈值时，以种子模型对应的意图置信度作为意图文本的目标意图；
106.否则，确定词法意图置信度、句法意图置信度和语义意图置信度中最大的意图置信度为意图文本的目标意图；
107.相应地，该方法还包括：
108.基于验证文本集分别对词法意图识别模型、句法意图识别模型或语义意图识别模型进行验证；
109.确定各意图识别模型中对验证文本集对应的意图文本的意图识别准确率最高的模型为种子模型。
110.在本实施例中，从词法意图识别模型、句法意图识别模型或语义意图识别模型中选取种子模型，综合各意图识别模型进行目标意图识别，保障决策后的识别效果能够优于个体意图识别模型来提升整体识别率。另外，在迭代优化过程中，一个非种子节点的模型迭代优化时不会对整体产生巨大的负面影响，保证了整体意图识别能力的稳定性。
111.在一种可能的实现方式中，该方法还包括：
112.在不同阈值下基于验证文本集对词法意图识别模型、句法意图识别模型或语义意图识别模型进行验证；
113.确定意图识别效果准确率最高时对应的阈值为设定阈值。
114.在本实施例中，确定设定阈值能够修正被单模型误识别的结果，从最佳识别效果
个体意图识别模型出发，研究样本个体置信度与可受信任的边界，并对不可信部分样本借助最大置信度决策的思路加以修正，输出精确的文本意图。
115.以下结合具体实施例对上述方案进行具体说明。
116.将个体意图识别模型对样本的预测结果表示为意图文本某个方面对该样本的贡献度。例如，样本“关于发热的处理了这个当然了就是了还是挺胖的么法了，可能发烧两三天了还热了”，在经过面向文本词法方面的个体意图识别模型预测之后得到了最高置信度52.19％以及相应的意图标签，而数值52.19％是本文认为文本词法方面对该样本最大贡献程度；同理，在经过面向文本句法方面的个体意图识别模型预测之后得到了最高置信度62.30％以及相应的意图标签，而数值62.30％被认为是在文本句法方面对该样本最大贡献程度；同样的判断逻辑在面向文本语义方面的识别过程中一样有效。由于不同样本在个体意图识别模型中预测结果是不同的，所以通过一个动态决策机制，结合具体样本及其在个体意图识别模型上的表现进行不断调整。
117.当一个个体意图识别模型的整体识别率为0％时，即使个体意图识别模型认为关于该样本的预测结果具有100％的置信度，这个预测结果依旧不可信。因此，设计了如下决策公式平衡这两者之间的关系：
[0118][0119]
其中，种子模型代表具有最佳识别效果的个体意图识别模型，概率p
种子模型
代表种子模型的输出概率；函数argmax
意图
()表示函数括号内的意图识别模型的预测结果；函数max()表示选择个体意图识别模型中具有最高置信度的意图识别模型；τ代表一个可受信任的阈值，其中如果p
种子模型
≥τ，则完全信任种子模型的预测结果，如果p
种子模型
《，则选择所有个体意图识别模型中具有最高置信度的意图作为目标意图。
[0120]
图2是本技术另一实施例提供的意图识别方法的实现流程图，如图2所示，该方法包括如下步骤：
[0121]
s201，获取意图文本并对意图文本进行分词处理构建意图识别样本集；
[0122]
s202，对意图识别样本集进行专业术语增强；
[0123]
s203，基于fastext模型计算词法意图置信度；
[0124]
s204，对意图识别样本集进行依存句法结构增强；
[0125]
s205，基于文本长短期记忆网络textlstm计算句法意图置信度；
[0126]
s206，对意图识别样本集进行语义信息增强；
[0127]
s207，基于语义循环神经网络bertrnn计算句法意图置信度；
[0128]
s208，判断种子模型计算的意图置信度是否低于设定阈值；若判断结果为是，则执行步骤s209；否则，则执行步骤s210；
[0129]
s209，输出种子模型预测的意图；
[0130]
s210，输出意图置信度对应模型预测的意图。
[0131]
对于本技术实施例提供的意图识别方法框架分别在意图类别分布均衡均匀的医疗领域数据集上和在意图类别分布很不均衡的电信话务领域数据集上进行了相关实验的准备工作。对参与评测数据集进行分析，对评测方法和实验设计做了详细的介绍。随后，按
实验设计开展一系列实验，表1和表2表明了本技术实施例提出的小样本意图识别模型具有高效且鲁棒性学习的能力。
[0132]
表1鲁棒性评测结果
[0133][0134][0135]
其中，由于使用的是线上封闭评测模式，第三方未公布准确率这一指标，此处使用macro f指标表示模型的精度。
[0136]
表2学习能力评测结果
[0137]
模型accfasttext64.86％textrnn65.20％textcnn69.93％textrcnn68.92％bertcnn65.62％bertrnn68.92％bertrcnn66.02％动态决策模型71.48％
[0138]
基于上述表1和表2，根据评测结果不难看出本技术实施例提出小样本意图识别方法具有高效且鲁棒性学习的能力。
[0139]
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。
[0140]
以下为本技术的装置实施例，对于其中未详尽描述的细节，可以参考上述对应的方法实施例。
[0141]
图3是本技术一实施例提供的意图识别装置的结构示意图，如图3所示，为了便于说明，仅示出了与本技术实施例相关的部分，如图3所示，该装置包括：
[0142]
分词处理模块301，用于获取意图文本并对意图文本进行分词处理构建意图识别样本集；
[0143]
增强处理模块302，用于对意图识别样本集进行专业术语增强得到第一样本集、进行依存句法结构增强得到第二样本集，并进行语义信息补充得到第三样本集；
[0144]
置信度计算模块303，用奴役根据第一样本集和词法意图识别模型计算词法意图置信度、根据第二样本集和句法意图识别模型计算句法意图置信度并根据第三样本集和语义意图识别模型计算语义意图置信度；
[0145]
意图决策模块304，用于根据词法意图置信度、句法意图置信度和语义意图置信度确定意图文本的目标意图。
[0146]
在一种可能的实现方式中，意图决策模块304，具体用于在种子模型对应的意图置信度大于设定阈值时，以种子模型对应的意图置信度作为意图文本的目标意图；
[0147]
否则，确定词法意图置信度、句法意图置信度和语义意图置信度中最大的意图置信度为意图文本的目标意图；
[0148]
相应地，该装置还包括：
[0149]
种子模型选取模块，用于基于验证文本集分别对词法意图识别模型、句法或语义意图识别模型进行验证，并确定各意图识别模型中对验证文本集对应的意图文本的意图识别准确率最高的模型为种子模型。
[0150]
在一种可能的实现方式中，该装置还包括：
[0151]
阈值选取模块，用于在不同阈值下基于验证文本集对词法意图识别模型、句法意图识别模型或语义意图识别模型进行验证，并确定意图识别效果准确率最高时对应的阈值为设定阈值。
[0152]
在一种可能的实现方式中，增强处理模块302，包括：
[0153]
词法增强子模块，用于基于领域词典对意图识别样本集进行词组匹配，并将误分割的专业术语进行合并得到第一样本集；
[0154]
句法增强子模块，用于基于ltp对意图识别样本集进行解析，确定输入文本的依存句法信息，使用无监督语言模型将用于表示依存句法信息的依存标签向量化，得到第二样本集；其中，无监督语言模型为word2vec模型、glove模型、elmo模型或bert模型；
[0155]
语义增强子模块，用于基于中文预训练模型bert-chinese-model对意图识别样本集进行样本序列串行处理，并补充语义信息得到第三样本集。
[0156]
在一种可能的实现方式中，置信度计算模块303包括词法识别子模块，用于根据基于词袋模型的词法意图识别模型识别第一样本集中样本的词法特征，并根据词法特征识别结果计算在文本词法层面的词法意图置信度；其中，基于词袋模型的词法意图识别模型为fastext模型或支持向量机svm。
[0157]
在一种可能的实现方式中，置信度计算模块303包括句法识别子模块，用于根据面向上下文时序关系的句法意图识别模型识别第二样本集中样本的句法和上下依赖特征，并根据句法识别结果和上下依赖特征识别结果计算在文本句法层面的句法意图置信度；其中，句法意图识别模型为文本长短期记忆网络textlstm、文本卷积神经网络textcnn、文本循环神经网络textrnn、文本卷积循环神经网络textcrnn或文本门控循环单元textgru。
[0158]
在一种可能的实现方式中，置信度计算模块303包括语义识别子模块，用于根据基
于微调机制的语义意图识别模型识别第三样本集中样本的语义信息，并根据语义信息识别结果计算在文本语义层面的语义意图置信度；其中，语义意图识别模型为语义循环神经网络bertrnn、语义卷积神经网络bertcnn、语义长短期记忆网络bertlstm、语义卷积循环神经网络bertcrnn或语义门控循环单元bertgru。
[0159]
图4是本技术另一实施例提供的意图识别装置的结构示意图。其中，置信度计算模块包括词法识别子模块、句法识别子模块和语义识别子模块。
[0160]
在本实施例中，通过获取意图文本并对意图文本进行分词处理构建意图识别样本集，分别对意图识别样本集进行专业术语增强，避免专业名词不被分割，进行语义信息补充，便于确定与上下文依赖关系，进行语义信息补充，以便于推断出意图文本的主题或类别，保证在小样本意图识别过程中准确高效识别出文本意图。然后，综合词法意图识别模型、句法意图识别模型和语义意图识别模型多种模型进行意图识别，提升小样本意图识别过程中文本意图学习鲁棒性，使识别效果优于单个模型识别效果，提升整体文本意图识别效率。最后，通过各意图识别模型计算出的意图置信度综合确定出目标意图，提升整体意图识别能力的稳定性，提高意图识别精确度。
[0161]
图5是本技术一实施例提供的电子设备的结构示意图。如图5所示，该实施例的电子设备5包括：处理器50、存储器51以及存储在所述存储器51中并可在所述处理器50上运行的计算机程序52。所述处理器50执行所述计算机程序52时实现上述各个意图识别方法实施例中的步骤。或者，所述处理器50执行所述计算机程序52时实现上述各装置实施例中各模块/单元的功能。
[0162]
示例性的，所述计算机程序52可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器51中，并由所述处理器50执行，以完成本技术。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序52在所述电子设备5中的执行过程。
[0163]
所述电子设备5可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述电子设备5可包括，但不仅限于，处理器50、存储器51。本领域技术人员可以理解，图5仅仅是电子设备5的示例，并不构成对电子设备5的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述电子设备还可以包括输入输出设备、网络接入设备、总线等。
[0164]
所称处理器50可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0165]
所述存储器51可以是所述电子设备5的内部存储单元，例如电子设备5的硬盘或内存。所述存储器51也可以是所述电子设备5的外部存储设备，例如所述电子设备5上配备的插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)等。进一步地，所述存储器51还可以既包括所述电子设备5的内部存储单元也包括外部存储设备。所述存储器51用于存储所述计算机程序以及所述电子设备所需的
其他程序和数据。所述存储器51还可以用于暂时地存储已经输出或者将要输出的数据。
[0166]
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本技术的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0167]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
[0168]
本领域普通技术人员可以意识到，结合本技术中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0169]
在本技术所提供的实施例中，应该理解到，所揭露的装置/电子设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/电子设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
[0170]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0171]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0172]
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个意图识别方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、电载波信号、电信信号以及软件分发介质等。
[0173]
以上所述实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实
施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围，均应包含在本技术的保护范围之内。