一种意图识别方法及装置与流程

本申请涉及数据处理分析技术领域，具体而言，涉及一种意图识别方法及装置。

背景技术：

目前，在金融业领域，针对逾期客户的债务催收，一般通过业务人员人工上门催收或人工电话催收。这些方式需要投入较大的人力和资金，效率较低。同时在人工进行催收的过程中，难以把握每个催收人员的话术标准和服务态度。

所以，利用机器人进行债务催收成为一种高可行性替代方案。但机器人在进行催收的过程中，一般是根据预设的问题和回答进行催收，催收模式比较单一。

技术实现要素：

有鉴于此，本申请实施例的目的在于提供一种意图识别方法及装置，能够通过使用意图识别模型较为精确的识别用户意图，提高金融催收的效率和服务质量。

第一方面，本申请实施例提供了一种意图识别方法，其中，包括：

获取用户的回答文本；

将所述回答文本分别输入至少一个意图识别模型，生成与每个意图识别模型对应的预测结果；

根据每个意图识别模型所对应的预测结果，确定所述回答文本的行为意图。

结合第一方面，本申请实施例提供了第一方面的第一种可能的实施方式，其中，所述根据每个意图识别模型所对应的预测结果，确定所述回答文本的行为意图，包括：

将根据所述每个意图识别模型对应的预测结果输入逻辑回归模型，并为所述每个意图识别模型对应的预测结果分配权值；

根据所述每个意图识别模型对应的预测结果对应的权值，确定所述回答文本的行为意图。

结合第一方面，本申请实施例提供了第一方面的第二种可能的实施方式，其中，所述意图识别模型通过以下步骤获得，包括：

将获取的标识有意图标签的标准回答文本划分为训练数据集和验证数据集；

将每个所述训练数据集输入至少一个分类模型，对每个所述分类模型进行训练，生成每个训练数据集所对应的基础预测模型；

将多个所述验证数据集输入所述基础预测模型，对所述基础预测模型的模型参数进行验证，确定每个所述训练数据集对应的意图识别模型。

结合第一方面的第二种可能的实施方式，本申请实施例提供了第一方面的第三种可能的实施方式，其中，所述分类模型包括第一分类模型；所述基础预测模型包括第一基础预测模型；

所述将每个所述训练数据集输入至少一个分类模型，对每个所述分类模型进行训练，生成每个训练数据集所对应的基础预测模型，包括：

有放回的随机选取至少一个样本作为每个所述训练数据集，并将所述训练数据集输入所述第一分类模型，以生成对应的所述第一分类模型中的决策树根节点；

选取所述样本的至少一个属性作为从所述决策树根节点分裂的决策树子节点的分裂属性；

将所述由决策树根节点和决策树子节点组成的决策树作为与每个所述训练数据集对应的所述第一基础预测模型。

结合第一方面的第二种实施方式，本申请实施例提供了第一方面的第四种可能的实施方式，其中，所述分类模型还包括第二分类模型；所述基础预测模型还包括第二基础预测模型；

所述将每个所述训练数据集输入至少一个分类模型，对每个所述分类模型进行训练，生成每个训练数据集所对应的基础预测模型，包括：

将所述训练数据集输入第二分类模型，并对所述第二分类模型进行训练；

计算所述第二分类模型对应的第一损失函数的梯度方向；

将所述第二分类模型输出的预测结果输入所述第一损失函数的梯度方向，生成下一次输入第二分类模型的训练数据集；

将所述训练数据集输入所述第二分类模型，以生成所述第二基础预测模型。

结合第一方面，本申请实施例提供了第一方面的第五种可能的实施方式，其中，所述获取用户的回答文本的步骤之后，还包括：

将所述回答文本输入到所述语义识别模型中，以生成词向量；

基于每个所述目标词汇对应的词向量，生成所述词向量的逆文本频率指数；

根据每个所述词向量和所述词向量的逆文本频率指数，生成所述回答文本对应的句向量。

第二方面，本申请实施例还提供一种意图识别装置，包括：

获取模块，用于获取用户的回答文本；

生成模块，用于将所述回答文本分别输入至少一个意图识别模型，生成与每个意图识别模型对应的预测结果；

确定模块，用于根据每个意图识别模型所对应的预测结果，确定所述回答文本的行为意图。

结合第二方面，本申请实施例提供了第二方面的第一种可能的实施方式，其中，所述确定模块具体用于：

将根据所述每个意图识别模型对应的预测结果输入逻辑回归模型，并为所述每个意图识别模型对应的预测结果分配权值；

根据所述每个意图识别模型对应的预测结果对应的权值，确定所述回答文本的行为意图。

第三方面，本申请实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。

第四方面，本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。

本申请实施例提供的意图识别方法及装置，首先获取用户的回答文本，其次将获取的回答文本分别输入至少一个意图识别模型，生成与每个意图识别模型分别对应的预测结果，最后根据每个意图识别模型对应的预测结果，确定回答文本的行为意图。本申请通过预先训练的多个意图识别模型，对用户的回答文本进行预测，并确定回答文本对应的行为意图，以提供与用户的行为意图对应的回答，提高了预测的效率和准确性，并一定程度的提高了金融催收的催收效率和服务质量。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本申请实施例所提供的一种意图识别方法的流程图；

图2示出了本申请实施例所提供的另一种意图识别方法的流程图；

图3示出了本申请实施例所提供的一种意图识别装置的结构示意图；

图4示出了本申请实施例所提供的一种电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

在金融领域中，对于逾期客户的债务催收，传统的方法是通过人工上门催收或人工电话催收，需要大量的劳动力和资金。同时，在人工催收的过程中，难以把握每个催收人员的话术标准和服务态度。

基于上述问题，利用机器人进行催收成为一种高可行性的替代方案，在降低成本的同时，也可以保证催收话术的一致性和高标准的服务质量。但是在机器人智能催收的多轮对话中，机器人不仅仅要讲标准的既定话术，同时也要根据用户的回答，识别出用户的说话意图，并根据用户的意图，智能的调整对话流程策略，以完成整体的催收流程。因此，对用户的回答文本的意图识别是整个多轮对话催收流程中最重要的一环。而意图识别是通过分类的方法，将自然语句的实际含义分配到相应的意图种类中。意图识别在搜索、推荐等各个领域都有较为广泛的应用。

基于此，本申请提供的一种意图识别方法及装置，可以较为精确的识别用户意图。如图1所示，首先对本申请实施例所公开的一种意图识别方法进行详细介绍，其中，步骤包括：

s101，获取用户的回答文本。

这里，获取的用户的回答文本一般是指在金融催收多轮对话领域中，根据金融产品的特点而涉及的可能的话术。利用机器人以可能的标准问题为起始，以问题引导的方式对用户进行问题的询问，并将用户针对询问的问题的回答文本进行存储。

用户的回答文本可以是通过将用户的回答语音转化为回答文本，经将用户的回答文本进行存储。将前期通过人工催收获取的语料进行人工标注，对于催收流程中每个问题的回答，都有相应种类的意图分类，将标注好的带有标签的回答文本，进行预处理。

具体的，预处理包括首先将回答文本输入到语义识别模型中，以生成词向量。其次，基于每个目标词汇对应的词向量，生成词向量的逆文本频率指数。最后，根据每个词向量和词向量的逆文本频率指数，生成回答文本对应的句向量。

其中，预处理首先是对回答文本进行分词，然后由于回答文本的语料的长度是短文本，不进行去除停用词处理，以免影响数据内容的完整性和准确性。同时，对回答文本进行去除标点符号处理，在切词时，标点符号会单独切出并进行过滤。

另外，对回答文本进行预处理还包括，用句向量的形式表示用户的回答文本。具体的，首先获取回答文本中的各个目标词汇对应的在回答文本中出现的频率。目标词汇主要是指将回答文本进行分词后得到的各个词汇。对分词后的回答文本进行词频及逆文本频率指数(tf-idf，termfrequency–inversedocumentfrequency)计算。其中，tf-idf是用以评估目标词汇对于一个文件集或一个语料库中的其中一份文件的重要程度。目标词汇的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。目标词汇在一篇文章中出现的次数越多,同时在所有文档中出现次数越少,越能够代表该文本。

这里，使用tf-idf算法对目标词汇进行计算，以判断目标词汇与用户的意图的相关性。其中，如果出现生僻词是一个文件集或一个语料库中没有的，对生僻词的idf值进行处理。如公式1所示，为对idf值进行平滑的方法。其中，n为语料库中的文档总数，n(x)为包含目标词汇的文档数。某一文档中的高频词语，以及该词语在整个文档集合中的低文件频率，可以产生高权重的tf-idf值，因此，tf-idf倾向于过滤掉常见词，保留重要词语。

在获取了输入的回答文本中目标词汇的频率后，即tf(x)值，将获得的频率转化为该回答文本的第一词频向量，如公式2所示，计算tf-idf的加权值，从而获得回答文本的tf-idf的句向量表达。

tf-idf(x)＝tf(x)×idf(x)公式2

s102，将回答文本分别输入至少一个意图识别模型，生成与每个意图识别模型对应的预测结果。

这里，首先通过以下步骤获取意图识别模型：

将获取的标识有意图标签的标准回答文本划分为训练数据集和验证数据集；

将每个训练数据集输入至少一个分类模型，对每个分类模型进行训练，生成每个训练数据集所对应的基础预测模型；

将多个验证数据集输入基础预测模型，对基础预测模型的模型参数进行验证，确定每个训练数据集对应的意图识别模型。

具体的，首先，获取带有意图标签的标准回答文本划分为训练数据集和验证数据集。其中，预设的标准文本一般是指针对金融催收领域的涉及的询问的问题，从以往人工催收的用户的回答的语料中，选择具有代表性的，制作成语料库。同时，对这些预设的标准文本进行分类，对每一个预设的标准文本进行人工标识，将与预设的标准文本对应的用户意图标识在每一个预设的标注文本上。用户意图可以是积极协商、承诺还款、拒绝还款、还款完毕、询问金额和询问姓名等金融催收领域中可能涉及的意图种类。

将获取的标识由意图标签的标准回答文本划分为训练数据集和验证数据集，具体的，可以将标准回答文本划分为多份包含相同数量回答样本的数据集，选择其中至少一份作为验证数据集，其他数据集作为训练数据集。将每份训练数据集输入各个分类模型，并对，每个分类模型进行训练，生成每个训练数据集对应的基础预测模型，每个基础预测模型与输入的训练数据集对应。不同的训练数据集输入分类模型，训练得出不同的基础预测模型。

在得到训练数据集对应的基础预测模型后，将相应的验证数据集输入基础预测模型，对基础预测模型的模型参数进行验证，选择验证后的结果与验证数据集中预设的意图标签最接近的基础预测模型作为训练数据集对应的意图识别模型。

具体的，分类模型包括第一分类模型和第二分类模型。其中，第一分类模型可以是randomforest和extratrees模型，第二分类模型可以是gradientdescentboost和treexgboost模型。两类分类模型处理回答文本的方式不同。

另外，将获取的带有意图标签的用户的回答文本对应的句向量使用randomsmote算法，通过上采样的方法进行类别不均衡处理，smote算法只是在相邻近的小类样本之间线性插值。因此，插值的结果是小类样本密集的地方依然相对密集，小类样本稀疏的地方依然相对稀疏。这样，处在稀疏区域的样本，分类算法不易识别，容易出现误分。因此，smote算法对某些处在稀疏区域的未知小类样本的分类效果将不明显。使用randomsmote算法可以对于每个少数类样本x，从少数类集合中随机选择两个样本y1和y2，以x、y1、y2为顶点构成一个三角形区域，并根据过采样倍率n,在该三角形区域内随机生成n个新的少数类样本。通过这种方式可以明显的提升某些处在稀疏区域的未知小类样本的分类效果。

在对样本进行处理后，首先，有放回的随机选取至少一个样本作为每个训练数据集，并将训练数据集输入第一分类模型，以生成对应的所述第一分类模型中的决策树根节点，对于每一个节点，随机选择m个属性，决策树上每个节点都是基于这些属性确定的。根据m个属性，计算其最佳的分裂方式。其中，选取样本的至少一个属性作为从决策树根节点分裂的决策树子节点的分裂属性，重复上述步骤，最后将由决策树根节点和决策树子节点组成的决策树作为与每个训练数据集对应的第一基础预测模型。

使用第二分类模型得到第二基础预测模型的过程如下，首先将训练数据集输入第二分类模型，并对第二分类模型进行训练，计算第二分类模型对应的第一损失函数的梯度方向。其次，将第二分类模型输出的预测结果输入第一损失函数的梯度方向，生成下一次输入第二分类模型的训练数据集。最后，将训练数据集输入第二分类模型，以生成第二基础预测模型。

这里，使用randomforest、extratrees、gradientdescentboosttree、xgboost等模型进行融合，主要根据交叉验证过程将样本分成训练数据集和验证数据集。通过对每个训练数据集进行训练，获得相应的基础预测模型，再分别对各自的验证数据集和新的回答文本进行预测，获得验证预测结果和回答文本的预测结果，将每个模型通过交叉验证产生的验证数据集汇总并进行投票，得到预测结果。

s103，根据每个意图识别模型所对应的预测结果，确定回答文本的行为意图。

这里，将获取的用户的回答文本经过预处理后输入每个意图识别模型中，都可以得到对应的预测结果。具体的，将根据每个意图识别模型对应的预测结果输入逻辑回归模型，并为每个意图识别模型对应的预测结果分配权值，并根据每个意图识别模型对应的预测结果对应的权值，确定回答文本的行为意图。如图2所示，在获得预测结果后，通过逻辑回归模型将多个分类模型得到的预测结果动态分配权重，并得到最终的结果。

在每个意图识别模型输出相应的预测结果后，可以选用逻辑回归算法(lr，logisticregression)对每个意图识别模型产生的验证预测结果和对输入的用户的回答文本得到的预测结果进行训练，这样可以根据不同意图识别模型输出的程度予以权重，对验证数据集预测，汇总平均进行预测生成回答文本对应的行为意图。

本申请实施例通过获取用户的回答文本，将所述回答文本分别输入至少一个意图识别模型，生成与每个意图识别模型对应的预测结果，并根据每个意图识别模型所对应的预测结果，确定所述回答文本的行为意图。通过上述方法，提高了意图识别的准确度和效率，并根据用户的意图，智能的调整对话流程策略，以完成整体的催收流程，在降低成本的同时，也可以保证催收话术的一致性和高标准的服务质量，同时，可以更加精准的对回答文本进行分类，从而识别更加精确的用户的回答意图，以和语料库中的标准文本进行匹配，并选择相对应的回答语音。

基于同一发明构思，本申请实施例中还提供了与意图识别方法对应的意图识别装置，由于本申请实施例中的装置解决问题的原理与本申请实施例上述意图识别方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。如图3所示，本申请实施例所提供的一种意图识别装置，其中，包括：

获取模块301，用于获取用户的回答文本；

生成模块302，用于将所述回答文本分别输入至少一个意图识别模型，生成与每个意图识别模型对应的预测结果；

确定模块303，用于根据每个意图识别模型所对应的预测结果，确定所述回答文本的行为意图。

其中，所述确定模块303具体用于：

将根据所述每个意图识别模型对应的预测结果输入逻辑回归模型，并为所述每个意图识别模型对应的预测结果分配权值；

根据所述每个意图识别模型对应的预测结果对应的权值，确定所述回答文本的行为意图。

本实施例中，获取模块301、生成模块302和确定模块303的具体功能和交互方式，可参见图1对应的实施例的记载，在此不再赘述。

如图4所示，为本申请实施例提供的电子设备的装置示意图，该装置包括处理器41、存储器42和总线43，所述存储器42存储执行指令，当所述装置运行时，所述处理器41与所述存储器42之间通过总线43通信，所述处理器41执行所述执行指令使得所述装置执行如下方法：

获取用户的回答文本；

将所述回答文本分别输入至少一个意图识别模型，生成与每个意图识别模型对应的预测结果；

根据每个意图识别模型所对应的预测结果，确定所述回答文本的行为意图。

可选地，所述处理器41执行的所述方法中，所述根据每个意图识别模型所对应的预测结果，确定所述回答文本的行为意图，包括：

将根据所述每个意图识别模型对应的预测结果输入逻辑回归模型，并为所述每个意图识别模型对应的预测结果分配权值；

根据所述每个意图识别模型对应的预测结果对应的权值，确定所述回答文本的行为意图。

可选地，所述处理器41执行的所述方法中，所述意图识别模型通过以下步骤获得，包括：

将获取的标识有意图标签的标准回答文本划分为训练数据集和验证数据集；

将每个所述训练数据集输入至少一个分类模型，对每个所述分类模型进行训练，生成每个训练数据集所对应的基础预测模型；

将多个所述验证数据集输入所述基础预测模型，对所述基础预测模型的模型参数进行验证，确定每个所述训练数据集对应的意图识别模型。

可选地，所述处理器41执行的所述方法中，所述分类模型包括第一分类模型；所述基础预测模型包括第一基础预测模型；

所述将每个所述训练数据集输入至少一个分类模型，对每个所述分类模型进行训练，生成每个训练数据集所对应的基础预测模型，包括：

有放回的随机选取至少一个样本作为每个所述训练数据集，并将所述训练数据集输入所述第一分类模型，以生成对应的所述第一分类模型中的决策树根节点；

选取所述样本的至少一个属性作为从所述决策树根节点分裂的决策树子节点的分裂属性；

将所述由决策树根节点和决策树子节点组成的决策树作为与每个所述训练数据集对应的所述第一基础预测模型。

可选地，所述处理器41执行的所述方法中，所述分类模型还包括第二分类模型；所述基础预测模型还包括第二基础预测模型；

所述将每个所述训练数据集输入至少一个分类模型，对每个所述分类模型进行训练，生成每个训练数据集所对应的基础预测模型，包括：

将所述训练数据集输入第二分类模型，并对所述第二分类模型进行训练；

计算所述第二分类模型对应的第一损失函数的梯度方向；

将所述第二分类模型输出的预测结果输入所述第一损失函数的梯度方向，生成下一次输入第二分类模型的训练数据集；

将所述训练数据集输入所述第二分类模型，以生成所述第二基础预测模型。

可选地，所述处理器41执行的所述方法中，所述获取用户的回答文本的步骤之后，还包括：

将所述回答文本输入到所述语义识别模型中，以生成词向量；

基于每个所述目标词汇对应的词向量，生成所述词向量的逆文本频率指数；

根据每个所述词向量和所述词向量的逆文本频率指数，生成所述回答文本对应的句向量。

对应于图1中的意图识别方法，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述意图识别方法的步骤。

具体地，该存储介质能够为通用的存储介质，如移动磁盘、硬盘等，该存储介质上的计算机程序被运行时，能够执行上述意图识别方法，从而解决识别用户意图的问题，进而达到提高识别用户意图的准确性，并提升金融催收效率的效果。

本申请实施例所提供的一种意图识别方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-onlymemory，rom)、随机存取存储器(randomaccessmemory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。