一种用户意图的确定方法、装置、计算机设备和存储介质与流程

本发明属于计算机
技术领域：
，尤其涉及一种用户意图的确定方法、装置、计算机设备和存储介质。
背景技术：
：近年来，因为商业上客户服务等需求日益增加，目前诸如入口网站，或是公司的电话总机，或是公司的信息查询系统等，都会提供自动对话模式，以提供用户自行查询信息或从事交易行为，自动对话模式需要根据用户的输入信息，给予用户相关答复。然而，现有技术中，自动对话模式一般采用统计方法或者模型推荐方法给予用户答复；其中，统计方法是根据对话日志统计中每一个意图关联意图的分布情况，向用户推荐关联度最高的意图；模型推荐方法是通过模型将用户输入的信息采用对等方式，或者直接对用户所有对话信息进行简单拼接，以此推测出用户的意图分布。由此可见，现有技术针对用户意图的推测精确度低，无法满足用户的使用需求。技术实现要素：基于此，有必要针对上述的问题，提供一种用户意图的确定方法。本发明实施例是这样实现的，提供了一种用户意图的确定方法，所述方法包括：接收用户t-1时刻的输入数据；响应于用户t-1时刻数据的输入操作，获取用户当前对话下1至t-2时刻的输入数据以及实时背景数据；将用户当前对话下1至t-2时刻的输入数据转化为1至t-2时刻的输入向量，并对所述1至t-2时刻的输入向量进行加权，生成加权向量；对所述t-1时刻的输入数据、实时背景数据以及加权向量进行拼接，生成拼接向量；根据所述拼接向量及预设的神经网络，确定用户t时刻意图的概率分布，并输出；所述t-1时刻为当前时刻，所述t-2时刻为当前时刻的上一时刻，所述t时刻为当前时刻的下一时刻。本发明实施例还提供了一种用户意图的确定装置，所述装置包括：接收单元，用于接收用户t-1时刻的输入数据；获取单元，用于响应于用户t-1时刻数据的输入操作，获取用户当前对话下1至t-2时刻的输入数据以及实时背景数据；加权向量生成单元，用于将用户当前对话下1至t-2时刻的输入数据转化为1至t-2时刻的输入向量，并对所述1至t-2时刻的输入向量进行加权，生成加权向量；拼接向量生成单元，用于对所述t-1时刻的输入数据、实时背景数据以及加权向量进行拼接，生成拼接向量；意图确定与输出单元，用于根据所述拼接向量及预设的神经网络，确定用户t时刻意图的概率分布，并输出。本发明实施例还提供了一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述用户意图的确定方法的步骤。本发明实施例还提供了所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述用户意图的确定方法的步骤。在本发明实施例中，通过接收用户t-1时刻的输入数据，获取用户当前对话下1至t-2时刻的输入数据以及实时背景数据；将用户当前对话下1至t-2时刻的输入数据转化为1至t-2时刻的输入向量，并对所述1至t-2时刻的输入向量进行加权，生成加权向量；对所述t-1时刻的输入数据、实时背景数据以及加权向量进行拼接，生成拼接向量；根据所述拼接向量及预设的神经网络，确定用户t时刻意图的概率分布，并输出；一方面，充分考虑了用户的输入数据以及用户的实时背景数据，并且加入了时间因素；另一方面，将用户当前时刻的输入数据独立处理，克服了对等输入的缺点，能够更贴近用户的实际情况以便做出更精确地意图推荐，满足用户的使用需求，有利于提高了用户的点击率，提升用户的满意度。附图说明图1是本发明实施例提供的一种用户意图的确定方法的实现流程图；图2是本发明实施例提供的又一种用户意图的确定方法的实现流程图；图3是本发明实施例提供的一种长短时记忆网络的结构示意图；图4是本发明实施例提供的一种用户意图的确定方法的模型示意图；图5是本发明实施例提供的再一种用户意图的确定方法的实现流程图；图6是现有技术提供的传统模型推荐方法的模型示意图；图7是本发明实施例提供的一种用户意图的确定装置的结构示意图。具体实施方式为了使本发明的目的、技术方法及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。应当理解，尽管在本发明实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。为了进一步阐述本发明为实现预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明的具体实施方式、结构、特征及其功效，详细说明如下。本发明实施例提供的一种用户意图的确定方法，通过将用户当前对话下除当前时刻的输入数据外的所有输入数据进行加权处理，结合用户当前时刻的输入数据以及实时背景数据，确定用户下一时刻意图的概率分布；一方面，充分考虑了用户的输入数据以及用户的实时背景数据，并且加入了时间因素；另一方面，将用户当前时刻的输入数据独立处理，克服了对等输入的缺点，能够更贴近用户的实际情况以便做出更精确地意图推荐，满足用户的使用需求，有利于提高了用户的点击率，提升用户的满意度。图1示出了本发明实施例提供的一种用户意图的确定方法的实现流程，详述如下：在步骤s101中，接收用户t-1时刻的输入数据。在本发明实施例中，t-1时刻是指当前时刻；t-1时刻的输入数据可以是用户在当前对话下输入的文字，可以是词语或句子等，如用户输入的“我的贷款什么时候才能到账？”。在步骤s102中，响应于用户t-1时刻数据的输入操作，获取用户当前对话下1至t-2时刻的输入数据以及实时背景数据。在本发明实施例中，t-2时刻为当前时刻的上一时刻，在此1至t-2时刻的输入数据可以理解为用户在当前对话下的前1至t-2次的输入文字。在步骤s103中，将用户当前对话下1至t-2时刻的输入数据转化为1至t-2时刻的输入向量，并对所述1至t-2时刻的输入向量进行加权，生成加权向量。在本发明实施例中，如图2所示，所述步骤s103，包括：在步骤s201中，通过长短时记忆网络将所述用户当前对话下1至t-2时刻的输入数据进行编码，转化为1至t-2时刻的输入向量v1～vt-2。在本发明实施例中，长短时记忆网络(lstm)是一种时间递归神经网络，适合于处理和预测时间序列中间隔和延迟相对较长的重要事件。在本发明实施例中，通过长短时记忆网络将所述用户当前对话下1至t-2时刻的输入数据进行编码，转化为1至t-2时刻的输入向量，具体包括：用户当前对话下1至t-2时刻的输入数据，即1至t-2时刻所输入每一句话都由多个词组成，每一个词是一个向量，lstm就是对这些时间序列的词向量进行建模，使用最后一个状态向量作为整个句子的表示，即句子向量，如图3所示的模型架构图，t-n时刻input为t-n时刻的输入向量，t-2时刻input为t-2时刻的输入向量。在本发明实施例中，把用户的文字输入转换为向量输入，通常采用用户聊天日志进行word2vec(词向量)训练，之后用户输入通过embeddinglayer(嵌入层)进行转换，即通过一个embeddinglayer将用户输入(切词之后的输入)每一个词转换为一个向量，这是业界通用的处理方式，在此不再赘述。在实际应用中，由于每一个时刻对应用户输入的一句话，切词之后就是一个词序列，而lstm可以提取时间序列的特征，对每一句话通过lstm获取最后一个状态向量作为整个句子的编码。如图3所示的一个lstm结构，一句话切词之后，每一个词通过一个词向量表示，对应于xt-1、xt、xt+1，进而使用最后一个状态向量ht+1作为整个句子的编码。在步骤s202中，根据所述1至t-2时刻的输入向量v1～vt-2，通过注意力机制进行加权运算，生成加权向量v加＝a1*v1+a2*v2+……+at-2*vt-2，其中，a1～at-2是需要学习的参数。在本发明实施例中，根据所述1至t-2时刻的输入向量，通过注意力机制进行加权，生成加权向量，具体包括：用户每一个时刻的输入(句子)或者会转换成一个句子向量，如果用户一个输入了k句话，就会有k个向量，v1,v2,v3,v4,…,vk。如图3所示的模型架构图，attention层为注意力机制层，其作用是把上述k个向量进行加权得到一个向量v加＝a1*v1+a2*v2+…+ak*vk，其中a1,a2,…,ak是attention权重参数，即需要学习的参数，模型训练中会自动进行优化求解，也就是说，这些参数和模型所有其他参数一样一开始都选择一个机制(随机、均匀分布等，这些机制对模型影响不大)进行初始化，在模型训练过程中也和其他参数一样是通过随机梯度下降法来进行迭代优化求解的。在步骤s104中，对所述t-1时刻的输入数据、实时背景数据以及加权向量进行拼接，生成拼接向量。在本发明实施例中，如图5所示，所述步骤s104，包括：在步骤s501中，通过长短时记忆网络对所述t-1时刻的输入数据进行编码，转化为t-1时刻的输入向量。在本发明实施例中，长短时记忆网络是一种时间递归神经网络，适合于处理和预测时间序列中间隔和延迟相对较长的重要事件；通过长短时记忆网络对所述t-1时刻的输入数据进行编码，转化为t-1时刻的输入向量，具体包括：将用户t-1时刻输入的数据进行长短时记忆网络编码，向量化处理后，该向量独立处理，即图4所示的t-1时刻input，其不参与attention层(注意力机制层)运算，该向量与t时刻用户意图关联性最大。在步骤s502中，通过独热编码对所述实时背景数据进行编码，转换为实时数据特征向量。在本发明实施例中，实时背景数据包括订单信息、浏览信息、购物车信息等等。实时背景数据向量化处理，转换为实时数据特征向量(实时数据vector)的方式为：如果特征数较少直接使用onehotencoder(独热编码)方式编码即可，特征数较多的情况，先进行特征降维，如使用pca算法进行降维。在步骤s503中，根据所述t-1时刻的输入向量、实时数据特征向量以及加权向量进行拼接，生成拼接向量。在本发明实施例中，如图4所示的concatenate层(拼接层)，实际就是把多个向量拼接起来，例如concatenate((1,2),(3,4))＝(1,2,3,4)。concatenate实际上是综合了实时数据信息，用户输入信息得到的一个向量表示，也就是说concatenate输出的是一个向量c。在步骤s105中，根据所述拼接向量及预设的神经网络，确定用户t时刻意图的概率分布，并输出。在本发明实施例中，神经网络是一个概念，一类算法的总称，可以使用常见的rnn(循环神经网络)、cnn(卷积神经网络)和全连接网络，实际上加了这些网络之后，就是把上述拼接向量c进行了一些变换，增加模型深度和复杂度，使模型有更强的拟合和泛化能力更好一些，将向量c变成了向量c*,如果不对c进行变化也是可以的，但是加入了一些层，这样模型有很多的层，模型深度更深，一般来说模型的效果会好；以图像分类举例，例如一个3层的cnn网络，第1层重点关注的是点特征，第2层关注的是边特征，第3层提取的是轮廓特征。输出层就是一个softmax(柔性最大值传输函数)层，如果我们需要预测的意图数目为m，那么输出层就是一个激活函数为softmax，神经元为m的全连接层。以下以具体实验案例做进一步说明：1、实验数据一共20万训练集，5万测试集，预测意图数：200个实验数据抽取方式：例如用户和机器人的一通对话：context＝[(input_1,i_1),(input_2,i_2),…,(input_t,_i_t)]；user_datainput_k表示用户第k时刻的输入，i_k表示用户第k时刻输入被识别成的意图；user_data表示该对话中用户的实时数据(本发明实施例中会使用该数据)，用户对话日志中可以保存该数据，便于离线分析，在实际线上应用中，实时数据是通过调用接口获取的。表1样本抽取示例用户输入系统识别的意图我的贷款逾期了吗逾期查询这是我的账号，请帮我办理自动扣款自动扣款扣款失败了怎么办扣款失败上面的一通对话中一共3轮对话，可以抽取出2个样本：样本1：x＝user_data|我的贷款逾期了吗(逾期查询)；y＝自动扣款；样本2：x＝user_data|我的贷款逾期了吗(逾期查询)|这是我的账号，请帮我办理自动扣款(自动扣款)；y＝扣款失败；其中，user_data是系统保存的用户当时聊天那个时间实时数据信息，(*)里面是用户输入对应的系统识别的意图。按照上述方式：一共使用了【30万】通对话产出了20万训练集，8万通对话产出了5万测试集。2、统计方法使用上面描述的30万通对话(产生训练集的原始数据)进行统计，主要统计每一个意图紧接着的意图的分布情况。例如上面【样本抽取示例】中的对话，可以统计出：逾期查询：自动扣款(+1)自动扣款：扣款失败(+1)按照这种方式统计，按照统计值降序排序，可以得到【逾期查询】紧接着的意图排序情况。例如【逾期查询】紧接着的意图依次为：【自动扣款】，【到账时间查询】，【订单查询】，…等。测试：对5万测试集计算topn的准确率。例如一个【测试样本】：x＝user_data|我的贷款逾期了吗(逾期查询)|这是我的账号，请帮我办理自动扣款(自动扣款)；y＝扣款失败，则解析出用户最后一个输入对应的意图为【自动扣款】，例如根据之前统计出的结果【自动扣款】紧接着的意图为：【订单查询】，【到账时间查询】，【扣款失败】。由于该样本正确的将来意图y＝【扣款失败】，则top1和top2错误，top3正确。3、传统模型推荐方法如图6所示，传统模型推荐方法使用3通道的cnn网络。选取用户最近的3句话进行输入，切词采用2-gram的方式，通过加入embeddinglayer将词转换词向量。embeddinglayer之后是一个3通道的卷积层，接着是一个globalmaxpool层(全局最大化池化层)，接着是一个concatenate层，最后是一个激活函数为softmax的全连接层。对训练集进行3交叉训练，并在测试集上计算top1,top3,top10准确率。4、本发明实施例方法：实验模型结构与本发明实施例描述一致，具体如下：用户输入特征：选取用户最近4句话，采用2-gram进行切词，之后加入embeddinglayer将词转化为词向量，然后通过lstm得到句子向量，一共得到4个向量，然后前3个句子向量进行attention处理，最后一个不用。实时特征：收集用户贷款信息，app浏览点击信息一共100维特征进行one-hotencoder。将处理后的特征进行concatenate，然后紧接着是一个cnn模块(cnn具体结构为：卷积层，接着是一个globalmaxpool层(全局最大池化)，最后是一个concatenate层)。最后是一个激活函数为softmax的全连接层。对训练集进行3交叉训练，并在测试集上计算top1,top3,top10准确率。5、实验结果实验编码：使用keras进行建模。keras是一种当前比较流程的深度学习框架。表2实验结果分析以上三种方法在top1,top3,top10accuracy指标上面呈现出以下关系：本发明实施例方法>常规模型推荐方法>统计方法综上，本发明所获得的用户意图分布较现有技术更加准确。这样给用户推荐意图不仅能够提高用户的点击率，而且对于对话系统类产品，会让用户觉得机器更加智能，提升用户满意度。本发明实施例提供的一种用户意图的确定方法，通过将用户当前对话下除当前时刻的输入数据外的所有输入数据进行加权处理，结合用户当前时刻的输入数据以及实时背景数据，确定用户下一时刻意图的概率分布；一方面，充分考虑了用户的输入数据以及用户的实时背景数据，并且加入了时间因素；另一方面，将用户当前时刻的输入数据独立处理，克服了对等输入的缺点，能够更贴近用户的实际情况以便做出更精确地意图推荐，满足用户的使用需求，有利于提高了用户的点击率，提升用户的满意度。图7示出了本发明实施例提供的一种用户意图的确定装置700的结构，为了便于说明，仅示出了与本发明实施例相关的部分。用户意图的确定装置700，包括接收单元701，获取单元702，加权向量生成单元703，拼接向量生成单元704以及意图确定与输出单元705。接收单元701，用于接收用户t-1时刻的输入数据。在本发明实施例中，接收单元701用于接收用户t-1时刻的输入数据。其中，t-1时刻是指当前时刻；t-1时刻的输入数据可以是用户在当前对话下输入的文字，可以是词语或句子等，如用户输入的“我的贷款什么时候才能到账？”。获取单元702，用于响应于用户t-1时刻数据的输入操作，获取用户当前对话下1至t-2时刻的输入数据以及实时背景数据。在本发明实施例中，获取单元702用于响应于用户t-1时刻数据的输入操作，获取用户当前对话下1至t-2时刻的输入数据以及实时背景数据；其中，t-2时刻为当前时刻的上一时刻，在此1至t-2时刻的输入数据可以理解为用户在当前对话下的前1至t-2次的输入文字。加权向量生成单元703，用于将用户当前对话下1至t-2时刻的输入数据转化为1至t-2时刻的输入向量，并对所述1至t-2时刻的输入向量进行加权运算，生成加权向量。在本发明实施例中，所述加权向量生成单元703，包括：第一编码模块以及加权模块。第一编码模块，用于通过长短时记忆网络将所述用户当前对话下1至t-2时刻的输入数据进行编码，转化为1至t-2时刻的输入向量v1～vt-2。在本发明实施例中，第一编码模块，用于通过长短时记忆网络将所述用户当前对话下1至t-2时刻的输入数据进行编码，转化为1至t-2时刻的输入向量v1～vt-2；其中，长短时记忆网络是一种时间递归神经网络，适合于处理和预测时间序列中间隔和延迟相对较长的重要事件。加权模块，用于根据所述1至t-2时刻的输入向量v1～vt-2，通过注意力机制进行加权，生成加权向量v加＝a1*v1+a2*v2+……+at-2*vt-2，其中，a1～at-2是需要学习的参数。在本发明实施例中，加权模块用于根据所述1至t-2时刻的输入向量v1～vt-2，通过注意力机制进行加权，生成加权向量v加＝a1*v1+a2*v2+……+at-2*vt-2，其中，a1～at-2是需要学习的参数，模型训练中会自动进行优化求解。拼接向量生成单元704，用于对所述t-1时刻的输入数据、实时背景数据以及加权向量进行拼接，生成拼接向量。在本发明实施例中，所述拼接向量生成单元704用于对所述t-1时刻的输入数据、实时背景数据以及加权向量进行拼接，生成拼接向量，包括第二编码模块、第三编码模块以及拼接模块。第二编码模块，用于通过长短记忆网络对所述t-1时刻的输入数据进行编码，转化为t-1时刻的输入向量。在本发明实施例中，第二编码模块用于通过长短记忆网络对所述t-1时刻的输入数据进行编码，转化为t-1时刻的输入向量；其中，长短时记忆网络是一种时间递归神经网络，适合于处理和预测时间序列中间隔和延迟相对较长的重要事件；通过长短时记忆网络对所述t-1时刻的输入数据进行编码，转化为t-1时刻的输入向量，具体包括：将用户t-1时刻输入的数据进行长短时记忆网络编码，向量化处理后，该向量独立处理，其不参与attention层(注意力机制层)运算，该向量与t时刻用户意图关联性最大。第三编码模块，用于通过独热编码对所述实时背景数据进行编码，转换为实时数据特征向量。在本发明实施例中，第三编码模块用于通过独热编码对所述实时背景数据进行编码，转换为实时数据特征向量；其中，实时背景数据包括订单信息、浏览信息、购物车信息等等。实时背景数据向量化处理，转换为实时数据特征向量的方式为：如果特征数较少直接使用onehotencoder(独热编码)方式编码即可，特征数较多的情况，先进行特征降维，如使用pca算法进行降维。拼接模块，用于根据所述t-1时刻的输入向量、实时数据特征向量以及加权向量进行拼接，生成拼接向量。在本发明实施例中，拼接模块用于根据所述t-1时刻的输入向量、实时数据特征向量以及加权向量进行拼接，生成拼接向量；如图4所示的concatenate层(拼接层)，实际就是把多个向量拼接起来，例如concatenate((1,2),(3,4))＝(1,2,3,4)。意图确定与输出单元705，用于根据所述拼接向量及预设的神经网络，确定用户t时刻意图的概率分布，并输出。在本发明实施例中，意图确定与输出单元705用于根据所述拼接向量及预设的神经网络，确定用户t时刻意图的概率分布，并输出；其中，神经网络可以使用常见的rnn(循环神经网络)、cnn(卷积神经网络)和全连接网络。本发明实施例提供的一种用户意图的确定装置，通过将用户当前对话下除当前时刻的输入数据外的所有输入数据进行加权处理，结合用户当前时刻的输入数据以及实时背景数据，确定用户下一时刻意图的概率分布；一方面，充分考虑了用户的输入数据以及用户的实时背景数据，并且加入了时间因素；另一方面，将用户当前时刻的输入数据独立处理，克服了对等输入的缺点，能够更贴近用户的实际情况以便做出更精确地意图推荐，满足用户的使用需求，有利于提高了用户的点击率，提升用户的满意度。本发明实施例还提供了一种计算机设备，该计算机设备包括处理器，处理器用于执行存储器中存储的计算机程序时实现上述各个方法实施例提供的用户意图的确定方法的步骤。本发明的实施例还提供了一种计算机可读存储介质，其上存储有计算机程序/指令，该计算机程序/指令被上述处理器执行时实现上述各个方法实施例提供的用户意图的确定方法的步骤。示例性的，计算机程序可以被分割成一个或多个模块，一个或者多个模块被存储在存储器中，并由处理器执行，以完成本发明。一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在计算机设备中的执行过程。例如，所述计算机程序可以被分割成上述各个方法实施例提供的用户意图的确定方法的步骤。本领域技术人员可以理解，上述计算机设备的描述仅仅是示例，并不构成对计算机设备的限定，可以包括比上述描述更多或更少的部件，或者组合某些部件，或者不同的部件，例如可以包括输入输出设备、网络接入设备、总线等。所称处理器可以是中央处理单元(centralprocessingunit，cpu)，还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述计算机设备的控制中心，利用各种接口和线路连接整个用户终端的各个部分。所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述计算机设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smartmediacard,smc)，安全数字(securedigital,sd)卡，闪存卡(flashcard)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。所述计算机设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、电载波信号、电信信号以及软件分发介质等。以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。当前第1页12