基于多轮会话的意图识别方法及装置与流程

文档序号:22627728发布日期:2020-10-23 19:36阅读:来源:国知局

技术特征:

1.一种基于多轮会话的意图识别方法,其特征在于,包括:

将m轮问题信息中的每轮问题信息的词向量转换为句向量,得到m个句向量,其中,所述m轮问题信息为多轮会话中由用户帐号产生的问题信息,m为大于1的自然数;

根据预先确定的标签矩阵对所述m个句向量进行注意力编码操作,得到第一会话向量,其中,所述第一会话向量用于表示所述m个句向量中的每个句向量的意图信息;

对所述m个句向量进行门控循环单元gru编码,得到第二会话向量,其中,所述第二会话向量用于表示所述多轮会话的全局会话信息;

根据预设的多个卷积核对所述m个句向量进行卷积操作,得到第三会话向量,其中,所述第三会话向量用于表示所述多轮会话的局部会话信息;

根据所述第一会话向量、所述第二会话向量以及所述第三会话向量,确定所述多轮会话的意图信息。

2.根据权利要求1所述的方法,其特征在于,所述根据预先确定的标签矩阵对所述m个句向量进行注意力编码操作,得到第一会话向量,包括:

对所述标签矩阵与所述m个句向量的乘积进行第一注意力编码操作,得到m个注意力取值;

对所述m个注意力取值进行归一化操作,得到m个归一化取值;

根据所述m个句向量与所述m个归一化取值,确定所述第一会话向量。

3.根据权利要求2所述的方法,其特征在于,所述对所述标签矩阵与所述m个句向量的乘积进行第一注意力编码操作,得到m个注意力取值,包括:

使用目标激活函数对所述标签矩阵与所述m个句向量的乘积执行目标激活操作,得到m个激活向量,其中,所述m个激活向量中的每个激活向量用于表示所述m个句向量中的一个句向量与所述标签矩阵中的每个标签的匹配概率,所述标签矩阵中的每个标签用于表示多个意图类别中的一个意图类别;

对所述m个激活向量执行目标池化操作,得到所述m个注意力取值,其中,所述目标池化操作用于在所述m个激活向量中的每个激活向量中选取最大的匹配概率,所述m个注意力取值中的每个注意力取值为所述m个激活向量中对应的激活向量中最大的匹配概率。

4.根据权利要求2所述的方法,其特征在于,所述根据所述m个句向量与所述m个归一化取值,确定所述第一会话向量,包括:

将所述第一会话向量确定为:

其中,表示所述第一会话向量,表示所述m个归一化取值中的第i个归一化取值,表示所述m个句向量中的第i个句向量。

5.根据权利要求2所述的方法,其特征在于,所述对所述m个注意力取值进行归一化操作,得到m个归一化取值,包括:

对所述m个注意力取值进行softmax归一化操作,得到所述m个归一化取值

6.根据权利要求1所述的方法,其特征在于,所述对所述m个句向量进行门控循环单元gru编码,得到第二会话向量,其中,所述第二会话向量用于表示所述多轮会话的全局会话信息,包括:

对所述m个句向量进行门控循环单元gru编码,得到m个目标编码向量;

将所述m个目标编码向量输入自注意self-attention层,通过所述self-attention层为所述m个句向量中的每个句向量分配权重,并将分配权重的m个句向量执行求和操作,得到所述第二会话向量。

7.根据权利要求1所述的方法,其特征在于,所述根据预设的多个卷积核对所述m个句向量进行卷积操作,得到第三会话向量,包括:

使用p个不同大小的卷积核分别对所述m个句向量执行卷积操作,得到p组特征图;

通过self-attention层,将所述p组特征图转化成p组特征向量,并获取与所述p组特征向量一一对应的权重值;

在所述p组特征向量中选取出权重值大于预设阈值的多个目标特征向量;

将所述多个目标特征向量的组合确定为所述第三会话向量。

8.根据权利要求1所述的方法,其特征在于,所述根据所述第一会话向量、所述第二会话向量以及所述第三会话向量,确定所述多轮会话的意图信息,包括:

将所述第一会话向量、所述第二会话向量以及所述第三会话向量拼接为目标分类向量;

将所述目标分类向量输入到目标全连接层,得到目标分类结果;

根据所述目标分类结果确定所述多轮会话的意图信息。

9.根据权利要求8所述的方法,其特征在于,所述根据所述目标分类结果确定所述多轮会话的意图信息,包括:

对所述目标分类结果进行softmax归一化操作,得到多个意图类别中的每个意图类别的概率,其中,所述目标分类结果用于表示在所述多个意图类别中的每个意图类别上的类别取值;

将所述多轮会话的意图信息确定为包括所述多个意图类别中的目标意图类别,其中,所述目标意图类别是所述多个意图类别中概率最大的意图类别。

10.根据权利要求1所述的方法,其特征在于,在所述将m轮问题信息中的每轮问题信息的词向量转换为句向量之前,所述方法包括:

对所述m轮问题信息中的每轮问题信息执行以下操作,得到每轮问题信息的词向量,其中,在执行以下操作的过程中,所述每轮问题信息被视为当前问题信息:

在所述当前问题信息为所述m轮问题信息中的第i轮问题信息时,对所述当前问题信息进行分词处理,得到ni个词语,其中,ni为自然数;

对所述ni个词语中的每个词语进行向量化操作,得到ni个第一词向量;

对所述ni个词语中的每个词语进行拆字操作,得到ni组字;对所述ni组字中的每个字进行向量化操作,得到ni组字向量;对所述ni组字向量中的每组字向量进行组合,得到ni个第二词向量;

将所述ni个第一词向量和所述ni个第二词向量分别进行加和,得到所述ni个词语对应的ni个词向量,其中,所述当前问题信息的词向量包括所述ni个词向量。

11.根据权利要求10所述的方法,其特征在于,所述将m轮问题信息中的每轮问题信息的词向量转换为句向量,包括:

对所述m轮问题信息中的每轮问题信息执行以下操作,得到每轮问题信息的词向量,其中,在执行以下操作的过程中,所述每轮问题信息被视为当前问题信息:

在所述当前问题信息为所述m轮问题信息中的第i轮问题信息时,将所述当前问题信息的词向量中包括的所述ni个词向量进行加权求和,得到所述当前问题信息的句向量。

12.一种基于多轮会话的意图识别装置,其特征在于,包括:

转换模块,用于将m轮问题信息中的每轮问题信息的词向量转换为句向量,得到m个句向量,其中,所述m轮问题信息为多轮会话中由用户帐号产生的问题信息,m为大于1的自然数;

操作模块,用于根据预先确定的标签矩阵对所述m个句向量进行注意力编码操作,得到第一会话向量,其中,所述第一会话向量用于表示所述m个句向量中的每个句向量的意图信息;

编码模块,用于对所述m个句向量进行门控循环单元gru编码,得到第二会话向量,其中,所述第二会话向量用于表示所述多轮会话的全局会话信息;

卷积模块,用于根据预设的多个卷积核对所述m个句向量进行卷积操作,得到第三会话向量,其中,所述第三会话向量用于表示所述多轮会话的局部会话信息;

确定模块,用于根据所述第一会话向量、所述第二会话向量以及所述第三会话向量,确定所述多轮会话的意图信息。

13.一种计算机可读的存储介质,其特征在于,所述计算机可读的存储介质包括存储的程序,其中,所述程序可被终端设备或计算机运行时执行所述权利要求1至11任一项中所述的方法。

14.一种电子设备,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为通过所述计算机程序执行所述权利要求1至11任一项中所述的方法。


技术总结
本发明公开了一种基于多轮会话的意图识别方法及装置。其中,该方法包括:将M轮问题信息中的每轮问题信息的词向量转换为句向量,得到M个句向量;根据预先确定的标签矩阵对M个句向量进行注意力编码操作,得到第一会话向量;对M个句向量进行门控循环单元GRU编码,得到第二会话向量;根据预设的多个卷积核对M个句向量进行卷积操作,得到第三会话向量;根据第一会话向量、第二会话向量以及第三会话向量,确定多轮会话的意图信息。本发明解决了多轮问题的用户意图识别准确率低的技术问题。

技术研发人员:吴俊江;雷植程;童丽霞;杨念民
受保护的技术使用者:腾讯科技(深圳)有限公司
技术研发日:2020.08.31
技术公布日:2020.10.23
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1