一种基于神经网络的意图识别方法及装置、终端设备与流程

文档序号:22916181发布日期:2020-11-13 15:57阅读:来源:国知局

技术特征:

1.一种基于神经网络的意图识别方法,其特征在于,包括:

采集用户语音信息;

将所述语音信息转换为第一文本信息;

将所述第一文本信息输入语义残缺识别模型,判定出所述第一文本信息是否语义残缺;

当识别出所述第一文本信息的语义残缺时,采集用户指示图像;

将所述指示图像输入到图片理解模型中,输出所述指示图像对应的描述信息;

根据所述描述信息填充所述第一文本信息,获得第二文本信息;

将所述第二文本信息输入所述语义残缺识别模型,判定所述第二文本信息的语义是否残缺;

当所述第二文本信息的语义不残缺时,根据所述第二文本信息获得所述用户真实意图。

2.根据权利要求1所述的一种基于神经网络的意图识别方法,其特征在于,还包括:

当判定所述第二文本信息的语义残缺时,采集所述指示图像的上下文信息;

根据所述指示图像的上下文信息,结合所述第二文本信息,获得所述用户真实意图。

3.根据权利要求1所述的一种基于神经网络的意图识别方法,其特征在于,还包括:

当判定所述第二文本信息的语义残缺时,采集所述用户当前的学习情境信息;

根据所述用户当前的学习情境信息,结合所述第二文本信息,获得所述用户真实意图。

4.根据权利要求1所述的一种基于神经网络的意图识别方法,其特征在于,在采集用户语音之前还包括:

利用神经网络技术,通过标记过的语义残缺训练样本进行自学习,获得语义残缺识别模型;

利用神经网络技术,通过标记过的图像描述训练样本进行自学习,获得图像理解模型。

5.根据权利要求1-4任一项所述的一种基于神经网络的意图识别方法,其特征在于,将所述指示图像输入到图片理解模型中,输出所述指示图像对应的描述信息包括:

通过深度卷积网络获得所述指示图像的高层语义信息;

递归神经网络将所述指示图像的高层语义信息转换为所述指示图像自然语言描述。

6.一种基于神经网络的意图识别装置,其特征在于,包括:

语音采集模块,用于采集用户语音信息;

语音转换模块,用于将所述语音信息转换为第一文本信息;

残缺识别模块,用于将所述第一文本信息输入语义残缺识别模型,识别出所述第一文本信息是否语义残缺;

图像采集模块,用于当识别出所述第一文本信息的语义残缺时,采集用户指示图像;

图像理解模块,用于将所述指示图像输入到图片理解模型中,输出所述指示图像对应的描述信息;

信息填充模块,用于根据所述描述信息填充所述第一文本信息,获得第二文本信息;

所述残缺识别模块,还用于将所述第二文本信息输入所述语义残缺识别模型,判定所述第二文本信息的语义是否残缺;

意图理解模块,用于当所述第二文本信息的语义不残缺时,根据所述第二文本信息获得所述用户真实意图。

7.根据权利要求6所述的一种基于神经网络的意图识别装置,其特征在于,还包括:

信息采集模块,用于当判定所述第二文本信息的语义残缺时,采集所述指示图像的上下文信息和/或所述用户当前的学习情境信息;

所述意图理解模块,还用于根据所述指示图像的上下文信息,结合所述第二文本信息和/或所述用户当前的学习情境信息,获得所述用户真实意图。

8.根据权利要求6所述的一种基于神经网络的意图识别装置,其特征在于,还包括:

残缺识别学习模块,用于利用神经网络技术,通过标记过的语义残缺训练样本进行自学习,获得语义残缺识别模型;

图像理解学习模块,用于利用神经网络技术,通过标记过的图像描述训练样本进行自学习,获得图像理解模型。

9.根据权利要求6-8任一项所述的一种基于神经网络的意图识别装置,其特征在于,所述图像理解模块包括:

高层语义获取子模块,用于通过深度卷积网络获得所述指示图像的高层语义信息;

自然语言处理子模块,用于通过递归神经网络,将所述指示图像的高层语义信息转换为所述指示图像自然语言描述。

10.一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器运行所述计算机程序时实现如权利要求1-5中任一项所述基于神经网络的意图识别方法的步骤。


技术总结
本发明公开了基于神经网络的意图识别方法及装置、终端设备;其中意图识别方法包括:采集用户语音信息;将语音信息转换为第一文本信息;将第一文本信息输入语义残缺识别模型,判定出第一文本信息是否语义残缺;当识别出第一文本信息的语义残缺时,采集用户指示图像;将指示图像输入到图片理解模型中,输出指示图像对应的描述信息;根据描述信息填充第一文本信息,获得第二文本信息;将第二文本信息输入语义残缺识别模型,判定第二文本信息的语义是否残缺;当第二文本信息的语义不残缺时,根据第二文本信息获得用户真实意图。通过本发明,即使用户语音无法表达完整意图,也可以基于神经网络技术,获取意图相关方面的信息,从而获得用户真实意图。

技术研发人员:李选洪
受保护的技术使用者:广东小天才科技有限公司
技术研发日:2019.04.25
技术公布日:2020.11.13
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1