一种实现智能问答的系统及方法与流程

文档序号:11918703阅读:来源:国知局

技术特征:

1.一种实现智能问答的系统,其特征在于,包括:

多模态信息接收模块,用于接收用户输入的多模态信息问题,其中所述多模态信息包括文本信息、图片信息、文本+图片信息、文本+视频信息、文本+图片+视频信息;

映射模块,用于将所述多模态信息接收模块接收到的多模态信息问题映射为相应的向量空间;

答复生成模块,用于对所述映射模块映射得到的向量空间进行转换分析后获取对应该多模态信息问题的答复。

2.根据权利要求1所述的实现智能问答的系统,其特征在于,所述多模态信息为文本信息,所述映射模块包括文本映射模块,用于根据循环神经网络将所述文本信息映射为文本向量空间。

3.根据权利要求1所述的实现智能问答的系统,其特征在于,所述多模态信息若为图片信息,所述映射模块包括图片映射模块,用于根据卷积神经网络将所述图片信息映射为图片向量空间。

4.根据权利要求1所述的实现智能问答的系统,其特征在于,所述多模态信息若为视频信息,所述映射模块包括视频映射模块,用于将所述视频信息转换为图像序列,根据卷积神经网络将所述图片序列进行图像向量空间映射,然后进一步按照循环神经网络将序列化连续的图像向量空间映射为视频向量空间。

5.根据权利要求1所述的实现智能问答的系统,其特征在于,所述答复包括响应用户输入问题的答案或响应用户输入问题的处理指令。

6.一种实现智能问答的方法,其特征在于,包括:

接收用户输入的多模态信息问题,其中所述多模态信息包括文本信息、图片信息、文本+图片信息、文本+视频信息、文本+图片+视频信息;

将接收到的多模态信息问题映射为相应的向量空间;

对映射得到的向量空间进行转换分析后获取对应该多模态信息问题的答复。

7.根据权利要求6所述的实现智能问答的方法,其特征在于,所述多模态信息若为文本信息,根据循环神经网络将所述文本信息映射为文本向量空间。

8.根据权利要求6所述的实现智能问答的方法,其特征在于,所述多模态信息若为图片信息,根据卷积神经网络将所述图片信息映射为图片向量空间。

9.根据权利要求1所述的实现智能问答的方法,其特征在于,所述多模态信息若为视频信息,将所述视频信息转换为图像序列,根据卷积神经网络将所述图片序列进行图像向量空间映射,然后进一步按照循环神经网络将序列化连续的图像向量空间映射为视频向量空间。

10.根据权利要求1所述的实现智能问答的方法,其特征在于,所述答复包括响应用户输入问题的答案或响应用户输入问题的处理指令。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1