基于虚拟数字人交互处理方法、系统、终端、设备及介质与流程

文档序号:37020051发布日期:2024-02-09 13:13阅读:来源:国知局

技术特征:

1.一种基于虚拟数字人交互处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的基于虚拟数字人交互处理方法,其特征在于,所述接收输入的语音信息之前,还包括:

3.根据权利要求2所述的基于虚拟数字人交互处理方法,其特征在于,构建所述虚拟数字人的运行调度引擎,利用所述运行调度引擎识别待输出文本的情绪类别,确定所述情绪类别对应表情动作,以使所述虚拟数字人执行相应表情与动作。

4.根据权利要求2所述的基于虚拟数字人交互处理方法,其特征在于,所述接收输入的语音信息之前,还包括:

5.根据权利要求4所述的基于虚拟数字人交互处理方法,其特征在于,所述检测到人脸图像之后,还包括:

6.根据权利要求1所述的基于虚拟数字人交互处理方法,其特征在于,所述在将所述文本特征向量输入预设文档向量库进行匹配之前,还包括:

7.根据权利要求1所述的基于虚拟数字人交互处理方法,其特征在于,将所述语音信息转换文本信息并进行特征提取,获得文本特征向量,还包括:

8.根据权利要求1所述的基于虚拟数字人交互处理方法,其特征在于,将所述语音信息转换文本信息并进行特征提取,获得文本特征向量,还包括:

9.根据权利要求1所述的基于虚拟数字人交互处理方法,其特征在于,所述利用人工智能大模型对所述文本特征向量进行响应,并输出响应结果,还包括:

10.根据权利要求9所述的基于虚拟数字人交互处理方法,其特征在于,所述根据所述用户意图与所述语义信息加载所述人工智能大模型关联的预设插件与预设提示词模板之前,还包括:注册插件,对所述注册插件添加插件名称、功能描述以及插件参数,持久化所述注册插件,其中,所述人工智能大模型能够基于所述功能描述推理到所述插件名称,还能根据所述插件名称以及所述插件参数完成所述人工智能大模型与所述插件的链接。

11.根据权利要求1所述的基于虚拟数字人交互处理方法,其特征在于,包括:利用预设训练样本对预设深度学习模型进行训练,调整所述预设深度学习模型的参数进行优化直至达到预设验证条件,获得至少一个人工智能大模型。

12.根据权利要求1所述的基于虚拟数字人交互处理方法,其特征在于,所述若所述预设文档向量库内匹配到与所述文本特征向量关联的文档向量,则输出所述文档向量,包括:

13.根据权利要求12所述的基于虚拟数字人交互处理方法,其特征在于,构建所述预设文档向量库,包括:

14.根据权利要求13所述的方法,其特征在于,对所述初始文档数据进行拆分,得到多个文本片段,包括:

15.一种基于虚拟数字人交互处理系统,其特征在于,所述系统包括:

16.一种移动终端,其特征在于,存储器,处理器和通信组件;所述存储器,用于存储计算机程序;所述处理器,用于执行所述计算机程序,以实现如权利要求1-14中一个或多个所述的基于虚拟数字人交互处理方法。

17.一种车载终端,其特征在于,一个或多个处理器;和其上存储有指令的一个或多个机器可读介质,当所述一个或多个处理器执行时,以实现如权利要求1-14中一个或多个所述的基于虚拟数字人交互处理方法。

18.一种基于虚拟数字人交互处理设备,其特征在于,包括:

19.一个或多个机器可读介质,其特征在于,其上存储有指令,当由一个或多个处理器执行时,以实现如权利要求1-14中一个或多个所述的基于虚拟数字人交互处理方法。


技术总结
本发明公开了一种基于虚拟数字人交互处理方法、系统、终端、设备及介质,该方法包括:接收输入的语音信息,将语音信息转换文本信息并进行特征提取,获得文本特征向量;将文本特征向量输入预设文档向量库进行匹配,若预设文档向量库内匹配到与文本特征向量关联的文档向量,则输出文档向量;若预设文档向量库内匹配不到与文本特征向量关联的文档向量,则利用人工智能大模型对文本特征向量进行响应,并输出响应结果。通过人工智能大模型具备的自然语言处理能力,提升虚拟数字人的交互体验,使之能更自然地与用户进行对话,同时,通过向量匹配确保准确输出,提高了虚拟数字人的交互能力,可以更好地满足用户需求,适用于更多场景。

技术研发人员:孙进
受保护的技术使用者:云从科技集团股份有限公司
技术研发日:
技术公布日:2024/2/8
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1