基于情感分析和大模型驱动的数字人校园场景系统

文档序号:37363779发布日期:2024-03-22 10:17阅读:来源:国知局

技术特征:

1.基于情感分析和大模型驱动的数字人校园场景系统,其特征在于,包含用户输入获取模块、校园知识库模块、llm模型文本预测模块、情感分析模块模块、语音合成模块和表情及肢体动作驱动模块;

2.根据权利要求1所述的基于情感分析和大模型驱动的数字人校园场景系统,其特征在于,所述用户输入获取模块中,输入获取:捕获用户的输入,通过预处理模块进行分词和语义理解,提取所述文本内容中的关键信息;转化后接入预先准备好的数据库,遍历用户所提到的关键词,通过基于langchain架构的知识库生成回答所需要的全部准确信息;将全部准确信息与上下文结合,并附加prompt传入llm文本预测模型。

3.根据权利要求1所述的基于情感分析和大模型驱动的数字人校园场景系统,其特征在于,所述校园知识库模块中,校园知识库是使得校园场景下文本交互数字人得以实现其功能的核心组件,在获取授权后通过网络爬虫手段对校园网络信息进行整合,使用longchain知识库框架,使得回答问题所需要的信息通过自然语言进行获取,在对用户的输入进行简单处理后即可使用数据库获得回答所需的知识及资料,一并传入llm进行回答文本的预测。

4.根据权利要求1所述的基于情感分析和大模型驱动的数字人校园场景系统,其特征在于,llm模型文本预测模块中,将处理过的用户输入以及回答所需的知识信息传入llm模型进行对文本的预测;对文本进行格式化,去噪和标准化以确保数据的一致性;随后将文本分为能够理解的单元,即格式化处理;将用户的问题和可能会用到的全部知识数据进行融合;

5.根据权利要求1所述的基于情感分析和大模型驱动的数字人校园场景系统,其特征在于,情感分析模块中,在上文获得完整的回答后先进行文本的输出,将上下文进一步向下传递到特殊的编码层中;建立专用强化情感分析的编码层,针对transformer模型中的自注意力机制及ffn进行调整;通过非线性变换来增强模型的学习能力;在训练的阶段,使用带有明确情感标签的数据集来训练,使用不同类型的情感表达,产生能体现整个上下文语境,并符合逻辑的情感分析结果。

6.根据权利要求1所述的基于情感分析和大模型驱动的数字人校园场景系统,其特征在于,语音合成模块中,在完成文本预测和情感分析之后,将文本和情感信息转换为语音;

7.根据权利要求1所述的基于情感分析和大模型驱动的数字人校园场景系统,其特征在于,表情及肢体动作驱动模块中,预设一个包含多种动作的库,每种动作都与特定的情感或情感组合相关联;动作库中的动作通过动作捕捉技术预先录制,以确保自然性和真实性;匹配与生成:根据从llm和情感分析模块得到的信息,从动作库中选择合适的动作序列;使用决策树及神经网络,以确保动作的自然性和适应性;使用线性插值或贝塞尔曲线来平滑地过渡和融合不同的动作;利用时间匹配技术确保动作与语音的同步;时间戳对齐将动作的关键帧与语音的特定时间点匹配。


技术总结
本发明公开了基于情感分析和大模型驱动的数字人校园场景系统,包含用户输入获取模块、校园知识库模块、LLM模型文本预测模块、情感分析模块模块、语音合成模块和表情及肢体动作驱动模块。用户输入获取模块接收用户的输入文本和上下文信息传递到校园知识库模块。校园知识库模块将获取到材料信息后和用户的上下文一同被送入LLM模型文本预测模块;生成的文本回答随后传递到情感分析模块。带有情感信息的回答消息文本和情感分析结果传递到语音合成模块。生成的语音以及情感信息传递到表情及肢体动作驱动模块。表情及肢体动作驱动模块负责创建数字人动画,以实现对数字人的驱动。本发明通过结合情感分析的数字人驱动方法获得良好的使用体验。

技术研发人员:邓恒,高雨山,郝泉,翁子铮,陈立鸿,张利国
受保护的技术使用者:北京工业大学
技术研发日:
技术公布日:2024/3/21
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1