虚拟教学场景中生成式教学资源系统及其工作方法

本发明属于人工智能的教学应用领域，更具体地，涉及虚拟教学场景中生成式教学资源系统及其工作方法。

背景技术：

1、人工智能通用大模型的快速发展，现有虚拟教学场景虽可利用数字人技术生成逼真的虚拟教师，但尚未给虚拟教师赋予感知、认知的智能能力。因此，在虚拟教学场景中为虚拟教师添加aigc能力，在学科知识图谱的支持下，采用自然语言处理、深度学习等技术实现学生与虚拟教师的语音问答，并由形象逼真的虚拟教师讲解多样化的应答结果，并配以与内容匹配的表情和动作，可为虚拟教学场景中学习者提供个性化的辅导、支持以及更好的学习体验，在未来教育具有广泛的应用前景。

2、当前虚拟教学场景中生成式教学资源领域还存在诸多的问题：(1)虚拟教学场景中数字人尚未能接入学科知识图谱：基于通用网站收集的语料库，难以支撑沉浸式教学环境中智能教学；(2)虚拟教师言语、体态和表情的不同步：现有虚拟教学场景中虚拟化身的表情、动作多以预设固定动作为主，无法根据生成式教学资源，准确捕捉情感信息，匹配虚拟化身的表情和肢体动作，降低师生用户的体验感；(3)虚拟教学场景中教学资源呈现形式单一，多是三维演示式、交互式课件或纹理视频形态，缺乏基于互动问答、实时生成内容呈现，难以实现“物理-信息-社交”三元空间下人机场互动的形态。

技术实现思路

1、针对现有技术的以上缺陷或改进需求，本发明提供了一种虚拟教学场景中生成式教学资源系统及其工作方法，为人工智能融入虚拟教学场景中教学资源生成提供一种新的方法。

2、本发明的目的是通过以下技术措施实现的。

3、本发明提供一种虚拟教学场景中生成式教学资源系统，包括以下模块：

4、所述虚拟教学场景环境生成模块，从虚拟素材库选择背景和对象，创设虚拟教学场景，运用smpl算法重构光场采集的师生三维模型，在虚拟环境中聚合师生虚拟化身；

5、所述学科语料库构建模块，基于启发式搜索的爬虫算法采集学科语料，提取命名实体及其关系，运用rdf构建实体-关系-实体的学科知识三元组，采用图结构组织实体和关系；

6、所述学生意图理解模块，运用深度神经网络模型提取学生提问的的文本序列，采用随机森林分类器获取学生提问的意图；

7、所述教师应答反馈模块，标记词项的语义角色，采用逻辑和推理规则推导语义角色中隐含信息，计算语义角色和各个实体之间的相似度，提取、生成应答结果；

8、所述虚拟教师体态同步模块，识别应答文本的情感类别，驱动虚拟教师的面部表情更新，运用单元动作匹配算法实现表情和肢体动作的一致；

9、所述应答结果呈现模块，将应答视频分割成帧序列，采用像素坐标算法将程序代码和数学公式映射成为图片，使用动态视频纹理对象将应答内容映射到虚拟幕布上；

10、所述应答结果交互模块，使用lod算法动态调度视频和模型，使用关键行为检测算法提取师生用户的交互命令，执行组合命令，实现与教学资源的多模态交互。

11、本发明还提供虚拟教学场景中生成式教学资源系统的工作方法，包括以下步骤：

12、(1)虚拟教学场景环境生成；从虚拟素材库选择背景和对象，创设虚拟教室、实验室和会议讨论室教学场景；采用openpose算法定位光场采集的师生关节点，运用基于smpl的三维人体重建算法重构师生三维模型；使用webrtc算法聚合师生虚拟化身，采用5g云渲染算法实现高分辨率渲染画面的输出；

13、(2)学科语料库构建；使用基于启发式搜索的爬虫算法收集语料，依据语料置信度，决定是否被收录；运用lda主题模型提取学科原理、公式和概念命名实体，采用双向循环神经网络获取各实体之间的关系；使用rdf构建实体-关系-实体的学科知识三元组，运用图结构组织实体和关系；

14、(3)学生意图理解；使用有线碳棒话筒采集学生提问声音信号，运用模拟-数字转换器将声音信号转换数字序列；采用深度神经网络模型提取声音特征向量，结合编码器和基于神经网络的语言模型，生成声音的文本序列；依据句法关系，采用textrank算法提取关键词，运用随机森林分类器获取学生的意图；

15、(4)教师应答反馈；使用语义角色标记算法标记词项的语义角色，运用逻辑和推理规则推导语义角色中隐含信息；采用词向量匹配算法计算语义角色与各个实体之间的相似度，依据相似度大小，获取候选实体；分别采用编码器、数学公式解析算法从句子中提取、生成应答结果；

16、(5)虚拟教师体态同步；依次经过卷积神经网络层、循环神经网络提取情感特征，使用全连接层分类器将其分为不同的教学情感；使用基于深度学习的生成对抗网络推断脸部关键点坐标变化，驱动虚拟教师面部表情更新；运用单元动作匹配算法实现虚拟教师表情和肢体动作的一致匹配；

17、(6)应答结果呈现；在虚拟教室的讲台前方设置虚拟幕布，使用视频纹理动态切换应答内容，支持虚拟幕布的朝向变化；使用视频分析算法分割视频，运用神经网络识别程序代码和数学公式，采用像素坐标算法将字符和符号映射为图片；运用动态纹理对象将应答结果映射到虚拟幕布上；

18、(7)应答结果交互；依据距离用户视线的远近和夹角，采用lod形式动态调度不同清晰度的视频和模型；使用关键行为检测算法提取用户手势、常规体态和语音交互命令，驱动虚拟教学资源执行单个或多个操作的组合命令；多角度呈现教学资源，运用网格变形算法实现拉伸、扭曲和旋转操作。

19、本发明的有益成果在于：从虚拟素材库选择背景和对象，创设虚拟教室、实验室和会议讨论室教学场景；采用openpose算法定位光场采集的师生关节点，运用基于smpl算法重构师生三维模型；使用webrtc算法聚合师生虚拟化身，采用5g云渲染算法实现高分辨率渲染画面的输出。使用基于启发式搜索的爬虫算法收集语料，依据语料置信度，决定是否被收录到语料库中；运用lda主题模型提取学科原理、公式和概念命名实体，采用双向循环神经网络获取各实体之间的关系；使用rdf构建实体-关系-实体的学科知识三元组，运用图结构组织实体和关系。使用有线碳棒话筒采集学生提问声音信号，运用模拟-数字转换器将声音信号转换数字序列；采用深度神经网络模型提取声音特征向量，结合编码器和基于神经网络的语言模型，生成声音的文本序列；依据句法关系，采用textrank算法提取文本序列中关键词，运用随机森林分类器获取学生的意图。标记词项的语义角色，运用逻辑和推理规则推导语义角色中隐含信息；采用词向量匹配算法计算语义角色与各个实体之间的相似度，依据相似度大小获取候选实体；分别采用编码器、数学公式解析算法从句子中提取、生成应答结果。依次经过卷积神经网络层、循环神经网络叠加处理、提取情感特征，使用全连接层分类器将情感特征分为不同的教学情感；使用基于深度学习的生成对抗网络推断脸部关键点坐标变化，驱动虚拟教师面部表情更新；运用单元动作匹配算法实现虚拟教师表情和肢体动作的一致匹配。在虚拟教室的讲台前方设置虚拟幕布，使用视频纹理动态切换应答内容，支持虚拟幕布的朝向变化；使用视频分析算法分割视频，运用神经网络识别程序代码和数学公式，采用像素坐标算法将字符和符号映射为图片；运用动态纹理对象将应答结果映射到虚拟幕布上。依据距离用户视线的远近和夹角，采用lod形式动态调度不同清晰度的视频和模型；使用关键行为检测算法提取用户手势、常规体态和语音交互命令，驱动虚拟教学资源执行单个或多个操作的组合命令；多角度呈现教学资源，运用网格变形算法实现拉伸、扭曲和旋转操作。