一种数字人教师线上教学服务装置

本发明属于虚拟现实、人工智能与教育交叉的，具体涉及一种数字人教师线上教学服务装置。

背景技术：

1、虚拟数字人教师随着人工智能技术的发展和教育行业的数字化转型而发展。随着人工智能技术的不断发展，语音合成、自然语言处理、图像识别等技术的应用逐渐成熟，数字人技术应运而生，被广泛应用于各个领域，包括教育行业。并且数字化转型是教育行业的一个重要趋势，远程在线教学和数字化教学工具得到了广泛应用。但是远程教育缺乏真人教师的面对面指导和互动，使得学习效果难以保证。虚拟数字人教师的出现，可以在一定程度上弥补这种不足，提供更好的远程教育体验。虚拟数字人教师作为一种新型的数字化教学工具，可以通过语音合成和面部表情合成等技术，产生逼真的语音和表情，实现互动式教学，为学生提供更加生动、形象、有效的教学体验，因此备受欢迎。

2、虚拟数字人教师的应用，可以帮助教育行业更好地利用先进的人工智能技术，为教育事业的发展注入新的活力，同时也可以为广大学生提供更加优质、高效、便捷的学习服务。

技术实现思路

1、针对现有技术的以上缺陷或改进需求，本发明提供一种数字人教师线上教学服务装置，针对数字人教师可以提供的线上教学服务内容以及可应用的教学场景做出归纳与定义，具体技术方案如下：

2、一种数字人教师线上教学服务装置，其特征在于，包括：

3、(1)知识点讲解模块：数字人教师通过虚拟形象的方式，使用语音合成技术和面部表情合成技术以产生高质量、自然流畅的语音输出与生动形象的数字人表情与教学动作，为学习者讲解各种知识点，并结合动画、图片、音频这些形式来进行讲解，让学习者更加生动、形象地理解知识点；

4、(2)实时互动模块：数字人教师与学习者进行实时交互，学习者输入交互信息，数字人教师通过语音识别、自然语言处理、图像识别技术处理学习者输入的互动信息，理解学习者的意图并做出相应的响应，将生成的回应通过文本、语音等形式输出给学习者；

5、(3)作业管理模块：数字人教师通过网络课程平台发布在线作业，自动批阅作业并及时反馈学习者的学习情况；

6、(4)课后答疑模块：数字人教师能够提供课后答疑，帮助学习者解决学习中遇到的问题，它基于一个完整的教学知识库，通过自然语言处理模型对该学习者语音输入或问题进行语义解析，识别问题实体，其次在知识库中找到该实体所对应的候选属性，随后使用深度学习神经网络方法得到学习者问题与候选属性的语义向量，计算两个语义向量的余弦相似度，找到学习者问题对应的属性，最终根据处理得到的命名实体与属性，在知识库中检索出最准确的答案，最后由数字人教师将答案反馈给学习者；

7、(5)学习跟踪与评估模块：数字人教师能够实时监控学习者的学习情况和行为，统计学习者的学习数据；评估学习者的学习情况，分析学习者的答题正确率、平均分数、偏好学习方式；给学习者提供个性化的学习建议，如针对薄弱知识点推荐相关练习题及其他资源；并对学习状态不良的同学进行预警。

8、进一步的，所述知识点讲解模块提供知识点讲解服务包括如下步骤：

9、(1)确定讲解脚本：根据教学目标和教学资料进行整合，编写讲解脚本，确定数字人教师需要讲解的文本、讲解过程中需要用到的图片、文本、视频这些学习资料；

10、(2)生成数字人教师声音：根据语音讲解脚本，利用语音合成技术，生成数字人教师声音；

11、(3)生成数字人教师表情：通过将语音信号转换为文本，然后将文本与口型相关的信息匹配，生成与口型一致的表情序列。首先，通过语音识别技术将语音信号转换为文本。然后，根据文本内容和特定的发音规则，确定与口型相关的信息。最后，将这些信息与3dmm模型中的形状变化参数相结合，生成与口型一致的表情序列。3dmm通过对大量人脸数据的分析，学习出人脸形状和纹理的主要变化模式，生成新的人脸形状和纹理。该模型主要包含以下两个组成部分：a.形状模型用于描述人脸的几何形状变化。它基于大量的人脸数据，通过主成分分析(pca)等统计方法，提取出人脸形状的主要变化模式。形状模型由一组基础形状向量和对应的权重系数组成，可以根据权重系数的变化生成不同形状的人脸。b.纹理模型用于描述人脸的颜色和纹理变化。类似于形状模型，纹理模型也利用主成分分析等方法，提取出人脸纹理的主要变化模式。纹理模型通常由一组基础纹理向量和对应的权重系数组成，可以根据权重系数的变化生成不同纹理的人脸。在生成与口型相一致的表情时，通过依据文本生成的口型信息，修改形状模型和纹理模型的权重系数来控制人脸的表情变化，从而实现生成高度逼真和可控的人脸表情；

12、(4)生成数字人教师讲解视频：将数字人教师模型与教学课件(包括但不限于文本、图片、动画、幻灯片等)、教学用具(黑板、显示屏、尺子等)结合起来，并将数字人教师置于虚拟的教学背景中(包括但不限于教室、报告厅、会议室等)生成完整的教学视频。

13、进一步的，实时互动模块能使数字人教师与学习者进行实时互动，包括如下步骤：

14、(1)采集学习者输入：学习者与数字人教师进行交互时，需要采集学习者的输入互动信息；

15、(2)处理学习者输入：数字人教师需要通过语音识别、自然语言处理、图像识别技术处理学习者输入的互动信息，理解学习者的意图并做出相应的响应；

16、(3)生成回应：数字人教师利用gpt通用预训练语言模型针对学习者的输入信息生成回应，上述回应包括数字人教师可以回答用户的问题、提供建议、进行交互；

17、(4)输出回应：数字人教师将生成的回应输出给用户。

18、进一步的，作业管理模块的工作过程包括如下步骤：

19、(1)作业布置：数字人教师设置作业的类型、截止时间、作业内容，并将作业分配给相应的学习者或班级；

20、(2)作业批改：学习者提交作业后，数字人教师进行批改，包括自动批改和人工批改，自动批改应用一些自动化工具和算法，包括文本相似度匹配、关键词匹配；人工批改则需要真人教师逐一检查学习者提交的作业并进行评分和评价；

21、(3)作业反馈：数字人教师为学习者提供作业反馈，包括评分和评语，同时还为学习者提供错题讲解、改错指导这些教学服务；

22、(4)作业分析：数字人教师对作业进行分析，包括分析作业完成情况、学习者答题情况、作业难度评估，帮助评估学习者的学习状况和教学效果。

23、进一步的，课后答疑模块能进行课后答疑，包括如下步骤：

24、(1)学习者向数字人教师提出问题，学习者输入一段语音或一段文字；

25、(2)数字人教师识别学习者问题实体；

26、(3)数字人教师匹配学习者问题实体对应的属性；

27、(4)数字人教师从结构化学科知识库搜寻问题答案，计算学习者问题与候选属性的语义向量的余弦相似度；

28、(5)根据处理得到的命名实体与属性，在知识库中检索出最准确的答案；

29、(6)数字人教师结合语音与动作将答案实时讲解给学习者。

30、进一步的，学习跟踪与评估模块，其工作过程包括如下步骤：

31、(1)数据采集：数字人教师收集学习者的学习数据，包括在线作业、课堂测验、练习题答题情况、视频观看记录，这些数据用于评估学习者的学习情况和提供个性化建议；

32、(2)数据分析：数字人教师通过对采集的学习数据进行分析，来评估学习者的学习情况，数字人教师可以分析学习者的答题正确率、平均分数、偏好学习方式，来评估学习者的学习水平；可以分析学习者的考试成绩，识别出表现较差或者进步缓慢的学习者；可以监测学习者的学习行为，包括学习时间、学习频率、学习进度，通过分析这些数据，可以发现学习者的学习状态是否良好；

33、(3)个性化建议：数字人教师根据分析结果，提供个性化的学习建议，如果学习者在某个知识点上表现较差，数字人教师可以针对性地推荐相关练习题、视频讲解，帮助学习者加深对知识点的理解；

34、(4)评估报告：数字人教师可以生成学习评估报告，展示学习者的学习情况，评估报告包括学习者的学习进度、知识点掌握情况、弱项和优点，以便学习者对学习情况有更全面的了解。

35、进一步的，所述数字人教师线上教学服务装置能应用于千人千面网络课程模式或一对一直播课模式。

36、进一步的，千人千面网络课程模式提供由数字人教师作为主讲人的教学视频，以及所有的教学资源，学习者可以根据自己对教师的偏好选择构建不同的数字人教师进行授课，其实现步骤如下：

37、(1)学习者根据自己的偏好选择不同的数字人教师，其偏好类型主要包括：外型类别：性别，身高，发型，肤色，服饰；性格类别：幽默，严肃，和蔼；最终采用深度合成技术合成仿真的人物影像或者采用三维建模技术构建虚拟的三维教师模型；

38、(2)生成数字人教师的知识点讲解视频；

39、(3)实现学习者在线学习的视频都是由其自定义的数字人教师讲解的，即实现千人千面的网络课程模式。

40、进一步的，一对一在线直播教学模式是指数字人教师可以开展一对一直播讲授课程，且能够与学习者实时互动，其实现步骤如下：

41、(1)学习者针对自己薄弱知识点申请数字人教师直播讲解；

42、(2)数字人教师依据学习者的学习情况制定学习内容，提前生成讲解脚本；

43、(3)数字人教师给学习者进行直播讲解，其其表情、动作由面部表情合成技术和肢体动作合成技术驱动的；

44、(4)数字人教师与学习者进行实时互动，通过语音识别技术识别用户的语音输入，然后通过自然语言处理技术进行语义分析，从而理解用户的意图和需求；

45、(5)数字人使用面部表情识别技术和姿态识别技术，对用户的面部表情和身体姿态进行实时识别，从而更好地响应用户的需求和情绪。

46、本发明具有如下有益技术效果：

47、1、本发明所述的一种数字人教师线上教学服务装置，通过数字人教师弥补了线上教学缺乏真人教师的面对面指导和互动的缺陷，确保了学习效果。

48、2、本发明所述的一种数字人教师线上教学服务装置，从知识点讲解、实时互动、作业管理、课后答疑，到学习跟踪与评估并对学习状态不良的同学进行预警，该教学服务装置及方法的服务涵盖学习者学习的全过程，为学习者系统学习知识提供了系统、全面的服务。

49、3、本发明所述的一种数字人教师线上教学服务装置能应用于千人千面网络课程模式或一对一直播课等模式，能满足不同学习者对数字人教师的需求，使得数字人教师更加形象、生动，更有吸引力。