一种基于数字孪生的新形态教材学习系统的制作方法

1.本发明涉及人工智能技术领域，尤其涉及一种基于数字孪生的新形态教材学习系统，更具体的，涉及一种基于数字孪生的新形态教材学习方法。


背景技术：

2.随着科技的发展，线上在线教学已经作为一种补充课堂教学的重要方式，目前的线上教学都是简单的老师进行直播教学，学生进行学习的方式，线上教学中较为重要的部分就是线上教材的制作，枯燥的线上教材在线上教学中无法调动起学生的积极性，同时目前的线上教材缺少与学生线下教材的结合，进而导致学生的学习主动性较低，因此需要提出一种教材优化方法。
3.现有的教材优化方法通常是直接将线下教材上的对应内容复制粘贴至线上教材中，现有技术下的数字化教材支持插入教材的资源类型有限，除了教材主体文字以外，拘泥于使用文档、图片、音视频等形式来展现，不能从互动或者操作体验的角度来帮助学习者更好地理解教材内容，因此这种方法无法提高教材优化的趣味性及优化的准确度，故亟待提出一种准确度更高的教材优化方法。


技术实现要素：

4.本发明提供一种基于数字孪生的新形态教材学习系统，其主要目的在于解决教材优化的准确度较低的问题。
5.为实现上述目的，本发明提供的一种基于数字孪生的新形态教材学习方法，包括：
6.获取教师发言音频，对所述教师发言音频进行文本转化，得到教师发言文本，利用训练好的领域预测模型对所述教师发言文本进行领域预测，得到所述教师发言音频对应的发言领域；
7.从预设的线下教材库中选取与所述发言领域一致的线下教材作为目标线下教材，并识别所述目标线下教材中与所述教师发言音频中发言请求对应的教材内容数据；
8.识别所述教材内容数据的数据类型，当所述教材内容数据为对话类型，则利用预获取的对话音频数据对预设的3d人脸模型进行迭代优化，得到标准人脸模型，并将所述教材内容数据输入至所述标准人脸模型中，得到虚拟对话视频；
9.将所述虚拟对话视频添加至预先构建的线上教材中，得到优化后的线上教材；
10.当所述教材内容数据为非对话类型时，对所述教材内容数据中进行命名实体识别，并根据命名实体识别得到的实体名称检索到相关的二维平面图像；
11.计算出所述二维平面图像的深度图，并基于马尔科夫随机场模型和所述深度图生成立体图像，将所述立体图像添加至所述线上教材中，得到优化后的线上教材；
12.将所述教材内容数据存储在预设数据库中，并利用预设教材编辑器对所述预设数据库中的教材内容数据和优化后的线上教材进行教材编写，得到新形态教材；
13.当接收到教学预备请求时，调用所述新形态教材进行课堂教学。
14.可选地，所述计算出所述二维平面图像的深度图，包括：
15.将所述二维平面图像分割为预设个数的平面矩形块；
16.分别对预设个数的平面矩形块进行滤波处理，得到多个滤波矩形块；
17.利用预设的深度计算公式计算多个所述滤波矩形块的绝对深度，得到深度特征；
18.根据所述深度特征生成所述二维平面图像的深度图。
19.可选地，所述基于马尔科夫随机场模型和所述深度图生成立体图像，包括：
20.对所述深度图进行超分辨率处理及去噪处理，得到去噪深度图；
21.将所述二维平面图像定义为右视点图像，利用马尔科夫随机场模型建立所述右视点图像和所述去噪深度图之间的视差映射，并根据所述视差映射生成立体图像。
22.可选地，所述对所述教材内容数据中进行命名实体识别，包括：
23.将所述教材内容数据划分为多个教材分词，并分别对多个所述教材分词进行向量化，得到多个分词向量；
24.将多个所述分词向量输入至长短期记忆网络中进行特征提取，得到特征序列表征；
25.将所述特征序列表征输入至crf层中进行解码，得到每个教材分词对应的序列；
26.根据所述教材分词对应的序列确定对应的实体名称。
27.可选地，所述利用预获取的对话音频数据对预设的3d人脸模型进行迭代优化，得到标准人脸模型，包括：
28.将所述对话音频数据拆分为音素，并对所述音素进行向量化处理，得到音素序列向量；
29.利用预设的3d人脸模型中的双向长短期记忆网络对所述音素序列向量进行第一序列变换处理，得到嘴型特征序列；
30.对所述嘴型特征序列进行第二序列变换处理，得到人脸面部表情参数；
31.根据所述人脸面部表情参数对所述3d人脸模型进行迭代优化，得到标准人脸模型。
32.可选地，所述将所述对话音频数据拆分为音素，包括：
33.对所述对话音频数据进行文本转换，得到初始对话文本；
34.去除所述初始对话文本中的标点符号，得到标准对话文本；
35.利用预设的音标规则标记所述标准对话文本中每个字符所对应的音素。
36.可选地，所述识别所述目标线下教材中与所述教师发言音频中发言请求对应的教材内容数据，包括：
37.提取所述教师发言音频中发言请求中的请求动作，根据所述请求动作将所述目标线下教材定位至对应的页数；
38.利用文字提取工具提取所述页数对应的目标线下教材的页面中的文字内容，并将所述文字内容作为教材内容数据。
39.可选地，所述利用训练好的领域预测模型对所述教师发言文本进行领域预测之前，所述方法还包括：
40.对预获取的训练发言集中的训练发言进行词频解析，得到词频矩阵；
41.基于预设的多个领域标签对所述词频矩阵进行随机编号处理，得到所述词频矩阵
对应的领域编号；
42.将所述领域编号作为所述领域预测模型的输入值，计算得到所述领域预测模型的吉布斯采样值和狄利克雷参数估计值；
43.将所述吉布斯采样值和所述狄利克雷参数估计值作为所述领域预测模型的模型参数，得到训练好的领域预测模型。
44.可选地，所述对预获取的训练发言集中的训练发言进行词频解析，得到词频矩阵，包括：
45.对所述训练发言集中的训练发言进行分词处理，得到训练分词集；
46.筛选所述训练分词集中与预设关键词库中关键词一致的训练分词作为训练关键词，并汇总所述训练关键词得到训练关键词集；
47.获取所述训练关键词集中每一个关键词对应的关键词标识和关键词词频，并根据所述关键词标识和所述关键词词频构建对应的词频矩阵。
48.为了解决上述问题，本发明还提供一种基于数字孪生的新形态教材学习装置，所述装置包括：
49.领域识别模块，用于获取教师发言音频，对所述教师发言音频进行文本转化，得到教师发言文本，利用训练好的领域预测模型对所述教师发言文本进行领域预测，得到所述教师发言音频对应的发言领域；
50.内容提取模块，用于从预设的线下教材库中选取与所述发言领域一致的线下教材作为目标线下教材，并识别所述目标线下教材中与所述教师发言音频中发言请求对应的教材内容数据；
51.第一教材优化模块，用于识别所述教材内容数据的数据类型，当所述教材内容数据为对话类型，则利用预获取的对话音频数据对预设的3d人脸模型进行迭代优化，得到标准人脸模型，并将所述教材内容数据输入至所述标准人脸模型中，得到虚拟对话视频，将所述虚拟对话视频添加至预先构建的线上教材中，得到优化后的线上教材；
52.第二教材优化模块，用于当所述教材内容数据为非对话类型时，对所述教材内容数据中进行命名实体识别，并根据命名实体识别得到的实体名称检索到相关的二维平面图像，计算出所述二维平面图像的深度图，并基于马尔科夫随机场模型和所述深度图生成立体图像，将所述立体图像添加至所述线上教材中，得到优化后的线上教材，将所述教材内容数据存储在预设数据库中，并利用预设教材编辑器对所述预设数据库中的教材内容数据和优化后的线上教材进行教材编写，得到新形态教材，当接收到教学预备请求时，调用所述新形态教材进行课堂教学。
53.为了解决上述问题，本发明还提供一种电子设备，所述电子设备包括：
54.存储器，存储至少一个指令；及
55.处理器，执行所述存储器中存储的指令以实现上述所述的基于数字孪生的新形态教材学习方法。
56.为了解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个指令，所述至少一个指令被电子设备中的处理器执行以实现上述所述的基于数字孪生的新形态教材学习方法。
57.本发明实施例中，通过对经过文本转化的教师发言音频进行领域预测，得到所述
教师发言音频对应的发言领域，并在线下教材库中选取与所述发言领域一致的目标线下教材，实现了精准选取。识别目标线下教材中发言请求对应的教材内容数据，并识别所述教材内容数据的数据类型，根据不同的数据类型进行虚拟对话视频生成或者立体图像生成，并将所述虚拟对话视频和所述立体图像添加至所述线上教材中，得到了优化后的教材，将所述教材内容数据存储在预设数据库中，并利用预设教材编辑器对所述预设数据库中的教材内容数据和优化后的线上教材进行教材编写，得到新形态教材，当接收到教学预备请求时，调用所述新形态教材进行课堂教学，实现了对线上教材的优化处理。因此本发明提出的基于数字孪生的新形态教材学习方法、装置、电子设备及计算机可读存储介质，可以解决教材优化的准确度较低的问题。
附图说明
58.图1为本发明一实施例提供的基于数字孪生的新形态教材学习方法的流程示意图；
59.图2为本发明一实施例提供的基于数字孪生的新形态教材学习装置的功能模块图；
60.图3为本发明一实施例提供的实现所述基于数字孪生的新形态教材学习方法的电子设备的结构示意图。
61.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
62.应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
63.本技术实施例提供一种基于数字孪生的新形态教材学习方法。所述基于数字孪生的新形态教材学习方法的执行主体包括但不限于服务端、终端等能够被配置为执行本技术实施例提供的该方法的电子设备中的至少一种。换言之，所述基于数字孪生的新形态教材学习方法可以由安装在终端设备或服务端设备的软件或硬件来执行，所述软件可以是区块链平台。所述服务端包括但不限于：单台服务器、服务器集群、云端服务器或云端服务器集群等。
64.参照图1所示，为本发明一实施例提供的基于数字孪生的新形态教材学习方法的流程示意图。在本实施例中，所述基于数字孪生的新形态教材学习方法包括：
65.s1、获取教师发言音频，对所述教师发言音频进行文本转化，得到教师发言文本，利用训练好的领域预测模型对所述教师发言文本进行领域预测，得到所述教师发言音频对应的发言领域。
66.本发明实施例中，所述教师发言音频是指在教师的课堂上教师所发出的指令语音，由于获得的所述教师发言音频在听感层面不一定准确，因此需要将所述教师发言音频进行文本转化，根据得到的教师发言文本进行后续的数据处理。
67.优选地，可以根据语音转文本技术将所述教师发言音频进行文本转化，其中，所述语音转文本技术(automatic speech recognition)是以语音为研究对象，通过语音信号处理和模式识别让机器自动识别和理解人类口述的语。语音识别技术就是让机器通过识别和理解过程把语音信号转变为相应的文本或命令的高技术。语音识别是一门涉及面很广的交
叉学科，它与声学、语音学、语言学、信息理论、模式识别理论以及神经生物学等学科都有非常密切的关系。
68.具体地，所述利用训练好的领域预测模型对所述教师发言文本进行领域预测之前，所述方法还包括：
69.对预获取的训练发言集中的训练发言进行词频解析，得到词频矩阵；
70.基于预设的多个领域标签对所述词频矩阵进行随机编号处理，得到所述词频矩阵对应的领域编号；
71.将所述领域编号作为所述领域预测模型的输入值，计算得到所述领域预测模型的吉布斯采样值和狄利克雷参数估计值；
72.将所述吉布斯采样值和所述狄利克雷参数估计值作为所述领域预测模型的模型参数，得到训练好的领域预测模型。
73.进一步地，所述对预获取的训练发言集中的训练发言进行词频解析，得到词频矩阵，包括：
74.对所述训练发言集中的训练发言进行分词处理，得到训练分词集；
75.筛选所述训练分词集中与预设关键词库中关键词一致的训练分词作为训练关键词，并汇总所述训练关键词得到训练关键词集；
76.获取所述训练关键词集中每一个关键词对应的关键词标识和关键词词频，并根据所述关键词标识和所述关键词词频构建对应的词频矩阵。
77.详细地，可以通过基于概率统计分词模型进行分词处理，或者是可以通过jieba分词模型进行分词处理。所述预设关键词库中包含多个主题相关的关键词，例如，在兴趣主题下对应的关键词有“天文”、“游泳”、“跆拳道”和“跑步”等。将多个所述关键词进行随机排序，并按照随机排序的顺序赋予每个所述关键词对应的id值，例如，“天文”对应的词语id为0且词频为8(“天文”对应的词语id为0和词频为8，组成“天文”对应矩阵元素(0，8))、“游泳”对应的词语id为1且词频为5，“跆拳道”对应的词语id为2且词频为4、“跑步”对应的词语id为3且词频为3，则该关键词集合对应的词频矩阵为[(0，8)(1，5)，(2，4)，(3，3)
……
]。
[0078]
s2、从预设的线下教材库中选取与所述发言领域一致的线下教材作为目标线下教材，并识别所述目标线下教材中与所述教师发言音频中发言请求对应的教材内容数据。
[0079]
本发明实施例中，所述预设的线下教材库中包含多个不同领域的线下教材，其中，多个不同领域的线下教材可以为天文相关的科普书籍，军事相关的科普数据，做饭相关的厨艺数据等。当所述发言领域为天文领域，则在所述线下教材库中选取天文相关的科普书籍。
[0080]
具体地，所述识别所述目标线下教材中与所述教师发言音频中发言请求对应的教材内容数据，包括：
[0081]
提取所述教师发言音频中发言请求中的请求动作，根据所述请求动作将所述目标线下教材定位至对应的页数；
[0082]
利用文字提取工具提取所述页数对应的目标线下教材的页面中的文字内容，并将所述文字内容作为教材内容数据。
[0083]
详细地，所述教师发言音频中通常包含很多方面的内容，比如可能是先叫一个同学的名字，又或者包含一些互动类型的话术，而这些内容并没有实际含义，因此需要提取所
述教师发言音频中发言请求中的请求动作，并根据请求动作做出相应的反应。
[0084]
例如，所述教师发言音频为“同学们好，请将书本翻到第23页。”其中，提取请求动作为“将书本翻到第23页”，根据所述请求动作将所述目标线下教材定位至第23页，利用文字提取工具将第23页的文字内容识别出来作为教材内容数据。
[0085]
优选地，所述文字提取工具可以为文字提取小程序等。
[0086]
s3、识别所述教材内容数据的数据类型，当所述教材内容数据为对话类型，则利用预获取的对话音频数据对预设的3d人脸模型进行迭代优化，得到标准人脸模型，并将所述教材内容数据输入至所述标准人脸模型中，得到虚拟对话视频。
[0087]
本发明实施例中，所述教材内容数据可以为不同的类型，例如，所述教材内容数据中可以为两个人的对话内容，此时，所述教材内容数据即为对话类型，又或者所述教材内容数据中为科普性文字，此时，所述教材内容数据即为非对话类型。
[0088]
具体地，所述利用预获取的对话音频数据对预设的3d人脸模型进行迭代优化，得到标准人脸模型，包括：
[0089]
将所述对话音频数据拆分为音素，并对所述音素进行向量化处理，得到音素序列向量；
[0090]
利用预设的3d人脸模型中的双向长短期记忆网络对所述音素序列向量进行第一序列变换处理，得到嘴型特征序列；
[0091]
对所述嘴型特征序列进行第二序列变换处理，得到人脸面部表情参数；
[0092]
根据所述人脸面部表情参数对所述3d人脸模型进行迭代优化，得到标准人脸模型。
[0093]
进一步地，所述将所述对话音频数据拆分为音素，包括：
[0094]
对所述对话音频数据进行文本转换，得到初始对话文本；
[0095]
去除所述初始对话文本中的标点符号，得到标准对话文本；
[0096]
利用预设的音标规则标记所述标准对话文本中每个字符所对应的音素。
[0097]
详细地，本技术实施例利用文本转换软件对所述对话音频数据进行文本转换，得到初始对话文本，由于所述文本转换软件会根据所述所述对话音频数据中语音的停顿来进行标点符号的标记，故所述初始对话文本中还包含多个标点符号，为了方便后续将文本拆分成音素，需要去除所述初始对话文本中的标点符号。
[0098]
进一步地，根据所述预设的音标规则中字符和音素的一一对应关系对所述标准文本中的每个字符进行标记，得到音素。
[0099]
例如，本技术实施例中所述预设的音标规则为国际音标规则，标记字符“啊”进行对应的音素为a，得到的音素为[a]。
[0100]
进一步地，在本技术另一实施例中，所述对所述音素执行向量化处理，得到音素序列向量，包括：
[0101]
利用预设的无监督模型对所述音素进行向量化处理，得到音素序列向量。
[0102]
进一步地，所述预设的无监督模型可以是word2vec、doc2vec、fasttext等，本技术实施例中，所述预设的无监督模型为word2vec中的skip-gram模型。其中，word2vec是一类神经网络模型，基于该模型可为语料库中的单个分词产生一个能表达语义的向量，即词向量。
[0103]
本技术实施例中，所述预设的3d人脸模型可以由两个双向lstm网络(bi-directional long short-term memory，双向长短期记忆网络)构成。所述双向长短期记忆网络是一种时间循环神经网络，包括：输入门、遗忘门以及输出门。
[0104]
本技术实施例中，所述根据所述人脸面部表情参数对所述3d人脸模型进行迭代优化，得到标准人脸模型，包括：
[0105]
计算所述人脸面部表情参数和预设的真实面部参数之间的损失值；
[0106]
在所述损失值小于预设的人脸阈值时，将所述3d人脸模型作为初始人脸模型输出；
[0107]
在所述损失值大于或者等于所述预设的人脸阈值时，对所述3d人脸模型的内部参数进行调整，并返回利用预设的3d人脸模型中的双向长短期记忆网络对所述音素序列向量进行第一序列变换处理的步骤，直到所述损失值小于所述预设的人脸阈值时，输出为标准人脸模型。
[0108]
其中，所述内部参数可以为模型的梯度参数或者权重参数。
[0109]
具体地，将所述教材内容数据输入至所述标准人脸模型中，得到虚拟对话视频，所述虚拟对话视频可以将所述教材内容数据通过一个虚拟主播进行语音播报的形式展现出来，展现形式更加丰富且可以便于课堂理解。
[0110]
s4、将所述虚拟对话视频添加至预先构建的线上教材中，得到优化后的线上教材。
[0111]
本发明实施例中，所述线上教材可以为ppt，将所述虚拟对话视频插入所述线上教材即ppt中，得到优化后的线上教材。所述优化后的线上教材可以帮助同学们更好地了解教材所展示的内容，同时增加了课堂的趣味。
[0112]
s5、当所述教材内容数据为非对话类型时，对所述教材内容数据中进行命名实体识别，并根据命名实体识别得到的实体名称检索到相关的二维平面图像。
[0113]
本发明实施例中，当所述教材内容数据为非对话类型时，说明所述教材内容数据中包含的大多是大段文字内容，因此可以识别出所述教材内容数据中的命名实体，并对所述命名实体进行处理以此丰富线上教材。
[0114]
具体地，所述对所述教材内容数据中进行命名实体识别，包括：
[0115]
将所述教材内容数据划分为多个教材分词，并分别对多个所述教材分词进行向量化，得到多个分词向量；
[0116]
将多个所述分词向量输入至长短期记忆网络中进行特征提取，得到特征序列表征；
[0117]
将所述特征序列表征输入至crf层中进行解码，得到每个教材分词对应的序列；
[0118]
根据所述教材分词对应的序列确定对应的实体名称。
[0119]
详细地，所述长短期记忆网络(lstm，long short-term memory)是一种时间循环神经网络。所述crf层是指条件随机场，可以为所述长短期记忆网络的输出数据进行约束，使得最后得到的实体名称更加准确。
[0120]
其中，进行命名实体识别的实体名称可以为军事领域中的专有名词，例如，航空母舰、坦克和飞机等。
[0121]
进一步地，根据命名实体识别得到的实体名称在网络上进行检索，可以得到相关的多张二维平面图像，其中，所述二维平面图像是从不同的角度或者不同的场景所拍摄得
到的。
[0122]
例如，所述二维平面图像可以为航空母舰的正面图，或者航空母舰的侧面图等。
[0123]
s6、计算出所述二维平面图像的深度图，并基于马尔科夫随机场模型和所述深度图生成立体图像，将所述立体图像添加至所述线上教材中，得到优化后的线上教材。
[0124]
本发明实施例中，利用马尔科夫随机场模型(markov random field，mrf)中的高斯概率模型作为先验概率模型，用于描述图像的深度特征和深度图之间的关系。
[0125]
具体地，所述计算出所述二维平面图像的深度图，包括：
[0126]
将所述二维平面图像分割为预设个数的平面矩形块；
[0127]
分别对预设个数的平面矩形块进行滤波处理，得到多个滤波矩形块；
[0128]
利用预设的深度计算公式计算多个所述滤波矩形块的绝对深度，得到深度特征；
[0129]
根据所述深度特征生成所述二维平面图像的深度图。
[0130]
详细地，所述预设个数可以为九个。将所述二维平面图像分割为预设个数的平面矩形块是为了将图像分割为小的矩形块，使得每个矩形块对应一个深度特征。可以采用边缘检测滤波器对平面矩形块进行滤波处理，得到多个滤波矩形块。
[0131]
进一步地，所述利用预设的深度计算公式计算多个所述滤波矩形块的绝对深度，包括：
[0132]
所述预设的深度计算公式为：
[0133]ei
(n)＝∑
(x,y)∈s
|i(x,y)
*fn
(x,y)|q[0134]
其中，ei(n)为深度特征，q∈{1,,2}，i(x,y)
*
为所述滤波矩形块的绝对能量之和，fn(x,y)为所述滤波矩形块的绝对能量。
[0135]
具体地，所述基于马尔科夫随机场模型和所述深度图生成立体图像，包括：
[0136]
对所述深度图进行超分辨率处理及去噪处理，得到去噪深度图；
[0137]
将所述二维平面图像定义为右视点图像，利用马尔科夫随机场模型建立所述右视点图像和所述去噪深度图之间的视差映射，并根据所述视差映射生成立体图像。
[0138]
详细地，与普通图像的超分辨率不同，深度图可以依靠原始图像中包含的信息进行超分辨率处理。由于超分辨率处理后的深度图具有了与二维平面图像相同的分辨率与清晰的物体轮廓，但同时引入了噪声，因此需要进行去噪处理。本方案采用了直方图统计的方法寻找深度图中的噪点，实现去噪。
[0139]
优选地，生成的立体图可以使得观看者感知到景物和场景的深度信息，体会到图像中景物之间前后、上下、方位等的空间位置关系，带来更加真实生动的视觉感受。
[0140]
进一步地，将所述立体图像添加至所述线上教材中，所述立体图像可以丰富所述线上教材，使得原本的平面图像变换为立体图像并添加至线上教材中，使得教师可以更准确的给学生介绍和互动，保证了线上教材的优化性。
[0141]
s7、将所述教材内容数据存储在预设数据库中，并利用预设教材编辑器对所述预设数据库中的教材内容数据和优化后的线上教材进行教材编写，得到新形态教材。
[0142]
本发明实施例中，将所述教材内容数据存储在预设数据库中，可以保证后续进行数据处理时可以从预设数据库中进行教材内容数据的调用，提高教材内容数据查找的效率。利用预设教材编辑器对所述预设数据库中的教材内容数据和优化后的线上教材进行教材编写，其中，所述预设教材编辑器是专属的教材编辑器，可以完成新形态电子教材的制
作。通过教材编辑器，丰富的模板样式插入到教材中；数字化资源与融媒体教材相结合，形成现代化的数字融媒体教材，用于线上、线下、线上线下相结合的教学、学习等场景。所述丰富的模板样式包括标题模板、段落模板、问答模板等，通过便捷的操作，让教师快速完成数字化模板，更方便对教材进行更新迭代。
[0143]
具体地，得到的所述新形态教材上传到服务器进行存储，所述新形态教材支持图片、音频、视频、二维动画、三维动画、虚拟交互模型等，在上传到服务器的同时，所述新形态教材所涉及到的信息和数据也会存储在所述数据库中。
[0144]
s8、当接收到教学预备请求时，调用所述新形态教材进行课堂教学。
[0145]
本发明实施例中，所述教学预备请求是指在教学场景中教师准备进行教学动作的指示，教师会根据自身教学场景调用所需教材，同时学生可以将所述新形态教材安装到设备中的阅读器中来进行阅读教材。学生使用阅读器内置的组件查看教材中的各类资源，除了常规的图片、音视频等资源，还可以对3d模型进行放大缩小、拆分等操作，从而更加直观、深入的了解所学内容。同时学生使用安装到设备中的阅读器来阅读教材学生通过结构化资源、数字化教材实现沉浸式、交互式学习，通过阅读器完成不同学习场景、完成教师作业等任务，提高学生学习兴趣、提高学生学习质量。详细地，本方案通过多种交互形式实现从纸质教材快速跳转到数字教材对应内容上，并支持音视频播放、3d模型互动、虚拟仿真训练等多种互动方式。达到虚实互动、理论与实践结合的教学效果。通过这种创新的学习形态，将人才培养的方式从单向灌输升级为感知交互，将学习体验的形式从2d平面升级为3d立体互动，实现对数字化资源的结构化整合并最高效利用，大幅提高知识学习和技能训练的效果。
[0146]
本发明实施例中，通过对经过文本转化的教师发言音频进行领域预测，得到所述教师发言音频对应的发言领域，并在线下教材库中选取与所述发言领域一致的目标线下教材，实现了精准选取。识别目标线下教材中发言请求对应的教材内容数据，并识别所述教材内容数据的数据类型，根据不同的数据类型进行虚拟对话视频生成或者立体图像生成，并将所述虚拟对话视频和所述立体图像添加至所述线上教材中，得到了优化后的教材，将所述教材内容数据存储在预设数据库中，并利用预设教材编辑器对所述预设数据库中的教材内容数据和优化后的线上教材进行教材编写，得到新形态教材，当接收到教学预备请求时，调用所述新形态教材进行课堂教学，实现了对线上教材的优化处理。因此本发明提出的基于数字孪生的新形态教材学习方法可以解决教材优化的准确度较低的问题。
[0147]
如图2所示，是本发明一实施例提供的基于数字孪生的新形态教材学习装置的功能模块图。
[0148]
本发明所述基于数字孪生的新形态教材学习装置100可以安装于电子设备中。根据实现的功能，所述基于数字孪生的新形态教材学习装置100可以包括领域识别模块101、内容提取模块102、第一教材优化模块103及第二教材优化模块104。本发明所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
[0149]
在本实施例中，关于各模块/单元的功能如下：
[0150]
所述领域识别模块101，用于获取教师发言音频，对所述教师发言音频进行文本转化，得到教师发言文本，利用训练好的领域预测模型对所述教师发言文本进行领域预测，得到所述教师发言音频对应的发言领域；
[0151]
所述内容提取模块102，用于从预设的线下教材库中选取与所述发言领域一致的线下教材作为目标线下教材，并识别所述目标线下教材中与所述教师发言音频中发言请求对应的教材内容数据；
[0152]
所述第一教材优化模块103，用于识别所述教材内容数据的数据类型，当所述教材内容数据为对话类型，则利用预获取的对话音频数据对预设的3d人脸模型进行迭代优化，得到标准人脸模型，并将所述教材内容数据输入至所述标准人脸模型中，得到虚拟对话视频，将所述虚拟对话视频添加至预先构建的线上教材中，得到优化后的线上教材；
[0153]
所述104第二教材优化模块，用于当所述教材内容数据为非对话类型时，对所述教材内容数据中进行命名实体识别，并根据命名实体识别得到的实体名称检索到相关的二维平面图像，计算出所述二维平面图像的深度图，并基于马尔科夫随机场模型和所述深度图生成立体图像，将所述立体图像添加至所述线上教材中，得到优化后的线上教材，将所述教材内容数据存储在预设数据库中，并利用预设教材编辑器对所述预设数据库中的教材内容数据和优化后的线上教材进行教材编写，得到新形态教材，当接收到教学预备请求时，调用所述新形态教材进行课堂教学。
[0154]
详细地，所述基于数字孪生的新形态教材学习装置100各模块的具体实施方式如下：
[0155]
步骤一、获取教师发言音频，对所述教师发言音频进行文本转化，得到教师发言文本，利用训练好的领域预测模型对所述教师发言文本进行领域预测，得到所述教师发言音频对应的发言领域。
[0156]
本发明实施例中，所述教师发言音频是指在教师的课堂上教师所发出的指令语音，由于获得的所述教师发言音频在听感层面不一定准确，因此需要将所述教师发言音频进行文本转化，根据得到的教师发言文本进行后续的数据处理。
[0157]
优选地，可以根据语音转文本技术将所述教师发言音频进行文本转化，其中，所述语音转文本技术(automatic speech recognition)是以语音为研究对象，通过语音信号处理和模式识别让机器自动识别和理解人类口述的语。语音识别技术就是让机器通过识别和理解过程把语音信号转变为相应的文本或命令的高技术。语音识别是一门涉及面很广的交叉学科，它与声学、语音学、语言学、信息理论、模式识别理论以及神经生物学等学科都有非常密切的关系。
[0158]
具体地，所述利用训练好的领域预测模型对所述教师发言文本进行领域预测之前，所述方法还包括：
[0159]
对预获取的训练发言集中的训练发言进行词频解析，得到词频矩阵；
[0160]
基于预设的多个领域标签对所述词频矩阵进行随机编号处理，得到所述词频矩阵对应的领域编号；
[0161]
将所述领域编号作为所述领域预测模型的输入值，计算得到所述领域预测模型的吉布斯采样值和狄利克雷参数估计值；
[0162]
将所述吉布斯采样值和所述狄利克雷参数估计值作为所述领域预测模型的模型参数，得到训练好的领域预测模型。
[0163]
进一步地，所述对预获取的训练发言集中的训练发言进行词频解析，得到词频矩阵，包括：
[0164]
对所述训练发言集中的训练发言进行分词处理，得到训练分词集；
[0165]
筛选所述训练分词集中与预设关键词库中关键词一致的训练分词作为训练关键词，并汇总所述训练关键词得到训练关键词集；
[0166]
获取所述训练关键词集中每一个关键词对应的关键词标识和关键词词频，并根据所述关键词标识和所述关键词词频构建对应的词频矩阵。
[0167]
详细地，可以通过基于概率统计分词模型进行分词处理，或者是可以通过jieba分词模型进行分词处理。所述预设关键词库中包含多个主题相关的关键词，例如，在兴趣主题下对应的关键词有“天文”、“游泳”、“跆拳道”和“跑步”等。将多个所述关键词进行随机排序，并按照随机排序的顺序赋予每个所述关键词对应的id值，例如，“天文”对应的词语id为0且词频为8(“天文”对应的词语id为0和词频为8，组成“天文”对应矩阵元素(0，8))、“游泳”对应的词语id为1且词频为5，“跆拳道”对应的词语id为2且词频为4、“跑步”对应的词语id为3且词频为3，则该关键词集合对应的词频矩阵为[(0，8)(1，5)，(2，4)，(3，3)
……
]。
[0168]
步骤二、从预设的线下教材库中选取与所述发言领域一致的线下教材作为目标线下教材，并识别所述目标线下教材中与所述教师发言音频中发言请求对应的教材内容数据。
[0169]
本发明实施例中，所述预设的线下教材库中包含多个不同领域的线下教材，其中，多个不同领域的线下教材可以为天文相关的科普书籍，军事相关的科普数据，做饭相关的厨艺数据等。当所述发言领域为天文领域，则在所述线下教材库中选取天文相关的科普书籍。
[0170]
具体地，所述识别所述目标线下教材中与所述教师发言音频中发言请求对应的教材内容数据，包括：
[0171]
提取所述教师发言音频中发言请求中的请求动作，根据所述请求动作将所述目标线下教材定位至对应的页数；
[0172]
利用文字提取工具提取所述页数对应的目标线下教材的页面中的文字内容，并将所述文字内容作为教材内容数据。
[0173]
详细地，所述教师发言音频中通常包含很多方面的内容，比如可能是先叫一个同学的名字，又或者包含一些互动类型的话术，而这些内容并没有实际含义，因此需要提取所述教师发言音频中发言请求中的请求动作，并根据请求动作做出相应的反应。
[0174]
例如，所述教师发言音频为“同学们好，请将书本翻到第23页。”其中，提取请求动作为“将书本翻到第23页”，根据所述请求动作将所述目标线下教材定位至第23页，利用文字提取工具将第23页的文字内容识别出来作为教材内容数据。
[0175]
优选地，所述文字提取工具可以为文字提取小程序等。
[0176]
步骤三、识别所述教材内容数据的数据类型，当所述教材内容数据为对话类型，则利用预获取的对话音频数据对预设的3d人脸模型进行迭代优化，得到标准人脸模型，并将所述教材内容数据输入至所述标准人脸模型中，得到虚拟对话视频。
[0177]
本发明实施例中，所述教材内容数据可以为不同的类型，例如，所述教材内容数据中可以为两个人的对话内容，此时，所述教材内容数据即为对话类型，又或者所述教材内容数据中为科普性文字，此时，所述教材内容数据即为非对话类型。
[0178]
具体地，所述利用预获取的对话音频数据对预设的3d人脸模型进行迭代优化，得
到标准人脸模型，包括：
[0179]
将所述对话音频数据拆分为音素，并对所述音素进行向量化处理，得到音素序列向量；
[0180]
利用预设的3d人脸模型中的双向长短期记忆网络对所述音素序列向量进行第一序列变换处理，得到嘴型特征序列；
[0181]
对所述嘴型特征序列进行第二序列变换处理，得到人脸面部表情参数；
[0182]
根据所述人脸面部表情参数对所述3d人脸模型进行迭代优化，得到标准人脸模型。
[0183]
进一步地，所述将所述对话音频数据拆分为音素，包括：
[0184]
对所述对话音频数据进行文本转换，得到初始对话文本；
[0185]
去除所述初始对话文本中的标点符号，得到标准对话文本；
[0186]
利用预设的音标规则标记所述标准对话文本中每个字符所对应的音素。
[0187]
详细地，本技术实施例利用文本转换软件对所述对话音频数据进行文本转换，得到初始对话文本，由于所述文本转换软件会根据所述所述对话音频数据中语音的停顿来进行标点符号的标记，故所述初始对话文本中还包含多个标点符号，为了方便后续将文本拆分成音素，需要去除所述初始对话文本中的标点符号。
[0188]
进一步地，根据所述预设的音标规则中字符和音素的一一对应关系对所述标准文本中的每个字符进行标记，得到音素。
[0189]
例如，本技术实施例中所述预设的音标规则为国际音标规则，标记字符“啊”进行对应的音素为a，得到的音素为[a]。
[0190]
进一步地，在本技术另一实施例中，所述对所述音素执行向量化处理，得到音素序列向量，包括：
[0191]
利用预设的无监督模型对所述音素进行向量化处理，得到音素序列向量。
[0192]
进一步地，所述预设的无监督模型可以是word2vec、doc2vec、fasttext等，本技术实施例中，所述预设的无监督模型为word2vec中的skip-gram模型。其中，word2vec是一类神经网络模型，基于该模型可为语料库中的单个分词产生一个能表达语义的向量，即词向量。
[0193]
本技术实施例中，所述预设的3d人脸模型可以由两个双向lstm网络(bi-directional long short-term memory，双向长短期记忆网络)构成。所述双向长短期记忆网络是一种时间循环神经网络，包括：输入门、遗忘门以及输出门。
[0194]
本技术实施例中，所述根据所述人脸面部表情参数对所述3d人脸模型进行迭代优化，得到标准人脸模型，包括：
[0195]
计算所述人脸面部表情参数和预设的真实面部参数之间的损失值；
[0196]
在所述损失值小于预设的人脸阈值时，将所述3d人脸模型作为初始人脸模型输出；
[0197]
在所述损失值大于或者等于所述预设的人脸阈值时，对所述3d人脸模型的内部参数进行调整，并返回利用预设的3d人脸模型中的双向长短期记忆网络对所述音素序列向量进行第一序列变换处理的步骤，直到所述损失值小于所述预设的人脸阈值时，输出为标准人脸模型。
[0198]
其中，所述内部参数可以为模型的梯度参数或者权重参数。
[0199]
具体地，将所述教材内容数据输入至所述标准人脸模型中，得到虚拟对话视频，所述虚拟对话视频可以将所述教材内容数据通过一个虚拟主播进行语音播报的形式展现出来，展现形式更加丰富且可以便于课堂理解。
[0200]
步骤四、将所述虚拟对话视频添加至预先构建的线上教材中，得到优化后的线上教材。
[0201]
本发明实施例中，所述线上教材可以为ppt，将所述虚拟对话视频插入所述线上教材即ppt中，得到优化后的线上教材。所述优化后的线上教材可以帮助同学们更好地了解教材所展示的内容，同时增加了课堂的趣味。
[0202]
步骤五、当所述教材内容数据为非对话类型时，对所述教材内容数据中进行命名实体识别，并根据命名实体识别得到的实体名称检索到相关的二维平面图像。
[0203]
本发明实施例中，当所述教材内容数据为非对话类型时，说明所述教材内容数据中包含的大多是大段文字内容，因此可以识别出所述教材内容数据中的命名实体，并对所述命名实体进行处理以此丰富线上教材。
[0204]
具体地，所述对所述教材内容数据中进行命名实体识别，包括：
[0205]
将所述教材内容数据划分为多个教材分词，并分别对多个所述教材分词进行向量化，得到多个分词向量；
[0206]
将多个所述分词向量输入至长短期记忆网络中进行特征提取，得到特征序列表征；
[0207]
将所述特征序列表征输入至crf层中进行解码，得到每个教材分词对应的序列；
[0208]
根据所述教材分词对应的序列确定对应的实体名称。
[0209]
详细地，所述长短期记忆网络(lstm，long short-term memory)是一种时间循环神经网络。所述crf层是指条件随机场，可以为所述长短期记忆网络的输出数据进行约束，使得最后得到的实体名称更加准确。
[0210]
其中，进行命名实体识别的实体名称可以为军事领域中的专有名词，例如，航空母舰、坦克和飞机等。
[0211]
进一步地，根据命名实体识别得到的实体名称在网络上进行检索，可以得到相关的多张二维平面图像，其中，所述二维平面图像是从不同的角度或者不同的场景所拍摄得到的。
[0212]
例如，所述二维平面图像可以为航空母舰的正面图，或者航空母舰的侧面图等。
[0213]
步骤六、计算出所述二维平面图像的深度图，并基于马尔科夫随机场模型和所述深度图生成立体图像，将所述立体图像添加至所述线上教材中，得到优化后的线上教材。
[0214]
本发明实施例中，利用马尔科夫随机场模型(markov random field，mrf)中的高斯概率模型作为先验概率模型，用于描述图像的深度特征和深度图之间的关系。
[0215]
具体地，所述计算出所述二维平面图像的深度图，包括：
[0216]
将所述二维平面图像分割为预设个数的平面矩形块；
[0217]
分别对预设个数的平面矩形块进行滤波处理，得到多个滤波矩形块；
[0218]
利用预设的深度计算公式计算多个所述滤波矩形块的绝对深度，得到深度特征；
[0219]
根据所述深度特征生成所述二维平面图像的深度图。
[0220]
详细地，所述预设个数可以为九个。将所述二维平面图像分割为预设个数的平面矩形块是为了将图像分割为小的矩形块，使得每个矩形块对应一个深度特征。可以采用边缘检测滤波器对平面矩形块进行滤波处理，得到多个滤波矩形块。
[0221]
进一步地，所述利用预设的深度计算公式计算多个所述滤波矩形块的绝对深度，包括：
[0222]
所述预设的深度计算公式为：
[0223]ei
(n)＝∑
(x,y)∈s
|i(x,y)
*fn
(x,y)|q[0224]
其中，ei(n)为深度特征，q∈{1,,2}，i(x,y)
*
为所述滤波矩形块的绝对能量之和，fn(x,y)为所述滤波矩形块的绝对能量。
[0225]
具体地，所述基于马尔科夫随机场模型和所述深度图生成立体图像，包括：
[0226]
对所述深度图进行超分辨率处理及去噪处理，得到去噪深度图；
[0227]
将所述二维平面图像定义为右视点图像，利用马尔科夫随机场模型建立所述右视点图像和所述去噪深度图之间的视差映射，并根据所述视差映射生成立体图像。
[0228]
详细地，与普通图像的超分辨率不同，深度图可以依靠原始图像中包含的信息进行超分辨率处理。由于超分辨率处理后的深度图具有了与二维平面图像相同的分辨率与清晰的物体轮廓，但同时引入了噪声，因此需要进行去噪处理。本方案采用了直方图统计的方法寻找深度图中的噪点，实现去噪。
[0229]
优选地，生成的立体图可以使得观看者感知到景物和场景的深度信息，体会到图像中景物之间前后、上下、方位等的空间位置关系，带来更加真实生动的视觉感受。
[0230]
进一步地，将所述立体图像添加至所述线上教材中，所述立体图像可以丰富所述线上教材，使得原本的平面图像变换为立体图像并添加至线上教材中，使得教师可以更准确的给学生介绍和互动，保证了线上教材的优化性。
[0231]
步骤七、将所述教材内容数据存储在预设数据库中，并利用预设教材编辑器对所述预设数据库中的教材内容数据和优化后的线上教材进行教材编写，得到新形态教材。
[0232]
本发明实施例中，将所述教材内容数据存储在预设数据库中，可以保证后续进行数据处理时可以从预设数据库中进行教材内容数据的调用，提高教材内容数据查找的效率。利用预设教材编辑器对所述预设数据库中的教材内容数据和优化后的线上教材进行教材编写，其中，所述预设教材编辑器是专属的教材编辑器，可以完成新形态电子教材的制作。通过教材编辑器，丰富的模板样式插入到教材中；数字化资源与融媒体教材相结合，形成现代化的数字融媒体教材，用于线上、线下、线上线下相结合的教学、学习等场景。所述丰富的模板样式包括标题模板、段落模板、问答模板等，通过便捷的操作，让教师快速完成数字化模板，更方便对教材进行更新迭代。
[0233]
具体地，得到的所述新形态教材上传到服务器进行存储，所述新形态教材支持图片、音频、视频、二维动画、三维动画、虚拟交互模型等，在上传到服务器的同时，所述新形态教材所涉及到的信息和数据也会存储在所述数据库中。
[0234]
步骤八、当接收到教学预备请求时，调用所述新形态教材进行课堂教学。
[0235]
本发明实施例中，所述教学预备请求是指在教学场景中教师准备进行教学动作的指示，教师会根据自身教学场景调用所需教材，同时学生可以将所述新形态教材安装到设备中的阅读器中来进行阅读教材。学生使用阅读器内置的组件查看教材中的各类资源，除
了常规的图片、音视频等资源，还可以对3d模型进行放大缩小、拆分等操作，从而更加直观、深入的了解所学内容。同时学生使用安装到设备中的阅读器来阅读教材学生通过结构化资源、数字化教材实现沉浸式、交互式学习，通过阅读器完成不同学习场景、完成教师作业等任务，提高学生学习兴趣、提高学生学习质量。详细地，本方案通过多种交互形式实现从纸质教材快速跳转到数字教材对应内容上，并支持音视频播放、3d模型互动、虚拟仿真训练等多种互动方式。达到虚实互动、理论与实践结合的教学效果。通过这种创新的学习形态，将人才培养的方式从单向灌输升级为感知交互，将学习体验的形式从2d平面升级为3d立体互动，实现对数字化资源的结构化整合并最高效利用，大幅提高知识学习和技能训练的效果。
[0236]
本发明实施例中，通过对经过文本转化的教师发言音频进行领域预测，得到所述教师发言音频对应的发言领域，并在线下教材库中选取与所述发言领域一致的目标线下教材，实现了精准选取。识别目标线下教材中发言请求对应的教材内容数据，并识别所述教材内容数据的数据类型，根据不同的数据类型进行虚拟对话视频生成或者立体图像生成，并将所述虚拟对话视频和所述立体图像添加至所述线上教材中，得到了优化后的教材，将所述教材内容数据存储在预设数据库中，并利用预设教材编辑器对所述预设数据库中的教材内容数据和优化后的线上教材进行教材编写，得到新形态教材，当接收到教学预备请求时，调用所述新形态教材进行课堂教学，实现了对线上教材的优化处理。因此本发明提出的基于数字孪生的新形态教材学习装置可以解决教材优化的准确度较低的问题。
[0237]
如图3所示，是本发明一实施例提供的实现基于数字孪生的新形态教材学习方法的电子设备的结构示意图。
[0238]
所述电子设备可以包括处理器10、存储器11、通信接口12和总线13，还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序，如基于数字孪生的新形态教材学习程序。
[0239]
其中，所述存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如：sd或dx存储器等)、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备的内部存储单元，例如该电子设备的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备的外部存储设备，例如电子设备上配备的插接式移动硬盘、智能存储卡(smart media card，smc)、安全数字(secure digital，sd)卡、闪存卡(flash card)等。进一步地，所述存储器11还可以既包括电子设备的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备的应用软件及各类数据，例如基于数字孪生的新形态教材学习程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
[0240]
所述处理器10在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(central processing unit，cpu)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心(control unit)，利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述存储器11内的程序或者模块(例如基于数字孪生的新形态教材学习程序等)，以及调用存储在所述存储器11内的数据，以执行电子设备的各种功能和处理数据。
[0241]
所述通信接口12用于上述电子设备与其他设备之间的通信，包括网络接口和用户
接口。可选地，所述网络接口可以包括有线接口和/或无线接口(如wi-fi接口、蓝牙接口等)，通常用于在该电子设备与其他电子设备之间建立通信连接。所述用户接口可以是显示器(display)、输入单元(比如键盘(keyboard))，可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是led显示器、液晶显示器、触控式液晶显示器以及oled(organic light-emitting diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。
[0242]
所述总线13可以是外设部件互连标准(peripheral component interconnect，简称pci)总线或扩展工业标准结构(extended industry standard architecture，简称eisa)总线等。该总线13可以分为地址总线、数据总线、控制总线等。所述总线13被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。
[0243]
图3仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图3示出的结构并不构成对所述电子设备的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
[0244]
例如，尽管未示出，所述电子设备还可以包括给各个部件供电的电源(比如电池)，优选地，电源可以通过电源管理装置与所述至少一个处理器10逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备还可以包括多种传感器、蓝牙模块、wi-fi模块等，在此不再赘述。
[0245]
进一步地，所述电子设备还可以包括网络接口，可选地，所述网络接口可以包括有线接口和/或无线接口(如wi-fi接口、蓝牙接口等)，通常用于在该电子设备与其他电子设备之间建立通信连接。
[0246]
可选地，该电子设备还可以包括用户接口，用户接口可以是显示器(display)、输入单元(比如键盘(keyboard))，可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是led显示器、液晶显示器、触控式液晶显示器以及oled(organic light-emitting diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。
[0247]
应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
[0248]
所述电子设备中的所述存储器11存储的基于数字孪生的新形态教材学习程序是多个指令的组合，在所述处理器10中运行时，可以实现：
[0249]
获取教师发言音频，对所述教师发言音频进行文本转化，得到教师发言文本，利用训练好的领域预测模型对所述教师发言文本进行领域预测，得到所述教师发言音频对应的发言领域；
[0250]
从预设的线下教材库中选取与所述发言领域一致的线下教材作为目标线下教材，并识别所述目标线下教材中与所述教师发言音频中发言请求对应的教材内容数据；
[0251]
识别所述教材内容数据的数据类型，当所述教材内容数据为对话类型，则利用预获取的对话音频数据对预设的3d人脸模型进行迭代优化，得到标准人脸模型，并将所述教
材内容数据输入至所述标准人脸模型中，得到虚拟对话视频；
[0252]
将所述虚拟对话视频添加至预先构建的线上教材中，得到优化后的线上教材；
[0253]
当所述教材内容数据为非对话类型时，对所述教材内容数据中进行命名实体识别，并根据命名实体识别得到的实体名称检索到相关的二维平面图像；
[0254]
计算出所述二维平面图像的深度图，并基于马尔科夫随机场模型和所述深度图生成立体图像，将所述立体图像添加至所述线上教材中，得到优化后的线上教材；
[0255]
将所述教材内容数据存储在预设数据库中，并利用预设教材编辑器对所述预设数据库中的教材内容数据和优化后的线上教材进行教材编写，得到新形态教材；
[0256]
当接收到教学预备请求时，调用所述新形态教材进行课堂教学。
[0257]
具体地，所述处理器10对上述指令的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。
[0258]
进一步地，所述电子设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。所述计算机可读存储介质可以是易失性的，也可以是非易失性的。例如，所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)。
[0259]
本发明还提供一种计算机可读存储介质，所述可读存储介质存储有计算机程序，所述计算机程序在被电子设备的处理器所执行时，可以实现：
[0260]
获取教师发言音频，对所述教师发言音频进行文本转化，得到教师发言文本，利用训练好的领域预测模型对所述教师发言文本进行领域预测，得到所述教师发言音频对应的发言领域；
[0261]
从预设的线下教材库中选取与所述发言领域一致的线下教材作为目标线下教材，并识别所述目标线下教材中与所述教师发言音频中发言请求对应的教材内容数据；
[0262]
识别所述教材内容数据的数据类型，当所述教材内容数据为对话类型，则利用预获取的对话音频数据对预设的3d人脸模型进行迭代优化，得到标准人脸模型，并将所述教材内容数据输入至所述标准人脸模型中，得到虚拟对话视频；
[0263]
将所述虚拟对话视频添加至预先构建的线上教材中，得到优化后的线上教材；
[0264]
当所述教材内容数据为非对话类型时，对所述教材内容数据中进行命名实体识别，并根据命名实体识别得到的实体名称检索到相关的二维平面图像；
[0265]
计算出所述二维平面图像的深度图，并基于马尔科夫随机场模型和所述深度图生成立体图像，将所述立体图像添加至所述线上教材中，得到优化后的线上教材；
[0266]
将所述教材内容数据存储在预设数据库中，并利用预设教材编辑器对所述预设数据库中的教材内容数据和优化后的线上教材进行教材编写，得到新形态教材；
[0267]
当接收到教学预备请求时，调用所述新形态教材进行课堂教学。
[0268]
在本发明所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
[0269]
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个
网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
[0270]
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
[0271]
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
[0272]
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
[0273]
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
[0274]
此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称，而并不表示任何特定的顺序。
[0275]
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。