一种英语教学的多模态英语教学系统的制作方法

本发明涉及英语教学，特别涉及一种英语教学的多模态英语教学系统。

背景技术：

1、英语教学承担培养学生基本英语素养和发展学生思维能力的任务，即学生通过英语课程掌握基本的英语语言知识，发展基本的英语听说读写技能，初步形成用英语与他人交流的能力，进一步促进思维能力的发展，为今后继续学习英语和用英语学习其他相关科学文化知识奠定基础，英语教学过程中常常需要通过英语对话场景的练习来进行口语互动。

2、目前，英语教学的方式通常采用视觉和/或听觉的单模态或双模态的教学方式，无法为学员提供真实的英语交流环境；并且，英语口语互动中往往采用教师直接口头设置英语对话场景，无法生动的展示英语对话场景且在切换英语对话场景时易出现混杂重复的情况。同时，当进行口语类的互动时，往往采用教师直接通过口头设定英语的对话场景，易造成无法清晰明确的展示英语对话场景，同时在切换英语的对话场景时，易出现混淆的情况。

技术实现思路

1、本发明提供了一种英语教学的多模态英语教学系统，进行多模态的英语教学方式，提供了多个互动场景，并可以进行场景切换，提高学员与学员、学员与教师间的交互体验，且场景切换简单，为学员学习英语语言创建最佳语言环境。

2、本发明提供了一种英语教学的多模态英语教学系统，包括中央处理器、学习端vr设备、采集模块、感知模块、视频识别模块、场景生成模块、场景存储模块、场景切换模块、教学端vr设备、场景投影模块，所述中央处理器分别连接所述采集模块、感知模块、场景生成模块，所述采集模块还连接所述学习端vr(virtualreality，虚拟现实)设备、视频识别模块，所述视频识别模块还连接所述场景生成模块，所述场景生成模块还连接所述场景存储模块，所述场景存储模块还连接所述场景切换模块，所述场景切换模块分别连接所述场景投影模块和教学端vr设备；

3、所述采集模块用于当学员佩戴所述学习端vr设备时，采集所述学员的声音、背景和姿态视频；

4、所述感知模块用于根据所述采集模块采集的所述学员的姿态视频以识别所述学员的动作和姿态，以进行多端交互；

5、所述视频识别模块用于接收所述采集模块采集的多个背景和姿态视频，并根据所述姿态视频进行背景方位识别；

6、所述场景生成模块用于根据所述视频识别模块识别的背景方位对采集的背景进行合成，得到一个教学互动场景；

7、所述场景存储模块用于存储所述场景生成模块生成的多个教学互动场景，并根据所述教学互动场景的生成时间对多个所述教学互动场景进行编号存储；

8、所述场景切换模块用于根据所述教学端vr设备的教学需要从所述场景存储模块中选取需要的教学互动场景，或切换下一个选取的教学互动场景；

9、所述场景投影模块用于将所述教学端vr设备选取的当前教学互动场景投影至所述学习端vr设备，以进行教学互动场景的共享。

10、进一步地，所述采集模块包括声音采集单元、背景采集单元、姿态视频采集单元，所述声音采集单元、背景采集单元和姿态视频采集单元分别连接所述学习端vr设备和中央处理器，所述声音采集单元用于采集佩戴所述学习端vr设备的学员的声音数据并进行存储，所述背景采集单元用于采集佩戴所述学习端vr设备的学员的所处的多个方位的背景并进行存储，所述姿态视频采集单元用于采集佩戴所述学习端vr设备的学员的姿态视频，并根据所述学员姿态的开始时间和结束时间对所述姿态视频裁剪为多个阶段姿态视频。

11、进一步地，所述感知模块包括动作感知单元和姿态感知单元，所述动作感知单元分别连接所述中央处理器和姿态感知单元，所述动作感知单元用于根据所述姿态视频采集单元采集的多个阶段姿态视频多个动作，所述姿态感知单元用于根据所述动作感知单元识别的多个动作和动作发生时间串联为所述学员的动姿态。

12、进一步地，还包括语言转换模块，所述语言转换模块分别连接所述声音采集单元和中央处理器，所述语言转换模块用于将所述声音采集单元采集的佩戴所述学习端vr设备的学员的声音数据转换为文字数字以进行显示。

13、进一步地，还包括角色创建模块、角色选择模块、交互模块，所述角色创建模块分别连接所述中央处理器和所述角色选择模块，所述角色选择模块还连接所述交互模块，所述交互模块还连接所述场景投影模块，所述角色创建模块用于创建多个互动的角色以建立多角色的场景对话，所述角色选择模块用于佩戴所述学习端vr设备的学员选择心仪的角色以进行多角色场景对话，所述交互模块用于多个学习端vr设备进行多角色场景对话，或学习端vr设备和教学端vr设备进行多角色场景对话。

14、进一步地，学生端vr设备包括多个，多个所述学生端vr设备均连接所述采集模块，以进行多个佩戴所述学习端vr设备的学员的互动和学习。

15、进一步地，所述场景投影模块与所述学生端vr设备的数量相同，每个场景投影模块分别用于将所述教学端vr设备选取的当前教学互动场景投影至一个所述学习端vr设备，以进行教学互动场景的共享。

16、本发明的有益效果为：

17、本发明当学员佩戴所述学习端vr设备时，利用采集模块采集所述学员的声音、背景和姿态视频，感知模块根据采集的姿态视频识别学员的动作和姿态，以进行多端交互，视频识别模块接收多个背景和姿态视频，并进行背景方位识别，场景生成模块根据识别的背景方位对采集的背景进行合成，得到一个教学互动场景，场景切换模块根据教学端vr设备的教学需要选取需要的教学互动场景，或切换下一个选取的教学互动场景，场景投影模块将教学端vr设备选取的当前教学互动场景投影至学习端vr设备，以进行教学互动场景的共享，便于教师进行多模态的英语教学方式，且本发明提供了多个互动场景，可以进行场景切换，提高学员与学员、学员与教师间的交互体验，场景切换简单，为学员学习英语语言创建最佳语言环境，保持学生对英语语言环境的习惯性，养成英语语言习惯与思维。

技术特征：

1.一种英语教学的多模态英语教学系统，其特征在于，包括中央处理器、学习端vr设备、采集模块、感知模块、视频识别模块、场景生成模块、场景存储模块、场景切换模块、教学端vr设备、场景投影模块，所述中央处理器分别连接所述采集模块、感知模块、场景生成模块，所述采集模块还连接所述学习端vr设备、视频识别模块，所述视频识别模块还连接所述场景生成模块，所述场景生成模块还连接所述场景存储模块，所述场景存储模块还连接所述场景切换模块，所述场景切换模块分别连接所述场景投影模块和教学端vr设备；

2.根据权利要求1所述的英语教学的多模态英语教学系统，其特征在于，所述采集模块包括声音采集单元、背景采集单元、姿态视频采集单元，所述声音采集单元、背景采集单元和姿态视频采集单元分别连接所述学习端vr设备和中央处理器，所述声音采集单元用于采集佩戴所述学习端vr设备的学员的声音数据并进行存储，所述背景采集单元用于采集佩戴所述学习端vr设备的学员的所处的多个方位的背景并进行存储，所述姿态视频采集单元用于采集佩戴所述学习端vr设备的学员的姿态视频，并根据所述学员姿态的开始时间和结束时间对所述姿态视频裁剪为多个阶段姿态视频。

3.根据权利要求2所述的英语教学的多模态英语教学系统，其特征在于，所述感知模块包括动作感知单元和姿态感知单元，所述动作感知单元分别连接所述中央处理器和姿态感知单元，所述动作感知单元用于根据所述姿态视频采集单元采集的多个阶段姿态视频多个动作，所述姿态感知单元用于根据所述动作感知单元识别的多个动作和动作发生时间串联为所述学员的动姿态。

4.根据权利要求2所述的英语教学的多模态英语教学系统，其特征在于，还包括语言转换模块，所述语言转换模块分别连接所述声音采集单元和中央处理器，所述语言转换模块用于将所述声音采集单元采集的佩戴所述学习端vr设备的学员的声音数据转换为文字数字以进行显示。

5.根据权利要求1所述的英语教学的多模态英语教学系统，其特征在于，还包括角色创建模块、角色选择模块、交互模块，所述角色创建模块分别连接所述中央处理器和所述角色选择模块，所述角色选择模块还连接所述交互模块，所述交互模块还连接所述场景投影模块，所述角色创建模块用于创建多个互动的角色以建立多角色的场景对话，所述角色选择模块用于佩戴所述学习端vr设备的学员选择心仪的角色以进行多角色场景对话，所述交互模块用于多个学习端vr设备进行多角色场景对话，或学习端vr设备和教学端vr设备进行多角色场景对话。

6.根据权利要求1所述的英语教学的多模态英语教学系统，其特征在于，学生端vr设备包括多个，多个所述学生端vr设备均连接所述采集模块，以进行多个佩戴所述学习端vr设备的学员的互动和学习。

7.根据权利要求6所述的英语教学的多模态英语教学系统，其特征在于，所述场景投影模块与所述学生端vr设备的数量相同，每个场景投影模块分别用于将所述教学端vr设备选取的当前教学互动场景投影至一个所述学习端vr设备，以进行教学互动场景的共享。

技术总结
本发明涉及英语教学技术领域，公开了一种英语教学的多模态英语教学系统，包括中央处理器、学习端VR设备、采集模块、感知模块、视频识别模块、场景生成模块、场景存储模块、场景切换模块、教学端VR设备、场景投影模块，中央处理器分别连接采集模块、感知模块、场景生成模块，采集模块还连接学习端VR设备、视频识别模块，视频识别模块还连接场景生成模块，场景生成模块还连接场景存储模块，场景存储模块还连接场景切换模块，场景切换模块分别连接场景投影模块和教学端VR设备。本发明提供的系统进行多模态的英语教学方式，提供多个互动场景，提高学员与学员、学员与教师间的交互体验，场景切换简单，为学员学习英语语言创建最佳语言环境。

技术研发人员：张靖晨
受保护的技术使用者：张靖晨
技术研发日：
技术公布日：2024/1/12