一种个性化外语口语学习系统的制作方法

本发明涉及教学系统领域，具体涉及一种个性化外语口语学习系统。

背景技术：

现有的口语学习软件或系统，仅为设定好的顺序和内容进行习题的训练，用户的自由选择和个性化匹配较差，无法根据用户的口语学习需求和口语学习状态进行个性化调整，人性化程度低，且口语学习效果有限。

技术实现要素：

为解决上述问题，本发明提供了一种个性化外语口语学习系统，在学习的过程中，可以通过三维模拟教学模块进行各种动态的人物、场景的建立，学生可以参与到整个模拟过程中与人物进行对话或动作交流，大大提高了学生学习兴趣；模拟训练项目都是随机的，学生无法通过死记硬背的形式进行项目的解答，推动了学生进行项目知识点的真正的理解需求，提高了学习的效率；每个学生采用不同的测控试题进行训练，真正意义上实现了因材施教，针对性强；实现了用户发音情况的检测分析，并根据不同的用户进行针对性培训方案的输出，大大提高了学习效率。

为实现上述目的，本发明采取的技术方案为：

一种个性化外语口语学习系统，包括

人机操作模块，用于用户注册、登录，还用于进行各种控制命令以及其它数据的输入，并用于识别输入的语种，进行语种资料系统权限材料的开放；

视频采集模块，用于通过视频采集装置进行正在进行教学的教师或交互学习的学生的动作视频的采集，并通过数据传输模块发送到数据处理模块；还用于通过摄像头进行学习者口型以及舌头位置图像的采集，并将所采集到的图像发送到数据处理模块；

音频采集模块，用于通过麦克风进行正在教学的教师或交互学习的学生的音频的采集，并通过数据传输模块发送到数据处理模块；

数据处理模块，用于通过kinect深度传感器进行骨骼信息获取，还用于消除所获得骨骼信息的抖动和噪声干扰，并计算获取所有骨骼对的角度旋转移动SO3矩阵信息；并将所获取的SO3矩阵信息发送到动作识别模块；还用于对音频采集模块所发送的音频数据进行消噪处理，并识别所接收到的音频数据内的音频控制命令，将识别结果发送到中央处理器；

发音标准评估模块，用于根据数据处理模块发送的人体深度信息与标准数据库内的人体深度信息进行对比，进行发音情况的评估，如果差距小于某个门限，则认为发音标准，否则认为不标准；

口型标准评估模块，用于将计算所得的骨骼对的角度旋转移动SO3矩阵信息与口型标准数据库内录制的标准口型姿态信息进行对比，如果差距小于某个门限，则认为口型标准，否则认为不标准；

发音辅助指导模块，用于根据发音标准评估模块、口型标准评估模块的评估结果输出正确的口型以及舌头位置数据到显示屏进行显示；

培训方案生成模块，用于通过人工专家根据综合评估模块的评估结果进行培训方案的输出，并将输出的培训方案发送到对应的账户；

动作命令识别模块，用于将所获取的的SO3矩阵信息与动作控制命令数据库内的SO3矩阵信息进行比较，并将相似度最高的控制命令输出至中央处理器；

中央处理器，用于接收人机操作模块、数据处理模块以及动作命令识别模块输入的控制命令，并按照预设的算法将这些控制命令发送到指定的模块；用于根据人机操作模块输入的数据调用命令在数据库内调用相应的数据发送到显示屏或指定的移动终端进行显示；还用于用户注册、权限管理以及密码修改；

三维互动教学模块，包括空气屏幕生成系统、若干组3D投影仪、音频播放模块和素材数据库，用于根据中央处理器发送的控制命令从素材数据库内调用相应的数据建立各种场景、动态三维模型、互动三维模型；

每日任务完成情况汇总评估模块，用于汇总并储存学生在学习过程每日任务的完成情况，并根据预设的算法对接收到的数据进行评估，将评估结果发送到人工专家解答模块；

模拟训练模块，用于根据预设的模拟难度在模拟训练模型数据库随机选取一定数量的试题进行模拟训练，并完成模拟训练结果的评估，将评估的结果发送到中央处理器，发送到显示屏进行显示；

疑难问题汇总模块，用于汇总并储存学生在学习过程中遇到的疑难问题，并将这些数据按其发送的学生账户标记后发送到人工专家解答模块；

人工专家模块，用于进行疑难问题汇总模块内的疑难问题的解答，并将解答后的数据发送到指定的账号，还用于根据学生的疑难问题、兴趣闯关模块以及每日任务完成的情况进行每日任务的发送；

课件共享模块，用于教师将上课的课件上传，从而实现学生、教师的课件的共享。

优选地，还包括一显示屏，用于进行教学视频、教学音频、教学文本以及教学图片的播放，内设转换模块，可以根据需要将教学音频转换成文字播放，也可以根据需要将教学文本转换成音频播放；还用于显示人机操作模块输入的各种数据以及整个使用过程中需要显示的数据。

优选地，所述人机操作模块包括图片输入模块、语音输入模块和文字输入模块；语音输入模块采用麦克风，文字输入模块采用手写板和键盘，图片输入模块采用扫描仪、摄像头或USB接口导入。

优选地，所述学生通过移动终端或指定的APP进行数据的上传和下载。

优选地，所述素材数据库内储存有各种与外语口语训练相关的构造模型、文字、音频和视频数据。

优选地，所述素材数据库、动作控制命令数据库均连接有一数据更新模块，用于进行各数据库内数据的实时更新。

优选地，所述视频采集装置为包括一底座，底座下端设有带制动装置的万向轮，上端通过电动伸缩杆安装有一个球体装置上，球体装置上设有N个鱼障碍物头。

优选地，所述N至少为四个，所述鱼障碍物头拍摄的视频数据的水平角度为360°/N的水平角度，所述鱼障碍物头拍摄的视频数据的垂直角度为360°/N的垂直角度；鱼障碍物头采用焦距短、前镜片直径小且呈抛物面状凸出的超广角镜头。

优选地，所述万向轮通过无线连接有遥控器。

本发明具有以下有益效果：

在学习的过程中，可以通过三维模拟教学模块进行各种动态的人物、场景的建立，学生可以参与到整个模拟过程中与人物进行对话或动作交流，大大提高了学生学习兴趣；模拟训练项目都是随机的，学生无法通过死记硬背的形式进行项目的解答，推动了学生进行项目知识点的真正的理解需求，提高了学习的效率；每个学生采用不同的测控试题进行训练，真正意义上实现了因材施教，针对性强；实现了用户发音情况的检测分析，并根据不同的用户进行针对性培训方案的输出，大大提高了学习效率；自带疑难问题汇总和解答功能，一方面实现了师资力量的共享，另一方面也推动了学生的学习。

附图说明

图1为本发明实施例一种个性化外语口语学习系统的系统框图。

具体实施方式

为了使本发明的目的及优点更加清楚明白，以下结合实施例对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明实施例提供了一种个性化外语口语学习系统，包括

人机操作模块，用于用户注册、登录，还用于进行各种控制命令以及其它数据的输入，并用于识别输入的语种，进行语种资料系统权限材料的开放；

视频采集模块，用于通过视频采集装置进行正在进行教学的教师或交互学习的学生的动作视频的采集，并通过数据传输模块发送到数据处理模块；还用于通过摄像头进行学习者口型以及舌头位置图像的采集，并将所采集到的图像发送到数据处理模块；

音频采集模块，用于通过麦克风进行正在教学的教师或交互学习的学生的音频的采集，并通过数据传输模块发送到数据处理模块；

数据处理模块，用于通过kinect深度传感器进行骨骼信息获取，还用于消除所获得骨骼信息的抖动和噪声干扰，并计算获取所有骨骼对的角度旋转移动SO3矩阵信息；并将所获取的SO3矩阵信息发送到动作识别模块；还用于对音频采集模块所发送的音频数据进行消噪处理，并识别所接收到的音频数据内的音频控制命令，将识别结果发送到中央处理器；

发音标准评估模块，用于根据数据处理模块发送的人体深度信息与标准数据库内的人体深度信息进行对比，进行发音情况的评估，如果差距小于某个门限，则认为发音标准，否则认为不标准；

口型标准评估模块，用于将计算所得的骨骼对的角度旋转移动SO3矩阵信息与口型标准数据库内录制的标准口型姿态信息进行对比，如果差距小于某个门限，则认为口型标准，否则认为不标准；

发音辅助指导模块，用于根据发音标准评估模块、口型标准评估模块的评估结果输出正确的口型以及舌头位置数据到显示屏进行显示；

培训方案生成模块，用于通过人工专家根据综合评估模块的评估结果进行培训方案的输出，并将输出的培训方案发送到对应的账户；

动作命令识别模块，用于将所获取的的SO3矩阵信息与动作控制命令数据库内的SO3矩阵信息进行比较，并将相似度最高的控制命令输出至中央处理器；

中央处理器，用于接收人机操作模块、数据处理模块以及动作命令识别模块输入的控制命令，并按照预设的算法将这些控制命令发送到指定的模块；用于根据人机操作模块输入的数据调用命令在数据库内调用相应的数据发送到显示屏或指定的移动终端进行显示；还用于用户注册、权限管理以及密码修改；

三维互动教学模块，包括空气屏幕生成系统、若干组3D投影仪、音频播放模块和素材数据库，用于根据中央处理器发送的控制命令从素材数据库内调用相应的数据建立各种场景、动态三维模型、互动三维模型；

每日任务完成情况汇总评估模块，用于汇总并储存学生在学习过程每日任务的完成情况，并根据预设的算法对接收到的数据进行评估，将评估结果发送到人工专家解答模块；

模拟训练模块，用于根据预设的模拟难度在模拟训练模型数据库随机选取一定数量的试题进行模拟训练，并完成模拟训练结果的评估，将评估的结果发送到中央处理器，发送到显示屏进行显示；

疑难问题汇总模块，用于汇总并储存学生在学习过程中遇到的疑难问题，并将这些数据按其发送的学生账户标记后发送到人工专家解答模块；

人工专家模块，用于进行疑难问题汇总模块内的疑难问题的解答，并将解答后的数据发送到指定的账号，还用于根据学生的疑难问题、兴趣闯关模块以及每日任务完成的情况进行每日任务的发送；

课件共享模块，用于教师将上课的课件上传，从而实现学生、教师的课件的共享。

还包括一显示屏，用于进行教学视频、教学音频、教学文本以及教学图片的播放，内设转换模块，可以根据需要将教学音频转换成文字播放，也可以根据需要将教学文本转换成音频播放；还用于显示人机操作模块输入的各种数据以及整个使用过程中需要显示的数据。

所述人机操作模块包括图片输入模块、语音输入模块和文字输入模块；语音输入模块采用麦克风，文字输入模块采用手写板和键盘，图片输入模块采用扫描仪、摄像头或USB接口导入。

所述学生通过移动终端或指定的APP进行数据的上传和下载。

所述素材数据库内储存有各种与外语口语训练相关的构造模型、文字、音频和视频数据。

所述素材数据库、动作控制命令数据库均连接有一数据更新模块，用于进行各数据库内数据的实时更新。

所述视频采集装置为包括一底座，底座下端设有带制动装置的万向轮，上端通过电动伸缩杆安装有一个球体装置上，球体装置上设有N个鱼障碍物头。

所述N至少为四个，所述鱼障碍物头拍摄的视频数据的水平角度为360°/N的水平角度，所述鱼障碍物头拍摄的视频数据的垂直角度为360°/N的垂直角度；鱼障碍物头采用焦距短、前镜片直径小且呈抛物面状凸出的超广角镜头。

优选地，所述万向轮通过无线连接有遥控器

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。