体验式语言教学方法、装置及教育机器人与流程

本发明涉及体验式教学技术领域，尤其是涉及一种体验式语言教学方法、装置及教育机器人。

背景技术：

现有的语言教学方法，按照教学方法的外部形态，以及相对应的这种形态下学生认识活动的特点，把中小学教学活动中常用的教学方法分为五类，第一类：以语言传递信息为主的方法；第二类：以直接感知为主的方法；第三类：以实际训练为主的方法；第四类：以欣赏活动为主的教学方法；第五类：以引导探究为主的方法。其中，在教学课堂中大多是以语言传递信息为主的教学方法。现有的教育机器人更像是多媒体教育设备，没有类人的动作互动，用户的体验性较差。

技术实现要素：

有鉴于此，本发明的目的在于提供一种体验式语言教学方法、装置及教育机器人，以在教学过程中实现与用户进行类人的动作互动，给用户更好的课堂体验。

第一方面，本发明实施例提供了一种体验式语言教学方法，应用于语言教育机器人，该方法包括：采集用户的语音信息；确定语音信息的声源方向；控制语言教育机器人转向声源方向；判断语音信息与预存的关键语音信息是否一致；如果是，控制语言教育机器人执行与关键语音信息对应的肢体动作。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，该方法还包括：根据语音信息确定用户是否为教师；如果是，将用户的语音信息转换为操作指令；根据操作指令，控制视频播放模块执行相应的操作。

结合第一方面及其第一种可能的实施方式，本发明实施例提供了第一方面的第二种可能的实施方式，其中，将用户的语音信息转换为操作指令的步骤，包括：将用户的语音信息转换为语音数据；将语音数据进行降噪，并将降噪后的语音数据转换为自然语言文本；将自然语言文本转换为文本指令，并将文本指令转换为操作指令。

结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，该方法还包括：采集用户的表情信息；根据表情信息判断用户的学习状态。

结合第一方面及其第三种可能的实施方式，本发明实施例提供了第一方面的第四种可能的实施方式，其中，根据表情信息判断用户的学习状态的步骤，包括：预存多种表情信息与学习状态的对应关系；查找表情信息对应的学习状态并输出。

结合第一方面，本发明实施例提供了第一方面的第五种可能的实施方式，该方法还包括：采集用户的学习结果信息；根据学习结果信息生成不同的教学方案。

第二方面，本发明实施例还提供一种体验式语言教学装置，应用于语言教育机器人，该装置包括：采集模块，用于采集用户的语音信息；方向模块，用于确定语音信息的声源方向；控制模块，用于控制语言教育机器人转向声源方向；判断模块，用于判断语音信息与预存的关键语音信息是否一致；执行模块，如果是，用于控制语言教育机器人执行与关键语音信息对应的肢体动作。

结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，该装置还包括工艺包模块，用于：根据语音信息确定用户是否为教师；如果是，将用户的语音信息转换为操作指令；根据操作指令，控制视频播放模块执行相应的操作。

结合第二方面，本发明实施例提供了第二方面的第二种可能的实施方式，该装置还包括视觉模块，用于：采集用户的表情信息；根据表情信息判断用户的学习状态。

第三方面，本发明实施例还提供一种教育机器人，包括：学生端、教师端、机器人云平台和第二方面或其任一种可能的实施方式中的体验式语言教学装置。

本发明实施例带来了以下有益效果：本发明实施例提供的一种体验式语言教学方法、装置及教育机器人，该方法在采集到用户的语音信息后，根据语音信息确定声源方向，从而控制教育机器人转向声源方向，与用户进行互动，判断用户的语音信息是否与预存的关键语音信息一致，如果一致，控制教育机器人执行与关键语音信息对应的肢体动作，形成类人的互动，给用户更好的课堂体验。

本公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本公开的上述技术即可得知。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的体验式语言教学方法流程图；

图2为本发明实施例提供的体验式语言教学方法实施示例流程图；

图3为本发明实施例提供的体验式语言教学装置的一种结构框图；

图4为本发明实施例提供的体验式语言教学装置的另一种结构框图；

图5为本发明实施例提供的教育机器人结构框图。

图标：

71-采集模块；72-方向模块；73-控制模块；74-判断模块；75-执行模块；76-工艺包模块；77-视觉模块；81-学生端；82-教师端；83-机器人云平台；84-体验式语言教学装置。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前，现有的语言教学机器人都是以家庭机器人的形式辅助家庭教学，没有专门适合学校课堂语言教学的机器人，且现有语言教学机器人体验性差，没有类人的动作互动，更像是多媒体教育设备，而不是教育机器人，交互功能太弱，不能模拟老师教学的模式，达不到教学效果，没有文字语音互转和图像文字识别功能，且工作环境和任务是固定的，教学策略和方案柔性差，基于此，本发明实施例提供的一种体验式语言教学方法、装置及教育机器人，可以由机器人、学生、教师进行实时互动，使课堂上的教学变得多彩、有趣、立体起来，使课堂上的学生、教师、机器人互动起来，带给学生更好的课堂体验的同时，提高学生的学习效率。

为便于对本实施例进行理解，首先对本发明实施例所公开的一种体验式语言教学方法进行详细介绍。

实施例1

本发明实施例1提供了一种体验式语言教学方法，参见图1所示的体验式语言教学方法流程图，该方法应用于语言教育机器人，包括：

步骤s102，采集用户的语音信息。

用户发出声音后，语言教育机器人通过专门的拾音传感器采集用户的语音信息。

步骤s104，确定语音信息的声源方向。

语言教育机器人通过专门的拾音传感器判断发出声音的用户所处的方向。

步骤s106，控制语言教育机器人转向声源方向。

语言教育机器人由具有移动底盘和灵活关节双臂的机器人配以全向麦克风阵列、高清晰高速全目摄像头、语言动态体验式教学软件组成。在确定了语音信息的声源方向后，语言教育机器人主动转向面对发音者，从礼仪的角度给人以亲和力。

语言教育机器人在讲台附近时，多人讨论包括学生和老师，当机器人是主角或之一时才需要转向，并不是所有人发声都需要转向。例如，通过算法控制实现：面向与机器人对话的声源、面向两个不同方向对话人的中间、老师参与讨论时面向学生等多种情况。

语言教育机器人的语音分析模块将识别后的内容进行分析以确定是否需要机器人参与、是否为多人对话、是否有老师参与的多人对话等，并根据分析结果确定是否需要转向，输出转向指令和转向参数。

步骤s108，判断语音信息与预存的关键语音信息是否一致。

关键语音信息是经过数据统计分析得到的经常在课堂教学中出现的信息或经常在不同年龄段学生对话中经常出现的信息。例如，“天气真好”、“开心”、“很棒”、“难过”、“好不好”等等。存储关键语音信息的同时也存储了关键语音信息经常对应的肢体动作，例如，“天气真好”、“开心”、“很棒”等可以对应微笑的表情和打招呼的肢体动作，“好不好”关键语音信息可以对应点头或者摇头等肢体动作，判断用户的语音信息中是否包括预存的关键语音信息。

步骤s110，如果是，控制语言教育机器人执行与关键语音信息对应的肢体动作。

肢体动作主要指上肢的动作(手势是为了补充或强调信息而采取的有意识的动作)及面部表情(如喜怒哀乐，幽默、严肃等)。由语言分析模块输出信号，到上肢驱动模块或视频模块，例如，采用关键词、词组、语句结构进行匹配(这只是其中一种算法用以举例)，当符合匹配条件时，输出信号使手臂按预设动作以强调信息，或由视频模块驱动显示表情(可以由仿真人脸模拟出真人面部表情)。

如果用户的语音信息与预存的关键语音信息一致，例如，用户的语音信息为“你好”，根据该语音信息，控制语言教育机器人执行微笑的表情及打招呼的肢体动作，给用户良好的课堂体验。

本发明实施例提供的一种体验式语言教学方法，在采集到用户的语音信息后，根据语音信息确定声源方向，从而控制教育机器人转向声源方向，与用户进行互动，判断用户的语音信息是否与预存的关键语音信息一致，如果一致，控制语言教育机器人执行与关键语音信息对应的肢体动作，形成类人的互动，给用户更好的课堂体验。

为了方便地展示教师讲课中提到的相关知识，该方法还包括根据用户的语音信息控制视频播放模块的步骤，具体为：

根据语音信息确定用户是否为教师；如果是，将用户的语音信息转换为操作指令；根据操作指令，控制视频播放模块执行相应的操作。

根据语音信息的声纹信息，确定用户是否为教师。将教师的语音信息转化为可以控制视频播放模块的操作指令，从而实现对目标内容的展示。例如，课程讨论中，需要展示某地区的介绍及自然风光，教师可以发出语音“播放xx地的简介”，那么语言教育机器人会根据教师的语音信息播放目标视频。

参见图2所示的体验式语言教学方法实施示例流程图，将用户的语音信息转换为操作指令的步骤，包括：将用户的语音信息转换为语音数据；将语音数据进行降噪，并将降噪后的语音数据转换为自然语言文本；将自然语言文本转换为文本指令，并将文本指令转换为操作指令。

语音采集模块采集用户输入的语音信息，并将用户输入的语音信息转换为语音数据；语音识别模块将语音数据进行降噪，并将降噪后的语音数据转换为自然语言文本；语言分析模块将自然语言文本进行识别，并将识别后的自然语言文本转换为文本指令；文本指令接口定义视频播放模块的操作指令，教学视频播放模块接收操作指令，执行相对应的操作。

考虑到教师不能时刻对学生的表情信息进行关注，也不能对所有学生的学习状态进行及时分析，为了帮助学生及教师深入了解学生的学习情况，该方法还包括:采集用户的表情信息；根据表情信息判断用户的学习状态。

通过视觉传感器可以采集并分析用户的表情信息，对用户的表情信息进行分析，如精神状况、注意力程度、情绪状态等，通过对表情信息分析从而判断用户的学习状态。视觉传感器设置在机器人头部，教室内的情况均可被记录用于不同项目的分析。

根据表情信息判断用户的学习状态的步骤，包括：预存多种表情信息与学习状态的对应关系；查找表情信息对应的学习状态并输出。

参见图2所示的体验式语言教学方法实施示例流程图，通过对大量表情信息进行分析统计，得出表情信息与学习状态的对应关系，将对应关系预存储，数据获取单元查找表情信息，对比单元根据查找到的表情信息对学习状态进行对比判断，显示单元输出对应的用户的学习状态。

为了针对每位学生生成个性化的教学方案，提高学生的学习效率，该方法还包括：采集用户的学习结果信息；根据学习结果信息生成不同的教学方案。

对学生的学习成绩进行记录、统计和分析，包括发音、语音习惯、学习习惯、不同教学策略的学习效果等，给出个性化教学方案以提高教学质量和效率。例如：有的学生是a发音有问题、有的是p发音有问题；语言习惯，不仅是不犯语法错误，表达流利，用词得当，言之有物，同样重要的还有说话方式，例如：发音清晰，语调得体，声音自然，音量适中等。说话时俚主不断，口头禅加篇，如病句、破句一样，都是需要予以纠正的；学习习惯，课前准备习惯，认真听课、积极思考的习惯，作业与检查订正习惯，课外阅读习惯，尊重老师、善于提问的习惯等。以上不是每个学生都能做得很好，或全都做得不好，有针对性的对不同学生，运用视觉、声音等信息得到的数据，进行分析就是个性化分析。

本发明实施例既避免了多媒体教学缺乏互动沟通、学习效果判断和学生体验差的缺点，又弥补了由于老师水平参差不齐、教学方法单一和教学资源比多媒体教学少的缺陷，通过语音、图像和肢体语音构建冬天的语言环境，是对语言课堂教学的创新和补充。

实施例2

本发明实施例2提供了一种体验式语言教学装置，参见图3所示的教学装置的一种结构框图，该装置应用于语言教育机器人，包括：采集模块71，用于采集用户的语音信息；方向模块72，用于确定语音信息的声源方向；控制模块73，用于控制语言教育机器人转向声源方向；判断模块74，用于判断语音信息与预存的关键语音信息是否一致；执行模块75，如果是，用于控制语言教育机器人执行与关键语音信息对应的肢体动作。

参见图4所示的教学装置的另一种结构框图，该装置还包括工艺包模块76，用于：根据语音信息确定用户是否为教师；如果是，将用户的语音信息转换为操作指令；根据操作指令，控制视频播放模块执行相应的操作。

参见图4所示的教学装置的另一种结构框图，该装置还包括视觉模块77，用于：采集用户的表情信息；根据表情信息判断用户的学习状态。

本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

实施例3

本发明实施例3提供了一种教育机器人，参见图5所示的教育机器人结构框图，包括：学生端81、教师端82、机器人云平台83和实施例2中的体验式语言教学装置84。

教育机器人分为教师端和学生端，在教师端通过教师教学将无趣味的文字使用动态视频呈现，使课堂变得丰富起来。在学生端通过学生与机器人的互动交流，发现学生语言学习的错误，并在交流中进行反复纠正，如口语、语法、词汇等。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的教育机器人的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。