一种基于机器人的儿童英语交互方法以及机器人与流程

本发明涉及机器人领域，具体涉及一种基于机器人的儿童英语交互方法以及机器人。

背景技术：

在针对儿童的教育场景中，英语教育是一个相当重要的教育环节。在通常的教育场景中，英语教育采用和其他教育领域一致的方式，基于书本教材进行教育指导。但是，枯燥的书本教育模式很容易令儿童产生厌倦情绪，从而影响教育质量。

另外，由于英语教育的最终目的是语言的应用，其必须包含听说部分，而单纯的书本教育无法满足英语听说训练的要求。因此在现有的英语教育场景中，必须由指导教师配合书本对儿童进行教育。这不仅增加了教育的成本，而且大大限制了英语教育的执行场景。

技术实现要素：

本发明提供了一种基于机器人的儿童英语交互方法，所述方法包括：

采集多模态输入数据并解析，确定当前是否存在针对儿童用户的英语学习需求；

当存在所述英语学习需求时开启英语应用，进行基于游戏的交互界面的多模态输出，所述多模态输出包括针对英语内容的语音输出；

采集所述儿童用户的语音回应并解析；

判断所述语音回应是否与所述英语内容匹配，根据匹配情况生成并输出多模态交互数据。

在一实施例中，根据匹配情况生成并输出多模态交互数据，包括：

根据匹配情况更新所述儿童用户的英文水平记录；

根据更新后的所述英文水平记录生成并输出对应的多模态交互数据。

在一实施例中，根据匹配情况更新所述儿童用户的英文水平记录，其中：

进行多轮所述多模态输出的输出与所述语音回应的采集并进行匹配判断，当匹配次数超过第一预设数时提高所述英文水平记录中的记录等级，当不匹配次数超过第二预设数时降低所述英文水平记录中的记录等级。

在一实施例中，根据更新后的所述英文水平记录生成并输出对应的多模态交互数据，包括：

输出对应所述匹配情况的奖励内容或批评内容，其中，所述奖励内容与更新后的所述英文水平记录匹配。

在一实施例中，根据更新后的所述英文水平记录生成并输出对应的多模态交互数据，包括：

输出学习资料推荐内容，所述学习资料推荐内容与更新后的所述英文水平记录匹配。

本发明还提出了一种智能机器人，所述机器人包括：

输入采集模块，其配置为采集多模态输入数据；

输入解析模块，其配置为解析所述多模态输入数据，确定当前是否存在针对儿童用户的英语学习需求；

应用调用模块，其配置为当当前存在所述英语学习需求时开启英语应用；

输出模块，其配置为基于所述英语应用进行基于游戏的交互界面的多模态输出，所述多模态输出包括针对英语内容的语音输出；

其中：

所述输入采集模块还配置为采集所述儿童用户的语音回应；

所述输入解析模块还配置为解析所述语音回应，判断所述语音回应是否与所述英语内容匹配；

所述输出模块还配置为根据匹配情况生成并输出多模态交互数据。

在一实施例中：

所述机器人还包括英文水平记录模块，所述英文水平记录模块配置为根据所述匹配情况更新所述儿童用户的英文水平记录；

所述输出模块还配置为根据更新后的所述英文水平记录生成并输出对应的多模态交互数据。

在一实施例中：

所述输出模块、所述输入采集模块以及所述输入解析模块配置为进行多轮所述多模态输出的输出与所述语音回应的采集并进行匹配判断；

所述英文水平记录模块配置为根据多次匹配的综合匹配情况更新所述英文水平记录，当匹配次数超过第一预设数时提高所述英文水平记录中的记录等级，当不匹配次数超过第二预设数时降低所述英文水平记录中的记录等级。

在一实施例中，所述输出模块还配置为：

输出对应所述匹配情况的奖励内容或批评内容，其中，所述奖励内容与更新后的所述英文水平记录匹配。

在一实施例中，所述输出模块还配置为：

输出学习资料推荐内容，其中，所述学习资料推荐内容与更新后的所述英文水平记录匹配。

根据本发明的方法可以在家庭环境中灵活的进行英语教育；相较于现有的英语教育方法，本发明的方法更能引发儿童的学习兴趣、提高教育质量；与此同时，本发明的方法可以更加强化英语教育的听说环节，从而提高儿童英语应用能力。

本发明的其它特征或优点将在随后的说明书中阐述。并且，本发明的部分特征或优点将通过说明书而变得显而易见，或者通过实施本发明而被了解。本发明的目的和部分优点可通过在说明书、权利要求书以及附图中所特别指出的步骤来实现或获得。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例共同用于解释本发明，并不构成对本发明的限制。在附图中：

图1以及图2是根据本发明实施例的方法流程图；

图3是根据本发明实施例的方法的部分流程图；

图4以及图5是根据本发明实施例的机器人系统结构简图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此本发明的实施人员可以充分理解本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程并依据上述实现过程具体实施本发明。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。

在针对儿童的教育场景中，英语教育是一个相当重要的教育环节。在通常的教育场景中，英语教育采用和其他教育领域一致的方式，基于书本教材进行教育指导。但是，枯燥的书本教育模式很容易令儿童产生厌倦情绪，从而影响教育质量。

另外，由于英语教育的最终目的是语言的应用，其必须包含听说部分，而单纯的书本教育无法满足英语听说训练的要求。因此在现有的英语教育场景中，必须由指导教师配合书本对儿童进行教育。这不仅增加了教育的成本，而且大大限制了英语教育的执行场景。

针对上述问题，本发明提出了一种儿童英语交互方法。具体的，本发明的儿童英语交互方法是基于机器人实现的。相较于枯燥的书本教育模式，基于机器人的交互教育模式更能引发儿童的兴趣，尤其的，可以在机器人陪伴儿童玩耍的同时实现教育行为，从而最大程度上的避免儿童产生厌倦情绪。进一步的，基于机器人进行交互教育，可以摆脱传统教育模式中必须有教师参与这一限制，不仅大大降低了教育成本，而且大大增强了教育实现场景的灵活性，从而提高了教育的可推广性。

在本发明一实施例中，儿童英语交互的基本流程包括：采集多模态输入数据并解析，确定当前是否存在针对儿童用户的英语学习需求；当存在英语学习需求时开启英语应用，进行包括英语内容的多模态输出。基于上述流程就可以通过包括英语内容的多模态输出将英语内容(教学内容)展现给儿童用户，从而实现最基本的英文教育行为。

但是，单方向的英语内容展示并不能保证展示的英语内容是适合当前儿童用户学习的英文知识，也不能确认在英语内容被展示后儿童用户是否掌握对应的英文知识，因此就不能保证教育结果。针对上述问题，在本发明一实施例中，儿童英语交互过程还包括：

针对儿童用户对于多模态输出所展示的英语内容的回应的分析；

以及，基于该分析结果对之后交互教育行为的调整。

具体的，在一实施例中，机器人首先采集多模态输入数据并解析，确定当前是否存在针对儿童用户的英语学习需求；当存在英语学习需求时开启英语应用，进行包含英语内容的多模态输出；然后采集儿童用户针对上一步多模态输出的回应；解析该回应判断儿童用户的回应与输出的英语内容是否匹配，从而判断已输出的英语内容对应的英文知识是否被儿童所掌握；最后基于上一步的判断调整之后的交互教育输出，根据匹配情况生成并输出多模态交互数据。

例如，在一应用场景中，机器人向儿童用户输出“你知道apple的中文意思么？”。

如果儿童用户回应“知道，苹果”；机器人判断“苹果”与“apple”匹配，则机器人就可以确定儿童用户掌握了“apple的中文意思”这一知识点，在接下来输出的多模态交互数据就不需要包含教导该知识点的英语内容。

如果儿童用户回应“桃子”；机器人判断“桃子”与“apple”不匹配，则机器人就可以确定儿童用户没有掌握“apple的中文意思”这一知识点，在接下来输出的多模态交互数据就可以包含教导该知识点的英语内容。

进一步的，考虑到英语教育的最终目的是语言的应用，其必须包含听说部分。因此，在一实施例中，机器人所输出的多模态输出包括针对英语内容的语音输出，这样就能针对儿童的英文听力进行教育指导。并且进一步的，机器人所输出的多模态输出还引导儿童进行语音回应，这样就可以同时对儿童的英文听说进行教育指导。

进一步的，为了避免儿童产生厌烦情绪，在本发明一实施例中，机器人开启英语应用进行多模态输出时是基于游戏的交互界面进行输出的。这样就相当于在陪伴儿童玩耍的同时实现英文教育，从而大大降低了儿童产生厌烦情绪的可能，提高了教育质量。

综合上述执行流程，在本发明一实施例中，机器人首先采集多模态输入数据并解析，确定当前是否存在针对儿童用户的英语学习需求；当存在英语学习需求时开启英语应用，进行基于游戏的交互界面的多模态输出，该多模态输出包括针对英语内容的语音输出；然后采集儿童用户的语音回应并解析；判断儿童用户的语音回应是否与已输出的英语内容匹配，最后根据匹配情况生成并输出多模态交互数据。

根据本发明的方法可以在家庭环境中灵活的进行英语教育；相较于现有的英语教育方法，本发明的方法更能引发儿童的学习兴趣、提高教育质量；与此同时，本发明的方法可以更加强化英语教育的听说环节，从而提高儿童英语应用能力。

接下来基于附图详细描述根据本发明实施例的方法的详细流程，附图的流程图中示出的步骤可以在包含诸如一组计算机可执行指令的计算机系统中执行。虽然在流程图中示出了各步骤的逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

如图1所示，在一实施例中，机器人首先采集多模态输入数据(步骤S100)；然后解析采集到的多模态输入数据(步骤S110)；判断当前是否存在针对儿童用户的英语学习需求(步骤S120)；如果不存在，则启动其他交互策略(步骤S180)。

如果存在英语学习需求，则开启英语应用(步骤S130)；进行基于游戏的交互界面的多模态输出，该多模态输出包括针对英语内容的语音输出(步骤S140)。

在这里，机器人所输出的多模态输出并不仅仅限于语音输出，还可以包含文字、图像以及肢体动作等多方式的输出。

机器人在完成包括针对英语内容的语音输出的多模态输出后，采集儿童用户针对该多模态输出的语音回应(步骤S150)；解析采集到的语音回应进行匹配判断，判断语音回应是否与输出的英语内容匹配(步骤S160)；最后根据匹配情况生成并输出多模态交互数据(步骤S170)。

进一步的，在一实施例中，机器人在完成包括针对英语内容的语音输出的多模态输出后，并不仅仅只采集儿童用户的语音回应，其还采集儿童用户的动作、表情等其他形式的回应。对应的，机器人在采集到交互回应后进行的解析也并不仅仅是判断语音回应是否与输出的英语内容匹配，还包含针对儿童用户学习意向的分析。

具体的，如图2所示，在一实施例中，机器人首先采集多模态输入数据(步骤S200)；然后解析采集到的多模态输入数据(步骤S210)；判断当前是否存在针对儿童用户的英语学习需求(步骤S211)；如果不存在，则启动其他交互策略(步骤S270)。

如果存在英语学习需求，则开启英语应用(步骤S220)；进行基于游戏的交互界面的多模态输出，该多模态输出包括针对英语内容的语音输出(步骤S230)。

机器人在完成包括针对英语内容的语音输出的多模态输出后，采集儿童用户针对该多模态输出的回应(步骤S240)；解析采集到的回应判断儿童是否存在厌倦情绪(儿童用户是否希望继续进行英文教育)；如果存在厌倦情绪，则关闭英语应用(步骤S280)，启动其他交互策略(步骤S290)，转换儿童的情绪以便再次进行英文教育。这样就能避免儿童对英语学习产生抵触情绪，避免无视儿童学习意愿的强迫教育行为的发生，从而保证教育质量。

如果儿童不存在厌倦情绪，则机器人继续进行英文教育交互行为，其进一步解析儿童回应中的语音回应进行匹配判断，判断语音回应是否与输出的英语内容匹配(步骤S250)；并根据匹配情况生成并输出多模态交互数据(步骤S260)；并且，在多模态交互数据输出完毕后返回步骤S240，再次采集儿童回应，实现英文教育交互行为的循环执行，直到英文教育交互行为完成或者儿童中途退出。

在实施英文教育的过程中，保证英文教育质量关键点之一在于令展示给儿童的英文内容与当前儿童用户自身的英文实际水平匹配。为了实现上述目的，在本发明一实施例中，建立了用于描述儿童用户自身英文水平的英文水平记录。在机器人进行多模态输出时，令多模态输出所包含的英文内容与儿童用户的英文水平记录相匹配，这样就能保证机器人所展示的英文内容符合儿童的实际英文水平。

进一步的，考虑到儿童的英文水平是一个不断变换的变量，随着英文教育的进行，其不可能维持一个固定的状态。因此，在一实施例中，机器人并不是调用一个固定不变的英文水平记录来进行包含的英文内容的多模态输出，而是根据儿童用户的反馈不断更新其对应的英文水平记录，根据最新的英文水平记录生成并输出下一步的多模态交互数据。

具体的，如图3所示，在一实施例中，机器人开启英语应用(步骤S330)；进行基于游戏的交互界面的多模态输出，该多模态输出包括针对英语内容的语音输出(步骤S340)。在步骤S340中，机器人可以基于之前建立的英文水平记录生成多模态输出，也可以在并不存在已建立好的英文水平记录时基于英语应用预设参数生成多模态输出。

机器人在完成包括针对英语内容的语音输出的多模态输出后，采集儿童用户针对该多模态输出的语音回应(步骤S350)；解析采集到的语音回应进行匹配判断，判断语音回应是否与输出的英语内容匹配(步骤S360)；根据匹配情况更新英文水平记录(或者创建英文水平记录)(步骤S370)；最后根据更新后的英文水平记录(新生成的英文水平记录)生成并输出多模态交互数据(步骤S380)。

进一步的，在一实施例中，为了确定儿童用户的英文水平，步骤S340中的多模态输出所包含的内容为针对英文知识点的测试。例如“请说出苹果的英文名称”(测试单词含义)或者“How are you？”(测试语境对话)。

进一步的，在一实施例中，采用等级制描述儿童的英文水平。在步骤S340中，针对儿童用户原有的英文水平记录所记录的等级(当不存在英文水平记录选择默认设置的等级)选取对应的测试内容；在步骤S370中，如果儿童用户的语音回应与输出的测试内容的匹配情况满足升级需求则提高英文水平记录中的记录等级；如果儿童用户的语音回应与输出的测试内容的匹配情况达到降级状态则降低英文水平记录中的记录等级；如果儿童用户的语音回应与输出的测试内容的匹配情况不满足升级需求但也未达到降级状态，则维持英文水平记录中的记录等级不变。

进一步的，为了保证获取到的英文水平记录可以正确的反应儿童用户的实际英文水平，在一实施例中，采用多知识点测试来确定儿童用户的英文水平。具体的，在步骤S340中，针对儿童用户原有的英文水平记录所记录的等级(当不存在英文水平记录选择默认设置的等级)选取对应的测试内容，该测试内容包含多个不同的英文知识点。在步骤S360中，针对测试内容中的每个英文知识点对语音回音进行匹配判断。

进一步的，为了降低包含测验内容的多模态输出的生成难度以及匹配判断的执行难度，在一实施例中，采用多知识点多轮测试来确定儿童用户的英文水平。具体的，针对儿童用户原有的英文水平记录所记录的等级(当不存在英文水平记录选择默认设置的等级)选取对应的测试内容，该测试内容包含多个不同的英文知识点。然后进行多轮多模态输出的输出与语音回应的采集并进行匹配，即，重复多次执行步骤S340、S350以及S360。每次执行步骤S340时多模态输出所包含的英文内容针对一个英文知识点。

最后整合多次步骤S360的匹配判断结果以执行步骤S370。具体的，当匹配次数超过第一预设数时提高英文水平记录中的记录等级，当不匹配次数超过第二预设数时降低英文水平记录中的记录等级。例如，进行10轮多模态输出，其中，儿童用户的语音回音匹配次数大于8时提高英文水平记录中的记录等级；儿童用户的语音回音匹配次数小于3时降低英文水平记录中的记录等级；儿童用户的语音回音匹配次数为4～7次是维持英文水平记录中的记录等级不变。

进一步的，在一实施例中，采用多次验证的方式来确保英文水平记录中的记录等级可以实际反映儿童真实的英文水平。具体的，针对多个不同的英文水平等级多次匹配判断，根据每个英文水平等级的匹配情况对该英文等级进行打分，匹配次数越多分值越高。然后综合所有英文水平等级的分值来确定儿童用户实际的英文水平等级(英文水平记录中的记录等级)。

例如，以满分10分为例，多次匹配判断后，级别1是满分10分、级别2是6分，级别3是2分，级别4是0分。那么用户的英文水平判定为级别2。

进一步的，当原有的英文水平记录中的记录等级为级别2时，更新英文水平记录时英文测试内容主要着重在级别2和级别3，少量出级别4和级别5。如果匹配判断结果为级别2是满分10分、级别3是6分，级别4是2分，级别5是0分，那么用户的英文水平更新为级别3；如果匹配判断结果为级别2是2分、级别3是0分，级别4是0分，级别5是0分，那么用户的英文水平更新为级别1；如果匹配判断结果为级别2是6分、级别3是2分，级别4是0分，级别5是0分，那么用户的英文水平维持级别2。

进一步的，在一实施例中，为了维持儿童对英文学习的兴趣，在步骤S380中，机器人不仅仅输出下一步的英文知识教育内容，还输出对应匹配情况的奖励内容或批评内容，

具体的，当儿童用户的语音回应与机器人输出的英文内容匹配时，机器人向儿童用户输出奖励内容以夸奖儿童用户。当儿童用户的语音回应与机器人输出的英文内容不匹配时，机器人向儿童用户输出批评内容以鞭策儿童用户接下来认真学习。例如，当儿童用户答对时(语音回应与机器人输出的英文内容匹配时)，机器人表情是笑脸；答错时(语音回应与机器人输出的英文内容不匹配时)，机器人表情是哭脸。

进一步的，在一实施例中，机器人采用渐进的方式输出奖励内容，奖励内容与更新后的英文水平记录匹配。即，将奖励内容分割成多个小部分，儿童用户每提高一个等级就会获取到一部分。例如，在游戏界面中展示一个可爱的动物形象，随着儿童用户英文等级的升级，从一个局部(脑袋)，每次升级出现一个部分(胳膊、手、四肢、尾巴等)，最后长全。这样，就可以有效的提高儿童用户学习英文知识的兴趣。

进一步的，在一实施例中，在步骤S380中，机器人还输出学习资料推荐内容，该学习资料推荐内容与更新后的英文水平记录匹配。这样，儿童用户就可以清楚地了解最适合当前自己英文水平的学习资料，从而实现更有效率的英文学习。

基于本发明提出的方法，本发明还提出了一种智能机器人。如图4所示，在一实施例中，机器人包括：

输入采集模块410，其配置为采集多模态输入数据；

输入解析模块420，其配置为解析所述多模态输入数据，确定当前是否存在针对儿童用户的英语学习需求；

应用调用模块430，其配置为当当前存在英语学习需求时开启英语应用；

输出模块440，其配置为基于英语应用进行基于游戏的交互界面的多模态输出，该多模态输出包括针对英语内容的语音输出；

其中：

输入采集模块410还配置为采集儿童用户针对输出模块440输出的英语内容的语音回应；

输入解析模块420还配置为解析语音回应，判断语音回应是否与输出模块440输出的英语内容匹配；

输出模块440还配置为根据输入解析模块420获取的匹配情况生成并输出多模态交互数据。

进一步的，在一实施例中，如图5所示，机器人还包括英文水平记录模块550。输出模块540基于英语应用进行基于游戏的交互界面的多模态输出后；输入采集模块410采集儿童用户针对输出模块440输出的英语内容的语音回应；输入解析模块420解析语音回应，判断语音回应是否与输出模块440输出的英语内容匹配；英文水平记录模块550根据匹配情况更新儿童用户的英文水平记录；输出模块540根据更新后的英文水平记录生成并输出对应的多模态交互数据。

进一步的，在一实施例中，英文水平记录模块配置为根据输入解析模块获取的匹配情况更新英文水平记录。具体的，输出模块、输入采集模块以及输入解析模块配置为进行多轮多模态输出的输出与语音回应的采集并进行匹配判断。英文水平记录模块配置为根据多次匹配的综合匹配情况更新所述英文水平记录，当匹配次数超过第一预设数时提高所述英文水平记录中的记录等级，当不匹配次数超过第二预设数时降低所述英文水平记录中的记录等级。

进一步的，在一实施例中，输出模块还配置为：输出包含对应匹配情况的奖励内容或批评内容，其中，奖励内容与更新后的英文水平记录匹配。

进一步的，在一实施例中，输出模块还配置为：根据更新后的英文水平记录生成并输出对应的包含学习资料推荐内容的多模态交互数据，其中，学习资料推荐内容与更新后的英文水平记录匹配。

虽然本发明所公开的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。本发明所述的方法还可有其他多种实施例。在不背离本发明实质的情况下，熟悉本领域的技术人员当可根据本发明做出各种相应的改变或变形，但这些相应的改变或变形都应属于本发明的权利要求的保护范围。