智能机器人语言跟读学习方法和装置与流程

本发明涉及智能机器人领域，具体地说，涉及一种智能机器人语言跟读学习方法和装置。

背景技术：

目前，在机器人与人类进行交互的应用中，主要还是体现在生活的陪伴功能上，例如与用户进行聊天、游戏等活动。然而，机器人与人的交互还比较被动，有时甚至需要用户对其进行引导，才能进行深一步的交互。

在语言教学方面，目前主要还是通过真人教学来达到学习目的。也有通过影音资料的模仿自学，或者通过电脑等电子设备中的软件进行学习。这些学习方法均有各自的问题。真人教学会占用老师的时间资源，并对其专业程度的要求也比较高。而通过影音、软件进行自学模仿，对于学习者的自觉性要求比较高，并且没有学习效果的反馈，学生无法得知自己的学习水平。

技术实现要素：

本发明的目的在于解决现有技术中语言教学方面的不足，提出了一种智能机器人语言跟读学习方法。该方法包括以下步骤：

输出多模态教学数据步骤，机器人根据用户所选择的要学习的语言内容输出多模态教学数据；

接收多模态学习数据步骤，接收用户对所述教学数据进行的模仿而发出的多模态学习数据，并进行解析；

比较判断步骤，判断输出的教学数据与接收的学习数据是否匹配；

输出结果步骤，如果匹配，多模态输出用户模仿通过的结果。

根据本发明的智能机器人语言跟读学习方法，该方法包括以下步骤：

在输出结果步骤中，如果不匹配，则多模态输出用户模仿不通过的结果，等待用户再次模仿。

根据本发明的智能机器人语言跟读学习方法，其输出多模态教学数据包括：

输出文本数据、输出音频数据及输出发音口型图像。

根据本发明的智能机器人语言跟读学习方法，输出发音口型图像的情况下，比较判断步骤将图像中的用户的口型特征与发出对应语音的标准口型特征进行比对，如果一致则执行到输出结果步骤，如果不一致，则重复执行学习内容的播放并以多模态形式输出口型模仿不通过的结果。

根据本发明的智能机器人语言跟读学习方法，在多模态输出用户语音模仿不通过的结果或者口型模仿不通过的结果之后，还通过分析生成纠正用户的发音和/或口型的输出结果。

根据本发明的另一个方面，还提供了一种智能机器人语言跟读学习装置，该装置包括以下单元：

输出多模态教学数据单元，机器人根据用户所选择的要学习的语言内容输出多模态教学数据；

接收多模态学习数据单元，接收用户对所述教学数据进行的模仿而发出的多模态学习数据，并进行解析；

比较判断单元，判断输出的教学数据与接收的学习数据是否匹配；

输出结果单元，如果匹配，多模态输出用户模仿通过的结果。

根据本发明的智能机器人语言跟读学习装置，在输出结果单元中，如果不匹配，则多模态输出用户模仿不通过的结果，等待用户再次模仿。

根据本发明的智能机器人语言跟读学习装置，所述装置还包括：用以接收用户的人脸图像以进行人脸识别的单元，以获取用户的口型特征。

根据本发明的智能机器人语言跟读学习装置，该装置还包括：

图像匹配单元，其用于将图像中的用户的口型特征与发出对应语音的标准口型特征进行比对，如果一致则执行到输出结果步骤，如果不一致，则重复执行学习内容的播放并以多模态形式输出口型模仿不通过的结果。

根据本发明的智能机器人语言跟读学习装置，在多模态输出用户语音模仿不通过的结果或者口型模仿不通过的结果之后，所述装置还通过分析生成纠正用户的发音和/或口型的输出结果。

本发明的有益之处在于：通过利用本发明的机器人语言自动跟读学习方法，可以提高学习者学习语言的效果，增加学习中学习的兴趣。另外，通过多模态输出的方式，可以让学习者及时了解到自己读该语言的学习程度。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例共同用于解释本发明，并不构成对本发明的限制。在附图中：

图1显示了根据本发明的一个实施例的采用机器人进行语言跟读教学的方法流程图；

图2显示了根据本发明的一个实施例的采用机器人进行语言跟读教学的装置结构图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，以下结合附图对本发明实施例作进一步地详细说明。

如图1所示，其中显示了一种机器人自动跟读语言教学的方法流程图。在步骤S101中，首先机器人根据用户选择的语言内容输出多模态教学数据。当启动该语言教学功能后，用户会根据显示器上显示的界面或者其他人机接口选择需要学习的语言，例如：英语、法语、德语等。接下来，用户还应该选择与自己语言水平相对应的分级。选择过高的级别，语速、单词难度超过了学习者的实际水平，学习的效果也会不理想。因此，在一个实施例中，机器人也会根据用户的历史评分结果自动帮助学习者选择学习内容。

当接收到选择了要学习的语言内容后的指示时，机器人调取该语言学习内容，并采用多模态的方式进行输出。例如，通过音频接口发出对应的语音，通过口型动作进行口型展示，甚至针对具体的内容做出相应的动作或者表情。

学习者听到机器人说出的一段话和/或看到机器人做出的口型动作，便会通过发声对该段话进行模仿，即跟读。因此，接下来，在步骤S102中，机器人会接收学习者对该段话的模仿而发出的多模态学习数据。与所接收的学习内容对应，学习者不仅通过语音来输出，也会做出动作进行模仿。因此，相对于机器人而言，这时所捕获的语音数据和视频数据就是学习者所发出的多模态学习数据。

接下来，在步骤S103中，对前述机器人输出的多模态教学数据和当前接收的学习者发出的学习数据进行比较，判断二者是否匹配。针对音频数据，判断二者的发音、语调、语速是否匹配。针对视频数据，将所捕获的学习者当前口型动作图像与机器人中预先存储的口型或其他动作的图片进行比较，判断二者的相似度是否在预设的范围内。

如果比较判断的结果是机器人多模态输出的教学数据与学习者根据教学数据而进行模仿的学习数据匹配的话，则方法进行到步骤S105。在该步骤中，机器人系统会根据匹配的程度对用户模仿进行打分，并多模态输出该模仿已通过的结果。

多模态输出通过的结果可以是通过机器人发出特定的话语来赞许，可以是将学习者的学习级别自动提升来进行鼓励，还可以通过文本显示的方式来表示学习者模仿通过。

如果比较判断的结果是机器人多模态输出的教学数据与学习者根据教学数据而进行模仿的学习数据不匹配的话，则方法进行到步骤S104。在该步骤中，机器人采用多模态的方式输出学习者模仿语音不通过的结果。在一个实施例中，系统会停留在当前学习内容，并采用提示音方式等待学习者再次模仿。等待的时间由系统根据情况自行设定。若一段时间里或连续的几次模仿不通过，机器人会通过某形式的输出，例如显示器显示文本、语音提示等来建议学习者降低学习内容的级别。或者，也可以自动帮用户降到学习者合适的学习级别。

在一个具体的实施例中，在输出发音口型图像的情况下，上述比较判断步骤还将图像中的用户的口型特征与发出对应语音的标准口型特征进行比对，如果一致则执行到输出结果步骤，如果不一致，则重复执行学习内容的播放并以多模态形式输出口型模仿不通过的结果。

在另一个优选的实施例中，在多模态输出用户语音模仿不通过的结果或者口型模仿不通过的结果之后，系统还通过分析生成纠正用户的发音和/或口型的输出结果。用户可以根据纠正的内容对自己的发音等进行调整，再次进行模仿。

由于本发明的方法描述的是在计算机系统中实现的。该计算机系统例如可以设置在机器人的控制核心处理器中。例如，本文所述的方法可以实现为能以控制逻辑来执行的软件，其由机器人控制系统中的CPU来执行。本文所述的功能可以实现为存储在非暂时性有形计算机可读介质中的程序指令集合。当以这种方式实现时，该计算机程序包括一组指令，当该组指令由计算机运行时其促使计算机执行能实施上述功能的方法。可编程逻辑可以暂时或永久地安装在非暂时性有形计算机可读介质中，例如只读存储器芯片、计算机存储器、磁盘或其他存储介质。除了以软件来实现之外，本文所述的逻辑可利用分立部件、集成电路、与可编程逻辑设备(诸如，现场可编程门阵列(FPGA)或微处理器)结合使用的可编程逻辑，或者包括它们任意组合的任何其他设备来体现。所有此类实施例旨在落入本发明的范围之内。

因此，根据本发明的另一个方面，还提供了一种智能机器人语言跟读学习装置200。该装置200包括以下单元：

输出多模态教学数据单元201，机器人根据用户所选择的要学习的语言内容输出多模态教学数据；

接收多模态学习数据单元202，接收用户对所述教学数据进行的模仿而发出的多模态学习数据，并进行解析；

比较判断单元203，判断输出的教学数据与接收的学习数据是否匹配；

输出结果单元204，如果匹配，多模态输出用户模仿通过的结果。

根据本发明的智能机器人语言跟读学习装置200，在输出结果单元204中，如果不匹配，则多模态输出用户模仿不通过的结果，等待用户再次模仿。

根据本发明的智能机器人语言跟读学习装置，其特征在于，所述装置还包括：

用以接收用户的人脸图像以进行人脸识别的单元，以获取用户的口型特征。

根据本发明的智能机器人语言跟读学习装置200，该装置还包括：

图像匹配单元，其用于将图像中的用户的口型特征与发出对应语音的标准口型特征进行比对，如果一致则执行到输出结果步骤，如果不一致，则重复执行学习内容的播放并以多模态形式输出口型模仿不通过的结果。

根据本发明的智能机器人语言跟读学习装置，在多模态输出用户语音模仿不通过的结果或者口型模仿不通过的结果之后，所述装置还通过分析生成纠正用户的发音和/或口型的输出结果

应该理解的是，本发明所公开的实施例不限于这里所公开的特定结构、处理步骤或材料，而应当延伸到相关领域的普通技术人员所理解的这些特征的等同替代。还应当理解的是，在此使用的术语仅用于描述特定实施例的目的，而并不意味着限制。

说明书中提到的“一个实施例”或“实施例”意指结合实施例描述的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，说明书通篇各个地方出现的短语“一个实施例”或“实施例”并不一定均指同一个实施例。

虽然本发明所公开的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所公开的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。