基于动作反应和绘画反应的第二母语的训练方法及装置与流程

本发明涉及教育培训技术领域，尤其涉及一种基于动作反应和绘画反应的第二母语的训练方法及装置。

背景技术：

现有的第二语言学习方法，很难达到语言信号和动作、触觉、情绪情感之间的条件反射的母语程度。因为母语的习得过程和常规外语学习过程完全不同

母语学习者在张口说话之前的特殊阶段(通常1岁之前)，尽管不能说话，但能通过观察父母的动作示范，理解一些词句；而且听到成人的指令后，尽管不会张口应答，但能用动作做出反应。本发明就是基于动作反应和绘画反应(绘画也是一种小肌肉动作)模拟母语的自然学习过程，把词语与人体动作、触感和情绪表情建立一定关系，使语言信号内化到学习者的潜意识，达到第二母语的程度。

技术实现要素：

本发明提供一种基于动作反应和绘画反应的第二母语的训练方法及装置，用于解决现有技术中无法在语言教学中达到母语学习效果的问题。

第一方面，本发明提供一种基于动作反应和绘画反应的第二母语的训练方法，包括：

获取词句信息；

根据影音信息和词句信息的预设对应关系选择播放与所述词句信息对应的影音信息，所述影音信息为根据目标语言中词句录入的发音、动作、绘画过程影像；

在当前影音信息播放后，采集用户模仿影像动作时的当前身体动作信息和/或用户绘画的当前绘画笔迹信息；

根据所述当前身体动作信息和/或所述当前绘画笔迹信息获得当前身体动作特征信息和/或当前绘画笔迹特征信息；

根据预设的影音信息与标准特征信息的对应关系，判断确定所述当前身体动作特征信息和/或当前绘画笔迹特征信息与标准特征信息匹配成功后，播放下一个影音信息。

优选地，所述影音信息的播放采用固有存储顺序播放或随机播放。

优选地，所述在当前影音信息播放后，采集用户模仿影像动作时的当前身体动作信息和/或用户画面的当前绘画笔迹信息，包括：

通过人体上设置的动作跟踪装置、绘画笔迹跟踪和笔迹识别装置和摄像装置采集用户模仿时的当前身体动作信息和/或用户绘画的当前绘画笔迹信息。

优选地，还包括：根据预设的影音信息与标准特征信息的对应关系，判断确定所述当前身体动作特征信息和/或当前绘画笔迹特征信息与标准特征信息匹配未成功后，继续播放，或再次播放，或暂停播放当前影音信息。

优选地，所述判断确定所述当前身体动作特征信息和/或当前绘画笔迹特征信息与标准特征信息匹配成功，包括：若所述当前身体动作特征信息和/或当前绘画笔迹特征信息与标准特征信息之间的匹配差值在预设阈值范围之内，则判断确定当前身体动作特征信息和/或当前绘画笔迹特征信息与标准特征信息匹配成功。

第二方面，本发明提供一种基于动作反应和绘画反应的第二母语的训练装置，包括：

获取模块，用于获取词句信息；

播放模块，用于根据影音信息和词句信息的预设对应关系选择播放与所述词句信息对应的影音信息，所述影音信息为根据目标语言中词句录入的发音、动作、绘画过程影像；

采集模块，用于在当前影音信息播放后，采集用户模仿影像动作时的当前身体动作信息和/或用户绘画的当前绘画笔迹信息；

特征提取模块，用于根据所述当前身体动作信息和/或所述当前绘画笔迹信息获得当前身体动作特征信息和/或当前绘画笔迹特征信息；

处理模块，用于根据预设的影音信息与标准特征信息的对应关系，判断确定所述当前身体动作特征信息和/或当前绘画笔迹特征信息与标准特征信息匹配成功后，播放下一个影音信息。

优选地，所述处理模块，还用于：

根据预设的影音信息与标准特征信息的对应关系，判断确定所述当前身体动作特征信息和/或当前绘画笔迹特征信息与标准特征信息匹配未成功后，继续播放，或再次播放，或暂停播放当前影音信息。

优选地，所述播放模块包括显示屏、投影仪、虚拟现实设备、增强现实设备、全息成像设备的一种或多种。

优选地，所述采集模板包括语音采集模块和影像采集模块，所述语音采集模块包括录音器，所述影像采集模块包括动作跟踪装置、绘画笔迹跟踪和笔迹识别装置和摄像装置。

优选地，所述处理模块具体用于：若所述当前身体动作特征信息和/或当前绘画笔迹特征信息与标准特征信息之间的匹配差值在预设阈值范围之内，则判断确定当前身体动作特征信息和/或当前绘画笔迹特征信息与标准特征信息匹配成功。

由上述技术方案可知，本发明提供的一种基于动作反应和绘画反应的第二母语训练方法及装置，通过对语言词句所对应的影像信息播放，使学习者模仿身体动作或模仿绘画动作后采集到学习者的身体动作特征信息和绘画笔迹特征信息，并与预设的标准特征信息进行匹配，从而达到学习者通过肌肉动作反应、皮肤触觉反应、绘画过程中的情绪情感反应，内化语言信号到潜意识，来模拟第二母语的学习过程。

附图说明

图1为本发明一实施例提供的基于动作反应和绘画反应的第二母语训练方法的流程示意图；

图2为本发明一实施例提供的基于动作反应和绘画反应的第二母语训练装置的结构示意图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

图1示出了本发明一实施例提供一种基于动作反应和绘画反应的第二母语的训练方法，包括：

S11、获取词句信息。

在本步骤中，需要说明的是，对于目标语言的学习信息，首先目标语言的预设词句和与词句相对应的影音信息存放在数据库中。待播放时，首先要获取将要播放的是哪一个词句，即获取词句信息。

S12、根据影音信息和词句信息的预设对应关系选择播放与所述词句信息对应的影音信息，所述影音信息为根据目标语言中词句录入的发音、动作、绘画过程影像。

在本步骤中，需要说明的是，在学习第二语言(如英语、法语、俄语、德语等)时，首先要从各种语言的词句来学习。针对不同的词句，需要录入对应的读音，并配置一些与词句形象联系在一起的动作的影像和绘画过程的影像。

在预设数据库中会存放多条影音信息，此时需要预设一个影音信息与词句信息的对应关系。

如词句stand up”为“起立”，学习者听到该词句的读音，用起立的动作做出反应。故单词“stand up”既有语音，又有动作影像。

另外，为了突出教学的形象化，对于数据库中的每个词句均配置影音信息。

播放时，可采用显示屏、虚拟现实设备、投影仪、增强现实设备、全息成像设备的一种或多种进行播放。通过根据影音信息的预设对应关系从数据库中选择对应的播放影音信息完成播放。

S13、在当前影音信息播放后，采集用户模仿影像动作时的当前身体动作信息和/或用户绘画的当前绘画笔迹信息。

在本步骤中，需要说明的是，学习者在学习过程中，一般会选择对每一个词句条件反射般的理解，才会进行下一个词句的学习。因此，在当前影音信息播放后，学习者(用户)根据影像动作进行动作模仿，或根据影像上的绘画过程(如老师在画一个房子)进行绘画模仿(如模仿花一个房子)，系统通过动作跟踪装置、笔迹跟踪和识别装置以及摄像装置对学习者的现场动作进行跟踪捕捉，从而获得当前身体动作信息和当前绘画笔迹信息。对于动作捕捉技术和笔迹捕捉和识别技术，目前为较成熟技术，在此不详细介绍。

另外，还需要说明的是，学习者在学习过程中，系统仅仅播放语音信息(如单词和句子的发音)，学习者可根据语音信息作出一些动作反应或绘画反应，这些反应并不是根据影像动作去模仿出来的，而是根据之前的记忆动作做出来的。此时，系统通过事先在学习者身上设置的动作跟踪装置、绘画笔迹跟踪装置以及摄像装置对学习者的现场动作进行捕捉，从而获得当前身体动作和绘画笔迹信息。

另外，还需要说明的是，学习者在学习过程中，系统也会仅仅播放文字信息(可以是包括文字的图像)，学习者可根据文字信息作出一些动作，这些动作并不是根据影像动作去模仿出来的，而是根据之前的记忆动作做出来的。此时，系统通过事先在学习者身上设置的动作跟踪装置、绘画笔迹跟踪装置以及摄像装置对学习者的现场动作和绘画笔迹进行捕捉，从而获得当前身体动作信息。

S14、根据所述当前身体动作信息和/或所述当前绘画笔迹信息获得当前身体动作特征信息和/或当前绘画笔迹特征信息。

在本步骤中，需要说明的是，系统接收到当前绘画笔迹信息和当前身体动作信息后，对其进行特征信息的提取。对于动作特征提取、笔迹特征提取和三维图像特征提取为较成熟的技术，在此不再赘述。

S15、根据预设的影音信息与标准特征信息的对应关系，判断确定所述当前身体动作特征信息和/或当前绘画笔迹特征信息与标准特征信息匹配成功后，播放下一个影音信息。

在本步骤中，需要说明的是，在预设数据库中需要对应不同的影音信息配置标准特征信息，以便于后续匹配。因此，当进行当前绘画笔迹特征信息和当前身体动作特征信息与标准特征信息的匹配过程时，根据预设的影音信息与标准特征信息的对应关系，获取到当前绘画笔迹特征信息和当前身体动作特征信息所对应的标准特征信息，然后进行匹配。

将当前绘画笔迹特征信息与笔迹的标准特征信息匹配，以判断学习者的是否绘画正确。

将当前身体动作特征信息与动作的标准特征信息匹配，以加深学习者对单词或词组的理解。

特征信息的匹配方式存在很多，在此不一一进行解释说明。对此，匹配方式可为：若所述当前身体动作特征信息和当前绘画笔迹特征信息与标准特征信息之间的匹配差值在预设阈值范围之内，则判断确定当前身体动作特征信息和当前绘画笔迹特征信息与标准特征信息匹配成功；反之，则匹配不成功。

另外，根据预设的影音信息与标准特征信息的对应关系，判断确定所述当前身体动作特征信息和当前绘画笔迹特征信息与标准特征信息匹配未成功后，继续播放，再次播放，或暂停播放当前影音信息。

母语学习者在张口说话之前的特殊阶段(通常1岁之前)，尽管不能说话，但能通过观察父母的动作示范，听懂一些词句；而且听到成人的指令后，尽管不会张口应答，但能用动作做出反应。本发明就是基于动作反应和绘画反应(绘画也是一种小肌肉动作)模拟母语的自然学习过程，达到第二母语信号的转化。

本发明实施例提供的一种基于动作反应和绘画反应的第二母语训练方法及装置，通过对语言词句所对应的影音信息播放，使学习者模仿身体动作或模仿绘画动作后采集到学习者的身体动作特征信息和绘画笔迹特征信息，并与预设的标准特征信息进行匹配，从而达到学习者通过肌肉动作反应、皮肤触觉反应、绘画过程中的情绪情感反应，内化语言信号到潜意识，来模拟第二母语的学习过程。

图2示出了本发明一实施例提供的一种基于动作反应和绘画反应的第二母语的训练装置，包括获取模块21、播放模块22、采集模块23、特征提取模块24和处理模块25，其中：

获取模块21，用于获取词句信息；

播放模块22，用于根据影音信息和词句信息的预设对应关系选择播放与所述词句信息对应的影音信息，所述影音信息为根据目标语言中词句录入的发音和动作影像。所述播放模块包括显示屏、虚拟现实设备、投影仪、增强现实设备、全息成像设备的一种或多种。

采集模块23，用于在当前影音信息播放后，采集用户模仿影像动作时的当前身体动作信息和/或用户绘画的当前绘画笔迹信息。所述采集模板包括语音采集模块和影像采集模块，所述语音采集模块包括录音器，所述影像采集模块包括动作跟踪装置、绘画笔迹跟踪和笔迹识别装置和摄像装置。

特征提取模块24，用于根据所述当前身体动作信息和/或所述当前绘画笔迹信息获得当前身体动作特征信息和/或当前绘画笔迹特征信息。

处理模块25，用于根据预设的影音信息与标准特征信息的对应关系，判断确定所述当前身体动作特征信息和/或当前绘画笔迹特征信息与标准特征信息匹配成功后，播放下一个影音信息；匹配未成功后，继续播放，再次播放，或暂停播放当前影音信息。

使用过程中，获取模块21获取词句信息，并发送给播放模块22。播放模块22采用显示屏、虚拟现实设备、投影仪、增强现实设备或全息成像设备对数据库中的影音信息进行播放。学习者观看播放后，模仿影像上的动作以及绘画。学习者模仿动作时，事先可在学习者的身体上设置有动作跟踪装置。采集模块23对学习者的模仿动作以及绘画的笔迹进行录像。录入后将笔迹信息和动作信息发送到特征提取模块。特征提取模块24采用对应的特征提取技术对笔迹信息和动作信息进行特征提取，并将提取后的绘画笔迹特征信息和身体动作特征信息发送给处理模块。处理模块25接收到绘画笔迹特征信息和身体动作特性信息并从数据库中调取对应的标准特征信息进行匹配，最后根据匹配结果做出相应操作。

由于本发明实施例所述装置与上述实施例所述方法的原理相同，对于更加详细的解释内容在此不再赘述。

需要说明的是，本发明实施例中可以通过硬件处理器(hardware processor)来实现相关功能模块。

本发明实施例提供的一种基于动作反应和绘画反应的第二母语训练方法及装置，通过对语言词句所对应的影像信息播放，使学习者模仿身体动作或模仿绘画动作后采集到学习者的身体动作特征信息和绘画笔迹特征信息，并与预设的标准特征信息进行匹配，从而达到学习者通过肌肉动作反应、皮肤触觉反应、绘画过程中的情绪情感反应，内化语言信号到潜意识，来模拟第二母语的学习过程。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

本领域普通技术人员可以理解：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。