一种语言学习用智能耳机、智能交互系统及人机交互方法与流程

本发明涉及智能交互技术领域，尤其涉及一种语言学习用智能耳机、智能交互系统及人机交互方法。

背景技术

从有线耳机发展到无线蓝牙耳机，从单纯听音乐功能耳机到可以人机交互的智能耳机，耳机的种类及功能越来越丰富。

另外，随着各国之间交流的增多，人们对于外语语言的需求也越来越多。现有语言学习产品中，只能实现听和读的功能，例如一些语言学习用手机app，并不能对学习者的学习情况给出具体的反馈，这造成学习者无法查缺补漏，针对性弥补不足之处。

技术实现要素：

本发明的发明目的是提供一种语言学习用智能耳机、智能交互系统及人机交互方法，能指出学习者口语中的错误之处并反馈给学习者，供学习者反复学习以加强练习。

为实现上述目的，本发明提供一种语言学习用智能耳机，包括：录音模块、语音识别模块、纠错模块、反馈模块、文本处理模块、语音合成模块以及播放模块；

其中，所述录音模块用于录入学习者的学习语音获得原语音文件；

所述语音识别模块用于使用语音识别技术对所述原语音文件进行文本文件转换，获得原文本文件；

所述纠错模块用于使用人工智能技术对所述原文本文件纠错，获得错误点列表；

所述反馈模块用于反馈所述错误点列表；

所述文本处理模块基于反馈的所述错误点列表，将所述原文本文件中的各错误点替换为正确的机器语言文本，形成纠正版文本文件；

所述语音合成模块用于利用语音合成技术对所述纠正版文本文件进行语音文件转换，获得纠正版语音文件；

所述播放模块通过耳机播放所述纠正版语音文件。

可选地，所述纠错模块使用人工智能技术对所述原文本文件纠错。

可选地，所述文本处理模块基于反馈的所述错误点列表，还形成修订文本文件；所述修订文本文件为各错误点的错误类型文本文件及对应的正确的机器语言文本文件；所述语音合成模块利用语音合成技术还对所述修订文本文件进行语音文件转换，获得各错误点的错误类型语音文件及对应的机器语音文件；所述播放模块通过耳机还播放所述错误类型语音文件及机器语音文件。

可选地，所述文本处理模块将所述修订文本文件穿插在所述纠正版文本文件内，或放于所述纠正版文本文件前或后。

可选地，还包括语音存储模块，用于存储纠正版语音。

可选地，还包括语音存储模块，用于存储各错误点的错误类型语音及对应的正确的机器语言语音。

可选地，所述智能耳机为翻译耳机，所述语音识别模块、语音合成模块以及播放模块由所述翻译耳机的语音识别模块、语音合成模块以及播放模块充当。

本发明还提供一种语言学习用智能交互系统，包括：

上述的智能耳机以及移动终端；

其中，所述移动终端与所述智能耳机交互通信，所述移动终端上的app同步获取所述原语音文件与所述纠正版语音文件。

本发明进一步提供一种智能耳机的人机交互方法，包括：

录入学习者的学习语音获得原语音文件；

使用语音识别技术对所述原语音文件进行文本文件转换，获得原文本文件；

对所述原文本文件纠错，获得错误点列表；

反馈所述错误点列表并将所述原文本文件中的各错误点替换为正确的机器语言文本，形成纠正版文本文件；

利用语音合成技术对所述纠正版文本文件进行语音文件转换，获得纠正版语音文件；

通过耳机播放所述纠正版语音文件。

可选地，使用人工智能技术对所述原文本文件纠错。

可选地，反馈所述错误点列表，还形成修订文本文件；所述修订文本文件为各错误点的错误类型文本文件及对应的正确的机器语言文本文件；利用语音合成技术还对所述修订文本文件进行语音文件转换，获得各错误点的错误类型语音文件及对应的机器语音文件；通过耳机播放所述错误类型语音文件及机器语音文件。

可选地，播放时，所述错误类型语音文件及机器语音文件穿插在所述纠正版语音内，或放于所述纠正版语音前或后。

可选地，所述纠正版语音还进行存储，以反复调用学习。

可选地，所述错误类型语音文件及机器语音文件还进行存储，以反复调用学习。

可选地，各错误点的不同错误类型文本文件使用不同代码区分。

可选地，所述各错误点的错误类型包括：单词或字节发音错误、音调或重音错误、和停顿或生疏错误。

可选地，还包括将原语音文件与所述纠正版语音文件同步至手机上的app。

可选地，还包括将原语音文件、所述纠正版语音文件、以及各错误点的错误类型语音文件及对应的机器语音文件同步至手机上的app。

与现有技术相比，本发明的有益效果在于：

1)本发明中，首先获得学习者的原语音文件，使用语音识别技术对该原语音文件进行文本文件转换获得原文本文件；之后对该原文本文件纠错获得错误点列表；接着反馈错误点列表，并根据错误点列表，将原文本文件中的各错误点替换为正确的机器语言文本以形成纠正版文本文件；再接着语音合成该纠正版文本文件获得纠正版语音文件并播放给学习者。可以看出，通过纠错、反馈以及替换，当学习者听到耳机播放的内容为自己的声音时，说明此部分口语无错误，当听到机器语言时，说明此处有错误，需参照正确的机器语言纠正，根据需要多加练习。

2)可选方案中，纠错步骤中，a)可以与耳机预存的数据包中的代表标准的文本数据进行比对，也可以b)使用人工智能技术通过因特网的大数据纠错。

3)可选方案中，除了播放纠正版语音文件，还可以存储在耳机中，供学习者反复调取重听。

进一步可选地，可以存储该纠正版语音文件，也可以存储纠正版文本文件，好处在于：减小占用的存储空间，或在存储空间一定的情况下，多存储几段。

进一步可选地，存储区可以开在耳机内，也可以开在能与该耳机组成局域网的移动终端内。

4)可选方案中，学习者不但能听到完整纠正版语音，还可以听到各错误点的错误类型及相应的正确机器语言的语音。上述目的通过在反馈错误点列表同时，还形成修订文本文件；修订文本文件为各错误点的错误类型文本文件及对应的正确的机器语言文本文件。之后修订文本文件与纠正版文本文件分别各自或一并，经语音合成后播放。关于各错误点的错误类型及对应的正确的机器语言语音在播放时，可以穿插在纠正版语音内，或放于所述纠正版语音前或后。

进一步可选地，除了播放，还发送给移动终端的app，供学习者随时随地打开app学习。上述发送时机可以为：a)学习者主动在移动终端的app中同步学习结果时；或b)学习者打开移动终端的app时，耳机主动发送；或c)移动终端一旦与耳机处于同一局域网下，耳机主动发送。

5)可选方案中，各错误点的错误类型包括：单词或字节发音错误、音调或重音错误、和停顿或生疏错误。细化各错误类型，能提示学习者纠正的重点，有针对性的纠正错误。

附图说明

图1是本发明一实施例中的语言学习用智能耳机的模块图；

图2是图1中的智能耳机的人机交互方法的流程图：

图3是本发明另一实施例中的智能耳机的人机交互方法的流程图。

具体实施方式

为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。

图1是本发明一实施例中的语言学习用智能耳机的模块图。

参照图1所示，该语言学习用智能耳机1包括：录音模块11、语音识别模块12、纠错模块13、反馈模块14、文本处理模块15、语音合成模块16以及播放模块17。

以下分别介绍各模块的功能。

录音模块11用于录入学习者的学习语音获得原语音文件。

学习者的学习语音可以为一或几句话、一个或几个词组、甚至一个或几个单词。学习者的学习语音的内容可以基于当时、当地、当下心情即兴发挥，也可以参照智能终端上的app应用程序中呈现的学习内容。

录入的原语音文件可以存储在语音存储模块。

语音识别模块12用于使用语音识别技术对原语音文件进行文本文件转换，获得原文本文件。

语音识别技术可以为现有的语音识别技术，例如使用目前应用较多的深度神经网络(deepneuralnetwork，dnn)、递归神经网络(recurrentneuralnetwork，rnn)。转换成文本文件一则占用存储空间小，二则利于后续在大数据中比对纠错。

纠错模块13用于对原文本文件纠错，获得错误点列表。

纠错可以有两种途径。其一，针对学习者的学习语音源自参照智能终端上的app应用程序中呈现的学习内容的情况，可以与预存数据包中的代表标准的文本数据进行比对。其二，针对学习者的学习语音的内容基于当时、当地、当下心情即兴发挥的情况，使用人工智能技术纠错。使用人工智能技术纠错是指在因特网上的大数据中抓取比对。耳机可以通过蓝牙与移动终端连接，利用移动终端作为热点获取大数据。耳机也可以与移动终端以及路由器形成局域网，利用路由器的通信获取大数据。

错误点列表包括各错误的位置与错误内容的对应关系。

反馈模块14用于反馈该错误点列表。

反馈模块14形成一种反馈机制，使得学习者不但通过说练习了口语，而且知道错误地方，以便有针对性的反复练习。

文本处理模块15基于反馈的错误点列表，将原文本文件中的各错误点替换为正确的机器语言文本，形成纠正版文本文件。

关于替换时的正确的机器语言文本，其获取方式可以有：a)纠错模块13不但获得错误点的位置及错误点内容，还可根据数据包或大数据比对获得正确的机器语言文本；该正确的机器语言文本可以与位置、错误内容一并列在错误点列表内；或b)文本处理模块15调用耳机预存的机器语言。

语音合成模块16用于利用语音合成技术对纠正版文本文件进行语音文件转换，获得纠正版语音文件。语音合成技术可以参照现有的语音合成技术，例如使用wavenet软件。

播放模块17通过耳机播放该纠正版语音文件。

纠正版语音文件除了播放，还可以存储在语音存储模块中，供学习者反复调用。

学习者可以通过耳机1上的按键上下翻调用原语音文件和/或纠正版语音文件，还可以通过智能终端的app调用。

当学习者听到耳机1播放的内容为自己的声音时，说明此部分口语无错误，当听到机器语言时，说明此处有错误，需参照正确的机器语言加以纠正，还可根据需要多加练习。

本实施例中的智能耳机1可以是翻译耳机。换言之，该智能耳机1基于现有的翻译耳机进行功能拓展，这样：语音识别模块12、语音合成模块16以及播放模块17可以由翻译耳机的语音识别模块、语音合成模块以及播放模块充当。

本发明一实施例还提供一种语言学习用智能交互系统，包括：

上述的智能耳机1以及移动终端；

其中，移动终端与智能耳机1交互通信，移动终端上的app同步获取原语音文件与纠正版语音文件。

智能耳机1可以通过蓝牙与移动终端交互通信。智能耳机1也可以与移动终端以及路由器形成局域网，在局域网内交互通信。

图2是图1中的智能耳机的人机交互方法的流程图。

以下分别介绍各步骤。

参照图2所示，首先执行步骤s1，录入学习者的学习语音获得原语音文件。

学习者的学习语音可以为一或几句话、一个或几个词组、甚至一个或几个单词。学习者的学习语音的内容可以基于当时、当地、当下心情即兴发挥，也可以参照智能终端上的app应用程序中呈现的学习内容。

录入的原语音文件可以存储在语音存储模块。

接着执行步骤s2，使用语音识别技术对该原语音文件进行文本文件转换，获得原文本文件。

语音识别技术可以为现有的语音识别技术。

转换成文本文件一则占用存储空间小，二则利于后续在大数据中比对纠错。

再接着执行步骤s3，对该原文本文件纠错，获得错误点列表。

纠错可以有两种方法。其一，针对学习者的学习语音源自参照智能终端上的app应用程序中呈现的学习内容的情况，可以与预存数据包中的代表标准的文本数据进行比对。其二，针对学习者的学习语音的内容基于当时、当地、当下心情即兴发挥的情况，使用人工智能技术纠错。使用人工智能技术纠错是指在因特网上的大数据中抓取比对。耳机可以通过蓝牙与移动终端连接，利用移动终端作为热点获取大数据。耳机也可以与移动终端以及路由器形成局域网，利用路由器的通信获取大数据。

错误点列表包括各错误的位置与错误内容的对应关系。

之后执行步骤s4，反馈错误点列表并将该原文本文件中的各错误点替换为正确的机器语言文本，形成纠正版文本文件。

本反馈步骤形成一种反馈机制，使得学习者不但通过说练习了口语，而且知道错误地方，以便有针对性的反复练习。

关于替换时的正确的机器语言文本，其获取方式可以有：a)纠错步骤s3不但获得错误点的位置及错误点内容，还可根据数据包或大数据比对获得正确的机器语言文本；该正确的机器语言文本可以与位置、错误内容一并列在错误点列表内；或b)调用耳机预存的机器语言。

执行步骤s5，利用语音合成技术对纠正版文本文件进行语音文件转换，获得纠正版语音文件。

语音合成技术可以参照现有的语音合成技术。

接着执行步骤s6，通过耳机播放该纠正版语音文件。

播放技术可以参照现有的播放技术。

本实施例中的智能耳机可以是翻译耳机。换言之，该智能耳机基于现有的翻译耳机进行功能拓展，这样：语音识别步骤s2、语音合成步骤s5以及播放步骤s6可以由翻译耳机的语音识别模块、语音合成模块以及播放模块完成。

本发明另一实施例还提供一种外语口语练习用智能耳机。与前一实施例相比，本实施例中的智能耳机区别在于：1)文本处理模块15基于反馈的错误点列表，还形成修订文本文件；该修订文本文件为各错误点的错误类型文本文件及对应的正确的机器语言文本文件；2)语音合成模块16利用语音合成技术还对所述修订文本文件进行语音文件转换，获得各错误点的错误类型语音文件及对应的机器语音文件；3)播放模块17通过耳机还播放错误类型语音文件及机器语音文件。

文本处理模块15将可以根据需要将修订文本文件穿插在纠正版文本文件内，或放于纠正版文本文件前或后。

各错误点的错误类型可以包括：单词或字节发音错误、音调或重音错误、和停顿或生疏错误。文本文件中，不同类型错误可以由不同代码区分，也可以由不同存放地址区分。单词或字节发音错误、音调或重音错误、与生疏错误可以放在纠正版文本文件前或后。对于停顿错误，可以穿插在纠正版文本文件内，以便后续耳机播放“此处不应有停顿”以提示用户。对于生疏错误的判断标准可以统计错误占全段的一定值，例如80％以上，播放“此段生疏”以提示学习者。

图3是本发明另一实施例中的智能耳机的人机交互方法的流程图。参照图3，可以看出，与图2中的流程大致相同，区别在于：

1)步骤s4’中，反馈错误点列表，还形成修订文本文件；修订文本文件为各错误点的错误类型文本文件及对应的正确的机器语言文本文件；

2)步骤s5’中，利用语音合成技术还对修订文本文件进行语音文件转换，获得各错误点的错误类型语音文件及对应的机器语音文件；

3)步骤s6’中，通过耳机还播放错误类型语音文件及机器语音文件。

修订文本文件中，各错误点的错误类型可以包括：单词或字节发音错误、音调或重音错误、和停顿或生疏错误。文本文件中，不同类型错误可以由不同代码区分，也可以由不同存放地址区分。单词或字节发音错误、音调或重音错误、与生疏错误可以放在纠正版文本文件前或后。对于停顿错误，可以穿插在纠正版文本文件内，以便后续耳机播放“此处不应有停顿”以提示用户。对于生疏错误的判断标准可以统计错误占全段的一定值，例如80％以上，播放“此段生疏”以提示学习者。

播放各错误点的错误类型语音文件及对应的机器语音文件，还可以将各错误点的错误类型语音文件及对应的机器语音文件保存，以便学习者调用。学习者可以通过耳机上的按键上下翻调用各错误点的错误类型语音文件及对应的机器语音文件，还可以通过智能终端的app调用。

本实施例中的智能耳机也可以是翻译耳机。新的语音合成步骤s5’以及播放步骤s6’可以由翻译耳机的语音合成模块以及播放模块完成。

虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。