一种互动教学方法、装置以及计算机可读存储介质与流程

本发明涉及教育学习领域，尤其涉及一种互动教学方法、装置以及计算机可读存储介质。

背景技术：

在设计教育领域的关于语音识别的产品中，在语音交流过程中，语音识别系统总是针对互动对象所提出的问题进行被动式的答复，如互动对象问：小狗吃什么，语音系统答复：小狗吃肉，但此种互动方式枯燥乏味，更主要的是无法引起幼儿的学习积极性，教学成果不理想。

技术实现要素：

本发明实施例提供了一种互动教学方法、装置以及计算机可读存储介质，具有激发使用者学习热情、提高学习气氛的技术效果。

本发明一方面提供一种互动教学方法，所述方法包括：接收互动对象所发出用于表征疑问的第一信息；根据所接收的第一信息，告知所述互动对象表征答复结果的第一回复信息；根据所述第一信息和/或第一回复信息，生成用于表征引导建议的第二回复信息；将所生成的第二回复信息发送至所述互动对象，并指示所述互动对象针对所述第二回复信息反馈第二信息。

在一可实施方式中，所述第一信息包括语音信息以及对应的图像信息；相应的，所述根据所接收的第一信息，告知所述互动对象表征答复结果的第一回复信息，包括：根据所述语音信息，获取用于表征所述互动对象意图的语义信息；根据所获取得到的语义信息以及所述图像信息，获取表征答复结果的第一回复信息；将所获取的答复结果发送至所述互动对象。

在一可实施方式中，所述根据所获取得到的语义信息以及所述图像信息，获取表征答复结果的第一回复信息，包括：对所述图像信息进行图像识别，得到所述图像中的实体信息；结合所述实体信息以及语义信息，从大数据平台中获取表征答复结果的第一回复信息。

在一可实施方式中，在接收互动对象所发出用于表征疑问的第一信息之前，所述方法还包括：接收所述互动对象所发出的第三信息；判断所接收到的第三信息是否满足预设条件；若判定所接收到的第三信息满足所述预设条件，则接收互动对象所发出用于表征疑问的第一信息。

在一可实施方式中，所述判定所接收到的第三信息满足所述预设条件，包括：若所述第三信息为语音信息，则将所述语音信息作为神经网络模型的输入进行训练，输出得到用于表征相似度的概率值，若所述概率值超过概率预设阈值时，则判定所接收到的第三信息满足所述预设条件；若所述第三信息为文本信息，若所述文本信息中至少包含所述预设特定文本信息，则判定所接收到的第三信息满足所述预设条件。

本发明另一方面提供一种互动教学装置，所述装置包括：信息接收模块，用于接收互动对象所发出用于表征疑问的第一信息；第一信息回复模块，用于根据所接收的第一信息，告知所述互动对象表征答复结果的第一回复信息；信息生成模块，用于根据所述第一信息和/或第一回复信息，生成用于表征引导建议的第二回复信息；第二信息回复模块，用于将所生成的第二回复信息发送至所述互动对象，并指示所述互动对象针对所述第二回复信息反馈第二信息。

在一可实施方式中，所述第一信息包括语音信息以及对应的图像信息；相应的，所述第一信息回复模块具体用于：根据所述语音信息，获取用于表征所述互动对象意图的语义信息；根据所获取得到的语义信息以及所述图像信息，获取表征答复结果的第一回复信息；将所获取的答复结果发送至所述互动对象。

在一可实施方式中，所述第一信息回复模块还具体用于：对所述图像信息进行图像识别，得到所述图像中的实体信息；结合所述实体信息以及语义信息，从大数据平台中获取表征答复结果的第一回复信息。

在一可实施方式中，在所述信息接收模块接收互动对象所发出用于表征疑问的第一信息之前，所述装置还包括：信息过滤模块，用于接收所述互动对象所发出的第三信息；判断所接收到的第三信息是否满足预设条件；若判定所接收到的第三信息满足所述预设条件，则接收互动对象所发出用于表征疑问的第一信息。

本发明另一方面提供一种计算机可读存储介质，所述存储介质包括一组计算机可执行指令，当所述指令被执行时用于执行上述任一项所述的互动教学方法。

在本发明实施例中，通过根据历史互动内容，对内容进行相关性扩展，从而引导并帮助互动对象学习，激发互动对象的学习热情，同时此过程有较好的互动体验感，学习气氛生动有趣。

附图说明

通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：

在附图中，相同或对应的标号表示相同或对应的部分。

图1为本发明实施例一种互动教学方法的实现流程示意图；

图2为本发明实施例一种互动教学装置的结构组成示意图。

具体实施方式

为使本发明的目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例一种互动教学方法的实现流程示意图；

如图1所示，本发明一方面提供一种互动教学方法，方法包括：

步骤101，接收互动对象所发出用于表征疑问的第一信息；

步骤102，根据所接收的第一信息，告知互动对象表征答复结果的第一回复信息；

步骤103，根据第一信息和/或第一回复信息，生成用于表征引导建议的第二回复信息；

步骤104，将所生成的第二回复信息发送至互动对象，并指示互动对象针对第二回复信息反馈第二信息。

本实施例中，在步骤101中，互动对象可以是人，尤其是学生或者幼龄儿童，也可以是具有语音功能的机器人。用于表征疑问的第一信息可以是文本信息、图像信息、语音信息或者至少包含上述任意两种信息的组合，接收第一信息的接收方式可以是有线或者无线接收。

在步骤102中，第一回复信息可以是文本信息、图像信息、语音信息或者至少包括上述任意两种信息的组合，第一回复信息的告知方式可以文本或者图像的方式显示在显示屏幕上，也可以通过扬声器以语音播报的方式进行告知。

在步骤103中，表征引导建议的第二回复信息为根据互动内容得到的扩展内容，例如：第一信息的内容为“小狗吃什么”，第二回复信息的内容可能为“小狗吃肉”，此时根据上述互动内容，第二回复信息可能为“你还知道哪些动物也吃肉吗？”。除了上述的举例之外，还可以应用于习题的练习，例如：第一信息的内容为一道习题，第二回复内容可能为对应的解题步骤，第二回复信息可能为同类型习题。

在步骤104中，第二信息可以是文本信息、像信息、语音信息或者至少包含上述任意两种信息的组合。

由此，通过根据历史互动内容，对内容进行相关性扩展，从而引导并帮助互动对象学习，激发互动对象的学习热情，同时此过程有较好的互动体验感，学习气氛生动有趣。

在一可实施方式中，第一信息包括语音信息以及对应的图像信息；

相应的，根据所接收的第一信息，告知互动对象表征答复结果的第一回复信息，包括：

根据语音信息，获取用于表征互动对象意图的语义信息；

根据所获取得到的语义信息以及图像信息，获取表征答复结果的第一回复信息；

将所获取的答复结果发送至互动对象。

本实施例中，图像信息可以是图片，也可以是视频中的某一帧或者多帧图片。

相应的，步骤102的具体过程为：

根据语音信息，获取用于表征互动对象意图的语义信息，获取方式可以是借助语音识别技术asr将语音信息转换为对应的文本信息，再将文本信息进行意图分类，方式可以是基于词典模板的规则分类、基于分类模型进行意图识别，其中基于分类模型进行意图识别的步骤为：将文本信息对应的词向量输入到用于卷积神经网络模型中，输出得到对应的语义信息，其中卷积神经网络模型需事先进行训练，训练时，输入语料为文本特征信息以及对应的意图信息，输出概率值，根据概率值进行反复训练。

接着根据所获取得到的语义信息以及图像信息，获取表征答复结果的第一回复信息。实际应用中，经常出现只利用文本信息无法清楚描述问题，例如幼龄儿童针对一件不知其名的物品提出一些疑问时，只是利用文本或者语音描述该物品时很可能遇到障碍，在本方案中，借用图像信息则可以解决该问题，实际应用时，例如，互动对象发出的第一信息的内容为“这个是什么？/我能用它做些什么？”，其语义信息可能为“搜寻信息/搜寻作用”，与此同时，利用相机拍摄或者录像得到该物品的图像信息，获取表征答复结果的第一回复信息。

在一可实施方式中，根据所获取得到的语义信息以及图像信息，获取表征答复结果的第一回复信息，包括：

对图像信息进行图像识别，得到图像中的实体信息；

结合实体信息以及语义信息，从大数据平台中获取表征答复结果的第一回复信息。

本实施例中，实体信息可以是图像信息中的具体物品，也可以是文字信息，也可以是根据整体图像信息得到一段描述语句，例如，图像为一幅风景画，其描述语句可以为“幽静的森林”。其中可通过各自对应的卷积神经网络模型从图像信息中识别得到具体物品以及描述语句，其中卷积神经网络模型均需要经过训练，训练过程与上述描述一致。文字信息可通过光学字符识别ocr技术对图像信息进行识别得到。

接着将得到的实体信息以及语义信息输入大数据平台进行搜索，得到表征答复结果的第一回复信息。

在一可实施方式中，在接收互动对象所发出用于表征疑问的第一信息之前，方法还包括：

接收互动对象所发出的第三信息；

判断所接收到的第三信息是否满足预设条件；

若判定所接收到的第三信息满足预设条件，则接收互动对象所发出用于表征疑问的第一信息。

本实施例中，该方法应用于互动设备中，主要应用于语音交互设备中，因此为了防止设备周围的信息对设备运行造成干扰从而增加功耗，因此在接收互动对象所发出用于表征疑问的第一信息之前，判断所接收到的第三信息是否满足预设条件，只有第三信息满足预设条件时，接收互动对象所发出用于表征疑问的第一信息。由此，当第三信息不满足预设条件时，设备将不执行步骤101～步骤104，进而减少了系统的功耗。

在一可实施方式中，判定所接收到的第三信息满足预设条件，包括：

若第三信息为语音信息，则将语音信息作为神经网络模型的输入进行训练，输出得到用于表征相似度的概率值，若概率值超过概率预设阈值时，则判定所接收到的第三信息满足预设条件；

若第三信息为文本信息，若文本信息中至少包含预设特定文本信息，则判定所接收到的第三信息满足预设条件。

本实施例中，神经网络模型可以是基于端到端的方案，输入为语音信息，输出为相比较于正确信息的相似值，该模型需要经过训练，训练方式与上述步骤一致，此处不再详细阐述。预设阈值以及预设特定文本信息均为事先预设，当神经网络模型输出的概率值超过指定阈值时或者文本信息中至少包含预设特定文本信息时，判定所接收到的第三信息满足预设条件。

图2为本发明实施例一种互动教学装置的结构组成示意图。

如图2所示，本发明实施例另一方面提供一种互动教学装置，装置包括：

信息接收模块201，用于接收互动对象所发出用于表征疑问的第一信息；

第一信息回复模块202，用于根据所接收的第一信息，告知互动对象表征答复结果的第一回复信息；

信息生成模块203，用于根据第一信息和/或第一回复信息，生成用于表征引导建议的第二回复信息；

第二信息回复模块204，用于将所生成的第二回复信息发送至互动对象，并指示互动对象针对第二回复信息反馈第二信息。

本实施例中，在信息接收模块201中，互动对象可以是人，尤其是学生或者幼龄儿童，也可以是具有语音功能的机器人。用于表征疑问的第一信息可以是文本信息、图像信息、语音信息或者至少包含上述任意两种信息的组合，接收第一信息的接收方式可以是有线或者无线接收。

在第一信息回复模块202中，第一回复信息可以是文本信息、图像信息、语音信息或者至少包括上述任意两种信息的组合，第一回复信息的告知方式可以文本或者图像的方式显示在显示屏幕上，也可以通过扬声器以语音播报的方式进行告知。

在信息生成模块203中，表征引导建议的第二回复信息为根据互动内容得到的扩展内容，例如：第一信息的内容为“小狗吃什么”，第二回复信息的内容可能为“小狗吃肉”，此时根据上述互动内容，第二回复信息可能为“你还知道哪些动物也吃肉吗？”。除了上述的举例之外，还可以应用于习题的练习，例如：第一信息的内容为一道习题，第二回复内容可能为对应的解题步骤，第二回复信息可能为同类型习题。

在第二信息回复模块204中，第二信息可以是文本信息、像信息、语音信息或者至少包含上述任意两种信息的组合。

由此，通过根据历史互动内容，对内容进行相关性扩展，从而引导并帮助互动对象学习，激发互动对象的学习热情，同时此过程有较好的互动体验感，学习气氛生动有趣。

在一可实施方式中，第一信息包括语音信息以及对应的图像信息；

相应的，第一信息回复模块202具体用于：

根据语音信息，获取用于表征互动对象意图的语义信息；

根据所获取得到的语义信息以及图像信息，获取表征答复结果的第一回复信息；

将所获取的答复结果发送至互动对象。

本实施例中，图像信息可以是图片，也可以是视频中的某一帧或者多帧图片。

相应的，第一信息回复模块202具体用于：

根据语音信息，获取用于表征互动对象意图的语义信息，获取方式可以是借助语音识别技术asr将语音信息转换为对应的文本信息，再将文本信息进行意图分类，方式可以是基于词典模板的规则分类、基于分类模型进行意图识别，其中基于分类模型进行意图识别的步骤为：将文本信息对应的词向量输入到用于卷积神经网络模型中，输出得到对应的语义信息，其中卷积神经网络模型需事先进行训练，训练时，输入语料为文本特征信息以及对应的意图信息，输出概率值，根据概率值进行反复训练。

接着根据所获取得到的语义信息以及图像信息，获取表征答复结果的第一回复信息。实际应用中，经常出现只利用文本信息无法清楚描述问题，例如幼龄儿童针对一件不知其名的物品提出一些疑问时，只是利用文本或者语音描述该物品时很可能遇到障碍，在本方案中，借用图像信息则可以解决该问题，实际应用时，例如，互动对象发出的第一信息的内容为“这个是什么？/我能用它做些什么？”，其语义信息可能为“搜寻信息/搜寻作用”，与此同时，利用相机拍摄或者录像得到该物品的图像信息，获取表征答复结果的第一回复信息。

在一可实施方式中，第一信息回复模块202还具体用于

对图像信息进行图像识别，得到图像中的实体信息；

结合实体信息以及语义信息，从大数据平台中获取表征答复结果的第一回复信息。

本实施例中，实体信息可以是图像信息中的具体物品，也可以是文字信息，也可以是根据整体图像信息得到一段描述语句，例如，图像为一幅风景画，其描述语句可以为“幽静的森林”。其中可通过各自对应的卷积神经网络模型从图像信息中识别得到具体物品以及描述语句，其中卷积神经网络模型均需要经过训练，训练过程与上述描述一致。文字信息可通过光学字符识别ocr技术对图像信息进行识别得到。

接着将得到的实体信息以及语义信息输入大数据平台进行搜索，得到表征答复结果的第一回复信息。

在一可实施方式中，在信息接收模块201接收互动对象所发出用于表征疑问的第一信息之前，装置还包括：

信息过滤模块205，用于接收互动对象所发出的第三信息；

判断所接收到的第三信息是否满足预设条件；

若判定所接收到的第三信息满足预设条件，则接收互动对象所发出用于表征疑问的第一信息。

本实施例中，该方法应用于互动设备中，主要应用于语音交互设备中，因此为了防止设备周围的信息对设备运行造成干扰从而增加功耗，因此在接收互动对象所发出用于表征疑问的第一信息之前，判断所接收到的第三信息是否满足预设条件，只有第三信息满足预设条件时，接收互动对象所发出用于表征疑问的第一信息。由此，当第三信息不满足预设条件时，设备将不执行其余模块，进而减少了系统的功耗。

本发明另一方面提供一种计算机可读存储介质，存储介质包括一组计算机可执行指令，当指令被执行时用于执行上述任一项的互动教学方法。

在本发明实施例中计算机可读存储介质包括一组计算机可执行指令，当指令被执行时用于，接收互动对象所发出用于表征疑问的第一信息；根据所接收的第一信息，告知互动对象表征答复结果的第一回复信息；根据第一信息和/或第一回复信息，生成用于表征引导建议的第二回复信息；将所生成的第二回复信息发送至互动对象，并指示互动对象针对第二回复信息反馈第信息。

由此，通过根据历史互动内容，对内容进行相关性扩展，从而引导并帮助互动对象学习，激发互动对象的学习热情，同时此过程有较好的互动体验感，学习气氛生动有趣。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。