一种黑屏状态下的人机交互方法及家教设备与流程

文档序号:16248645发布日期:2018-12-11 23:48阅读:207来源:国知局
一种黑屏状态下的人机交互方法及家教设备与流程

本发明涉及家教设备技术领域,具体涉及一种黑屏状态下的人机交互方法及家教设备。

背景技术

目前,越来越多的中小学生使用家教设备(如家教机)来辅助学习。在家教设备的实际应用中,如果家教设备处于黑屏状态,那么中小学生通常需要先向家教设备输入屏幕亮屏指令,并且在家教设备亮屏之后再向家教设备输入搜索语音,以获得对应的搜索结果。在实践中发现,上述语音搜索方式需要先点亮家教设备的屏幕再进行语音搜索,这样不仅会降低语音搜索效率,而且屏幕被点亮下还会影响家教设备的电池续航能力。



技术实现要素:

本发明实施例公开了一种黑屏状态下的人机交互方法及家教设备,能够提高语音搜索效率,降低对家教设备的电池续航能力的影响。

本发明实施例第一方面公开一种黑屏状态下的人机交互方法,所述方法包括:

家教设备处于黑屏状态时,侦听是否收到外界用户发出的搜索语音;

若收到外界用户发出的搜索语音,所述家教设备验证所述外界用户发出的搜索语音的声音特征与所述家教设备的合法用户的声音特征是否匹配,若匹配,所述家教设备将所述搜索语音转换为搜索文本,并检索与所述搜索文本相对应的目标答案;

所述家教设备判断所述目标答案是否为可读信息,如果是,则控制扬声器按照所述家教设备的合法用户的声音特征关联的感兴趣语调输出所述目标答案。

作为一种可选的实施方式,在本发明实施例第一方面中,所述家教设备控制扬声器按照所述家教设备的合法用户的声音特征关联的感兴趣语调输出所述目标答案之后,所述方法还包括:

所述家教设备查询是否存储有所述家教设备的合法用户的声音特征对应的学生个人属性信息;其中,所述学生个人属性信息至少包括学生身份信息和学生对应的目标课程表,所述目标课程表至少包括学生学习的多个不同的学习科目以及每一个所述学习科目对应的教师终端标识;

如果存储有所述家教设备的合法用户的声音特征对应的学生个人属性信息,所述家教设备以所述目标答案为依据,从所述目标课程表中查询出所述目标答案对应的目标学习科目;以及,从所述目标课程表中查询出所述目标学习科目对应的目标教师终端标识;

所述家教设备将所述学生身份信息、所述搜索文本以及所述目标教师终端标识上报给云平台,以使所述云平台根据所述目标教师终端标识,将所述学生身份信息和所述搜索文本发送给所述目标教师终端标识所属的教师终端。

作为一种可选的实施方式,在本发明实施例第一方面中,所述方法还包括:

所述家教设备检测所述云平台推送的用于激励学生学习的学习激励语音;其中,所述学习激励语音是所述目标教师终端标识所属的教师终端在收到所述云平台发送的所述学生身份信息和所述搜题文字后,由所述目标教师终端标识所属的教师终端提示教师上报给所述云平台的;

所述家教设备控制扬声器输出所述学习激励语音。

作为一种可选的实施方式,在本发明实施例第一方面中,所述学生个人属性信息还包括学生对应的监护人终端标识,所述方法还包括:

所述家教设备将所述学生身份信息、所述搜索文本以及所述监护人终端标识上报给云平台,以使云平台根据所述监护人终端标识,将所述学生身份信息和所述搜索文本发送给所述监护人终端标识所属的监护人终端。

作为一种可选的实施方式,在本发明实施例第一方面中,所述家教设备将所述学生身份信息、所述搜索文本以及所述监护人终端标识上报给云平台之前,所述方法还包括:

所述家教设备向所述云平台上报用于获取所述监护人终端标识所属的监护人终端的即时位置的请求消息,所述请求消息包括所述监护人终端标识;

所述家教设备获取所述云平台发送的所述监护人终端标识所属的监护人终端的即时位置;

所述家教设备判断所述监护人终端标识所属的监护人终端的即时位置与所述家教设备的即时位置是否相同,若不相同,所述家教设备执行所述的将所述学生身份信息、所述搜索文本以及所述监护人终端标识上报给云平台。

本发明实施例第二方面公开一种家教设备,包括:

侦听单元,用于在所述家教设备处于黑屏状态,侦听是否收到外界用户发出的搜索语音;

验证单元,用于在所述侦听单元侦听收到外界用户发出的搜索语音时,验证所述外界用户发出的搜索语音的声音特征与所述家教设备的合法用户的声音特征是否匹配;

检索单元,用于在所述验证单元的验证结果为匹配时,将所述搜索语音转换为搜索文本,并检索与所述搜索文本相对应的目标答案;

判断单元,用于判断所述目标答案是否为可读信息;

控制单元,用于在所述判断单元的判断结果为是时,控制扬声器按照所述家教设备的合法用户的声音特征关联的感兴趣语调输出所述目标答案。

作为一种可选的实施方式,在本发明实施例第二方面中,所述家教设备还包括:

查询单元,用于在所述控制单元控制扬声器按照所述家教设备的合法用户的声音特征关联的感兴趣语调输出所述目标答案之后,查询是否存储有所述家教设备的合法用户的声音特征对应的学生个人属性信息;其中,所述学生个人属性信息至少包括学生身份信息和学生对应的目标课程表,所述目标课程表至少包括学生学习的多个不同的学习科目以及每一个所述学习科目对应的教师终端标识;如果存储有所述家教设备的合法用户的声音特征对应的学生个人属性信息,以所述目标答案为依据,从所述目标课程表中查询出所述目标答案对应的目标学习科目;以及,从所述目标课程表中查询出所述目标学习科目对应的目标教师终端标识;

交互单元,用于将所述学生身份信息、所述搜索文本以及所述目标教师终端标识上报给云平台,以使所述云平台根据所述目标教师终端标识,将所述学生身份信息和所述搜索文本发送给所述目标教师终端标识所属的教师终端。

作为一种可选的实施方式,在本发明实施例第二方面中,所述家教设备还包括:

检测单元,用于检测所述云平台推送的用于激励学生学习的学习激励语音;其中,所述学习激励语音是所述目标教师终端标识所属的教师终端在收到所述云平台发送的所述学生身份信息和所述搜题文字后,由所述目标教师终端标识所属的教师终端提示教师上报给所述云平台的;

所述控制单元,还用于控制扬声器输出所述学习激励语音。

作为一种可选的实施方式,在本发明实施例第二方面中,所述学生个人属性信息还包括学生对应的监护人终端标识,所述交互单元还用于将所述学生身份信息、所述搜索文本以及所述监护人终端标识上报给云平台,以使云平台根据所述监护人终端标识,将所述学生身份信息和所述搜索文本发送给所述监护人终端标识所属的监护人终端。

作为一种可选的实施方式,在本发明实施例第二方面中,所述交互单元还用于在将所述学生身份信息、所述搜索文本以及所述监护人终端标识上报给云平台之前,向所述云平台上报用于获取所述监护人终端标识所属的监护人终端的即时位置的请求消息,所述请求消息包括所述监护人终端标识;以及,获取所述云平台发送的所述监护人终端标识所属的监护人终端的即时位置;以及,判断所述监护人终端标识所属的监护人终端的即时位置与所述家教设备的即时位置是否相同,若不相同,执行所述的将所述学生身份信息、所述搜索文本以及所述监护人终端标识上报给云平台。

本发明实施例第三方面公开一种家教设备,包括:

存储有可执行程序代码的存储器;

与所述存储器耦合的处理器;

所述处理器调用所述存储器中存储的所述可执行程序代码,执行本发明实施例第一方面公开的所述黑屏状态下的人机交互方法。

本发明实施例第四方面公开一种计算机可读存储介质,其存储计算机程序,其中,所述计算机程序使得计算机执行本发明实施例第一方面公开的所述黑屏状态下的人机交互方法。

与现有技术相比,本发明实施例具有以下有益效果:

本发明实施例中,家教设备处于黑屏状态时,若侦听收到外界用户发出的搜索语音,并且验证外界用户发出的搜索语音的声音特征与家教设备的合法用户的声音特征匹配时,家教设备可以将搜索语音转换为搜索文本并检索与搜索文本相对应的目标答案;在判断目标答案为可读信息,家教设备可以控制扬声器按照家教设备的合法用户的声音特征关联的感兴趣语调输出目标答案。可见,实施本发明实施例,可以在家教设备处于黑屏状态时便捷的实现语音搜索,从而可以提高语音搜索效率;此外,家教设备由于无需点亮屏幕再进行语音搜索,从而可以降低对家教设备的电池续航能力的影响。

附图说明

为了更清楚地说明本发明实施例中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1是本发明实施例公开的一种黑屏状态下的人机交互方法的流程示意图;

图2是本发明实施例公开的另一种黑屏状态下的人机交互方法的流程示意图;

图3是本发明实施例公开的另一种黑屏状态下的人机交互方法的流程示意图;

图4是本发明实施例公开的一种家教设备的结构示意图;

图5是本发明实施例公开的另一种家教设备的结构示意图;

图6是本发明实施例公开的另一种家教设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

需要说明的是,本发明实施例及附图中的术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明实施例公开了一种黑屏状态下的人机交互方法及家教设备,能够提高语音搜索效率,降低对家教设备的电池续航能力的影响。以下分别进行详细说明。

实施例一

请参阅图1,图1是本发明实施例公开的一种黑屏状态下的人机交互方法的流程示意图。如图1所示,该黑屏状态下的人机交互方法可以包括以下步骤:

101、家教设备处于黑屏状态时,侦听是否收到外界用户发出的搜索语音;若收到外界用户发出的搜索语音,执行步骤102;若未收到外界用户发出的搜索语音,结束本流程。

本发明实施例中,家教设备处于黑屏状态时,可以启动家教设备的语音侦听功能,并且家教设备可以通过已启动的家教设备的语音侦听功能实时的侦听外界用户发出的搜索语音。

可选的,本发明实施例中,家教设备处于黑屏状态时,可以检测是否收到外界用户在家教设备的屏幕上输入的用于开启语音侦听功能的第一轨迹,如果收到,才启动家教设备的语音侦听功能,从而可以降低家教设备的功耗;相应地,家教设备处于黑屏状态时,可以检测是否收到外界用户在家教设备的屏幕上上输入的用于关闭语音侦听功能的第二轨迹,如果收到,可以关闭家教设备的语音侦听功能,从而可以降低家教设备的功耗。

102、家教设备验证外界用户发出的搜索语音的声音特征与家教设备的合法用户的声音特征是否匹配,若匹配,执行步骤103-步骤104;若不匹配,结束本流程。

103、家教设备将搜索语音转换为搜索文本,并检索与搜索文本相对应的目标答案。

104、家教设备判断目标答案是否为可读信息,如果是,执行步骤105;如果否,结束本流程。

105、家教设备控制扬声器按照家教设备的合法用户的声音特征关联的感兴趣语调输出目标答案。

可见,实施图1所描述的方法,可以在家教设备处于黑屏状态时便捷的实现语音搜索,从而可以提高语音搜索效率;此外,家教设备由于无需点亮屏幕再进行语音搜索,从而可以降低对家教设备的电池续航能力的影响。

实施例二

请参阅图2,图2是本发明实施例公开的另一种黑屏状态下的人机交互方法的流程示意图。如图2所示,该黑屏状态下的人机交互方法可以包括以下步骤:

201、家教设备处于黑屏状态时,侦听是否收到外界用户发出的搜索语音;若收到外界用户发出的搜索语音,执行步骤202;若未收到外界用户发出的搜索语音,结束本流程。

本发明实施例中,家教设备处于黑屏状态时,可以启动家教设备的语音侦听功能,并且家教设备可以通过已启动的家教设备的语音侦听功能实时的侦听外界用户发出的搜索语音。

可选的,本发明实施例中,家教设备处于黑屏状态时,可以检测是否收到外界用户在家教设备的屏幕上输入的用于开启语音侦听功能的第一轨迹,如果收到,才启动家教设备的语音侦听功能,从而可以降低家教设备的功耗;相应地,家教设备处于黑屏状态时,可以检测是否收到外界用户在家教设备的屏幕上上输入的用于关闭语音侦听功能的第二轨迹,如果收到,可以关闭家教设备的语音侦听功能,从而可以降低家教设备的功耗。

202、家教设备验证外界用户发出的搜索语音的声音特征与家教设备的合法用户的声音特征是否匹配,若匹配,执行步骤203-步骤204;若不匹配,结束本流程。

203、家教设备将搜索语音转换为搜索文本,并检索与搜索文本相对应的目标答案。

204、家教设备判断目标答案是否为可读信息,如果是,执行步骤205-步骤206;如果否,结束本流程。

205、家教设备控制扬声器按照家教设备的合法用户的声音特征关联的感兴趣语调输出目标答案。

206、家教设备查询是否存储有家教设备的合法用户的声音特征对应的学生个人属性信息;其中,该学生个人属性信息至少包括学生身份信息和学生对应的目标课程表,该目标课程表至少包括学生学习的多个不同的学习科目以及每一个学习科目对应的教师终端标识;如果存储有家教设备的合法用户的声音特征对应的学生个人属性信息,执行步骤207-步骤208;如果未存储有家教设备的合法用户的声音特征对应的学生个人属性信息,结束本流程。

207、家教设备以目标答案为依据,从目标课程表中查询出目标答案对应的目标学习科目;以及,从目标课程表中查询出目标学习科目对应的目标教师终端标识。

208、家教设备将学生身份信息、搜索文本以及目标教师终端标识上报给云平台,以使云平台根据目标教师终端标识,将学生身份信息和搜索文本发送给目标教师终端标识所属的教师终端。

本发明实施例中,实施上述步骤206-步骤208,使教师可以根据收集到的某一些学生在该教师所教科目(如语文)上发出的搜题文本,发现这些学生在该教师所教科目(如语文)上遇到的问题,从而使得该教师可以针对性的向这些学生进一步讲解该学生遇到的问题,从而有利于提升该学生的学习效率。

209、家教设备检测云平台推送的用于激励学生学习的学习激励语音;其中,学习激励语音是目标教师终端标识所属的教师终端在收到云平台发送的学生身份信息和搜题文字后,由目标教师终端标识所属的教师终端提示教师上报给云平台的。

210、家教设备控制扬声器输出学习激励语音。

可见,实施图2所描述的方法,可以在家教设备处于黑屏状态时便捷的实现语音搜索,从而可以提高语音搜索效率;此外,家教设备由于无需点亮屏幕再进行语音搜索,从而可以降低对家教设备的电池续航能力的影响。

实施例三

请参阅图3,图3是本发明实施例公开的另一种黑屏状态下的人机交互方法的流程示意图。如图3所示,该黑屏状态下的人机交互方法可以包括以下步骤:

301、家教设备处于黑屏状态时,侦听是否收到外界用户发出的搜索语音;若收到外界用户发出的搜索语音,执行步骤302;若未收到外界用户发出的搜索语音,结束本流程。

本发明实施例中,家教设备处于黑屏状态时,可以启动家教设备的语音侦听功能,并且家教设备可以通过已启动的家教设备的语音侦听功能实时的侦听外界用户发出的搜索语音。

可选的,本发明实施例中,家教设备处于黑屏状态时,可以检测是否收到外界用户在家教设备的屏幕上输入的用于开启语音侦听功能的第一轨迹,如果收到,才启动家教设备的语音侦听功能,从而可以降低家教设备的功耗;相应地,家教设备处于黑屏状态时,可以检测是否收到外界用户在家教设备的屏幕上上输入的用于关闭语音侦听功能的第二轨迹,如果收到,可以关闭家教设备的语音侦听功能,从而可以降低家教设备的功耗。

302、家教设备验证外界用户发出的搜索语音的声音特征与家教设备的合法用户的声音特征是否匹配,若匹配,执行步骤303-步骤304;若不匹配,结束本流程。

303、家教设备将搜索语音转换为搜索文本,并检索与搜索文本相对应的目标答案。

304、家教设备判断目标答案是否为可读信息,如果是,执行步骤305-步骤306;如果否,结束本流程。

305、家教设备控制扬声器按照家教设备的合法用户的声音特征关联的感兴趣语调输出目标答案。

306、家教设备查询是否存储有家教设备的合法用户的声音特征对应的学生个人属性信息;其中,该学生个人属性信息至少包括学生身份信息、学生对应的目标课程表以及学生对应的监护人终端标识,该目标课程表至少包括学生学习的多个不同的学习科目以及每一个学习科目对应的教师终端标识;如果存储有家教设备的合法用户的声音特征对应的学生个人属性信息,执行步骤307-步骤308;如果未存储有家教设备的合法用户的声音特征对应的学生个人属性信息,结束本流程。

307、家教设备以目标答案为依据,从目标课程表中查询出目标答案对应的目标学习科目;以及,从目标课程表中查询出目标学习科目对应的目标教师终端标识。

308、家教设备将学生身份信息、搜索文本以及目标教师终端标识上报给云平台,以使云平台根据目标教师终端标识,将学生身份信息和搜索文本发送给目标教师终端标识所属的教师终端。

本发明实施例中,实施上述步骤306-步骤308,使教师可以根据收集到的某一些学生在该教师所教科目(如语文)上发出的搜题文本,发现这些学生在该教师所教科目(如语文)上遇到的问题,从而使得该教师可以针对性的向这些学生进一步讲解该学生遇到的问题,从而有利于提升该学生的学习效率。

309、家教设备检测云平台推送的用于激励学生学习的学习激励语音;其中,学习激励语音是目标教师终端标识所属的教师终端在收到云平台发送的学生身份信息和搜题文字后,由目标教师终端标识所属的教师终端提示教师上报给云平台的。

310、家教设备控制扬声器输出学习激励语音。

311、家教设备向云平台上报用于获取述监护人终端标识所属的监护人终端的即时位置的请求消息,请求消息包括所述监护人终端标识。

312、家教设备获取云平台发送的监护人终端标识所属的监护人终端的即时位置。

313、家教设备判断监护人终端标识所属的监护人终端的即时位置与家教设备的即时位置是否相同,若不相同,执行步骤314;若相同,结束本流程。

314、家教设备将学生身份信息、搜索文本以及监护人终端标识上报给云平台,以使云平台根据监护人终端标识,将学生身份信息和搜索文本发送给监护人终端标识所属的监护人终端。

本发明实施例中,监护人可以根据收集到的其监护的学生在学习上发出的搜题文本,发现该学生在学习上遇到的问题,从而使得监护人可以针对性的向其监护的学生进一步讲解该学生遇到的问题,从而有利于提升该学生的学习效率。

作为一种可选的实施方式,本发明实施例中,云平台可以检测已推送给家教设备的虚拟礼物的总数量是否超过指定数量,如果超过指定数量,云平台可以确定已推送给家教设备的虚拟礼物的总数量对应的尚未开通的语音搜题应用中的用户功能(如观看虚拟动物执行的动画功能),并为家教设备开通该用户权限,从而可以丰富语音搜题应用的可使用的用户功能,有利于提升学生的学习兴趣和动力。

作为一种可选的实施方式,在图3所描述的方法中,家教设备还可以执行以下操作:

家教设备检测家教设备当前是否无线连接有可穿戴设备,若家教设备当前无线连接有可穿戴设备,家教设备可以校验无线连接的可穿戴设备的身份标识与家教设备的合法用户的声音特征绑定的可穿戴设备的身份标识是否一致,若一致,家教设备通知该可穿戴设备启动可穿戴设备的录音咪头对环境音源进行监控,并且可穿戴设备可以校验监控到的环境音源与数据库中的儿童哭泣音源是否相匹配,若匹配,可穿戴设备播放目标音乐,目标音乐用于吸引转移学生的注意力,缓解学生在学习上遇到困难时产生的情绪。

由于录音咪头监控到的环境音源会含有背景噪声,因此,可穿戴设备可以先对含有背景噪声的环境音源进行预离散采样和量化得到数据帧,并对数据帧构建基于morlet小波函数的小波神经网络,对于小波神经网络参数构建粒子群适应度函数,再通过粒子群算法得到小波神经网络的最优参数,将数据帧输入小波神经网络进行滤波,从而去除噪声,提取得到语音信号;进一步地,可穿戴设备可以校验提取出的语音信号的声纹特征是否与数据库中的儿童哭泣音源的声纹特征相匹配,如果相匹配,可穿戴设备播放目标音乐,目标音乐用于吸引转移学生的注意力,缓解学生在学习上遇到困难时产生的情绪。其中,实施上述实施方式,可以提高对不同环境声源的噪声特征的适应度。

其中,可穿戴设备校验提取出的语音信号的声纹特征是否与数据库中的儿童哭泣音源的声纹特征相匹配,包括:

可穿戴设备对提取出的语音信号进行预处理,预处理包括预加重、分帧和加窗处理;

可穿戴设备从预处理后的语音信号中提取声纹特征mfcc、lpcc、△mfcc、△lpcc、能量、能量的一阶差分以及gfcc共同组成第一多维特征向量,其中:mfcc为梅尔频率倒谱系数,lpcc为线性预测倒谱系数,△mfcc为mfcc的一阶差分,△lpcc为lpcc的一阶差分,gfcc为gammatone滤波器倒谱系数;

可穿戴设备判断第一多维特征向量是否与数据库中的儿童哭泣音源的声纹特征对应的第二多维向量完全匹配,如果完全匹配,则准确的校验出提取出的语音信号的声纹特征与数据库中的儿童哭泣音源的声纹特征相匹配。

本发明实施例中,目标音乐可以是可穿戴设备预设的用于吸引转移学生的注意力,缓解学生在学习上遇到困难时产生的情绪的音乐;或者,也可以是可穿戴设备从云端获取的用于吸引转移学生的注意力,缓解学生在学习上遇到困难时产生的情绪的音乐,本发明实施例不作限定。

可见,实施图3所描述的方法,可以在家教设备处于黑屏状态时便捷的实现语音搜索,从而可以提高语音搜索效率;此外,家教设备由于无需点亮屏幕再进行语音搜索,从而可以降低对家教设备的电池续航能力的影响。

此外,实施图3所描述的方法,可以使教师根据收集到的某一些学生在该教师所教科目(如语文)上发出的搜题文本,发现这些学生在该教师所教科目(如语文)上遇到的问题,从而使得该教师可以针对性的向这些学生进一步讲解该学生遇到的问题,从而有利于提升该学生的学习效率。

此外,实施图3所描述的方法,可以缓解学生在学习上遇到困难时产生的情绪。

实施例四

请参阅图4,图4是本发明实施例公开的一种家教设备的结构示意图。如图4所示,该家教设备可以包括:

侦听单元401,用于在家教设备处于黑屏状态,侦听是否收到外界用户发出的搜索语音;

验证单元402,用于在侦听单元401侦听收到外界用户发出的搜索语音时,验证外界用户发出的搜索语音的声音特征与家教设备的合法用户的声音特征是否匹配;

检索单元403,用于在验证单元402的验证结果为匹配时,将搜索语音转换为搜索文本,并检索与搜索文本相对应的目标答案;

判断单元404,用于判断目标答案是否为可读信息;

控制单元405,用于在判断单元的判断结果为是时,控制扬声器按照家教设备的合法用户的声音特征关联的感兴趣语调输出所述目标答案。

可见,实施图4所描述的家教设备,可以在家教设备处于黑屏状态时便捷的实现语音搜索,从而可以提高语音搜索效率;此外,家教设备由于无需点亮屏幕再进行语音搜索,从而可以降低对家教设备的电池续航能力的影响。

实施例五

请参阅图5,图5是本发明实施例公开的另一种家教设备的结构示意图。其中,图5所示的家教设备是由图4所示的家教设备进行优化得到的。图5所示的家教设备除了包括图4所示的家教设备的全部组件之外,还包括:

查询单元406,用于在控制单元405控制扬声器按照家教设备的合法用户的声音特征关联的感兴趣语调输出所述目标答案之后,查询是否存储有家教设备的合法用户的声音特征对应的学生个人属性信息;其中,学生个人属性信息至少包括学生身份信息和学生对应的目标课程表,目标课程表至少包括学生学习的多个不同的学习科目以及每一个学习科目对应的教师终端标识;如果存储有家教设备的合法用户的声音特征对应的学生个人属性信息,以目标答案为依据,从目标课程表中查询出目标答案对应的目标学习科目;以及,从目标课程表中查询出目标学习科目对应的目标教师终端标识;

交互单元407,用于将学生身份信息、搜索文本以及目标教师终端标识上报给云平台,以使云平台根据目标教师终端标识,将学生身份信息和搜索文本发送给目标教师终端标识所属的教师终端,使教师可以根据收集到的某一些学生在该教师所教科目(如语文)上发出的搜题文本,发现这些学生在该教师所教科目(如语文)上遇到的问题,从而使得该教师可以针对性的向这些学生进一步讲解该学生遇到的问题,从而有利于提升该学生的学习效率。

作为一种可选的实施方式,图5所示的家教设备还包括:

检测单元408,用于检测云平台推送的用于激励学生学习的学习激励语音;其中,学习激励语音是目标教师终端标识所属的教师终端在收到云平台发送的学生身份信息和搜题文字后,由目标教师终端标识所属的教师终端提示教师上报给云平台的;

控制单元405,还用于控制扬声器输出学习激励语音。

作为一种可选的实施方式,学生个人属性信息还包括学生对应的监护人终端标识,交互单元407还用于将学生身份信息、搜索文本以及监护人终端标识上报给云平台,以使云平台根据监护人终端标识,将学生身份信息和搜索文本发送给监护人终端标识所属的监护人终端,使监护人可以根据收集到的其监护的学生在学习上发出的搜题文本,发现该学生在学习上遇到的问题,从而使得监护人可以针对性的向其监护的学生进一步讲解该学生遇到的问题,从而有利于提升该学生的学习效率。

作为一种可选的实施方式,交互单元407还用于在将学生身份信息、搜索文本以及监护人终端标识上报给云平台之前,向云平台上报用于获取监护人终端标识所属的监护人终端的即时位置的请求消息,请求消息包括监护人终端标识;以及,获取云平台发送的监护人终端标识所属的监护人终端的即时位置;以及,判断监护人终端标识所属的监护人终端的即时位置与家教设备的即时位置是否相同,若不相同,才将学生身份信息、搜索文本以及监护人终端标识上报给云平台。

作为一种可选的实施方式,在图5所描述的家教设备中,控制单元405还可以执行以下操作:

控制单元405检测家教设备当前是否无线连接有可穿戴设备,若家教设备当前无线连接有可穿戴设备,控制单元405可以校验无线连接的可穿戴设备的身份标识与家教设备的合法用户的声音特征绑定的可穿戴设备的身份标识是否一致,若一致,控制单元405通知该可穿戴设备启动可穿戴设备的录音咪头对环境音源进行监控,并且可穿戴设备可以校验监控到的环境音源与数据库中的儿童哭泣音源是否相匹配,若匹配,可穿戴设备播放目标音乐,目标音乐用于吸引转移学生的注意力,缓解学生在学习上遇到困难时产生的情绪。

由于录音咪头监控到的环境音源会含有背景噪声,因此,可穿戴设备可以先对含有背景噪声的环境音源进行预离散采样和量化得到数据帧,并对数据帧构建基于morlet小波函数的小波神经网络,对于小波神经网络参数构建粒子群适应度函数,再通过粒子群算法得到小波神经网络的最优参数,将数据帧输入小波神经网络进行滤波,从而去除噪声,提取得到语音信号;进一步地,可穿戴设备可以校验提取出的语音信号的声纹特征是否与数据库中的儿童哭泣音源的声纹特征相匹配,如果相匹配,可穿戴设备播放目标音乐,目标音乐用于吸引转移学生的注意力,缓解学生在学习上遇到困难时产生的情绪。其中,实施上述实施方式,可以提高对不同环境声源的噪声特征的适应度。

其中,可穿戴设备校验提取出的语音信号的声纹特征是否与数据库中的儿童哭泣音源的声纹特征相匹配,包括:

可穿戴设备对提取出的语音信号进行预处理,预处理包括预加重、分帧和加窗处理;

可穿戴设备从预处理后的语音信号中提取声纹特征mfcc、lpcc、△mfcc、△lpcc、能量、能量的一阶差分以及gfcc共同组成第一多维特征向量,其中:mfcc为梅尔频率倒谱系数,lpcc为线性预测倒谱系数,△mfcc为mfcc的一阶差分,△lpcc为lpcc的一阶差分,gfcc为gammatone滤波器倒谱系数;

可穿戴设备判断第一多维特征向量是否与数据库中的儿童哭泣音源的声纹特征对应的第二多维向量完全匹配,如果完全匹配,则准确的校验出提取出的语音信号的声纹特征与数据库中的儿童哭泣音源的声纹特征相匹配。

本发明实施例中,目标音乐可以是可穿戴设备预设的用于吸引转移学生的注意力,缓解学生在学习上遇到困难时产生的情绪的音乐;或者,也可以是可穿戴设备从云端获取的用于吸引转移学生的注意力,缓解学生在学习上遇到困难时产生的情绪的音乐,本发明实施例不作限定。

可见,实施图5所描述的家教设备,可以在家教设备处于黑屏状态时便捷的实现语音搜索,从而可以提高语音搜索效率;此外,家教设备由于无需点亮屏幕再进行语音搜索,从而可以降低对家教设备的电池续航能力的影响。

此外,实施图5所描述的家教设备,可以使教师根据收集到的某一些学生在该教师所教科目(如语文)上发出的搜题文本,发现这些学生在该教师所教科目(如语文)上遇到的问题,从而使得该教师可以针对性的向这些学生进一步讲解该学生遇到的问题,从而有利于提升该学生的学习效率。

此外,实施图5所描述的家教设备,可以缓解学生在学习上遇到困难时产生的情绪。

实施例六

请参阅图6,图6是本发明实施例公开的另一种家教设备的结构示意图。如图6所示,该家教设备可以包括:

存储有可执行程序代码的存储器601;

与存储器601耦合的处理器602;

其中,处理器602调用存储器601中存储的可执行程序代码,执行图1、图2或图3所描述的方法。

可见,实施图6所描述的家教设备,可以在家教设备处于黑屏状态时便捷的实现语音搜索,从而可以提高语音搜索效率;此外,家教设备由于无需点亮屏幕再进行语音搜索,从而可以降低对家教设备的电池续航能力的影响。

此外,实施图6所描述的家教设备,可以使教师根据收集到的某一些学生在该教师所教科目(如语文)上发出的搜题文本,发现这些学生在该教师所教科目(如语文)上遇到的问题,从而使得该教师可以针对性的向这些学生进一步讲解该学生遇到的问题,从而有利于提升该学生的学习效率。

此外,实施图6所描述的家教设备,可以缓解学生在学习上遇到困难时产生的情绪。

本发明实施例公开一种计算机可读存储介质,其存储计算机程序,其中,该计算机程序使得计算机执行图1、图2或图3所描述的方法。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质包括只读存储器(read-onlymemory,rom)、随机存储器(randomaccessmemory,ram)、可编程只读存储器(programmableread-onlymemory,prom)、可擦除可编程只读存储器(erasableprogrammablereadonlymemory,eprom)、一次可编程只读存储器(one-timeprogrammableread-onlymemory,otprom)、电子抹除式可复写只读存储器(electrically-erasableprogrammableread-onlymemory,eeprom)、只读光盘(compactdiscread-onlymemory,cd-rom)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。

以上对本发明实施例公开的一种黑屏状态下的人机交互方法及家教设备进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1