一种基于智慧台灯的人机交互方法及智慧台灯与流程

文档序号:16211048发布日期:2018-12-08 07:44阅读:318来源:国知局
一种基于智慧台灯的人机交互方法及智慧台灯与流程

本发明涉及人机交互技术领域,具体涉及一种基于智慧台灯的人机交互方法及智慧台灯。

背景技术

目前,很多低年级的学生在学习上通常会遇到各种问题,例如某一些字不会读、某一些题不会做或者某一些句子的含义无法理解等等。在实践中发现,很多低年级的学生的嘴巴比较灵活,在学习上遇到问题时总喜欢问身边的大人,例如“爸爸这个题怎么做”、“爸爸这个字怎么读”、“爸爸这句话什么意思”等等,如果大人不在学生的身边,则会影响学生的学习效率。



技术实现要素:

本发明实施例公开了一种基于智慧台灯的人机交互方法及智慧台灯,能够提升学生的学习效率。

本发明实施例第一方面公开一种基于智慧台灯的人机交互方法,所述方法包括:

所述智慧台灯在检测到书本被放置在所述智慧台灯的摄像头的下方时,控制所述摄像头识别出所述书本的页面边缘限定的区域作为拍摄区域;

所述智慧台灯控制所述摄像头对所述拍摄区域进行拍摄,获得拍摄图像;

所述智慧台灯控制所述智慧台灯的麦克风检测所述拍摄区域中的某一位置被触及时外界发出的提问语音;

所述智慧台灯从所述拍摄图像中识别出所述某一位置对应的学习内容,并确定出所述提问语音对应的与所述学习内容相关的回答语音;

所述智慧台灯控制所述智能台灯的扬声器播放所述回答语音。

作为一种可选的实施方式,在本发明实施例第一方面中,所述方法还包括:

所述智慧台灯将所述回答语音转换成回答文本;

所述智慧台灯控制所述智慧台灯的投射部件将所述回答文本投射至所述拍摄区域进行显示。

作为一种可选的实施方式,在本发明实施例第一方面中,所述智慧台灯控制所述智慧台灯的麦克风检测所述拍摄区域中的某一位置被触及时外界发出的提问语音之后,所述方法还包括:

所述智能台灯校验所述提问语音的声纹特征是否与数据库中的某一学生的声纹特征相匹配,如果相匹配,执行所述的从所述拍摄图像中识别出所述某一位置对应的学习内容,并确定出所述提问语音对应的与所述学习内容相关的回答语音。

作为一种可选的实施方式,在本发明实施例第一方面中,所述智慧台灯控制所述智慧台灯的投射单元将所述回答文本投射至所述拍摄区域进行显示之后,所述方法还包括:

所述智慧台灯以所述学生的声纹特征为依据,查询出所述学生的声纹特征绑定的所述学生的个人属性信息;其中,所述学生的个人属性信息至少包括所述学生的身份信息和所述学生对应的目标课程表,所述目标课程表至少包括所述学生学习的多个不同的学习科目以及每一个所述学习科目对应的教师终端标识;

所述智慧台灯以所述学习内容为依据,从所述目标课程表中查询出所述学习内容对应的目标学习科目;以及,从所述目标课程表中查询出所述目标学习科目对应的目标教师终端标识;

所述智慧台灯将所述学生的身份信息、所述学习内容以及所述目标教师终端标识上报给云平台,以使所述云平台根据所述目标教师终端标识,将所述学生的身份信息和所述学习内容发送给所述目标教师终端标识所属的教师终端。

作为一种可选的实施方式,在本发明实施例第一方面中,所述学生的个人属性信息还包括所述学生对应的监护人终端标识,所述方法还包括:

所述智慧台灯将所述学生的身份信息、所述学习内容以及所述监护人终端标识上报给云平台,以使所述云平台根据所述监护人终端标识,将所述学生的身份信息和所述学习内容发送给所述监护人终端标识所属的监护人终端。

本发明实施例第二方面公开一种智慧台灯,包括:

摄像头控制单元,用于在检测到书本被放置在所述智慧台灯的摄像头的下方时,控制所述摄像头识别出所述书本的页面边缘限定的区域作为拍摄区域;

所述摄像头控制单元,还用于控制所述摄像头对所述拍摄区域进行拍摄,获得拍摄图像;

麦克风控制单元,用于控制所述智慧台灯的麦克风检测所述拍摄区域中的某一位置被触及时外界发出的提问语音;

第一处理单元,用于从所述拍摄图像中识别出所述某一位置对应的学习内容,并确定出所述提问语音对应的与所述学习内容相关的回答语音;

扬声器控制单元,用于控制所述智能台灯的扬声器播放所述回答语音。

作为一种可选的实施方式,在本发明实施例第二方面中,所述智慧台灯还包括:

第二处理单元,用于将所述回答语音转换成回答文本;

投射控制单元,用于控制所述智慧台灯的投射部件将所述回答文本投射至所述拍摄区域进行显示。

作为一种可选的实施方式,在本发明实施例第二方面中,所述智慧台灯还包括:

声纹校验单元,用于在所述麦克风控制单元控制所述智慧台灯的麦克风检测所述拍摄区域中的某一位置被触及时外界发出的提问语音之后,校验所述提问语音的声纹特征是否与数据库中的某一学生的声纹特征相匹配;

所述第一处理单元,具体用于在所述声纹校验单元的校验结果为匹配时,从所述拍摄图像中识别出所述某一位置对应的学习内容,并确定出所述提问语音对应的与所述学习内容相关的回答语音。

作为一种可选的实施方式,在本发明实施例第二方面中,所述智慧台灯还包括:

信息查询单元,用于在所述投射控制单元控制所述智慧台灯的投射单元将所述回答文本投射至所述拍摄区域进行显示之后,以所述学生的声纹特征为依据,查询出所述学生的声纹特征绑定的所述学生的个人属性信息;其中,所述学生的个人属性信息至少包括所述学生的身份信息和所述学生对应的目标课程表,所述目标课程表至少包括所述学生学习的多个不同的学习科目以及每一个所述学习科目对应的教师终端标识;

所述信息查询单元,还用于以所述学习内容为依据,从所述目标课程表中识别出所述学习内容对应的目标学习科目;以及,从所述目标课程表中识别出所述目标学习科目对应的目标教师终端标识;

信息上报单元,用于将所述学生的身份信息、所述学习内容以及所述目标教师终端标识上报给云平台,以使所述云平台根据所述目标教师终端标识,将所述学生的身份信息和所述学习内容发送给所述目标教师终端标识所属的教师终端。

作为一种可选的实施方式,在本发明实施例第二方面中,所述学生的个人属性信息还包括所述学生对应的监护人终端标识,所述信息上报单元还用于将所述学生的身份信息、所述学习内容以及所述监护人终端标识上报给云平台,以使所述云平台根据所述监护人终端标识,将所述学生的身份信息和所述学习内容发送给所述监护人终端标识所属的监护人终端。

本发明实施例第三方面公开一种智慧台灯,包括:

存储有可执行程序代码的存储器;

与所述存储器耦合的处理器;

所述处理器调用所述存储器中存储的所述可执行程序代码,执行本发明实施例第一方面公开的所述基于智慧台灯的人机交互方法。

本发明实施例第四方面公开一种计算机可读存储介质,其存储计算机程序,其中,所述计算机程序使得计算机执行本发明实施例第一方面公开的所述基于智慧台灯的人机交互方法。

与现有技术相比,本发明实施例具有以下有益效果:

本发明实施例中,智慧台灯在检测到书本被放置在智慧台灯的摄像头的下方时,控制摄像头识别出书本的页面边缘限定的区域作为拍摄区域,并且控制摄像头对拍摄区域进行拍摄,获得拍摄图像;在此基础上,智慧台灯可以控制智慧台灯的麦克风检测拍摄区域中的某一位置被触及时外界发出的提问语音,以及从拍摄图像中识别出该位置对应的学习内容并确定出提问语音对应的与该学习内容相关的回答语音,以及控制智能台灯的扬声器播放该回答语音。可见,本发明实施例借助语音和拍照技术,创造出一种帮助学生解决学习上遇到的问题的基于智慧台灯的人机交互方法及智慧台灯,在不打乱学习过程的情况下,学生只需要把书本放在智慧台灯的摄像头的下方,并在触及拍摄区域上的某一位置时发出的提问语音(即一点一问),就可以获得该位置对应的学习内容相关的对应于该提问语音的回答语音,从而可以实现即使大人不在学生的身边的情况下,也能够提升学生的学习效率。此外,本发明实施例中,通过放置在智慧台灯的摄像头下方的书本的页面边缘来界定拍摄范围,能有效提高拍摄区域的清晰度和内容范围,减少不必要的识别干扰,保证搜索更准确。

附图说明

为了更清楚地说明本发明实施例中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1是本发明实施例公开的一种基于智慧台灯的人机交互方法的流程示意图;

图2是本发明实施例公开的另一种基于智慧台灯的人机交互方法的流程示意图;

图3是本发明实施例公开的一种智慧台灯的结构示意图;

图4是本发明实施例公开的另一种智慧台灯的结构示意图;

图5是本发明实施例公开的另一种智慧台灯的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

需要说明的是,本发明实施例及附图中的术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明实施例公开了一种基于智慧台灯的人机交互方法及智慧台灯,能够提升学生的学习效率。以下分别进行详细说明。

实施例一

请参阅图1,图1是本发明实施例公开的一种基于智慧台灯的人机交互方法的流程示意图。如图1所示,该基于智慧台灯的人机交互方法可以包括以下步骤:

101、智慧台灯在检测到书本被放置在智慧台灯的摄像头的下方时,控制摄像头识别出书本的页面边缘限定的区域作为拍摄区域。

作为一种可选的实施方式,本发明实施例中,智慧台灯的摄像头的下方可以铺设有织物基压力传感器阵列,该织物基压力传感器阵列可以通讯连接智慧台灯,当某一书本被放置在智慧台灯的摄像头的下方的该织物基压力传感器阵列上面时,该织物基压力传感器阵列可以检测到书本的按压力并上报给智慧台灯,以使智慧台灯获悉该织物基压力传感器阵列检测到书本被放置在智慧台灯的摄像头的下方,相应地,智慧台灯在该织物基压力传感器阵列检测到书本被放置在智慧台灯的摄像头的下方时,控制摄像头识别出书本的页面边缘限定的区域作为拍摄区域。

作为一种可选的实施方式,本发明实施例中,为了降低智慧台灯的功耗,智慧台灯在该织物基压力传感器阵列检测到书本被放置在智慧台灯的摄像头的下方时,智慧台灯可以先检测是否收到该织物基压力传感器阵列上报的、用于触发智慧台灯去控制摄像头识别出书本的页面边缘限定的区域作为拍摄区域的指定轨迹(如三角形轨迹),如果未收到指定轨迹,那么智慧台灯在该织物基压力传感器阵列检测到书本被放置在智慧台灯的摄像头的下方时,也无需启动摄像头;如果收到指定轨迹,那么智慧台灯在该织物基压力传感器阵列检测到书本被放置在智慧台灯的摄像头的下方时,可以启动摄像头,并控制摄像头识别出书本的页面边缘限定的区域作为拍摄区域。其中,该织物基压力传感器阵列可以检测学生在书本的页面上输入的指定轨迹数据,并上报给智慧台灯。

102、智慧台灯控制摄像头对拍摄区域进行拍摄,获得拍摄图像。

本发明实施例中,通过放置在智慧台灯的摄像头下方的书本的页面边缘来界定拍摄范围,能有效提高拍摄区域的清晰度和内容范围,减少不必要的识别干扰,保证搜索更准确。

103、智慧台灯控制智慧台灯的麦克风检测拍摄区域中的某一位置被触及时外界发出的提问语音。

本发明实施例中,学生可以通过手指或者学习笔按压被放置在智慧台灯的摄像头下方的书本的页面边缘限定的区域(即拍摄区域)中的某一位置,使得智慧台灯可以通过摄像头识别出拍摄区域中被触及的某一位置。其中,提问语音可以是学生针对上述某一位置对应的学习内容的提问语音,其中,上述某一位置对应的学习内容可以是一道题、一个字、一个词组或者一句话等等,而提问语音可以是“这个题怎么做”、“这个字怎么读”、“这个词组什么意思”、“这句话什么意思”等等。

104、智慧台灯从拍摄图像中识别出上述某一位置对应的学习内容,并确定出提问语音对应的与上述学习内容相关的回答语音。

举例来说,当智慧台灯识别出上述某一位置位于拍摄图像中的某一个句号的后面时,智慧台灯可以识别该句号是否为某一整段的学习内容的最后一个句号,如果是,则可以将该整段的学习内容作为上述某一位置对应的学习内容,相应地,提示语句可以是“这段话什么意思”、“这个题怎么做”等等;相应地,确定出的提问语音对应的与上述学习内容相关的回答语音可以为“这段话的意思是……”、“这个题的解答方式是……”等等;

如果该句号不是为某一整段的学习内容的最后一个句号,而是某一整段的学习内容的中间一个句号,则可以将该句号前面的一句话作为上述某一位置对应的学习内容,相应地,提示语句可以是“这句话什么意思”、“这句话怎么读”等等;相应地,确定出的提问语音对应的与上述学习内容相关的回答语音可以为“这句话的意思是……”、“这句话的读法是……”等等;

或者,当智慧台灯识别出上述某一位置位于拍摄图像中的某一个逗号的后面时,智慧台灯可以将该逗号前面的一句话作为上述某一位置对应的学习内容,相应地,提示语句可以是“这句话什么意思”、“这句话怎么读”等等;相应地,确定出的提问语音对应的与上述学习内容相关的回答语音可以为“这句话的意思是……”、“这句话的读法是……”等等;

又或者,当智慧台灯识别出上述某一位置位于拍摄图像中的某一个字所占区域上时,智慧台灯可以将该字作为上述某一位置对应的学习内容,相应地,提示语句可以是“这个字怎么读”、“这个字什么意思”等等;相应地,确定出的提问语音对应的与上述学习内容相关的回答语音可以为“这个字的读法是……”、“这个字的意思是……”等等;

又或者,当智慧台灯识别出上述某一位置位于拍摄图像中的某一词组所占区域的中间时,智慧台灯可以将该词组作为上述某一位置对应的学习内容,相应地,提示语句可以是“这个词组什么意思”、“这个词组怎么读”等等;相应地,确定出的提问语音对应的与上述学习内容相关的回答语音可以为“这个词组的意思是……”、“这个词组的读法是……”等等。

105、智慧台灯控制智能台灯的扬声器播放上述回答语音。

可见,图1所描述的方法借助语音和拍照技术,创造出一种帮助学生解决学习上遇到的问题的基于智慧台灯的人机交互方法,在不打乱学习过程的情况下,学生只需要把书本放在智慧台灯的摄像头的下方,并在触及拍摄区域上的某一位置时发出的提问语音(即一点一问),就可以获得该位置对应的学习内容相关的对应于该提问语音的回答语音,从而可以实现即使大人不在学生的身边的情况下,也能够提升学生的学习效率。此外,图1所描述的方法通过放置在智慧台灯的摄像头下方的书本的页面边缘来界定拍摄范围,能有效提高拍摄区域的清晰度和内容范围,减少不必要的识别干扰,保证搜索更准确。

实施例二

请参阅图2,图2是本发明实施例公开的另一种基于智慧台灯的人机交互方法的流程示意图。如图2所示,该基于智慧台灯的人机交互方法可以包括以下步骤:

201、智慧台灯在检测到书本被放置在智慧台灯的摄像头的下方时,控制摄像头识别出书本的页面边缘限定的区域作为拍摄区域。

202、智慧台灯控制摄像头对拍摄区域进行拍摄,获得拍摄图像。

203、智慧台灯控制智慧台灯的麦克风检测拍摄区域中的某一位置被触及时外界发出的提问语音。

204、智能台灯校验提问语音的声纹特征是否与数据库中的某一学生的声纹特征相匹配,如果相匹配,执行步骤205-步骤211;如果不相匹配,结束本流程。

本发明实施例中,实施上述步骤204,可以提高基于智慧台灯的人机交互的合法性和专属性。

205、智慧台灯从拍摄图像中识别出上述某一位置对应的学习内容,并确定出提问语音对应的与上述学习内容相关的回答语音。

206、智慧台灯控制智能台灯的扬声器播放上述回答语音。

207、智慧台灯将上述回答语音转换成回答文本。

208、智慧台灯控制智慧台灯的投射部件将上述回答文本投射至上述拍摄区域进行显示。

其中,智慧台灯的投射部件包括但不限于激光投射部件、自然光投射部件。

209、智慧台灯以该学生的声纹特征为依据,查询出该学生的声纹特征绑定的该学生的个人属性信息;其中,该学生的个人属性信息至少包括该学生的身份信息和该学生对应的目标课程表,该目标课程表至少包括该学生学习的多个不同的学习科目以及每一个学习科目对应的教师终端标识。

其中,教师终端标识可以是教师终端的手机号码或教师终端安装的教学应用的账号信息。

210、智慧台灯以该学习内容为依据,从该目标课程表中查询出该学习内容对应的目标学习科目;以及,从该目标课程表中查询出该目标学习科目对应的目标教师终端标识。

211、智慧台灯将该学生的身份信息、该学习内容以及该目标教师终端标识上报给云平台,以使云平台根据该目标教师终端标识,将该学生的身份信息和该学习内容发送给该目标教师终端标识所属的教师终端。

本发明实施例中,实施上述步骤209-步骤210,使教师可以收集到某一些学生在该教师所教科目(如语文)上遇到存在问题的学习内容,从而使得该教师可以针对性的向每一个学生进一步讲解该学生遇到存在问题的学习内容,从而有利于提升该学生的学习效率。

作为一种可选的实施方式,本发明实施例中,该学生的个人属性信息还可以包括该学生对应的监护人终端标识。相应地,图2所描述的方法还可以包括:

智慧台灯将该学生的身份信息、该学习内容以及该监护人终端标识上报给云平台,以使云平台根据该监护人终端标识,将该学生的身份信息和该学习内容发送给该监护人终端标识所属的监护人终端,使监护人可以收集到其监护的学生遇到存在问题的学习内容,从而使得监护人可以针对性的向其监护的学生进一步讲解该学生遇到存在问题的学习内容,从而有利于提升该学生的学习效率。

可见,图2所描述的方法借助语音和拍照技术,创造出一种帮助学生解决学习上遇到的问题的基于智慧台灯的人机交互方法,在不打乱学习过程的情况下,学生只需要把书本放在智慧台灯的摄像头的下方,并在触及拍摄区域上的某一位置时发出的提问语音(即一点一问),就可以获得该位置对应的学习内容相关的对应于该提问语音的回答语音,从而可以实现即使大人不在学生的身边的情况下,也能够提升学生的学习效率。此外,图2所描述的方法通过放置在智慧台灯的摄像头下方的书本的页面边缘来界定拍摄范围,能有效提高拍摄区域的清晰度和内容范围,减少不必要的识别干扰,保证搜索更准确。

作为一种可选的实施方式,在图2所描述的方法中,该学生的个人属性信息还可以包括该学生穿戴的可穿戴设备的标识,相应地,图2所描述的方法还可以包括以下步骤:

智慧台灯检测智慧台灯当前是否无线连接有可穿戴设备,如果智慧台灯当前无线连接有可穿戴设备,那么智慧台灯可以识别无线连接的可穿戴设备的标识与该学生穿戴的可穿戴设备的标识是否相同,如果相同,通知该学生穿戴的可穿戴设备启动可穿戴设备的录音咪头对环境音源进行监控,并且可穿戴设备可以校验监控到的环境音源与数据库中的儿童哭泣音源是否相匹配,若匹配,可穿戴设备播放目标音乐,目标音乐用于吸引转移学生的注意力,缓解学生在学习上遇到困难时产生的情绪。

作为一种可选的实施方式,本发明实施例中,由于录音咪头监控到的环境音源会含有背景噪声,因此,可穿戴设备可以先对含有背景噪声的环境音源进行预离散采样和量化得到数据帧,并对数据帧构建基于morlet小波函数的小波神经网络,对于小波神经网络参数构建粒子群适应度函数,再通过粒子群算法得到小波神经网络的最优参数,将数据帧输入小波神经网络进行滤波,从而去除噪声,提取得到语音信号;进一步地,可穿戴设备可以校验提取出的语音信号的声纹特征是否与数据库中的儿童哭泣音源的声纹特征相匹配,如果相匹配,可穿戴设备播放目标音乐,目标音乐用于吸引转移学生的注意力,缓解学生在学习上遇到困难时产生的情绪。其中,实施上述实施方式,可以提高对不同环境声源的噪声特征的适应度。

其中,可穿戴设备校验提取出的语音信号的声纹特征是否与数据库中的儿童哭泣音源的声纹特征相匹配,包括:

可穿戴设备对提取出的语音信号进行预处理,预处理包括预加重、分帧和加窗处理;

可穿戴设备从预处理后的语音信号中提取声纹特征mfcc、lpcc、△mfcc、△lpcc、能量、能量的一阶差分以及gfcc共同组成第一多维特征向量,其中:mfcc为梅尔频率倒谱系数,lpcc为线性预测倒谱系数,△mfcc为mfcc的一阶差分,△lpcc为lpcc的一阶差分,gfcc为gammatone滤波器倒谱系数;

可穿戴设备判断第一多维特征向量是否与数据库中的儿童哭泣音源的声纹特征对应的第二多维向量完全匹配,如果完全匹配,则准确的校验出提取出的语音信号的声纹特征与数据库中的儿童哭泣音源的声纹特征相匹配。

本发明实施例中,目标音乐可以是可穿戴设备预设的用于吸引转移学生的注意力,缓解学生在学习上遇到困难时产生的情绪的音乐;或者,也可以是可穿戴设备从云端获取的用于吸引转移学生的注意力,缓解学生在学习上遇到困难时产生的情绪的音乐,本发明实施例不作限定。

作为一种可选的实施方式,本发明实施例中,如果可穿戴设备校验提取出的语音信号的声纹特征与数据库中的儿童哭泣音源的声纹特征不匹配,可穿戴设备可以采集儿童的心电图数据,并对心电图数据进行去噪处理,采用心电图r波提取算法提取经过去噪处理的心电图数据中的r波峰值,以及计算经过去噪处理的心电图数据中相邻r波之间rr间距;以及,可穿戴设备可以计算rr间距的频域指标、时域指标及非线性指标;其中,频域指标包括副交感神经活性指标,时域指标包括短程心率变动性指标;短程心率变动性指标通过获取rr间距差值平方和的均方根来计算;副交感神经活性指标通过快速傅里叶变换来计算;非线性指标通过分形维数计算方法来计算;以及,可穿戴设备根据频域指标、时域指标及非线性指标,分析学生的情绪的活力值;活力值为根据时域指标、频域指标及非线性指标建立的多元线性回归方程计算得到的值;以及,可穿戴设备根据活力值识别佩戴可穿戴设备的学生的情绪是否不稳定,如果不稳定,可穿戴设备播放目标音乐,目标音乐用于吸引转移学生的注意力,缓解学生在学习上遇到困难时产生的情绪。

实施例三

请参阅图3,图3是本发明实施例公开的一种智慧台灯的结构示意图。如图3所示,该智慧台灯可以包括:

摄像头控制单元301,用于在检测到书本被放置在智慧台灯的摄像头的下方时,控制摄像头识别出书本的页面边缘限定的区域作为拍摄区域;以及,还用于控制摄像头对所述拍摄区域进行拍摄,获得拍摄图像;

麦克风控制单元302,用于控制智慧台灯的麦克风检测拍摄区域中的某一位置被触及时外界发出的提问语音;

第一处理单元303,用于从拍摄图像中识别出上述某一位置对应的学习内容,并确定出提问语音对应的与该学习内容相关的回答语音;

扬声器控制单元304,用于控制智能台灯的扬声器播放该回答语音。

作为一种可选的实施方式,本发明实施例中,智慧台灯的摄像头的下方可以铺设有织物基压力传感器阵列,该织物基压力传感器阵列可以通讯连接智慧台灯,当某一书本被放置在智慧台灯的摄像头的下方的该织物基压力传感器阵列上面时,该织物基压力传感器阵列可以检测到书本的按压力并上报给智慧台灯,以使摄像头控制单元301获悉该织物基压力传感器阵列检测到书本被放置在智慧台灯的摄像头的下方,相应地,摄像头控制单元301在该织物基压力传感器阵列检测到书本被放置在智慧台灯的摄像头的下方时,控制摄像头识别出书本的页面边缘限定的区域作为拍摄区域。

作为一种可选的实施方式,本发明实施例中,为了降低智慧台灯的功耗,摄像头控制单元301在该织物基压力传感器阵列检测到书本被放置在智慧台灯的摄像头的下方时,摄像头控制单元301可以先检测是否收到该织物基压力传感器阵列上报的、用于触发智慧台灯去控制摄像头识别出书本的页面边缘限定的区域作为拍摄区域的指定轨迹(如三角形轨迹),如果未收到指定轨迹,那么摄像头控制单元301在该织物基压力传感器阵列检测到书本被放置在智慧台灯的摄像头的下方时,也无需启动摄像头;如果收到指定轨迹,那么摄像头控制单元301在该织物基压力传感器阵列检测到书本被放置在智慧台灯的摄像头的下方时,可以启动摄像头,并控制摄像头识别出书本的页面边缘限定的区域作为拍摄区域。其中,该织物基压力传感器阵列可以检测学生在书本的页面上输入的指定轨迹数据,并上报给智慧台灯。

本发明实施例中,学生可以通过手指或者学习笔按压被放置在智慧台灯的摄像头下方的书本的页面边缘限定的区域(即拍摄区域)中的某一位置,使得第一处理单元303可以通过摄像头识别出拍摄区域中被触及的某一位置。其中,提问语音可以是学生针对上述某一位置对应的学习内容的提问语音,其中,上述某一位置对应的学习内容可以是一道题、一个字、一个词组或者一句话等等,而提问语音可以是“这个题怎么做”、“这个字怎么读”、“这个词组什么意思”、“这句话什么意思”等等。

可见,图3所描述智慧台灯借助语音和拍照技术,创造出一种帮助学生解决学习上遇到的问题的基于智慧台灯的人机交互方法,在不打乱学习过程的情况下,学生只需要把书本放在智慧台灯的摄像头的下方,并在触及拍摄区域上的某一位置时发出的提问语音(即一点一问),就可以获得该位置对应的学习内容相关的对应于该提问语音的回答语音,从而可以实现即使大人不在学生的身边的情况下,也能够提升学生的学习效率。此外,图1所描述的智慧台灯通过放置在智慧台灯的摄像头下方的书本的页面边缘来界定拍摄范围,能有效提高拍摄区域的清晰度和内容范围,减少不必要的识别干扰,保证搜索更准确。

实施例四

请参阅图4,图4是本发明实施例公开的另一种智慧台灯的结构示意图。其中,图4所示的智慧台灯是由图3所示的智慧台灯进行优化得到的。图4所示的智慧台灯除了包括图3所示的智慧台灯的全部组件之外,还包括:

第二处理单元305,用于将回答语音转换成回答文本;

投射控制单元306,用于控制智慧台灯的投射部件将所述回答文本投射至所述拍摄区域进行显示;其中,智慧台灯的投射部件包括但不限于激光投射部件、自然光投射部件;

声纹校验单元307,用于在麦克风控制单元302控制智慧台灯的麦克风检测拍摄区域中的某一位置被触及时外界发出的提问语音之后,校验提问语音的声纹特征是否与数据库中的某一学生的声纹特征相匹配;

第一处理单元303,具体用于在声纹校验单元307的校验结果为匹配时,从拍摄图像中识别出上述某一位置对应的学习内容,并确定出提问语音对应的与该学习内容相关的回答语音;

信息查询单元308,用于在投射控制单元306控制智慧台灯的投射单元将回答文本投射至所述拍摄区域进行显示之后,以该学生的声纹特征为依据,查询出该学生的声纹特征绑定的该学生的个人属性信息;其中,该学生的个人属性信息至少包括该学生的身份信息和该学生对应的目标课程表,该目标课程表至少包括该学生学习的多个不同的学习科目以及每一个学习科目对应的教师终端标识;

信息查询单元308,还用于以该学习内容为依据,从目标课程表中识别出该学习内容对应的目标学习科目;以及,从目标课程表中识别出目标学习科目对应的目标教师终端标识;

信息上报单元309,用于将该学生的身份信息、该学习内容以及目标教师终端标识上报给云平台,以使云平台根据目标教师终端标识,将该学生的身份信息和该学习内容发送给目标教师终端标识所属的教师终端,使教师可以收集到某一些学生在该教师所教科目(如语文)上遇到存在问题的学习内容,从而使得该教师可以针对性的向每一个学生进一步讲解该学生遇到存在问题的学习内容,从而有利于提升该学生的学习效率。

作为一种可选的实施方式,本发明实施例中,该学生的个人属性信息还可以包括该学生对应的监护人终端标识,信息上报单元309还用于将该学生的身份信息、该学习内容以及监护人终端标识上报给云平台,以使云平台根据监护人终端标识,将该学生的身份信息和该学习内容发送给监护人终端标识所属的监护人终端,使监护人可以收集到其监护的学生遇到存在问题的学习内容,从而使得监护人可以针对性的向其监护的学生进一步讲解该学生遇到存在问题的学习内容,从而有利于提升该学生的学习效率。

可见,图4所描述的智慧台灯借助语音和拍照技术,创造出一种帮助学生解决学习上遇到的问题的基于智慧台灯的人机交互方法,在不打乱学习过程的情况下,学生只需要把书本放在智慧台灯的摄像头的下方,并在触及拍摄区域上的某一位置时发出的提问语音(即一点一问),就可以获得该位置对应的学习内容相关的对应于该提问语音的回答语音,从而可以实现即使大人不在学生的身边的情况下,也能够提升学生的学习效率。此外,图4所描述的智慧台灯通过放置在智慧台灯的摄像头下方的书本的页面边缘来界定拍摄范围,能有效提高拍摄区域的清晰度和内容范围,减少不必要的识别干扰,保证搜索更准确。

作为一种可选的实施方式,在图4所描述的智慧台灯中,该学生的个人属性信息还可以包括该学生穿戴的可穿戴设备的标识,相应地,第一处理单元303还可以执行以下操作:

第一处理单元303检测智慧台灯当前是否无线连接有可穿戴设备,如果智慧台灯当前无线连接有可穿戴设备,那么第一处理单元303可以识别无线连接的可穿戴设备的标识与该学生穿戴的可穿戴设备的标识是否相同,如果相同,第一处理单元303通知该学生穿戴的可穿戴设备启动可穿戴设备的录音咪头对环境音源进行监控,并且可穿戴设备可以校验监控到的环境音源与数据库中的儿童哭泣音源是否相匹配,若匹配,可穿戴设备播放目标音乐,目标音乐用于吸引转移学生的注意力,缓解学生在学习上遇到困难时产生的情绪。

作为一种可选的实施方式,本发明实施例中,由于录音咪头监控到的环境音源会含有背景噪声,因此,可穿戴设备可以先对含有背景噪声的环境音源进行预离散采样和量化得到数据帧,并对数据帧构建基于morlet小波函数的小波神经网络,对于小波神经网络参数构建粒子群适应度函数,再通过粒子群算法得到小波神经网络的最优参数,将数据帧输入小波神经网络进行滤波,从而去除噪声,提取得到语音信号;进一步地,可穿戴设备可以校验提取出的语音信号的声纹特征是否与数据库中的儿童哭泣音源的声纹特征相匹配,如果相匹配,可穿戴设备播放目标音乐,目标音乐用于吸引转移学生的注意力,缓解学生在学习上遇到困难时产生的情绪。其中,实施上述实施方式,可以提高对不同环境声源的噪声特征的适应度。

其中,可穿戴设备校验提取出的语音信号的声纹特征是否与数据库中的儿童哭泣音源的声纹特征相匹配,包括:

可穿戴设备对提取出的语音信号进行预处理,预处理包括预加重、分帧和加窗处理;

可穿戴设备从预处理后的语音信号中提取声纹特征mfcc、lpcc、△mfcc、△lpcc、能量、能量的一阶差分以及gfcc共同组成第一多维特征向量,其中:mfcc为梅尔频率倒谱系数,lpcc为线性预测倒谱系数,△mfcc为mfcc的一阶差分,△lpcc为lpcc的一阶差分,gfcc为gammatone滤波器倒谱系数;

可穿戴设备判断第一多维特征向量是否与数据库中的儿童哭泣音源的声纹特征对应的第二多维向量完全匹配,如果完全匹配,则准确的校验出提取出的语音信号的声纹特征与数据库中的儿童哭泣音源的声纹特征相匹配。

本发明实施例中,目标音乐可以是可穿戴设备预设的用于吸引转移学生的注意力,缓解学生在学习上遇到困难时产生的情绪的音乐;或者,也可以是可穿戴设备从云端获取的用于吸引转移学生的注意力,缓解学生在学习上遇到困难时产生的情绪的音乐,本发明实施例不作限定。

作为一种可选的实施方式,本发明实施例中,如果可穿戴设备校验提取出的语音信号的声纹特征与数据库中的儿童哭泣音源的声纹特征不匹配,可穿戴设备可以采集儿童的心电图数据,并对心电图数据进行去噪处理,采用心电图r波提取算法提取经过去噪处理的心电图数据中的r波峰值,以及计算经过去噪处理的心电图数据中相邻r波之间rr间距;以及,可穿戴设备可以计算rr间距的频域指标、时域指标及非线性指标;其中,频域指标包括副交感神经活性指标,时域指标包括短程心率变动性指标;短程心率变动性指标通过获取rr间距差值平方和的均方根来计算;副交感神经活性指标通过快速傅里叶变换来计算;非线性指标通过分形维数计算方法来计算;以及,可穿戴设备根据频域指标、时域指标及非线性指标,分析学生的情绪的活力值;活力值为根据时域指标、频域指标及非线性指标建立的多元线性回归方程计算得到的值;以及,可穿戴设备根据活力值识别佩戴可穿戴设备的学生的情绪是否不稳定,如果不稳定,可穿戴设备播放目标音乐,目标音乐用于吸引转移学生的注意力,缓解学生在学习上遇到困难时产生的情绪。

实施例五

请参阅图5,图5是本发明实施例公开的另一种智慧台灯的结构示意图。如图5所示,该智慧台灯可以包括:

存储有可执行程序代码的存储器501;

与存储器501耦合的处理器502;

其中,处理器502调用存储器501中存储的可执行程序代码,执行图1或图2所描述的方法。

可见,图5所描述的智慧台灯借助语音和拍照技术,创造出一种帮助学生解决学习上遇到的问题的基于智慧台灯的人机交互方法,在不打乱学习过程的情况下,学生只需要把书本放在智慧台灯的摄像头的下方,并在触及拍摄区域上的某一位置时发出的提问语音(即一点一问),就可以获得该位置对应的学习内容相关的对应于该提问语音的回答语音,从而可以实现即使大人不在学生的身边的情况下,也能够提升学生的学习效率。此外,图5所描述的智慧台灯通过放置在智慧台灯的摄像头下方的书本的页面边缘来界定拍摄范围,能有效提高拍摄区域的清晰度和内容范围,减少不必要的识别干扰,保证搜索更准确。

本发明实施例公开一种计算机可读存储介质,其存储计算机程序,其中,该计算机程序使得计算机执行图1或图2所描述的方法。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质包括只读存储器(read-onlymemory,rom)、随机存储器(randomaccessmemory,ram)、可编程只读存储器(programmableread-onlymemory,prom)、可擦除可编程只读存储器(erasableprogrammablereadonlymemory,eprom)、一次可编程只读存储器(one-timeprogrammableread-onlymemory,otprom)、电子抹除式可复写只读存储器(electrically-erasableprogrammableread-onlymemory,eeprom)、只读光盘(compactdiscread-onlymemory,cd-rom)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。

以上对本发明实施例公开的一种基于智慧台灯的人机交互方法及智慧台灯进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1