一种人机交互方法及电子设备与流程

文档序号:20573123发布日期:2020-04-29 00:56阅读:108来源:国知局
一种人机交互方法及电子设备与流程

本发明涉及电子设备技术领域,尤其涉及一种人机交互方法及电子设备。



背景技术:

目前,很多学生用户会使用电子设备(如家教机)来辅助学习。在电子设备的一种常见的使用场景中,学生用户可以利用某一手指(如食指)来点击学习页面(如纸质页面)上的某一内容(如不会读的生字词),以触发电子设备识别学生用户所指的内容并报读该内容。

在实践中发现,学生用户利用某一手指(如食指)来点击学习页面(如纸质页面)上的某一内容(如不会读的生字词)时,其它手指需要弯曲收起,以避免影响电子设备对学生用户所指内容的识别率和准确性。这种要求比较严苛,会降低学生用户的操作体验感;特别是,年纪较小的学生用户在实际使用过程中有可能多个手指伸开或手掌趴放在学习页面上,很容易影响电子设备对学生用户所指内容的识别率和准确性。



技术实现要素:

本发明实施例公开了一种人机交互方法及电子设备,有利于提高对用户所指内容的识别率和准确性,提升用户是操作体验感。

本发明实施例第一方面公开一种人机交互方法,包括:

从触及某一学习页面的若干个手指中识别出佩戴了标记有指定图形的手指套的目标手指;

从所述学习页面中识别出所述目标手指触及的内容,作为用户所指内容。

作为一种可选的实施方式,在本发明实施例第一方面中,所述指定图形的含义用于表示对内容进行报读,所述方法还包括:

获取所述指定图形绑定的预设声纹特征;

采用所述预设声纹特征报读所述用户所指内容。

作为另一种可选的实施方式,在本发明实施例第一方面中,所述指定图形的含义还用于表示查询内容对应的搜索结果,所述方法还包括:

查询所述用户所指内容对应的搜索结果;

控制显示屏输出所述用户所指内容对应的搜索结果。

作为另一种可选的实施方式,在本发明实施例第一方面中,所述控制显示屏输出所述用户所指内容对应的搜索结果之后,所述方法还包括:

检测用户的眼睛视线是否落在所述显示屏上;

若所述用户的眼睛视线未落在所述显示屏上,控制所述显示屏进入待机状态;

采用所述预设声纹特征报读所述用户所指内容对应的搜索结果。

作为另一种可选的实施方式,在本发明实施例第一方面中,所述方法还包括:

若所述用户的眼睛视线落在所述显示屏上,识别所述用户是否为盲人用户,若是,执行所述的控制所述显示屏进入待机状态的步骤。

作为另一种可选的实施方式,在本发明实施例第一方面中,所述方法应用于设置在图书馆中的电子设备,其特征在于,所述电子设备与在所述图书馆的入口处设置的互动设备建立通信连接,所述互动设备上摆放有所述标记有指定图形的手指套,并且在所述互动设备监测到某一用户拿起所述标记有指定图形的手指套时,由所述互动设备输出包括卡通对象集合,并由所述互动设备将所述指定图形与所述用户从所述卡通对象集合中选取的某一卡通对象对应的预设声纹特征进行绑定后发送给所述电子设备。

本发明实施例第二方面公开一种电子设备,包括:

第一识别单元,用于从触及某一学习页面的若干个手指中识别出佩戴了标记有指定图形的手指套的目标手指;

第二识别单元,用于从所述学习页面中识别出所述目标手指触及的内容,作为用户所指内容。

作为另一种可选的实施方式,在本发明实施例第二方面中,所述指定图形的含义用于表示对内容进行报读,所述电子设备还包括:

获取单元,用于获取所述指定图形绑定的预设声纹特征;

报读单元,用于采用所述预设声纹特征报读所述用户所指内容。

作为另一种可选的实施方式,在本发明实施例第二方面中,所述指定图形的含义还用于表示查询内容对应的搜索结果,所述电子设备还包括:

查询单元,用于查询所述用户所指内容对应的搜索结果;

第一控制单元,用于控制显示屏输出所述用户所指内容对应的搜索结果。

作为另一种可选的实施方式,在本发明实施例第二方面中,所述电子设备还包括:

检测单元,用于在所述第一控制单元控制显示屏输出所述用户所指内容对应的搜索结果之后,检测用户的眼睛视线是否落在所述显示屏上;

第二控制单元,用于在所述检测单元检测出所述用户的眼睛视线未落在所述显示屏上时,控制所述显示屏进入待机状态;

所述报读单元,还用于采用所述预设声纹特征报读所述用户所指内容对应的搜索结果。

作为另一种可选的实施方式,在本发明实施例第二方面中,所述电子设备还包括:

第三识别单元,用于在所述检测单元检测出所述用户的眼睛视线落在所述显示屏上时,识别所述用户是否为盲人用户;

所述第二控制单元,还用于在所述第三识别单元识别出所述用户为盲人用户时,控制所述显示屏进入待机状态。

作为另一种可选的实施方式,在本发明实施例第二方面中,所述电子设备与在所述图书馆的入口处设置的互动设备建立通信连接,所述互动设备上摆放有所述标记有指定图形的手指套,并且在所述互动设备监测到某一用户拿起所述标记有指定图形的手指套时,由所述互动设备输出包括卡通对象集合,并由所述互动设备将所述指定图形与所述用户从所述卡通对象集合中选取的某一卡通对象对应的预设声纹特征进行绑定后发送给所述电子设备。

本发明实施例第三方面公开了另一种电子设备,包括:

存储有可执行程序代码的存储器;

与所述存储器耦合的处理器;

所述处理器调用所述存储器中存储的所述可执行程序代码,执行本发明实施例第一方面公开的任意一种方法中的全部或部分步骤。

本发明实施例第四方面公开了一种计算机可读存储介质,其特征在于,其存储用于电子数据交换的计算机程序,其中,所述计算机程序使得计算机执行本发明实施例第一方面公开的任意一种方法中的全部或部分步骤。

本发明实施例第五方面公开一种计算机程序产品,当所述计算机程序产品在计算机上运行时,使得所述计算机执行本发明实施例第一方面的任意一种方法的部分或全部步骤。

与现有技术相比,本发明实施例具有以下有益效果:

本发明实施例中,电子设备可以从触及某一学习页面的若干个手指中识别出佩戴了标记有指定图形的手指套的目标手指,进而可以从该学习页面中识别出目标手指触及的内容,作为用户所指内容。可见,实施本发明实施例,即使年纪较小的学生用户在实际使用过程中多个手指伸开或手掌趴放在学习页面上,也不影响电子设备对学生用户所指内容的识别率和准确性,从而有利于提高对用户所指内容的识别率和准确性;此外,用户可以把标记有指定图形的手指套佩戴在习惯的任何一个手指上,这样不管是用户手指全散开还是弯曲等其他自然舒适习惯下,都能准确地识别出用户所指内容,使用要求较低,用户可以在遵循自己习惯和自然舒适的状态下顺利的完成学习,从而可以提升用户是操作体验感。

附图说明

为了更清楚地说明本发明实施例中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1是本发明实施例公开的一种人机交互方法的流程示意图;

图2是本发明实施例公开的另一种人机交互方法的流程示意图;

图3是本发明实施例公开的又一种人机交互方法的流程示意图;

图4是本发明实施例公开的一种电子设备的结构示意图;

图5是本发明实施例公开的另一种电子设备的结构示意图;

图6是本发明实施例公开的又一种电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

需要说明的是,本发明实施例的术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明实施例公开了一种人机交互方法及电子设备,有利于提高对用户所指内容的识别率和准确性,提升用户是操作体验感。以下进行结合附图进行详细描述。

请参阅图1,图1是本发明实施例公开的一种人机交互方法的流程示意图。如图1所示,该人机交互方法可以包括以下步骤。

101、电子设备从触及某一学习页面的若干个手指中识别出佩戴了标记有指定图形的手指套的目标手指。

在一个实施例中,用户(如学生用户)可以将其若干个手指触及某一学习页面(如纸质学习页面),并且该若干个手指中的某一目标手指上可以佩戴标记有指定图形(如指定logo)的手指套,以使得电子设备可以从触及该学习页面的该若干个手指中识别出佩戴了标记有指定图形(如指定logo)的手指套的目标手指。举例来说,电子设备可以通过自身的拍摄模组或外接的拍摄模组从触及该学习页面的该若干个手指中识别出佩戴了标记有指定图形(如指定logo)的手指套的目标手指。

在一个实施例中,电子设备可以通过传感器(如压力传感器)检测某一学习页面(如纸质学习页面)是否被触及,如果被触及,可以启动电子设备自身的拍摄模组或外接的拍摄模组对正在被触及的该学习页面(如纸质学习页面)进行拍摄,以获得拍摄图像;其中,拍摄图像可以包括若干个手指,该若干个手指中的某一目标手指上佩戴标记有指定图形(如指定logo)的手指套;以及,拍摄图像还包括该学习页面(如纸质学习页面)上的未被该若干个手指遮挡的学习内容;进一步地,电子设备可以从拍摄图像包括的若干个手指中识别出佩戴标记有指定图形(如指定logo)的手指套的目标手指。

在另一个实施例中,电子设备从触及某一学习页面的若干个手指中识别出佩戴了标记有指定图形的手指套的目标手指之后,还可以进一步执行以下步骤:

电子设备可以查询该标记有指定图形的手指套是否绑定有允许使用时间范围,如果未绑定有,直接执行步骤102;若绑定有,电子设备可以校验当前系统显示时间是否位于该允许使用时间范围内,如果位于,电子设备执行步骤102;反之,电子设备可以结束本流程。

其中,上述允许使用时间范围可以跟电子设备的工作时间范围相同;或者,上述允许使用时间范围也可以跟电子设备的工作时间范围不相同,例如,上述允许使用时间范围可以是电子设备的工作时间范围包含的部分时间范围,在该部分时间范围内电子设备的电池剩余电量均大于指定电量。

102、电子设备从该学习页面中识别出目标手指触及的内容,作为用户所指内容。

在一个实施例中,电子设备可以根据拍摄图像包括的该学习页面(如纸质学习页面)上的未被该若干个手指遮挡的学习内容,获取该学习页面(如纸质学习页面)对应的电子页面,并将电子页面的内容与该学习页面(如纸质学习页面)上的未被该若干个手指遮挡的学习内容进行对比,以确定出该学习页面(如纸质学习页面)上的被该若干个手指遮挡的学习内容;以及,根据目标手指在该学习页面上的位置,从该学习页面(如纸质学习页面)上的被该若干个手指遮挡的学习内容中确定出目标手指遮挡(即目标手指触及)的内容作为用户所指内容。

可见,实施图1所描述的人机交互方法,即使年纪较小的学生用户在实际使用过程中多个手指伸开或手掌趴放在学习页面上,也不影响电子设备对学生用户所指内容的识别率和准确性,从而有利于提高对用户所指内容的识别率和准确性;此外,用户可以把标记有指定图形的手指套佩戴在习惯的任何一个手指上,这样不管是用户手指全散开还是弯曲等其他自然舒适习惯下,都能准确地识别出用户所指内容,使用要求较低,用户可以在遵循自己习惯和自然舒适的状态下顺利的完成学习,从而可以提升用户是操作体验感。

请参阅图2,图2是本发明实施例公开的另一种人机交互方法的流程示意图。在图2所描述的人机交互方法中,电子设备设置在图书馆(如学校图书馆或市内公共图书馆)中,并且电子设备与在图书馆的入口处设置的互动设备(如互动机器人)建立通信连接,该互动设备上摆放有标记有指定图形的手指套,并且在互动设备监测到某一用户拿起标记有指定图形的手指套时,由互动设备输出包括卡通对象集合,并由互动设备将指定图形与用户从卡通对象集合中选取的某一卡通对象对应的预设声纹特征进行绑定后发送给电子设备进行预先存储。进一步的,电子设备可以预先存储有指定图形的含义,例如,指定图形的含义仅用于表示对内容进行报读,或者,指定图形的含义仅用于表示查询内容对应的搜索结果,又或者,指定图形的含义既用于表示对内容进行报读又用于表示查询内容对应的搜索结果。如图2所示,该人机交互方法可以包括以下步骤。

201、电子设备从触及某一学习页面的若干个手指中识别出佩戴了标记有指定图形的手指套的目标手指;其中,该指定图形的含义既用于表示对内容进行报读又用于表示查询内容对应的搜索结果。

202、电子设备从该学习页面中识别出目标手指触及的内容,作为用户所指内容。

203、电子设备获取该指定图形绑定的预设声纹特征。

如前面所介绍的,该指定图形绑定的预设声纹特征可以是用户从互动设备输出的卡通对象集合中选取的某一卡通对象对应的预设声纹特征。其中,在互动设备监测到某一用户拿起标记有指定图形的手指套时,互动设备可以采集该用户的属性信息,该用户的属性信息可以包括该用户的面部图像信息;并且,互动设备可以通过对该用户的面部图像信息进行分析,以获得该用户的性别和年龄;进一步的,互动设备可以从网络中查找出与该用户的性别和年龄同时相适配的热门的若干个卡通对象组成卡通对象集合,并输出该卡通对象集合以供用户从中选取某一卡通对象时,将指定图形与用户从卡通对象集合中选取的某一卡通对象对应的预设声纹特征进行绑定后发送给电子设备进行预先存储。从而可以提升用户使用标记有指定图形的手指套的体验感,有利于更好的吸引用户使用标记有指定图形的手指套,提升标记有指定图形的手指套的用户粘度。

204、电子设备采用该预设声纹特征报读该用户所指内容。

举例来说,电子设备可以通过扬声器或者外界耳机采用该预设声纹特征报读该用户所指内容。

205、电子设备查询该用户所指内容对应的搜索结果。

举例来说,该用户所指内容对应的搜索结果可以包括该用户所指内容对应的试题或释义,本发明实施例不作限定。

206、电子设备控制显示屏输出该用户所指内容对应的搜索结果。

可见,实施图2所描述的人机交互方法,即使年纪较小的学生用户在实际使用过程中多个手指伸开或手掌趴放在学习页面上,也不影响电子设备对学生用户所指内容的识别率和准确性,从而有利于提高对用户所指内容的识别率和准确性;此外,用户可以把标记有指定图形的手指套佩戴在习惯的任何一个手指上,这样不管是用户手指全散开还是弯曲等其他自然舒适习惯下,都能准确地识别出用户所指内容,使用要求较低,用户可以在遵循自己习惯和自然舒适的状态下顺利的完成学习,从而可以提升用户是操作体验感。

此外,实施图2所描述的人机交互方法,可以提升用户使用标记有指定图形的手指套的体验感,有利于更好的吸引用户使用标记有指定图形的手指套,提升标记有指定图形的手指套的用户粘度。

请参阅图3,图3是本发明实施例公开的又一种人机交互方法的流程示意图。在图3所描述的人机交互方法中,电子设备设置在图书馆(如学校图书馆或市内公共图书馆)中,并且电子设备与在图书馆的入口处设置的互动设备(如互动机器人)建立通信连接,该互动设备上摆放有标记有指定图形的手指套,并且在互动设备监测到某一用户拿起标记有指定图形的手指套时,由互动设备输出包括卡通对象集合,并由互动设备将指定图形与用户从卡通对象集合中选取的某一卡通对象对应的预设声纹特征进行绑定后发送给电子设备进行预先存储。进一步的,电子设备可以预先存储有指定图形的含义,例如,指定图形的含义仅用于表示对内容进行报读,或者,指定图形的含义仅用于表示查询内容对应的搜索结果,又或者,指定图形的含义既用于表示对内容进行报读又用于表示查询内容对应的搜索结果。如图3所示,该人机交互方法可以包括以下步骤。

301、电子设备从触及某一学习页面的若干个手指中识别出佩戴了标记有指定图形的手指套的目标手指;其中,该指定图形的含义既用于表示对内容进行报读又用于表示查询内容对应的搜索结果。

302、电子设备从该学习页面中识别出目标手指触及的内容,作为用户所指内容。

303、电子设备获取该指定图形绑定的预设声纹特征。

304、电子设备采用该预设声纹特征报读该用户所指内容。

305、电子设备查询该用户所指内容对应的搜索结果。

306、电子设备控制显示屏输出该用户所指内容对应的搜索结果。

307、电子设备检测用户的眼睛视线是否落在显示屏上,若否,执行步骤308~步骤309;若是,执行步骤310。

308、电子设备控制所述显示屏进入待机状态。

309、电子设备采用该预设声纹特征报读该用户所指内容对应的搜索结果,结束本流程。

310、电子设备识别该用户是否为盲人用户,若是,执行步骤308~步骤309;若否,继续执行步骤306。

在一个实施例中,电子设备在执行步骤302之后,还可以执行以下步骤:

电子设备采集该用户的面部图像信息,并将该用户的面部图像信息和该学习页面对应的电子页面上报给服务设备;其中,该学习页面的内容与该学习页面对应的电子页面的内容相同;

服务设备根据该用户的面部图像信息,识别出该用户的身份信息;以及,建立该电子页面与该用户的身份信息的映射关系,以便于该用户的监管者(如家长或教师)可以通过该映射关系获悉该用户的学习动态。

更进一步的,服务设备建立该电子页面与该用户的身份信息的映射关系之后,还可以执行以下步骤:

服务设备以该用户的身份信息为依据,查询监管着为该用户分配的学习任务,该学习任务至少包括指定点读页面;以及,判断该电子页面的内容与该指定点读页面的内容是否相同,若相同,则对已建立的该电子页面与该用户的身份信息的映射关系打上第一标记,该第一标记用于表明该电子页面属于指定点读页面;若不相同,则对已建立的该电子页面与该用户的身份信息的映射关系打上第二标记,该第二标记用于表明该电子页面不属于指定点读页面,从而不仅可以让监管者了解该用户的学习动态,还可以进一步让监管者了解该用户是否已完成学习任务包括的指定点读页面的点读。

更进一步的,该学习任务还可以包括针对指定点读页面的点读时间范围,相应地,服务设备对已建立的该电子页面与该用户的身份信息的映射关系打上第一标记之后,还可以执行以下步骤:

服务设备判断该学习页面被触及时的起始时间是否位于该学习任务包括的针对指定点读页面的点读时间范围内,若是,则对已建立的该电子页面与该用户的身份信息的映射关系打上第三标记,该第三标记用于表明该用户在指定点读页面的点读时间范围内点读指定点读页面;若不相同,则对已建立的该电子页面与该用户的身份信息的映射关系打上第四标记,该第四标记表明该用户未在指定点读页面的点读时间范围内点读指定点读页面,从而可以进一步让监管者了解该用户是否积极的在学习任务包括的指定点读页面的点读时间范围内点读指定点读页面,让监管者了解该用户的点读积极性。

在一个实施例中,电子设备检测用户的眼睛视线是否落在显示屏上,包括:

电子设备采集该用户的面部图像信息,并根据该用户的面部信息确定该用户的眼睛视线的方向,并根据该用户的眼睛视线的方向判断该用户的眼睛视线是否落在显示屏上,若是,确定该用户的眼睛视线落在显示屏上;反之,若根据该用户的眼睛视线的方向判断该用户的眼睛视线未落在显示屏上,若是,确定该用户的眼睛视线未落在显示屏上。

可见,实施图3所描述的人机交互方法,即使年纪较小的学生用户在实际使用过程中多个手指伸开或手掌趴放在学习页面上,也不影响电子设备对学生用户所指内容的识别率和准确性,从而有利于提高对用户所指内容的识别率和准确性;此外,用户可以把标记有指定图形的手指套佩戴在习惯的任何一个手指上,这样不管是用户手指全散开还是弯曲等其他自然舒适习惯下,都能准确地识别出用户所指内容,使用要求较低,用户可以在遵循自己习惯和自然舒适的状态下顺利的完成学习,从而可以提升用户是操作体验感。

此外,实施图3所描述的人机交互方法,可以提升用户使用标记有指定图形的手指套的体验感,有利于更好的吸引用户使用标记有指定图形的手指套,提升标记有指定图形的手指套的用户粘度。

此外,实施图3所描述的人机交互方法,不仅可以让监管者了解该用户的学习动态,还可以进一步让监管者了解该用户是否已完成学习任务包括的指定点读页面的点读,以及了解该用户的点读积极性。

请参阅图4,图4是本发明实施例公开的一种电子设备的结构示意图。如图4所示,该电子设备可以包括:

第一识别单元401,用于从触及某一学习页面的若干个手指中识别出佩戴了标记有指定图形的手指套的目标手指;

第二识别单元402,用于从学习页面中识别出目标手指触及的内容,作为用户所指内容。

举例来说,第一识别单元401可以通过电子设备自身的拍摄模组或电子设备外接的拍摄模组从触及该学习页面的该若干个手指中识别出佩戴了标记有指定图形(如指定logo)的手指套的目标手指。

在一个实施例中,第一识别单元401可以通过传感器(如压力传感器)检测某一学习页面(如纸质学习页面)是否被触及,如果被触及,可以启动电子设备自身的拍摄模组或外接的拍摄模组对正在被触及的该学习页面(如纸质学习页面)进行拍摄,以获得拍摄图像;其中,拍摄图像可以包括若干个手指,该若干个手指中的某一目标手指上佩戴标记有指定图形(如指定logo)的手指套;以及,拍摄图像还包括该学习页面(如纸质学习页面)上的未被该若干个手指遮挡的学习内容;进一步地,第一识别单元401可以从拍摄图像包括的若干个手指中识别出佩戴标记有指定图形(如指定logo)的手指套的目标手指。

在另一个实施例中,第一识别单元401从触及某一学习页面的若干个手指中识别出佩戴了标记有指定图形的手指套的目标手指之后,还可以进一步执行以下操作:

查询该标记有指定图形的手指套是否绑定有允许使用时间范围,如果未绑定有,触发第二识别单元402执行从学习页面中识别出目标手指触及的内容,作为用户所指内容;若绑定有,可以校验当前系统显示时间是否位于该允许使用时间范围内,如果位于,触发第二识别单元402执行从学习页面中识别出目标手指触及的内容,作为用户所指内容;反之,不触发第二识别单元402执行从学习页面中识别出目标手指触及的内容,作为用户所指内容。

其中,上述允许使用时间范围可以跟电子设备的工作时间范围相同;或者,上述允许使用时间范围也可以跟电子设备的工作时间范围不相同,例如,上述允许使用时间范围可以是电子设备的工作时间范围包含的部分时间范围,在该部分时间范围内电子设备的电池剩余电量均大于指定电量。

在一个实施例中,第二识别单元402可以根据拍摄图像包括的该学习页面(如纸质学习页面)上的未被该若干个手指遮挡的学习内容,获取该学习页面(如纸质学习页面)对应的电子页面,并将电子页面的学习内容与该学习页面(如纸质学习页面)上的未被该若干个手指遮挡的学习内容进行对比,以确定出该学习页面(如纸质学习页面)上的被该若干个手指遮挡的学习内容;以及,根据目标手指在该学习页面上的位置,从该学习页面(如纸质学习页面)上的被该若干个手指遮挡的学习内容中确定出目标手指遮挡(即目标手指触及)的内容作为用户所指内容。

可见,实施图4所描述的电子设备,即使年纪较小的学生用户在实际使用过程中多个手指伸开或手掌趴放在学习页面上,也不影响电子设备对学生用户所指内容的识别率和准确性,从而有利于提高对用户所指内容的识别率和准确性;此外,用户可以把标记有指定图形的手指套佩戴在习惯的任何一个手指上,这样不管是用户手指全散开还是弯曲等其他自然舒适习惯下,都能准确地识别出用户所指内容,使用要求较低,用户可以在遵循自己习惯和自然舒适的状态下顺利的完成学习,从而可以提升用户是操作体验感。

请一并参阅图5,图5是本发明实施例公开的另一种电子设备的结构示意图。其中,图5所示的电子设备是由图4所示的电子设备进行优化得到的。其中,图5所示的电子设备可以设置在图书馆(如学校图书馆或市内公共图书馆)中,并且电子设备与在图书馆的入口处设置的互动设备(如互动机器人)建立通信连接,该互动设备上摆放有标记有指定图形的手指套,并且在互动设备监测到某一用户拿起标记有指定图形的手指套时,由互动设备输出包括卡通对象集合,并由互动设备将指定图形与用户从卡通对象集合中选取的某一卡通对象对应的预设声纹特征进行绑定后发送给电子设备进行预先存储。进一步的,电子设备可以预先存储有指定图形的含义,例如,指定图形的含义仅用于表示对内容进行报读,或者,指定图形的含义仅用于表示查询内容对应的搜索结果,又或者,指定图形的含义既用于表示对内容进行报读又用于表示查询内容对应的搜索结果。与图4所示的电子设备相比较,图5所示的电子设备还可以包括获取单元403和报读单元404;

其中,在指定图形的含义用于表示对内容进行报读时,获取单元403用于获取指定图形绑定的预设声纹特征;报读单元404用于采用该预设声纹特征报读所述用户所指内容。

作为一种可选的实施方式,图5所示的电子设备还可以包括查询单元405和第一控制单元406;其中,指定图形的含义还用于表示查询内容对应的搜索结果,查询单元405用于查询该用户所指内容对应的搜索结果;第一控制单元406用于控制显示屏输出该用户所指内容对应的搜索结果。

作为一种可选的实施方式,图5所示的电子设备还可以包括:

检测单元407,用于在第一控制单元406控制显示屏输出用户所指内容对应的搜索结果之后,检测用户的眼睛视线是否落在显示屏上;

第二控制单元408,用于在检测单元407检测出用户的眼睛视线未落在显示屏上时,控制显示屏进入待机状态;

相应的,上述报读单元404还用于采用预设声纹特征报读用户所指内容对应的搜索结果。

作为一种可选的实施方式,图5所示的电子设备还可以包括:

第三识别单元409,用于在检测单元407检测出用户的眼睛视线落在显示屏上时,识别该用户是否为盲人用户;

上述的第二控制单元408还用于在第三识别单元409识别出该用户为盲人用户时,控制显示屏进入待机状态。

本发明实施例中,该指定图形绑定的预设声纹特征可以是用户从互动设备输出的卡通对象集合中选取的某一卡通对象对应的预设声纹特征。其中,在互动设备监测到某一用户拿起标记有指定图形的手指套时,互动设备可以采集该用户的属性信息,该用户的属性信息可以包括该用户的面部图像信息;并且,互动设备可以通过对该用户的面部图像信息进行分析,以获得该用户的性别和年龄;进一步的,互动设备可以从网络中查找出与该用户的性别和年龄同时相适配的热门的若干个卡通对象组成卡通对象集合,并输出该卡通对象集合以供用户从中选取某一卡通对象时,将指定图形与用户从卡通对象集合中选取的某一卡通对象对应的预设声纹特征进行绑定后发送给电子设备进行预先存储,以供获取单元403获取。从而可以提升用户使用标记有指定图形的手指套的体验感,有利于更好的吸引用户使用标记有指定图形的手指套,提升标记有指定图形的手指套的用户粘度。

在一个实施例中,第二识别单元402从学习页面中识别出目标手指触及的内容,作为用户所指内容之后,电子设备还可以执行以下操作:

电子设备采集该用户的面部图像信息,并将该用户的面部图像信息和该学习页面对应的电子页面上报给服务设备;其中,该学习页面的内容与该学习页面对应的电子页面的内容相同;

服务设备根据该用户的面部图像信息,识别出该用户的身份信息;以及,建立该电子页面与该用户的身份信息的映射关系,以便于该用户的监管者(如家长或教师)可以通过该映射关系获悉该用户的学习动态。

更进一步的,服务设备建立该电子页面与该用户的身份信息的映射关系之后,还可以执行以下步骤:

服务设备以该用户的身份信息为依据,查询监管着为该用户分配的学习任务,该学习任务至少包括指定点读页面;以及,判断该电子页面的内容与该指定点读页面的内容是否相同,若相同,则对已建立的该电子页面与该用户的身份信息的映射关系打上第一标记,该第一标记用于表明该电子页面属于指定点读页面;若不相同,则对已建立的该电子页面与该用户的身份信息的映射关系打上第二标记,该第二标记用于表明该电子页面不属于指定点读页面,从而不仅可以让监管者了解该用户的学习动态,还可以进一步让监管者了解该用户是否已完成学习任务包括的指定点读页面的点读。

更进一步的,该学习任务还可以包括针对指定点读页面的点读时间范围,相应地,服务设备对已建立的该电子页面与该用户的身份信息的映射关系打上第一标记之后,还可以执行以下步骤:

服务设备判断该学习页面被触及时的起始时间是否位于该学习任务包括的针对指定点读页面的点读时间范围内,若是,则对已建立的该电子页面与该用户的身份信息的映射关系打上第三标记,该第三标记用于表明该用户在指定点读页面的点读时间范围内点读指定点读页面;若不相同,则对已建立的该电子页面与该用户的身份信息的映射关系打上第四标记,该第四标记表明该用户未在指定点读页面的点读时间范围内点读指定点读页面,从而可以进一步让监管者了解该用户是否积极的在学习任务包括的指定点读页面的点读时间范围内点读指定点读页面,让监管者了解该用户的点读积极性。

在一个实施例中,电子设备检测用户的眼睛视线是否落在显示屏上,包括:

电子设备采集该用户的面部图像信息,并根据该用户的面部信息确定该用户的眼睛视线的方向,并根据该用户的眼睛视线的方向判断该用户的眼睛视线是否落在显示屏上,若是,确定该用户的眼睛视线落在显示屏上;反之,若根据该用户的眼睛视线的方向判断该用户的眼睛视线未落在显示屏上,若是,确定该用户的眼睛视线未落在显示屏上。

可见,实施图5所描述的电子设备,即使年纪较小的学生用户在实际使用过程中多个手指伸开或手掌趴放在学习页面上,也不影响电子设备对学生用户所指内容的识别率和准确性,从而有利于提高对用户所指内容的识别率和准确性;此外,用户可以把标记有指定图形的手指套佩戴在习惯的任何一个手指上,这样不管是用户手指全散开还是弯曲等其他自然舒适习惯下,都能准确地识别出用户所指内容,使用要求较低,用户可以在遵循自己习惯和自然舒适的状态下顺利的完成学习,从而可以提升用户是操作体验感。

此外,实施图5所描述的电子设备,可以提升用户使用标记有指定图形的手指套的体验感,有利于更好的吸引用户使用标记有指定图形的手指套,提升标记有指定图形的手指套的用户粘度。

此外,实施图5所描述的电子设备,不仅可以让监管者了解该用户的学习动态,还可以进一步让监管者了解该用户是否已完成学习任务包括的指定点读页面的点读,以及了解该用户的点读积极性。

请参阅图6,图6是本发明实施例公开的又一种电子设备的结构示意图。如图6所示,该电子设备可以包括:

存储有可执行程序代码的存储器601;

与存储器601耦合的处理器602;

其中,处理器502调用存储器501中存储的可执行程序代码,执行图1~图3任意一种人机互动方法中的全部或部分步骤。

此外,本发明实施例进一步公开了一种计算机可读存储介质,其存储用于电子数据交换的计算机程序,其中,该计算机程序使得计算机执行图1~图3任意一种人机互动方法中的全部或部分步骤。

此外,本发明实施例进一步公开一种计算机程序产品,当该计算机程序产品在计算机上运行时,使得计算机图1~图3任意一种人机互动方法中的全部或部分步骤。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质包括只读存储器(read-onlymemory,rom)、随机存储器(randomaccessmemory,ram)、可编程只读存储器(programmableread-onlymemory,prom)、可擦除可编程只读存储器(erasableprogrammablereadonlymemory,eprom)、一次可编程只读存储器(one-timeprogrammableread-onlymemory,otprom)、电子抹除式可复写只读存储器(electrically-erasableprogrammableread-onlymemory,eeprom)、只读光盘(compactdiscread-onlymemory,cd-rom)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。

以上对本发明实施例公开的一种人机交互方法及电子设备进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1