VR/AR设备的控制方法和装置与流程

文档序号:15491791发布日期:2018-09-21 20:44阅读:147来源:国知局

本发明涉及计算机应用技术,特别是涉及一种虚拟现实或增强现实(virtualreality/augmentedreality,vr/ar)设备的控制方法和装置。



背景技术:

虚拟现实是指使用计算机来创造以假乱真的世界。它有三个基本特征,即沉浸性(immersion),交互性(interactivity)和想象力(imagination)。增强现实是指将计算机生成的虚拟物体或其它信息叠加到真实场景中,从而实现对现实的增强。虚实结合,实时交互,三维注册是增强现实技术的三大特点。

科学研究发现,脑电波或大脑皮层信号可以有效地反映人的心理情绪和想法。因此,如果基于大脑皮层信号对vr/ar设备进行控制,则可以更好地感知用户的心理情绪和想法,从而可以提高虚拟现实或增强现实的效果。

目前尚未提出一种基于大脑皮层信号对vr/ar设备进行控制的技术方案。



技术实现要素:

有鉴于此,本发明的主要目的在于提供一种vr/ar设备的控制方法和装置,可以有效提高虚拟现实或增强现实的效果。

为了达到上述目的,本发明提出的技术方案为:

一种vr/ar设备的控制方法,包括:

按照预设的类型数据与脑神经信号的映射关系,确定当前脑波传感器接收到的脑神经信号对应的类型数据;

根据预设的所述类型数据与应用程序app回调函数的关联关系,确定当前需要调用的app回调函数;

触发所确定的app回调函数执行。

一种vr/ar设备的控制装置,包括:

映射模块,按照预设的类型数据与脑神经信号的映射关系,确定当前脑波传感器接收到的脑神经信号对应的类型数据;

函数确定模块,用于根据预设的所述类型数据与应用程序app回调函数的关联关系,确定当前需要调用的app回调函数;

执行模块,用于触发所确定的app回调函数执行。

综上所述,本发明提出的vr/ar设备的控制方法和装置,利用预设的类型数据与脑神经信号的映射关系,将脑波传感器接收到的脑神经信号转换成相应的预定义的类型数据,再根据类型数据,触发满足执行条件的功能函数执行。如此,基于用户的脑神经信号,可以更好的感知用户心理情绪和想法,准确控制各种应用函数的执行,有效提高虚拟现实或增强现实的效果。

附图说明

图1为本发明实施例的方法流程示意图;

图2为本发明实施例的基于脑波识别用户兴趣点的过程示意图;

图3为本发明实施例的基于脑波向用户推荐放松音乐播放的过程示意图;

图4为本发明实施例的基于脑波控制电话接听的过程示意图;

图5为本发明实施例的基于脑波控制格斗游戏中人物动作的过程示意图;

图6为本发明实施例的装置结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚,下面将结合附图及具体实施例对本发明作进一步地详细描述。

本发明的核心思想是:利用脑波传感器,接收脑神经信号,将其翻译成预定义的相应类型的数据,然后基于所翻译的类型数据,控制满足执行条件的功能函数的执行。如此,可以准确控制各种应用函数的执行,使得vr/ar设备能够获得更好的虚拟现实或增强现实的效果,增加用户的vr/ar体验。

图1为本发明实施例的方法流程示意图,如图1所示,该实施例实现的vr/ar设备的控制方法主要包括:

步骤101、按照预设的类型数据与脑神经信号的映射关系,确定当前脑波传感器接收到的脑神经信号对应的类型数据。

本步骤中,利用脑波传感器接收vr/ar设备用户的脑神经信号,并对该脑神经信号对应的类型数据进行识别。

所述脑波传感器设备可以是侵入式的电极植入人脑,也可以是非侵入式的eeg脑电图设备,也支持以后可能出现的更加健康和准确的脑波传感器,只要能获取vr/ar设备用户的脑神经信号即可。

脑波传感器设备和ar/vr设备之间可以通过低功耗蓝牙连接,也可以通过其他对人体友好辐射低的传输方案。

这里需要说明的是,本发明中需要预先根据vr/ar设备的控制需要,定义类型数据,并确定各类型数据所对应的脑神经信号,即建立类型数据与脑神经信号之间的映射关系。这样,利用预先设置的类型数据与脑神经信号的映射关系,能够对vr/ar设备用户的脑神经信号进行准确识别,进而可以在后续步骤中,根据当前脑神经信号对应的类型数据,执行相应的处理函数,对vr/ar设备进行准确控制。

具体地,预设的类型数据可以包括:专注度水平数据(attentionlevel)、冥想深度数据(meditationlevel)、情感类型数据(emotiontype)、眨眼数据(eyeblink)、脑电波波段数据(brainwavebands)、单词数据(words)、数字数据(figures)和/或身体动作数据(bodyactions)等。

步骤102、根据预设的所述类型数据与应用程序(app)回调函数的关联关系,确定当前需要调用的app回调函数。

本步骤,用于根据步骤101所确定出的类型数据,及其关联的app回调函数,确定当前需要调用的app回调函数。

所述类型数据与app回调函数的关联关系,可由本领域人员根据类型数据所对应的控制操作需要进行设置。

较佳地,可以采用下述方法确定当前需要调用的app回调函数:

根据所述类型数据和所述关联关系,在与所述类型数据关联的app回调函数中,选择出当前满足相应调用条件的app回调函数,将所选择的结果作为当前需要调用的app回调函数。

下面结合几种具体的类型数据场景,对上述确定当前需要调用的app回调函数的方法进行详细说明:

1、当所述脑神经信号对应的类型数据为专注度水平数据时,如果满足与所述专注度数据关联的兴趣确定函数的调用条件,则所述当前需要调用的app回调函数为兴趣确定函数;所述兴趣确定函数的调用条件为专注度水平数据值大于预设的兴趣确定阀值。

其中,所述兴趣确定函数所执行的处理过程包括:

获取当前所述ar/vr设备上显示的图片;通过所述ar/vr设备的眼球跟踪设备获取用户在所述图片中的注视点;对所述注视点对应处的物体对象进行识别;将所识别出的物体对象确定为用户当前关注的兴趣点。

上述场景中,基于所识别出的专注度水平数据,如果专注度水平数据数值较小(小于预设的兴趣确定阀值),则说明用户不感兴趣于所注视的事物;而如果专注度水平数据数值较大(大于预设的兴趣确定阀值),则说明用户感兴趣于所注视的事物,此时,通过触发调用兴趣确定函数,利用眼球跟踪设备对用户的注视点进行定位,可以对用户当前关注的兴趣点进行准确识别。这样,如果应用于学生上课场景中(如图2所示),则可有效识别学生感兴趣或不感兴趣的内容及时段,有利于老师改善教学课程。

2、当所述脑神经信号对应的类型数据为情感类型数据时,如果满足与所述情感类型数据关联的情绪放松函数的调用条件,则所述当前需要调用的app回调函数为情绪放松函数;所述情绪放松函数的调用条件为情感类型数据值低于预设的情绪低落阈值。

所述情绪放松函数所执行的处理过程包括:

从预设的音乐数据库里选择放松音乐;将所选择的放松音乐推荐给用户;当所述ar/vr设备接收到用户的音乐播放指令时,根据所述指令播放相应的音乐。

上述场景中,基于所识别出的情感类型数据,当该情感类型数据值低于预设的情绪低落阈值时,判定用户的情绪低落,此时,将会确定需要调用情绪放松函数,以调节用户心情,这里,向用户推荐放松的音乐播放仅是实施示例,并不限于此,还可以采用其他放松心情的方式。图3中给出了基于脑波向用户推荐放松音乐播放的过程示意。

3、当所述脑神经信号对应的类型数据为单词数据时,如果当前满足与所述单词数据关联的电话控制函数的调用条件,则所述当前需要调用的app回调函数为电话控制函数;所述电话控制函数的调用条件为当前接到新的电话且所述单词数据为“接电话”或“不接电话”。

所述电话控制函数所执行的处理过程包括:

如果所述单词数据为“接电话”,则触发所述ar/vr设备接通所述电话;

如果所述单词数据为“不接电话”,则触发所述ar/vr设备挂断所述电话。

上述场景中,当识别出脑神经信号对应的是单词数据,且该单词数据为“接电话”或“不接电话”时,则会调用相关联的电话控制函数,根据单词数据进行电话接听控制,从而实现电话的自动接听控制。如图4所示,图中给出了基于脑波控制电话接听的过程示意。

4、当所述脑神经信号对应的类型数据为身体动作数据时,如果当前满足与所述身体动作数据关联的游戏控制函数的调用条件,则所述当前需要调用的app回调函数为游戏控制函数;所述游戏控制函数的调用条件为对应的游戏app在运行中且所述身体动作数据属于预设的身体动作。

所述游戏控制函数所执行的处理过程包括:

通过所述ar/vr设备的眼球跟踪设备,获取用户在当前游戏中的注视点;

根据所述身体动作数据,触发相应的游戏对象在所述注视点位置执行相应的动作。

上述场景中,当识别出脑神经信号对应的是身体动作数据时,如果游戏app在运行中且该身体动作数据属于预设的身体动作,则会调用相关联的游戏控制函数,触发相应的游戏对象在所述注视点位置执行相应的动作,从而实现游戏app的操作控制。如图5所示,图中给出了基于脑波控制格斗游戏中的人物动作的过程示意。

步骤103、触发所确定的app回调函数执行。

从上述方案可以看出,本发明基于利用预先设置的类型数据与脑神经信号的映射关系,能够对利用脑波传感器接收的vr/ar设备用户的脑神经信号进行准确识别,进而可以对vr/ar设备进行准确控制,从而可以有效提高虚拟现实或增强现实的效果。

在实际应用中,为了进一步提高vr/ar设备虚拟现实或增强现实的效果,可以在vr/ar设备的使用过程中,对无法识别的脑神经信号进行主动学习,增加相应的类型数据与脑神经信号之间的映射关系。如此,可以对用户特定的脑神经信号进行有效识别。较佳地,可以采用下述方法实现这一目的:

当无法确定出所述脑神经信号对应的类型数据时,确定所述脑神经信号对应的脑部区域;根据所述脑部区域对应的功能器官,触发利用该功能器官所关联的传感器来获取用于与所述脑神经信号相绑定的类型数据,建立所获取的类型数据与所述脑神经信号之间的映射关系并保存。

图6为与上述方法对应的一种vr/ar设备的控制装置结构示意图,如图6所示,该装置包括:

映射模块,按照预设的类型数据与脑神经信号的映射关系,确定当前脑波传感器接收到的脑神经信号对应的类型数据;

函数确定模块,用于根据预设的所述类型数据与应用程序app回调函数的关联关系,确定当前需要调用的app回调函数;

执行模块,用于触发所确定的app回调函数执行。

较佳地,预设的类型数据包括:专注度水平数据attentionlevel、冥想深度数据meditationlevel、情感类型数据emotiontype、眨眼数据eyeblink、脑电波波段数据brainwavebands、单词数据words、数字数据figures和/或身体动作数据bodyactions。

较佳地,所述函数确定模块,用于根据所述类型数据和所述关联关系,在与所述类型数据关联的app回调函数中,选择出当前满足相应调用条件的app回调函数,将所选择的结果作为当前需要调用的app回调函数。

较佳地,所述映射模块,进一步用于当无法确定出所述脑神经信号对应的类型数据时,确定所述脑神经信号对应的脑部区域;根据所述脑部区域对应的功能器官,触发利用该功能器官所关联的传感器获取用于与所述脑神经信号相绑定的类型数据,建立所获取的类型数据与所述脑神经信号之间的映射关系并保存。

较佳地,所述函数确定模块,进一步用于当所述脑神经信号对应的类型数据为专注度水平数据时,如果满足与所述专注度数据关联的兴趣确定函数的调用条件,则所述当前需要调用的app回调函数为兴趣确定函数;所述兴趣确定函数的调用条件为专注度水平数据值大于预设的兴趣确定阀值;所述兴趣确定函数所执行的处理过程包括:获取当前所述ar/vr设备上显示的图片;通过所述ar/vr设备的眼球跟踪设备获取用户在所述图片中的注视点;对所述注视点对应处的物体对象进行识别;将所识别出的物体对象确定为用户当前关注的兴趣点。

较佳地,所述函数确定模块,进一步用于当所述脑神经信号对应的类型数据为情感类型数据时,如果满足与所述情感类型数据关联的情绪放松函数的调用条件,则所述当前需要调用的app回调函数为情绪放松函数;所述情绪放松函数的调用条件为情感类型数据值低于预设的情绪低落阈值;所述情绪放松函数所执行的处理过程包括:从预设的音乐数据库里选择放松音乐;将所选择的放松音乐推荐给用户;当所述ar/vr设备接收到用户的音乐播放指令时,根据所述指令播放相应的音乐。

较佳地,所述函数确定模块,进一步用于当所述脑神经信号对应的类型数据为单词数据时,如果当前满足与所述单词数据关联的电话控制函数的调用条件,则所述当前需要调用的app回调函数为电话控制函数;所述电话控制函数的调用条件为当前接到新的电话且所述单词数据为“接电话”或“不接电话”;所述电话控制函数所执行的处理过程包括:如果所述单词数据为“接电话”,则触发所述ar/vr设备接通所述电话;如果所述单词数据为“不接电话”,则触发所述ar/vr设备挂断所述电话。

较佳地,所述函数确定模块,进一步用于当所述脑神经信号对应的类型数据为身体动作数据时,如果当前满足与所述身体动作数据关联的游戏控制函数的调用条件,则所述当前需要调用的app回调函数为游戏控制函数;所述游戏控制函数的调用条件为对应的游戏app在运行中且所述身体动作数据属于预设的身体动作;所述游戏控制函数所执行的处理过程包括:通过所述ar/vr设备的眼球跟踪设备获取用户在当前游戏中的注视点;根据所述身体动作数据,触发相应的游戏对象在所述注视点位置执行相应的动作。

综上所述,以上仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1