基于头戴式显示设备的指令识别方法及装置与流程

文档序号:14910616发布日期:2018-07-10 23:18阅读:152来源:国知局

本发明涉及智能可穿戴设备与人机交互技术领域,尤其涉及一种基于头戴式显示设备的指令识别方法及装置。



背景技术:

虚拟现实(Virtual Reality,VR)技术通过计算机系统模拟出虚拟的三维世界,借助显示系统和交互系统,向使用者提供视觉、听觉、触觉等感官的模拟体验,同时使用者能够与虚拟场景进行互动交互,带给使用者身临其境的感受。因此,交互技术是虚拟现实系统实现的关键性技术之一,决定了使用者如何在虚拟世界中与目标进行互动。

现有技术方案中,头戴式显示设备通过检测使用者的头部动作,控制显示内容切换、光标或锚点移动等,从而完成视角转换、菜单选择或内容输入等基础的交互操作。然而,基于头部运动检测的交互操作方式,用户操作的复杂度高,操作精度低,无法适用于要求高精度、低时延的交互操作场景中。因此,如何提升使用者在虚拟现实世界体验的真实感与操作效率,是虚拟现实交互技术发展过程中亟待解决的关键问题之一。



技术实现要素:

本发明的目的是提供一种基于头戴式显示设备的指令识别方法及装置,配合手持式外设,降低头戴式显示设备使用者进行交互操作的复杂度,提高交互操作效率。

有鉴于此,本发明一方面提供一种基于头戴式显示设备的指令识别方法,包括以下步骤:建立头戴式显示设备与手持式外设之间的通信连接;检测所述手持式外设的空间运动姿态;确定所述检测到的手持式外设的空间运动姿态对应的交互操作指令。

优选地,所述确定所述检测到的手持式外设的空间运动姿态对应的交互操作指令的步骤之前,还包括:确定所述头戴式显示设备当前显示界面中的交互场景。

优选地,所述确定所述检测到的手持式外设的空间运动姿态对应的交互操作指令的步骤,具体为:根据所述交互场景,确定在所述交互场景中,所述检测到的手持式外设的空间运动姿态对应的交互操作指令。

优选地,所述确定所述检测到的手持式外设的空间运动姿态对应的交互操作指令的步骤之后,还包括:根据所述检测到的手持式外设的空间运动姿态对应的交互操作指令,对所述交互场景中的交互控件进行交互操作。

本发明另一方面提供一种基于头戴式显示设备的指令识别装置,包括:外设连接模块:用于建立头戴式显示设备与手持式外设之间的通信连接;运动检测模块:用于检测所述手持式外设的空间运动姿态;指令确定模块:用于确定所述检测到的手持式外设的空间运动姿态对应的交互操作指令。

优选地,所述基于头戴式显示设备的指令识别装置,还包括:场景确定模块:用于确定所述头戴式显示设备当前显示界面中的交互场景。

优选地,所述指令确定模块,还用于:根据所述交互场景,确定在所述交互场景中,所述检测到的手持式外设的空间运动姿态对应的交互操作指令。

优选地,所述基于头戴式显示设备的指令识别装置,还包括:操作执行模块,用于根据所述检测到的手持式外设的空间运动姿态对应的交互操作指令,对所述交互场景中的交互控件进行交互操作。

本发明还提供一种头戴式显示设备,包括上述基于头戴式显示设备的指令识别装置。

本发明基于头戴式显示设备的指令识别方法及装置,将手持式外设与头戴式显示设备连接,根据头戴式显示设备当前显示的交互场景,通过检测手持式外设的空间运动姿态,确定对应于当前交互场景的交互操作指令,执行对应的交互操作,从而通过手持式外设与显示界面中的内容进行交互操作。使用者在佩戴头戴式显示设备时,可以便捷地通过手持式外设对显示界面中的内容进行交互操作,显著地提升了头戴式显示设备使用者的操作体验。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图:

图1示出了本发明一个实施例的基于头戴式显示设备的指令识别方法的流程示意图;

图2示出了本发明一个实施例的基于头戴式显示设备的指令识别装置的结构示意图。

具体实施方式

为了能够更清楚地理解本发明的目的、特征和优点,下面结合附图和具体实施方式对本发明做进一步的详细描述。需要说明的是,在不冲突的情况下,本申请的实施例及实施例中的特征可以相互结合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是,这仅仅是本发明的一些实施例,本发明还可以采用其他不同于在此描述的其他方式来实施,因此,本发明的保护范围并不受下面公开的具体实施例的限制。

实施例一

图1示出了本发明一个实施例的基于头戴式显示设备的指令识别方法的流程示意图。

根据本发明实施例的基于头戴式显示设备的指令识别方法,如图1所示,包括:步骤S101,建立头戴式显示设备与手持式外设之间的通信连接;步骤S102,检测所述手持式外设的空间运动姿态;步骤S103,确定所述检测到的手持式外设的空间运动姿态对应的交互操作指令。

在上述技术方案中,头戴式显示设备可以向使用者呈现虚拟的360°全景图像,使用者佩戴头戴式显示设备时,通过头戴式显示设备的显示屏幕,使用者在某一时刻能够看到屏幕显示区域中显示的虚拟全景图像的部分区域,屏幕显示区域中显示的虚拟全景图像的部分区域经头戴式显示设备的光学系统放大后,与人类的自然视野范围相同或近似,从而令使用者感受身处虚拟场景环境的真实感。使用者通过控制指令可以控制显示屏幕中显示虚拟全景图像中的不同区域,从而浏览完整的虚拟全景图像,例如,使用者转动头部,根据使用者头部的转动方向与转动角度,调整显示屏幕中显示的虚拟全景图像的区域,结合听觉、触觉、动作等方面的交互体验,带给使用者置身虚拟环境中的沉浸感。

在上述技术方案中,优选地,所述步骤S101,具体地,建立头戴式显示设备与手持式外设之间的通信连接,优选地,通过蓝牙、WIFI等无线方式连接头戴式显示设备与手持式外设,例如手柄。同样地,也可以通过有线方式连接所述头戴式显示设备与所述手持式外设,此处不做限定。

在上述技术方案中,优选地,所述步骤S102,具体地,手持式外设内置IMU(Inertial Measurement Unit,惯性测量单元),通过测量手持式外设的三轴姿态角(或角速率)以及加速度,确定手持式外设的空间姿态。

在上述技术方案中,优选地,所述步骤S103之前,还包括:确定所述头戴式显示设备当前显示界面中的交互场景。具体地,头戴式显示设备通过显示屏幕显示多种交互场景,根据所述交互场景中的图像特征或预设标识,确定头戴式显示设备当前显示界面中的交互场景。

在上述技术方案中,优选地,所述步骤S103,具体为:根据所述交互场景,确定在所述交互场景中,所述检测到的手持式外设的空间运动姿态对应的交互操作指令。具体地,手持式外设的同一种空间运动姿态,在不同的交互场景中可以对应不同的交互操作指令,根据头戴式显示设备当前显示的交互场景,确定在所述交互场景中,所述检测到的手持式外设的空间运动姿态对应的交互操作指令。例如,在内容输入交互场景中,手持式外设的一端指向当前场景界面对应内容输入指令,手持式外设的另一端指向当前场景界面对应内容擦除指令;在菜单选择交互场景中,手持式外设顺时针扭转对应打开菜单指令,手持式外设逆时针扭转对应关闭菜单指令;在应用程序管理交互场景中,投掷手持式外设对应删除应用程序指令;在浏览阅读交互场景中,手持式外设水平移动可对应翻页指令,手持式外设垂直移动对应参数(如亮度)调整指令。

在上述技术方案中,优选地,所述步骤S103之后,还包括:根据所述检测到的手持式外设的空间运动姿态对应的交互操作指令,对所述交互场景中的交互控件进行交互操作。

本发明实施例的基于头戴式显示设备的指令识别方法,将手持式外设与头戴式显示设备连接,根据头戴式显示设备当前显示的交互场景,通过检测手持式外设的空间运动姿态,确定对应于当前交互场景的交互操作指令,执行对应的交互操作,从而通过手持式外设与显示界面中的内容进行交互操作。本发明实施例的技术方案使头戴式显示设备的使用者在佩戴头戴式显示设备时,可以便捷地通过手持式外设对显示界面中的内容进行交互操作,显著地提升了头戴式显示设备使用者的操作体验。

实施例二

图2示出了本发明一个实施例的基于头戴式显示设备的指令识别装置的结构示意图。

根据本发明实施例的基于头戴式显示设备的指令识别装置200,如图2所示,包括:外设连接模块201:用于建立头戴式显示设备与手持式外设之间的通信连接;运动检测模块202:用于检测所述手持式外设的空间运动姿态;指令确定模块203:用于确定所述检测到的手持式外设的空间运动姿态对应的交互操作指令。

在上述技术方案中,头戴式显示设备可以向使用者呈现虚拟的360°全景图像,使用者佩戴头戴式显示设备时,通过头戴式显示设备的显示屏幕,使用者在某一时刻能够看到屏幕显示区域中显示的虚拟全景图像的部分区域,屏幕显示区域中显示的虚拟全景图像的部分区域经头戴式显示设备的光学系统放大后,与人类的自然视野范围相同或近似,从而令使用者感受身处虚拟场景环境的真实感。使用者通过控制指令可以控制显示屏幕中显示虚拟全景图像中的不同区域,从而浏览完整的虚拟全景图像,例如,使用者转动头部,根据使用者头部的转动方向与转动角度,调整显示屏幕中显示的虚拟全景图像的区域,结合听觉、触觉、动作等方面的交互体验,带给使用者置身虚拟环境中的沉浸感。

在上述技术方案中,优选地,外设连接模块201,建立头戴式显示设备与手持式外设的通信连接,优选地,外设连接模块201通过蓝牙、WIFI等无线方式连接头戴式显示设备与手持式外设,例如手柄。同样地,外设连接模块201也可以通过有线方式连接所述头戴式显示设备与所述手持式外设,此处不做限定。

在上述技术方案中,优选地,所述基于头戴式显示设备的指令识别装置200,还包括:场景确定模块204:用于确定所述头戴式显示设备当前显示界面中的交互场景。具体地,头戴式显示设备通过显示屏幕显示多种交互场景,场景确定模块204根据所述交互场景中的图像特征或预设标识,确定头戴式显示设备当前显示界面中的交互场景。

在上述技术方案中,优选地,指令确定模块203,还用于:根据所述交互场景,确定在所述交互场景中,所述检测到的手持式外设的空间运动姿态对应的交互操作指令。具体地,手持式外设的同一种空间运动姿态,在不同的交互场景中可以对应不同的交互操作指令,指令确定模块203根据头戴式显示设备当前显示的交互场景,确定在所述交互场景中,所述检测到的手持式外设的空间运动姿态对应的交互操作指令。例如,在内容输入交互场景中,手持式外设的一端指向当前场景界面对应内容输入指令,手持式外设的另一端指向当前场景界面对应内容擦除指令;在菜单选择交互场景中,手持式外设顺时针扭转对应打开菜单指令,手持式外设逆时针扭转对应关闭菜单指令;在应用程序管理交互场景中,投掷手持式外设对应删除应用程序指令;在浏览阅读交互场景中,手持式外设水平移动可对应翻页指令,手持式外设垂直移动对应参数(如亮度)调整指令。

在上述技术方案中,优选地,所述基于头戴式显示设备的指令识别装置200,还包括:操作执行模块205,用于根据所述检测到的手持式外设的空间运动姿态对应的交互操作指令,对所述交互场景中的交互控件进行交互操作。

本发明实施例的基于头戴式显示设备的指令识别装置,将手持式外设与头戴式显示设备连接,根据头戴式显示设备当前显示的交互场景,通过检测手持式外设的空间运动姿态,确定对应于当前交互场景的交互操作指令,执行对应的交互操作,从而通过手持式外设与显示界面中的内容进行交互操作。本发明实施例的技术方案使头戴式显示设备的使用者在佩戴头戴式显示设备时,可以便捷地通过手持式外设对显示界面中的内容进行交互操作,显著地提升了头戴式显示设备使用者的操作体验。

再次声明,本说明书中公开的所有特征,或公开的所有方法或过程中的步骤,除了互相排斥的特征和/或步骤以外,均可以以任何方式组合。

本说明书(包括任何附加权利要求、摘要和附图)中公开的任一特征,除非特别叙述,均可被其他等效或具有类似目的的替代特征加以替换。即,除非特别叙述,每个特征只是一系列等效或类似特征中的一个例子而已。

本发明并不局限于前述的具体实施方式。本发明可以扩展到任何在本说明书中披露的新特征或任何新的组合,以及披露的任一新的方法或过程的步骤或任何新的组合。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1