用于VR/AR的控件交互方法、装置及系统与流程

本公开一般涉及增强现实/虚拟现实技术领域，具体涉及一种用于vr/ar的控件方法、装置及系统。

背景技术

ar(virtualreality，虚拟现实)/vr(augmentedreality，增强现实)技术在生活中的应用越来越广泛。vr技术让用户产生视觉上的“沉浸感”，进而影响人体的其他感官也一并认同虚拟事物具有真实存在感。而ar技术则是把原本在现实世界的实体信息，通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。

目前的ar/vr设备中，如果要在应用中触发控件事件，需要瞄准凝视控件几秒钟，才响应该控件的点击事件。给用户的体验带来了不便。急需提供一种让用户在vr/ar设备的应用中更便捷地响应ui控件的交互方法。

技术实现要素：

鉴于现有技术中的上述缺陷或不足，期望提供一种能够快速响应的用于增强现实/虚拟现的控件交互方法、装置及系统。

第一方面，本申请实施例提供了一种用于虚拟现实vr/增强现实ar的控件交互方法，方法包括：

将射线发射至vr/ar空间；

射线与vr/ar空间的用户界面ui控件发生碰撞时，获取ui控件的标识；以及

利用可穿戴设备触发与ui控件标识匹配的事件。

第二方面，本申请实施例还提供了一种用于vr/ar的控件交互装置，包括：

发射单元，配置用于将射线发射至vr/ar空间；

获取单元，配置用于射线与vr/ar空间的用户界面ui控件发生碰撞时，获取ui控件的标识；

触发单元，配置用于利用可穿戴设备触发与ui控件标识匹配的事件。

第三方面，提供一种用于vr/ar的控件交互系统，包括：

vr/vr设备，vr/vr设备包括本申请中提供的各实施例提供的vr/ar的控件交互装置；以及

可穿戴设备，配置用于接收触发操作；将触发操作信息发送至vr/ar设备的客户端应用，使得客户端应用响应ui控件标识匹配的事件。

根据本申请实施例提供的技术方案，通过射线选择控件并利用可穿戴设备触发与控件匹配的事件，能够解决现有响应控件事件缓慢的问题。进一步的，通过修改发生碰撞的控件上的射线样式，还能区分出射线与控件碰撞事件，获得分类区别显示的效果。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1示出了根据本申请实施例的用于vr/ar的控件交互方法的示例性流程图；

图2示出了根据本申请实施例的步骤s102的获取标识的方法的示例性流程图。

图3示出了根据本申请实施例的用于vr/ar的区别显示射线与控件碰撞事件的示意图；

图4示出了根据本申请实施例的步骤s103的触发方法的示例性流程图；

图5示出了根据本申请实施例的用于vr/ar的控件交互装置的示例性结构框图；

图6示出了根据本申请实施例的可穿戴设备的示例性结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

如背景技术中所提到的，目前的ar/vr设备中，如果要在应用中触发控件事件，需要瞄准凝视控件几秒钟，才响应该按钮的点击事件。给用户的体验带来了不便。

鉴于现有技术的上述缺陷，本申请实施例提供了一种用于ar/vr的控件交互方案，通过射线选择控件利用可穿戴设备触发与控件匹配的事件，能够解决现有响应控件事件缓慢的问题。

下面将结合流程图来描述本申请实施例的方法。

请参考图1，示出了根据本申请实施例的用于vr/ar的控件交互方法的示例性流程图。如图1所示，用于vr/ar的控件交互方法包括：

步骤s101：将射线发射至vr/ar空间；

步骤s102：射线与vr/ar空间的用户界面ui控件发生碰撞时，获取ui控件的标识；以及

步骤s103：利用可穿戴设备触发与ui控件标识匹配的事件。

其中，在步骤s101，采用射线来瞄准所要操控的ui控件。具体以ar或vr领域常用的unity3d引擎为例说明，如在ar/vr设备的摄像机向前方的ar/vr空间发射一道射线，以瞄准所要操控的ui控件。需要说明的是，该摄像机并不是具有摄像功能的设备，而是三维图形引擎中一个特殊的物体。在三维图形引擎中，创建一个虚拟的摄像机物体来模仿人眼，该摄像机具有方向和角度，符合透视原理，摄像机所能看到的区域即为程序运行时人眼所能看到的区域。射线的特点为有起点和方向，没有结束点，是直线的一部分。

在步骤s102，在vr/ar空间，为了区分各ui控件，对ui控件进行标识，例如该标识为标签名字。当发射的射线与ui控件发生碰撞时，读取被碰撞ui控件的标识。

在步骤s103，利用可穿戴设备触发在步骤s102瞄准的ui控件相匹配的事件。

利用射线瞄准，并利用可穿戴设备触发瞄准的相应控件事件的交互方法，减少了交互等待时间，提高了用户体验。

在一些优选实施例中，步骤s101包括：根据头部的移动改变射线的发射方向，以瞄准所需操控的ui控件。

vr/ar设备为头戴式设备时，通过头部的移动改变射线的方向，以实现在选择不同ui控件。

图2示出了根据本申请一个实施例的步骤s102的获取标识的方法的示例性流程图。如图2所示获取标识的方法包括：

步骤s201：执行射线碰撞检测；

步骤s202：将与射线发生碰撞的ui控件上的射线样式修改为预设样式；以及

步骤s203：获取ui控件的控件标识。

其中，在步骤s202，为了在各种碰撞事件中区别ui控件与射线的碰撞事件，当检测到ui控件与射线的碰撞事件时，将射线样式修改为预设样式，详见图3部分的说明。

需要说明的是，实际应用中步骤202和步骤203的执行顺序可以互换。

接着，图3示出了根据本申请一个实施例的用于vr/ar的区别显示射线与控件碰撞事件的示意图。

如图3所示，射线发射在ar/vr的3d空间的空物体时，射线样式为实心点；当射线与ui控件例如ui按钮碰撞时，射线样式为空心圆圈，以表示选择该ui按钮。以上，仅仅是举例说明，射线的显示样式可根据需要采用任意显示样式。

图4，示出了根据本申请一个实施例的步骤s103的触发方法的示例性流程图。该触发方法包括：

步骤s301：经由可穿戴设备接收触发操作；以及

步骤s302：经由可穿戴设备将触发操作信息发送至vr/ar设备的客户端应用，使得客户端应用响应ui控件标识匹配的事件。

其中，在步骤s301，可穿戴设备接收使用者的触发操作，例如通过按键，语音指令，并发送至ar/vr设备。该可穿戴设备可以为独立于ar/vr设备的单独设备，或者为集成在ar/vr设备的模块。

在步骤s302，ar/vr设备接收可穿戴设备的触发操作信息后，由ar/vr设备的客户端应用启动对应ui控件标识的事件。该客户端应用为处理或者响应于各种ui控件标识事件的程序。

本发明还提供一种用于vr/ar的控件交互装置。

图5示出了根据本申请实施例的用于vr/ar的控件交互装置100的示例性结构框图。图5所示的用于vr/ar的控件交互装置100可对应执行图1所示的用于vr/ar的控件交互方法。

该交互装置100包括：

发射单元110，配置用于将射线发射至vr/ar空间；

获取单元120，配置用于射线与vr/ar空间的用户界面ui控件发生碰撞时，获取ui控件的标识；

触发单元130，配置用于利用可穿戴设备触发与ui控件标识匹配的事件。

图5所示的交互原理参见图1所示的交互方法，此处不再赘述。

优选地，获取单元120包括：

碰撞检测单元121：配置用于执行射线碰撞检测；

样式修改单元122：配置用于将与射线发生碰撞的ui控件上的射线样式修改为预设样式；

标识获取单元123：配置用于获取ui控件的控件标识。

在一些优选实施例中，触发单元130包括；

接收单元131：配置用于经由可穿戴设备接收触发操作；

响应单元132：配置用于经由可穿戴设备将触发操作信息发送至vr/ar设备的客户端应用，使得客户端应用响应ui控件标识匹配的事件。

优选地，发射单元110包括：

移动单元111：配置用于根据头部的移动改变射线的发射方向，以瞄准所需操控的ui控件。

本申请还公开一种用于vr/ar的控件交互系统。该交互系统包括：

vr/vr设备，vr/vr设备包括本申请各实施例提供的vr/ar的控件交互装置；以及

可穿戴设备，配置用于接收触发操作；将触发操作信息发送至vr/ar设备的客户端应用，使得客户端应用响应ui控件标识匹配的事件。

优选地，可穿戴设备为可佩戴于手指的指环式可穿戴设备。

在一些优选实施例中，指环式可穿戴设备配置有主按键，按下主按键将触发ui控件标识匹配的事件。该部分的说明详见图6的说明内容。

优选地，vr/ar设备为vr/ar眼镜。

接着，图6示出了根据本申请实施例的可穿戴设备的示例性结构示意图。

如图6所示，可穿戴设备包括佩带机构和操控模块，该佩戴机构用于将操控装置固定在手指上，佩戴机构的一端与操控模块连接。操控模块包括主键201，当按下主键201时，触发当前瞄准的ui控件标识匹配的事件。该可穿戴设备与vr/ar设备进行无线通信，如采用蓝牙或者wifi无线方式将触发操控信息发送给vr/ar设备。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。