一种增强现实系统中的交互方法、装置及设备与流程

本公开一般涉及计算机领域，具体涉及增强现实技术，尤其涉及一种增强现实系统中的交互方法、装置及设备。

背景技术：

增强现实技术(augmentedreality，ar)，是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频、3d模型的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。

slam(simultaneouslocalizationandmapping),也称为cml(concurrentmappingandlocalization),即时定位与地图构建，或并发建图与定位。

tof(timeofflight，飞行时间)技术，即传感器发出经调制的近红外光，遇物体后反射，传感器通过计算光线发射和反射时间差或相位差，来换算被拍摄景物的距离，以产生深度信息，此外再结合传统的相机拍摄，就能将物体的三维轮廓以不同颜色代表不同距离的地形图方式呈现出来。

目前有很多在虚拟现实基础上的交互方式，例如通过光学定位手柄/操纵杆，通过光学扫描手部动作完成操作等，不过这些交互方式需要的计算复杂度较高，交互过程不够高效。

技术实现要素：

鉴于现有技术中的上述缺陷或不足，期望提供一种增强现实系统中的交互方法、装置及设备，以提高增强现实系统中的交互效率。

第一方面，本发明实施例提供一种增强现实系统中的交互方法，所述方法包括：

根据操控设备的姿态与位置信息，确定场景中操控设备虚拟射线指向的方向；

根据虚拟射线指向的方向以及设定的虚拟射线的长度，确定所述虚拟射线指向的点；

捕捉所述虚拟射线指向的点的变化信息，并根据该变化信息进行场景中虚拟物体的操控。

进一步，所述根据操控设备的姿态与位置信息，确定场景中操控设备虚拟射线指向的方向，具体包括：

根据操控设备的3轴位置信息以及3轴偏转角度信息中的航向角与俯仰角信息，确定场景中操控设备虚拟射线指向的方向。

优选的，所述捕捉所述虚拟射线指向的点的变化信息，并根据该变化信息进行场景中虚拟物体的操控，具体包括：

捕捉操控设备的姿态与位置信息的变化信息以及射线长度的变化信息，并根据操控设备的姿态与位置信息的变化信息以及射线长度的变化信息改变相应虚拟物体的位置；和/或

捕捉操控设备的3轴偏转角度信息中的翻转角的变化，并根据3轴偏转角度信息中的翻转角的变化，对场景中相应的虚拟物体进行翻转。

进一步，所述根据虚拟射线指向的方向以及设定的虚拟射线的长度，确定所述虚拟射线指向的点之后，还包括：

通过显示设备在虚拟射线指向的点显示激光点。

更进一步，还包括：

捕捉到操控设备设定按键的点击信号时，对虚拟射线指向的点处的虚拟按钮进行点击操作。

第二方面，本发明实施例相应一种增强现实系统中的交互装置，所述装置包括：

第一确定单元，用于根据操控设备的姿态与位置信息，确定场景中操控设备虚拟射线指向的方向；

第二确定单元，用于根据虚拟射线指向的方向以及设定的虚拟射线的长度，确定所述虚拟射线指向的点；

操控单元，用于捕捉所述虚拟射线指向的点的变化信息，并根据该变化信息进行场景中虚拟物体的操控。

进一步，所述第一确定单元具体用于：

根据操控设备的3轴位置信息以及3轴偏转角度信息中的航向角与俯仰角信息，确定场景中操控设备虚拟射线指向的方向。

优选的，所述操控单元具体用于：

捕捉操控设备的姿态与位置信息的变化信息以及射线长度的变化信息，并根据操控设备的姿态与位置信息的变化信息以及射线长度的变化信息改变相应虚拟物体的位置；和/或

捕捉操控设备的3轴偏转角度信息中的翻转角的变化，并根据3轴偏转角度信息中的翻转角的变化，对场景中相应的虚拟物体进行翻转。

进一步，所述第二确定单元还用于：

在根据虚拟射线指向的方向以及设定的虚拟射线的长度，确定所述虚拟射线指向的点之后，通过显示设备在虚拟射线指向的点显示激光点。

更进一步，所述操控单元还用于：

捕捉到操控设备设定按键的点击信号时，对虚拟射线指向的点处的虚拟按钮进行点击操作。

第三方面，本发明实施例相应提供一种设备，包括处理器、存储器和显示器；

所述存储器包含可由所述处理器执行的指令以使得所述处理器执行：

根据操控设备的姿态与位置信息，确定场景中操控设备虚拟射线指向的方向；

根据虚拟射线指向的方向以及设定的虚拟射线的长度，确定所述虚拟射线指向的点；

捕捉所述虚拟射线指向的点的变化信息，并根据该变化信息进行场景中虚拟物体的操控。

进一步，还包括：

3轴加速度传感器，用于获取设备的加速度信息；

3轴陀螺仪，用于获取设备的偏转角度信息；

所述根据操控设备的姿态与位置信息，确定场景中操控设备虚拟射线指向的方向，具体包括：

根据操控设备的3轴位置信息以及3轴偏转角度信息中的航向角与俯仰角信息，确定场景中操控设备虚拟射线指向的方向。

更进一步，所述设备包括：

操控设备，包括第一处理器、存储器、3轴加速度传感器、3轴陀螺仪，所述第一处理器用于：根据操控设备的姿态与位置信息，确定场景中操控设备虚拟射线指向的方向；根据虚拟射线指向的方向以及设定的虚拟射线的长度，确定所述虚拟射线指向的点；捕捉所述虚拟射线指向的点的变化信息，并根据该变化信息进行场景中虚拟物体的操控；

显示设备，包括用于显示环境画面和虚拟物体的显示器、第二处理器、用于获取外界环境画面的摄像头；

所述操控设备和显示设备通过通信模块连接。

更进一步，所述显示器还用于：

在虚拟射线指向的点显示激光点。

第四方面，本发明实施例还相应提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序用于：

根据操控设备的姿态与位置信息，确定场景中操控设备虚拟射线指向的方向；

根据虚拟射线指向的方向以及设定的虚拟射线的长度，确定所述虚拟射线指向的点；

捕捉所述虚拟射线指向的点的变化信息，并根据该变化信息进行场景中虚拟物体的操控。

本发明实施例提供一种增强现实系统中的交互方法、装置及设备，根据操控设备的姿态与位置信息，确定场景中操控设备虚拟射线指向的方向，再根据虚拟射线指向的方向以及设定的虚拟射线的长度，确定虚拟射线指向的点，进而可以捕捉虚拟射线指向的点的变化信息，并根据该变化信息进行场景中虚拟物体的操控，通过虚拟射线的方式对增强现实系统中的物体进行操控，减小了计算复杂度，提高了增强现实系统中的交互效率。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1为本发明实施例提供的增强现实系统中的交互方法流程图；

图2为本发明实施例提供的增强现实系统中虚拟射线和激光点示意图；

图3为本发明实施例提供的增强现实系统中通过虚拟射线和激光点与虚拟屏幕进行交互的示意图；

图4为本发明实施例提供的增强现实系统中的交互装置结构示意图；

图5为本发明实施例提供的增强现实系统中的交互设备结构示意图；

图6为本发明实施例提供的较佳的增强现实系统中的交互设备结构示意图；

图7为本发明实施例提供的更佳的增强现实系统中的交互设备结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

请参考图1，本发明实施例提供的增强现实系统中的交互方法，包括：

步骤s101、根据操控设备的姿态与位置信息，确定场景中操控设备虚拟射线指向的方向；

步骤s102、根据虚拟射线指向的方向以及设定的虚拟射线的长度，确定虚拟射线指向的点；

步骤s103、捕捉虚拟射线指向的点的变化信息，并根据该变化信息进行场景中虚拟物体的操控。

该方法根据操控设备的姿态与位置信息，确定场景中操控设备虚拟射线指向的方向，再根据虚拟射线指向的方向以及设定的虚拟射线的长度，确定虚拟射线指向的点，进而可以捕捉虚拟射线指向的点的变化信息，并根据该变化信息进行场景中虚拟物体的操控，通过虚拟射线的方式对增强现实系统中的物体进行操控，减小了计算复杂度，提高了增强现实系统中的交互效率。

应当注意，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，流程图中描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

可以通过操控设备的3轴位置信息以及3轴偏转角度信息中的航向角与俯仰角信息，确定虚拟射线指向的方向，其中，3轴位置信息可以通过原始位置信息以及用于获取设备的加速度信息的3轴加速度传感器确定，3轴偏转角度信息可以通过3轴陀螺仪确定。此时，步骤s101，根据操控设备的姿态与位置信息，确定场景中操控设备虚拟射线指向的方向，具体包括：

根据操控设备的3轴位置信息以及3轴偏转角度信息中的航向角与俯仰角信息，确定场景中操控设备虚拟射线指向的方向。

在步骤s103中，实现对场景中虚拟物体的操控时，首先包括改变虚拟物体的位置，可以通过虚拟射线指向的点的位置的变化，实现对虚拟物体的位置的改变，此时，步骤s103中，捕捉虚拟射线指向的点的变化信息，并根据该变化信息进行场景中虚拟物体的操控，具体包括：

捕捉操控设备的姿态与位置信息的变化信息以及射线长度的变化信息，并根据操控设备的姿态与位置信息的变化信息以及射线长度的变化信息改变相应虚拟物体的位置。

进一步，在步骤s103中，实现对场景中虚拟物体的操控时，还可以包括对虚拟物体的翻转操作，可以通过虚拟射线的翻转角的变化对虚拟物体进行翻转操作，此时，步骤s103中，捕捉虚拟射线指向的点的变化信息，并根据该变化信息进行场景中虚拟物体的操控，还包括：

捕捉操控设备的3轴偏转角度信息中的翻转角的变化，并根据3轴偏转角度信息中的翻转角的变化，对场景中相应的虚拟物体进行翻转。

步骤s103中，捕捉虚拟射线指向的点的变化信息，并根据该变化信息进行场景中虚拟物体的操控，在具体实施时，可以通过以下两种方式进行：

方式一，确定虚拟射线指向的点的变化值，根据变化值改变虚拟物体的位置及角度；

方式二，通过刷新，确定虚拟射线指向的点发生变化，确定新的虚拟射线指向的点，根据新的虚拟射线指向的点显示场景中虚拟物体，从而实现对场景中虚拟物体的操控。

进一步，为了便于用户确定虚拟射线指向的点的位置，从而对该点处的虚拟物体进行控制，在步骤s102根据虚拟射线指向的方向以及设定的虚拟射线的长度，确定虚拟射线指向的点之后，还包括：

通过显示设备在虚拟射线指向的点显示激光点。

如图2所示，为表示方便，图2中示出了虚拟射线和虚拟激光点，实际应用中，虚拟射线并不显示，虚拟激光点通过显示设备显示，仅佩戴显示设备的用户可见。

进一步，该方法还包括：

捕捉到操控设备设定按键的点击信号时，对虚拟射线指向的点处的虚拟按钮进行点击操作。

如图3所示，同样的，为表示方便，图2中示出了虚拟射线和虚拟激光点，实际应用中，虚拟射线并不显示，虚拟激光点通过显示设备显示，仅佩戴显示设备的用户可见。图3中用户可以通过虚拟激光点对虚拟屏幕上相应的虚拟按钮进行点击操作，还可以通过虚拟激光点拖动虚拟屏幕边框，调整虚拟屏幕大小。

具体的，在实际应用中，可以先通过深度测量扫描当前场景，得到深度图谱，从而得到场景中的各个位置的点云数据，将点云数据实时传输实现slam场景地图构建，并在场景中做好配置虚拟物体的准备，获取操控设备6个自由度的数据信息(3轴加速度3轴陀螺仪)，标定某一点为正方向，根据数据信息变换得到操控设备当前姿态(包括3轴设备位置信息，3轴设备偏转角度信息)根据两点一线原则，一点为操控设备，另一点为场景中点云，根据操控设备的姿态与位置信息可以得到在在场景中，操控设备具体指向的是哪一个点，处理器通过显示设备在指向的目标点显示虚拟类射线亮点。

通过此操作，实现了精确到现实场景中实物上任意一点的显示位置判定。基于此射线，通过规定射线的长度，即可映射到空间场景中任意一点位置。

由此，所有的虚拟物体都可以基于此位置判定精确地放置于空间中的任意位置。

进一步，虚拟激光点可以与场景中的实物表面进行对应，即实现操控设备到物体表面某点的向量连线，通过控制该向量的长度即可实现在空间中的任意位置定位。需要注意的是，激光点的定位主要利用了3轴位置信息以及3轴偏转角度信息中的航向角与俯仰角信息，而翻转角用于激光点的旋转，对应于操控的物体，可以实现操控物体的翻转。在此阶段，虚拟的物体可以精确地在现实空间场景中被放置，或抬起旋转等操作，完成精确定位于复杂操控。

进一步参考图4，其示出了根据本申请一个实施例的用于增强现实系统中的交互装置的示例性结构框图。

如图4所示，该装置包括：

第一确定单元401，用于根据操控设备的姿态与位置信息，确定场景中操控设备虚拟射线指向的方向；

第二确定单元402，用于根据虚拟射线指向的方向以及设定的虚拟射线的长度，确定虚拟射线指向的点；

操控单元403，用于捕捉虚拟射线指向的点的变化信息，并根据该变化信息进行场景中虚拟物体的操控。

进一步，第一确定单元401具体用于：

根据操控设备的3轴位置信息以及3轴偏转角度信息中的航向角与俯仰角信息，确定场景中操控设备虚拟射线指向的方向。

进一步，操控单元403具体用于：

捕捉操控设备的姿态与位置信息的变化信息以及射线长度的变化信息，并根据操控设备的姿态与位置信息的变化信息以及射线长度的变化信息改变相应虚拟物体的位置；和/或

捕捉操控设备的3轴偏转角度信息中的翻转角的变化，并根据3轴偏转角度信息中的翻转角的变化，对场景中相应的虚拟物体进行翻转。

进一步，第二确定单元402还用于：

在根据虚拟射线指向的方向以及设定的虚拟射线的长度，确定虚拟射线指向的点之后，通过显示设备在虚拟射线指向的点显示激光点。

更进一步，操控单元403还用于：

捕捉到操控设备设定按键的点击信号时，对虚拟射线指向的点处的虚拟按钮进行点击操作。

该装置可以设置在操控设备中，也可以设置在与操控设备配套的头戴设备中。

应当理解，如图4所示的装置中记载的诸单元或模块与参考图2描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作和特征同样适用于如图4所示的装置及其中包含的单元，在此不再赘述。如图4所示的装置可以预先实现在电设备的浏览器或其他安全应用中，也可以通过下载等方式而加载到电设备的浏览器或其安全应用中。如图4所示的装置中的相应单元可以与电设备中的单元相互配合以实现本申请实施例的方案。

下面参考图5，其示出了适于用来实现本申请实施例的设备500的结构示意图。

如图5所示，该设备包括：处理器501、存储器502和显示器503；

存储器502包含可由处理器501执行的指令以使得处理器501执行：

根据操控设备的姿态与位置信息，确定场景中操控设备虚拟射线指向的方向；

根据虚拟射线指向的方向以及设定的虚拟射线的长度，确定虚拟射线指向的点；

捕捉虚拟射线指向的点的变化信息，并根据该变化信息进行场景中虚拟物体的操控。

进一步，如图6所示，该设备，还包括：

3轴加速度传感器504，用于获取设备的加速度信息；

3轴陀螺仪505，用于获取设备的偏转角度信息；

根据操控设备的姿态与位置信息，确定场景中操控设备虚拟射线指向的方向，具体包括：

根据操控设备的3轴位置信息以及3轴偏转角度信息中的航向角与俯仰角信息，确定场景中操控设备虚拟射线指向的方向。

进一步，为便于用户携带和控制，设备的操控部分和显示部分可以分开设置，此时，如图7所示，该设备包括：

操控设备701，包括第一处理器7011、存储器7012、3轴加速度传感器7013、3轴陀螺仪7014，其中，第一处理器7011用于：根据操控设备701的姿态与位置信息，确定场景中操控设备701虚拟射线指向的方向；根据虚拟射线指向的方向以及设定的虚拟射线的长度，确定虚拟射线指向的点；捕捉虚拟射线指向的点的变化信息，并根据该变化信息进行场景中虚拟物体的操控；

显示设备702，包括用于显示环境画面和虚拟物体的显示器7021、第二处理器7022、用于获取外界环境画面的摄像头7023；

其中，操控设备701和显示设备702通过通信模块连接。

进一步，显示器7021还用于：

在虚拟射线指向的点显示激光点。

更进一步，操控设备701还用于：捕捉到操控设备设定按键的点击信号时，对虚拟射线指向的点处的虚拟按钮进行点击操作。

本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序用于：

根据操控设备的姿态与位置信息，确定场景中操控设备虚拟射线指向的方向；

根据虚拟射线指向的方向以及设定的虚拟射线的长度，确定虚拟射线指向的点；

捕捉虚拟射线指向的点的变化信息，并根据该变化信息进行场景中虚拟物体的操控。

特别地，根据本公开的实施例，上文参考图1描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，所述计算机程序包含用于执行图1的方法的程序代码。在这样的实施例中，该计算机程序可以从网络上被下载和安装，和/或从可拆卸介质被安装。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，例如，可以描述为：一种处理器包括xx单元、yy单元以及zz单元。其中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定，例如，xx单元还可以被描述为“用于xx的单元”。

作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中所述装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本申请的公式输入方法。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。