一种终端设备中非VR应用的交互方法及终端设备与流程

本发明涉及VR技术领域，特别涉及一种终端设备中非VR应用的交互方法及终端设备。

背景技术：

随着VR产业的日益发展，各种智能手机VR硬件陆续面世。然而受限于VR内容的短缺，如何将市场上的存量应用直接用于VR设备中，成为一个很有价值的内容补充点。但是，现有智能设备应用的交互方式主要是通过触摸屏实现，用户的交互手段包括滑动，点击，长按，拖拽等。而在VR眼镜中，交互方式是以头部追踪为主（head tracking），并结合手柄等外设实现。那么当将智能终端中的非VR应用搬到VR场景中时，如何使用VR设备完成对非VR应用的操作成势必解决的技术问题。

技术实现要素：

本发明的目的是要提供一种终端设备中非VR应用的交互方法及终端设备，实现使用VR设备对非VR应用进行操作，以使得将非VR应用直接用于VR设备内。

为了实现上述目的，本发明所采用的技术方案如下：

一种终端设备中非VR应用的交互方法，其包括：

当用户佩戴装载有终端设备的VR眼镜时，将所述终端设备的显示界面通过所述VR眼镜投射于VR场景内，其中，所述终端设备配置VR系统；

当需对终端设备的非VR应用进行操作时，获取用户头部的运动数据；

根据所述运动数据计算用户头部正前方的射线，并计算所述射线与屏幕墙的交点坐标，其中，所述屏幕墙为显示界面在所述VR场景内所处的平面；

根据所述交点坐标确定所述显示界面内与其对应的坐标点的坐标，并根据所述坐标点的坐标选中相应的非VR应用。

所述终端设备中非VR应用的交互方法，其中，所述当需对终端设备的非VR应用进行操作时，获取用户头部的运动数据具体包括：

当需对终端设备的非VR应用进行操作时，通过所述终端设备配置的陀螺仪获取用户头部的运动数据。

所述终端设备中非VR应用的交互方法，其中，所述根据所述运动数据计算用户头部正前方射线，并确定所述射线与屏幕墙的交点坐标，其中，所述屏幕墙为显示界面在所述VR场景内所处的平面具体包括：

将所述运动数据进行矩阵变换得到其对应的用户头部正前方射线方程，其中，所述射线方程包括用户头部的位置以及用户眼睛朝向的向量；

计算所述射线方程与所述屏幕墙的交点，其中，所述屏幕墙为显示界面在所述VR场景内所处的平面。

所述终端设备中非VR应用的交互方法，其中，所述变换矩阵为：

其中，所述为头部沿z轴旋转角度，β为头部沿y轴旋转角度，γ为头部沿x轴旋转角度。

所述终端设备中非VR应用的交互方法，其中，所述根据所述交点坐标确定所述显示界面内与其对应的坐标点的坐标，并根据所述坐标点的坐标选中相应的非VR应用之后还包括：

接收外部控制设备的选取指令，并根据所述选取指令对所述根据所述坐标点的坐标选中的非VR应用执行相应操作。

所述终端设备中非VR应用的交互方法，其中，所述根据所述交点坐标确定所述显示界面内与其对应的坐标点的坐标，并根据所述坐标点的坐标选中相应的非VR应用具体包括：

接收外部控制设备的选取指令，并根据所述坐标点以及所述选取指令在事件系统内注入对所述非VR应用的第一触摸事件；

监听所述选取指令持续过程中所述坐标点的运动轨迹，并根据所述运动轨迹以及所述第一触摸事件对所述非VR应用进行相应操作。

所述终端设备中非VR应用的交互方法，其中，所述监听所述选取指令持续过程中所述坐标点的运动轨迹，并根据所述运动轨迹以及所述第一触摸事件对所述非VR应用进行相应操作具体包括：

在所述选取指令持续过程中，实时获取用户头部运动数据，并根据所述运动数据确定所述坐标点的运动轨迹；

获取所述选取指令消失时所述坐标点对应的第二触摸事件，并判断所述第一触摸事件与所述第二触摸事件是否相同；

若相同，则根据所述第一触摸事件对所述非VR应用执行点击操作；

若不同，则根据所述第一触摸事件、第二触摸事件以及运动轨迹对所述非VR应用执行滑动操作。

一种终端设备，所述终端设备配置有VR系统，并且其还包括：

投射模块，用于当用户佩戴装载有终端设备的VR眼镜时，将所述终端设备的显示界面通过所述VR眼镜投射于VR场景内；

获取模块，用于当需对终端设备的非VR应用进行操作时，获取用户头部的运动数据；

计算模块，用于根据所述运动数据计算用户头部正前方的射线，并计算所述射线与屏幕墙的交点坐标，其中，所述屏幕墙为显示界面在所述VR场景内所处的平面；

选中模块，用于根据所述交点坐标确定所述显示界面内与其对应的坐标点的坐标，并根据所述坐标点的坐标选中相应的非VR应用。

所述终端设备，其还包括：

执行模块，用于接收外部控制设备的选取指令，并根据所述选取指令对所述根据所述坐标点的坐标选中的非VR应用执行相应操作。

所述终端设备，其中，所述执行模块具体包括：

注入单元，用于接收外部控制设备的选取指令，并根据所述坐标点以及所述选取指令在事件系统内注入对所述非VR应用的第一触摸事件；

执行单元，用于监听所述选取指令持续过程中所述坐标点的运动轨迹，并根据所述运动轨迹以及所述第一触摸事件对所述非VR应用进行相应操作。

有益效果：与现有技术相比，本发明提供了一种终端设备中非VR应用的交互方法及终端设备，所述方法包括：在具有VR系统的终端设备装载于VR眼镜上后，将所述终端设备的显示界面通过所述VR眼镜投射于VR场景内；当需对终端设备的非VR应用进行操作时，获取用户头部的运动数据；根据所述运动数据计算用户头部正前方的射线，并计算所述射线与屏幕墙的交点坐标；根据所述交点坐标确定所述显示界面内与其对应的坐标点的坐标，并根据所述坐标点的坐标选中相应的非VR应用。本发明通过根据头部运动数据确定显示界面山的坐标点，并通过外部控制设备对坐标点进行操作，实现了使用VR设备对非VR应用进行操作，从而可以将非VR应用使用于VR设备，扩充了VR设备的使用范围。

附图说明

图1为本发明提供的终端设备中非VR应用的交互方法较佳实施的流程图。

图2为本发明提供的终端设备的结构原理图。

具体实施方式

本发明提供一种终端设备中非VR应用的交互方法及终端设备，为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身并没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。

下面结合附图，通过对实施例的描述，对发明内容作进一步说明。

请参照图1，图1为本发明提供的终端设备中非VR应用的交互方法的较佳实施例的流程图。所述方法包括：

S100、当用户佩戴装载有终端设备的VR眼镜时，将所述终端设备的显示界面通过所述VR眼镜投射于VR场景内，其中，所述终端设备配置VR系统。

具体地，所述终端设备配置VR系统的智能设备，如智能手机、ipod等。所述VR场景为所述终端设备的VR系统通过所述VR眼镜所述呈现出来的虚拟现实的场景。在本实施例中，所述VR场景为基于OpengGL建立的3D空间模型。当所述终端设备的显示界面通过所VR眼镜投射于所述VR场景内时，所述终端设备被投影到某个墙面模型上，将所述墙面模型记为“屏幕墙”。

在用户佩戴装载有终端设备的VR眼镜时，用户的头部位于3D空间模型中的一个点。当用户做3个自由度（3DoF，即绕3D空间坐标系x,y,z三轴的旋转）的运动时，即是对所述头部对应的点做旋转操作。并且在用户面朝屏幕时，可以看到屏幕墙上的手机屏幕内容。值得说明的，在本实施例中是以用户面朝屏幕墙为前提进行说明的。

S200、当需对终端设备的非VR应用进行操作时，获取用户头部的运动数据。

具体地，当需要对终端设备的非VR应用进行操作时，用户需要将视线投射于所述应用所处位置，此时用户需要转动头部以实现视线的转移。从而，可以通过终端设备配置的陀螺仪来获取用户头部运动数据。所述陀螺仪可以获取用户头部3个自由度（3DoF，即绕3D空间坐标系x,y,z三轴的旋转）的运动的数据。

S300、根据所述运动数据计算用户头部正前方的射线，并计算所述射线与屏幕墙的交点坐标，其中，所述屏幕墙为显示界面在所述VR场景内所处的平面。

具体地，所述根据所述运动数据计算用户头部正前方的射线指的是根据陀螺仪获取的获取用户头部3个自由度的运动的数据来计算用户头部正前方的射线的方程，所述射线方程为用户头部的位置和眼睛朝向的向量EyeVector。

示例性的，所述根据所述运动数据计算用户头部正前方的射线，并计算所述射线与屏幕墙的交点坐标，其中，所述屏幕墙为显示界面在所述VR场景内所处的平面具体包括：

S301、将所述运动数据进行矩阵变换得到其对应的用户头部正前方射线方程，其中，所述射线方程包括用户头部的位置以及用户眼睛朝向的向量；

S302、计算所述射线方程与所述屏幕墙的交点，其中，所述屏幕墙为显示界面在所述VR场景内所处的平面。

具体的来说，在所述步骤S301中，所述矩阵为根据陀螺仪获取的头部运行数据计算出的旋转矩阵。对任意复杂的旋转可表达为绕刚体自身的x，y，z三个轴分别进行旋转某个角度，这就是欧拉角(Euler Angle)表示方式。当用户头部发生旋转时，roll，yaw，pitch（pitch，yaw，roll分别用来表示绕x, y, z的旋转）这三个旋转的角度α，β，γ由终端设备的陀螺仪获取的运动数据，那么通过下列的公式可计算出旋转矩阵，所述旋转矩阵可以表示为：

其中，

进一步，在确定所述旋转矩阵后，根据所述旋转矩阵计算用户面部的朝向向量（即眼睛正视的方向）。在本实施例中，将用户面部的朝向初始向量EyeVector1设为（0,0,-1），即一开始用户面朝z轴的负方向。从而通过下面公式可求得用户旋转头部后的面部朝向向量EyeVector。所述公式可以为：

。

在确定面部朝向向量EyeVector之后，根据所述面部朝向向量EyeVector和用户头部的初始坐标可以确定所述射线方程。所述用户头部的初始坐标为已知，将其记为，那么所述射线方程为：

其中，，，用于标识面部朝向向量的各个分量。

在所述步骤S302中，在获取到射线方程后，根据所述射线方程求所述射线与屏幕墙的交点。在本实施例中，设置屏幕墙所处平面为已知，并将所述屏幕墙的平面方程记为：

其中WallNormal为“屏幕墙”法向量，WallPoint为其墙上任意点。于是我们可以通过以下算法得到射线与屏幕墙的交点。其计算过程可以为：

S400、根据所述交点坐标确定所述显示界面内与其对应的坐标点的坐标，并根据所述坐标点的坐标选中相应的非VR应用。

具体的，在获取所述交点坐标后，判断所述交点坐标是否处于所述屏幕墙内。只有当所述交点坐标处于所述屏幕墙内，才将所述交点转换为终端设备的屏幕上坐标点的坐标。这样对所述交点的操作即可转化为对终端设备屏幕上相应坐标的操作，从而将所述交点作为追踪点，以实现后续对终端设备的操作。这样可以根据所述坐标对其对应的非VR应用进行相应操作。在本实施例中，将所述坐标点的位置作为所述非VR应用的位置，即根据所述坐标点的坐标选中相应的非VR应用。

在本发明的另一个实施例中，在选中所述非VR应用之后还包括对所述非VR应用进行操作，如点击，滑动等。从而，在所述步骤S400之后还包括：

S500、接收外部控制设备的选取指令，并根据所述坐标点以及所述选取指令在事件系统内注入对所述非VR应用的第一触摸事件；

S600、监听所述选取指令持续过程中所述坐标点的运动轨迹，并根据所述运动轨迹以及所述第一触摸事件对所述非VR应用进行相应操作。

具体地来说，在所述步骤S500中，所述外部设备可以是VR眼镜，所述VR眼镜支持屏幕触点，例如Google的第二代Cardboard其设置有控制按键，在用户按下此键后，VR眼镜的导电泡棉便会伸出，触碰电容式触控屏对应的位置行程触碰事件。所述外部设备也可以是通过控制手柄来模拟触摸事件。首先，将控制手柄采用USB或者蓝牙方式等方式与终端设备建立连接。然后，在通过控制手柄产生控制指令，所述控制指令会经过framework/native层的inputflinger模块，采用VR眼镜相同的过程即可以实现对终端设备屏幕的触碰操作。

在所述步骤S600中，在接收到所述选取指令后，实时获取所述选取指令存在过程中，所述坐标点的运动轨迹。在所述选取指令消失时，确定所述坐标点的最终运动轨迹，根据所述运动轨迹以及所述第一触摸事件对所述非VR应用进行相应操作。

示例性的，所述步骤S600具体可以包括：

S601、在所述选取指令持续过程中，实时获取用户头部运动数据，并根据所述运动数据确定所述坐标点的运动轨迹；

S602、获取所述选取指令消失时所述坐标点对应的第二触摸事件，并判断所述第一触摸事件与所述第二触摸事件是否相同；

S603、若相同，则根据所述第一触摸事件对所述非VR应用执行点击操作；

S604、若不同，则根据所述第一触摸事件、第二触摸事件以及运动轨迹对所述非VR应用执行滑动操作。

具体地，根据选取指令产生第一触摸事件后，保存所述第一触摸事件，并通过实时获取用户头部运动数据来实时获取所述坐标点的变化以形成所述坐标点的运动轨迹。并且在所述选取指令消失时，获取所述消失时刻对应的坐标点行程第二触摸事件。最后根据第一触摸事件和第二触摸事件确定对所述终端设备进行操作的类型，如，点击、滑动等。也就是，将所述第一触摸事件与所述第二触摸事件进行比较，以判断所述第一触摸事件和第二触摸事件是否对终端设备同一位置进行，即判断所述第一触摸事件对应的坐标点和第二触摸事件对应的坐标点是否相同。当两者相同时，则说明第一触摸事件和第二触摸事件是对终端设备同一位置进行，将所述触摸事件判断为点击操作，则对所述非VR应用进行点击操作。当然，在两者不同时，将所述第一触摸事件对应的坐标点作为起点，所述第二触摸事件对应的坐标点作为终点，将所述运动轨迹作为起点和终点触摸轨迹，进行对所述非VR应用执行从起点沿所述触摸轨迹滑动至终点的滑动操作。在实际应用中，当所述第一触摸事件与第二触摸事件相同时，还可以判断所述第一触摸事件与第二触摸事件之间的时间间隔，如果所述时间间隔大于预设阈值，则判断为双击操作，否则为点击操作。所述阈值为预先设置的，如1秒等。

在本实施例中，对应点击操作可以通过如下过程实现，所述过程为所述终端设备在VR模式下，仅响应该控制按键产生的触摸事件，所述触摸事件包括第一触摸事件和第二触摸事件，所述第一触摸事件为按压所述控制按键产生的触摸事件，记为AMOTION_EVENT_ACTION_DOWN，所述第二触摸事件为松开所述控制按键产生的触摸事件，记为AMOTION_EVENT_ACTION_UP）。在产生第一触摸事件/第二触摸事件时，所述产生第一触摸事件/第二触摸事件在framework/native层的inputflinger模块中被拦截，并根据所述坐标点在事件系统中注入一个新的屏幕触摸事件。根据所述第一触摸事件和/或第二触摸事件对终端设备进行点击操作。当然，在通过控制手柄控制终端设备时，可以通过手柄的确定键产生第一触摸事件，返回键产生第二触摸事件，以实现对终端设备的点击操作。

在本实施例中，对应所述滑动操作可以通过如下过程实现，首先当用户按下VR眼镜的电容触点时，系统产生一个motion event的ACTION_DOWN事件，这个事件会在framework/native层的inputflinger模块中被拦截并转换成一个新的ACTION_DOWN事件，即在坐标点注入一个基于该坐标的新的屏幕触摸事件。在所述按压操作持续过程中，随后用户通过头部运动来移动坐标点，此时根据坐标点的坐标注入一连串ACTION_MOVE事件，最后当用户手指离开电容触点时，系统产生一个ACTION_UP事件，此事件会被拦截并转换成一个基于坐标点的新的ACTION_UP事件，从而完成一次滑动操作。当然，在通过控制手柄控制终端设备时，可以基于手柄的滑动操作主要通过“上下左右”四个方向键模拟。在用户使用手柄上的方向键时，也是通过在inputflinger中拦截并注入motion event“ACTION_DOWN -> ACTION_MOVE…ACTION_MOVE -> ACTION_UP”来实现。

本发明还提供了一种终端设备，所述终端设备配置有VR系统，如图2所示，其包括：

投射模块100，用于当用户佩戴装载有终端设备的VR眼镜时，将所述终端设备的显示界面通过所述VR眼镜投射于VR场景内；

获取模块200，用于当需对终端设备的非VR应用进行操作时，获取用户头部的运动数据；

计算模块300，用于根据所述运动数据计算用户头部正前方的射线，并计算所述射线与屏幕墙的交点坐标，其中，所述屏幕墙为显示界面在所述VR场景内所处的平面；

选中模块400，用于根据所述交点坐标确定所述显示界面内与其对应的坐标点的坐标，并根据所述坐标点的坐标选中相应的非VR应用。

所述终端设备，其还包括：

执行模块，用于接收外部控制设备的选取指令，并根据所述选取指令对所述根据所述坐标点的坐标选中的非VR应用执行相应操作。

所述终端设备，其中，所述执行模块具体包括：

注入单元，用于接收外部控制设备的选取指令，并根据所述坐标点以及所述选取指令在事件系统内注入对所述非VR应用的第一触摸事件；

执行单元，用于监听所述选取指令持续过程中所述坐标点的运动轨迹，并根据所述运动轨迹以及所述第一触摸事件对所述非VR应用进行相应操作。

上述终端设备的各个模块在上述方法中已经详细说明，在这里就不再一一陈述。

在本发明所提供的实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。