一种用于在虚拟环境内提供交互性的方法和系统与流程

本发明属于虚拟环境领域。更具体地但非排他性地，本发明涉及虚拟环境内的交互性。

背景技术：

计算系统提供了不同类型的可视化系统。所使用的一种可视化系统是虚拟环境。虚拟环境向用户显示来自在虚拟环境内定向的虚拟相机的视图。接收来自用户的输入以改变虚拟相机的定向。

虚拟环境被用在多个领域中，包括娱乐、教育、医疗和科学。

用于显示虚拟环境的技术可以包括桌上计算机/膝上计算机、便携式设备(如平板计算机和智能电话)、以及虚拟现实耳机(如Oculus Rift^TM)。

对于一些具有内部陀螺仪的便携式设备，用户可以通过移动便携式设备来定向虚拟相机，并且便携式设备利用其从其陀螺仪得到的定向来在虚拟环境内定位虚拟相机。

用户通过转动和倾斜其头部来定向虚拟现实耳机中的虚拟相机。

一个这样的虚拟环境由Google Spotlight Stories^TM所提供。Google Spotlight Stories^TM是为智能电话提供的360度动画电影。用户可以通过移动其智能电话来在虚拟环境内定向虚拟相机。经由内部陀螺仪，智能电话将智能电话的定向转换成虚拟相机的定向。然后用户可以从他们所选择的一个视角查看线性动画，并且可以在动画期间改变视角。

对于一些应用，将期望的是在虚拟环境内实现交互性。通常经由触摸板或点击设备(例如鼠标)为桌上/膝上计算机提供交互性，经由触摸屏为手持式设备提供交互性，并且经由虚拟现实耳机上的按钮提供交互性。

现有技术所提供的交互性的性质和应用可能被限制于可经由使用虚拟环境来提供的不同类型的交互体验中。例如，用户必须通过提供特定输入来有意识地触发交互，并且用于为手持式设备和虚拟现实耳机接收输入的用户界面可能比较麻烦——手指在触摸屏上阻碍手持式设备的一部分显示器，并且用户无法看到在虚拟现实耳机中他们必须按动的按钮。

因此，期望一种用于在虚拟环境内提供交互性的改进方法和系统。

本发明的目的是提供一种用于在虚拟环境内提供交互性的方法和系统，所述方法和系统克服了现有技术的缺点，或者至少提供了有用的替代方案。

技术实现要素：

根据本发明的第一方面，提供了一种在显示于设备上的虚拟环境内提供交互性的方法，所述方法包括：

接收来自用户的输入以在所述虚拟环境内定向虚拟相机，其中所述虚拟环境包括多个对象，并且其中所述对象中的至少一些对象被标记；以及

当所述标记对象处于所述虚拟相机的定义视觉范围内时，触发与所述标记对象相关联的一个或多个动作。

根据本发明的另一方面，提供了一种用于在虚拟环境内提供交互性的系统，所述系统包括：

存储器，所述存储器被配置成用于存储用于定义包括多个对象的所述虚拟环境的数据，其中所述对象中的至少一些对象被标记；

输入装置，所述输入装置被配置成用于接收来自用户的输入以在所述虚拟环境内定向虚拟相机；

显示器，所述显示器被配置成用于向所述用户显示来自所述虚拟相机的视图；以及

处理器，所述处理器被配置成用于根据所述输入来定向所述虚拟相机，并且用于触发与处于所述虚拟相机的所述视觉范围内的标记对象相关联的一个或多个动作。

根据本发明的另一方面，提供了一种用于在虚拟环境内提供交互性的计算机程序代码，所述计算机程序代码包括：

生成模块，所述生成模块当被执行时被配置成用于在虚拟环境内生成多个标记对象并且用于将一个或多个动作与每个标记对象相关联；以及

触发模块，所述触发模块当被执行时被配置成用于生成从虚拟相机到所述虚拟环境中的投射，用于检测所述投射与可见的标记对象之间的相交，并且用于触发与所述相交的标记对象相关联的动作。

根据本发明的另一方面，提供了一种用于在虚拟环境内提供交互性的系统，所述系统包括：

存储器，所述存储器被配置成用于存储生成模块、触发模块以及用于定义包括多个对象的虚拟环境的数据；

用户输入端，所述用户输入端被配置成用于接收来自应用开发者的输入以创建多个标记对象以及与所述虚拟环境内的每个标记对象相关联的一个或多个动作；以及

处理器，所述处理器被配置成用于执行所述生成模块以创建多个标记对象以及与所述虚拟环境内的每个标记对象相关联的一个或多个动作，并且用于编译结合了所述触发模块的应用程序。

在权利要求书中描述了本发明的其他方面。

附图说明

现在将参考附图，只通过例子描述本发明的实施例，在附图中：

图1：示出了框图，展示了根据本发明的实施例的一种系统；

图2：示出了流程图，展示了根据本发明的实施例的一种方法；

图3：示出了框图，展示了根据本发明的实施例的计算机程序代码；

图4：示出了框图，展示了根据本发明的实施例的一种系统；

图5a至5c：示出了框图，展示了根据本发明的不同实施例的一种方法；以及

图6：示出了流程图，展示了根据本发明的实施例的一种方法；

图7a：示出了简图，展示了根据本发明的实施例关于虚拟环境来定向物理设备；

图7b：示出了简图，展示了根据本发明的实施例在虚拟场景中定向虚拟相机；

图7c：示出了简图，展示了根据本发明的实施例用户定向平板计算机设备；

图7d：示出了简图，展示了根据本发明的实施例用户定向虚拟现实耳机设备；

图8a：示出了简图，展示了根据本发明的实施例触发在“凝视对象”处的事件；

图8b至8d：示出了简图，展示了根据本发明的实施例触发在接近区域内的“凝视对象”处的事件；

图9：示出了流程图，展示了根据本发明的实施例的一种触发方法；

图10a：示出了简图，展示了根据本发明的实施例的不同被触发事件；

图10b：示出了简图，展示了根据本发明的实施例在虚拟场景中其他地方的“被凝视”对象触发事件；

图11：示出了简图，展示了根据本发明的实施例的空间化声音；以及

图12：示出了与本发明的实施例一起使用的平板计算机和耳机。

具体实施方式

本发明提供了一种用于在虚拟环境内提供交互性的方法和系统。

诸位发明人已经发现，用户在虚拟3D环境中对虚拟相机的定向接近用户的凝视以及因此他们在此虚拟空间内的兴趣。基于此，诸位发明人意识到，这种“凝视”可以单独用于触发在虚拟环境内绑定到“被凝视的”对象的动作。这种“凝视”使能的环境提供或增强了交互性。诸位发明人已经发现，其在3D虚拟世界中传递交互式叙事体验时可能特别有用，因为所述体验可以被脚本化但可以被用户触发。

在图1中，示出了根据本发明的实施例的系统100。

系统100包括显示器101、输入端102、处理器103和存储器104。

系统100还可以包括音频输出端105。音频输出端105以是多通道音频输出，如立体声扬声器或耳机、或环绕声系统。

显示器101可以被配置成用于从虚拟相机的视角显示虚拟环境。显示器101可以是例如LED/LCD显示器、便携式设备上的触摸屏或虚拟现实耳机的双左眼右眼显示器。

输入端102可以被配置成用于接收来自用户的输入以在所述虚拟环境内定向虚拟相机。输入端102可以是例如陀螺仪、罗盘和/或加速度计中的一个或多个。

虚拟环境可以包括多个对象。所述对象中的一些可以被标记并且与一个或多个动作相关联。

处理器103可以被配置成用于生成向用户显示的虚拟相机的视图，用于接收并处理输入以在虚拟环境内定向虚拟相机，并且用于触发与标记对象相关联的一个或多个动作，所述标记对象处于针对虚拟相机的视觉范围内。

动作可以是虚拟环境内的视觉或音频变化，经由显示器101的其他用户输出、音频输出端105或任何其他类型的用户输出(例如通过振动电机振动)；在另一个设备上的活动；或网络活动。

所述动作可能涉及标记对象、涉及虚拟环境内的其他对象或不涉及任何对象。

视觉范围可以是虚拟相机的整个视图或由来自虚拟相机的投射所创建的视图。投射可以是光线或其他类型的投射(例如锥体)。投射可以被引导离开虚拟相机的中心并且进入虚拟环境。

存储器104可以被配置成用于存储定义包括多个对象的虚拟环境的数据、识别哪些对象被标记的数据、将动作映射到标记对象的数据以及定义动作的数据。

显示器101、输入端102、存储器104和音频输出端105可以被独立地、组合地或经由通信总线连接到处理器103。

系统100优选地是个人用户设备，如桌上/膝上计算机、便携式计算设备例如平板计算机、智能电话或智能手表、虚拟现实耳机或定制设备。应理解的是，系统100可以分布在经由一个或多个通信系统连接的多个装置上。例如，显示器101和输入端102可以是经由通信网络(例如，wifi或蓝牙)连接到计算装置(如平板计算机或智能电话)中的处理器103和存储器104的虚拟现实耳机的一部分。

在一个实施例中，便携式计算设备可以经由耳机(如Google Cardboard^TM、Samsung Gear^TM或HTC Vive^TM)被保持在相对于用户的适当位置。

当输入端102和显示器101形成便携式计算设备的一部分以及当输入端102是陀螺仪、罗盘和/或加速度计中的一种或多种时，整个设备的移动可以因此在虚拟环境内定向虚拟相机。输入端102可以直接与虚拟相机的定向相关，这样使得设备的定向与虚拟相机的定向一一对应。

参考图2，将对根据本发明的实施例的方法200进行描述。

方法200可以利用至少部分地由一个或多个应用开发者使用例如虚拟环境开发平台(如Unity)定义或创建的虚拟环境。在创建虚拟环境期间，应用开发者可以创建或定义标记对象，并且将一个或多个动作与所述标记对象中的每一个相关联。

在一些实施例中，标记对象和/或相关联动作可以被完全或部分地以编程方式生成并且响应于来自应用开发者的输入而生成，或者在一个实施例中，在与虚拟环境交互期间由用户动态地生成，或者在另一个实施例中，响应于来自除了用户之外的一方或多方的输入而生成。

虚拟环境可以由一个或多个场景组成。场景可以由多个被安排在3D空间内的对象构成。场景可以由最初的虚拟相机定向来定义并且可以包括对虚拟相机的重新定向的限制(例如仅旋转移动或仅水平移动等)。场景中的对象可以是静态的(即，对象的状态和位置不改变)或动态的(例如，对象可以经历动画或在3D空间内的平移)。脚本或规则可以定义对对象的修改。

在步骤201中，向用户显示从虚拟相机到虚拟环境中的视图(例如，在显示器101上)。视图可以包括对虚拟相机“可见的”一个或多个对象的至少部分的显示。对象可以在虚拟环境内由边界限定。边界可以定义虚拟环境中的3D对象。边界可以是静态的或动态的。“可见的”对象可以是与从虚拟相机到虚拟环境中的投射相交的对象。

在步骤202中，用户提供输入(例如经由输入端102)以在虚拟环境中定向虚拟相机。重新定向虚拟相机可以改变向用户显示的视图，如步骤203所指示的。

在步骤204中，与在虚拟相机的定义视觉范围内的标记对象相关联的一个或多个动作被触发(例如通过处理器103)。视觉范围可以被定义为由来自虚拟相机的投射形成的多个视图之一。不同投射的示例在图5a至5c中被示出，并且可以包括从虚拟相机投射到虚拟环境中的光线；从虚拟相机投射到虚拟环境中的锥体；或虚拟相机的整个视图(例如，向用户显示的视图的尺寸的矩形投射被投射到虚拟环境中)。进一步地，然后可以从用户处接收输入，如步骤205所指示的。

所定义的触发时间段可以与动作、标记对象或全局地相关联。当标记对象处于所定义的视觉范围内时，一个或多个动作可以在整个定义时间段被触发。应理解的是，触发时间段的替代性实现方式是有可能的。例如，标记对象可以是在重置触发时间段内的视觉范围之外的阈值下的许可时段，或标记对象可以通过在视觉范围内的重复发生来积累触发时间段。

动作可以表明以下发生中的一项或多项：

a)视觉变化，如对象的动画(例如子画面动画、骨架动画、3D动画、粒子动画)、视觉环境内的动画(如天气动画)或其他视觉修改(如亮化/暗化所述视图，或改变用户界面元素的外观)。

b)音频变化，如回放或停止特定/全部音频轨道，回避特定音频轨道以及其他对特定/全部音频轨道的音量变化等。

c)编程变化，如添加、移除或以其他方式修改用户界面功能；

d)任何其他用户输出，如振动；

e)网络消息(例如，至本地连接设备的wifi或蓝牙消息或者至服务器的互联网消息)；

f)至在设备上执行的其他应用的消息；

g)对设备处数据的修改；

h)透视变化(例如，虚拟相机可以跳至场景内的另一个位置或定向，或整个场景可以改变)；以及

i)在针对场景定义的脚本或针对场景定义的脚本的修改中选择分支(例如，已经针对虚拟环境定义了当分支叙事时，一个分支可以优于其他分支而被激活或被选择)。

所述发生可以涉及与动作相关联的标记对象、场景内的其他对象或另一场景内的对象。

在一些实施例中，当动作表明音频变化时，所述音频变化中的至少一些音频变化可以被局部化于3D空间中，这样使得用户可以识别出音频看起来似乎源自于虚拟环境内的特定对象。特定对象可以是标记对象。音频可以基于标记对象是否处于所定义的视觉范围内来改变音量(例如，当标记对象处于所定义的视觉范围之外时，音量可以减小)。

在一些实施例中，与标记对象相关联的动作还可以被视觉范围之外的其他因素触发。例如，由场景的开始所发起的倒数计时器、另一个动作的触发、网络信号的接收、另一个输入的接收和/或有关虚拟环境的事件的发生(例如，特定的音频回放条件、显示条件等)。

所定义的延迟时间段可以与动作、标记对象或全局地相关联。在表明发生之前，一个或多个动作一旦被触发可以等待，直到所定义的延迟时间段消逝。

在一些实施例中，当相关联的标记对象不再处于所定义的视觉范围内时，一个或多个动作可以被触发以停止或改变。

在一些实施例中，所述动作中的至少一些动作仅可以被触发一次。

在一些实施例中，所述动作中的至少一些动作包括附加条件，所述附加条件必须被满足以触发动作。附加条件可以包括以下各项中的一项或多项：从投射进入标记对象的入射角度、投射关于标记对象的移动、其他设备输入如相机、湿度传感器等、一天的时间、天气预报等。

在一个实施例中，特定的动作直接与每个标记对象相关联。在替代性实施例中，标记对象可以被分类(例如，分为等级)，并且所述等级可以与特定的动作相关联，这样使得此等级的所有标记对象与其等级的相关联的动作相关联。

在一些实施例中，与对象相关联的动作只有当虚拟相机也接近对象时才能被触发。接近度可以在全局基础上或在对象/对象类型的特定基础上被定义。当虚拟相机处于距对象的指定距离内时或当虚拟相机处于围绕对象的定义边界内时，对象的接近度阈值可以被定义为被满足。

参考图3，将对根据本发明的实施例的计算机程序代码300进行描述。

示出了生成模块301。生成模块301包括代码，所述代码当在处理器上被执行时使得应用开发者创建多个在虚拟环境中使用的标记对象，并且使得每个标记对象与一个或多个动作相关联。

示出了触发模块302。触发模块302包括代码，所述代码当在处理器上被执行时触发与标记对象相关联的一个或多个动作，所述标记对象与从虚拟相机到虚拟环境中的投射相交。

计算机程序代码300可以被存储在非瞬态计算机可读介质上(如闪存存储器或硬盘驱动器)(例如，在设备或服务器内)、或瞬态计算机可读介质(如动态存储器)，并且经由瞬态计算机可读介质(如通信信号)传送(例如，跨越网络从服务器传送到设备)。

计算机程序代码300的至少一部分可以被编译成用于部署到多个用户设备的可执行形式。例如，触发模块302可以与虚拟环境生成代码以及其他应用代码一起被编译成在用户设备上使用的可执行应用。

在图4中，示出了根据本发明的实施例的系统400。

系统400包括存储器401、处理器402和用户输入端403。

存储器401被配置成用于存储关于图3描述的计算机程序代码以及虚拟环境开发软件平台如Unity。虚拟环境开发平台包括在虚拟环境内创建多个对象的能力。这些对象可以是静态对象、在虚拟环境内移动的对象或动画对象。对象可以包括在被显示时形成实心形状的闭合多边形，或者可以包括一个或多个透明的/半透明的多边形，或者可以是视觉效果如体积烟或雾、火、等离子体、水等，或者可以是任何其他类型的对象。

应用开发者可以经由用户输入端403提供输入以利用虚拟环境开发软件平台创建交互虚拟环境。

应用开发者可以经由用户输入端403提供输入以向生成模块提供信息来创建多个标记对象，并将一个或多个动作与标记对象相关联。

处理器402可以被配置成用于生成包括指令的计算机程序代码，所述指令用于：在设备上显示虚拟环境、接收用户输入以定向虚拟相机、以及触发与标记对象相关联的一个或多个动作，所述标记对象与来自虚拟相机的投射相交。

图5a到5c展示了根据本发明的实施例由投射形成的不同视觉范围。

图5a展示了由从虚拟相机投射到虚拟环境的光线所定义的视觉范围。虚拟环境包括多个对象A、B、C、D、E、F和G。所述对象中的一些被标记为A、C、F和G。可以看出，对象A落入由光线的投射所定义的视觉范围，因为光线与对象A相交。如果所述对象是不透明且不反射的，投射可能结束。因此，对象B不在述视觉范围内。然后可以触发与A相关联的动作。

图5b展示了由从虚拟相机投射到虚拟环境中的锥体所定义的视觉范围。可以看出，对象A、C和D属于由光线的投射所定义的视觉范围。因此，可以触发与A和C相关联的动作。

图5c展示了由虚拟相机的整个视图所定义的视觉范围。可以看出，形成整个视图的投射与A、C、D、E和F相交。因此，可以触发与A、C和F相关联的动作。

现在将参考图6至12描述本发明的一些实施例。本发明的这些实施例将被称为“凝视(Gaze)”。

凝视实施例使用任何陀螺使能的设备(例如移动设备、虚拟现实头盔和深度平板计算机)为交互体验提供创建系统。凝视还可以简化对用户与虚拟环境之间的基于复杂度触发的交互内容的开发与创建。

凝视实施例使得用户能够仅通过用虚拟相机注视如图6所示的虚拟环境中的几个不同动作就可以触发它们。交互元素可以基于多种因素(像时间、其他交互元素的触发和对象碰撞)而被触发。凝视实施例还可以使得能够建立连锁反应，这样使得当对象被触发时，它也可以触发其他对象。

凝视实施例中的一些可以利用Unity 3D软件环境的内部库和图形用户界面(GUI)功能中的一些被部署在所述Unity 3D软件环境中。应理解的是，可以使用替代性的3D软件开发环境。

凝视实施例的大部分元素可以通过组件特性(包括复选框、文本字段或按钮)在标准的Unity编辑器中直接设定。

相机

由于添加了下文所描述的两个代码脚本，增强了Unity中可用的标准相机。

1.陀螺仪脚本(Gyro script)允许相机随着运行所述应用的物理设备的移动而相应地移动。在图7a中所示出的示例中，平板计算机设备正相对于虚拟环境而转动。它将在三维轴上的空间移动一对一变换到虚拟相机与物理设备之间。在图7b中示出了虚拟场景中的虚拟相机的三维移动。

所述设备可以包括护目镜头盔(展示在图7c中，其中，戴着头盔的用户的头部移动变换为图7b中示出的移动)、带有定向传感器的移动设备如平板计算机(展示在图7d中，其中，物理世界中的平板计算机的定向被变换为图7b中所示出的移动)或智能电话或任何其他带有定向传感器的系统(例如，陀螺仪、罗盘)。

2.光线投射器脚本(Ray caster script)允许相机了解它正在注视什么。它从相机径直向它的观看角发射光线。这样，它允许脚本知道哪个对象在相机前面并且直接注视所述对象。然后，脚本通知有兴趣了解此信息的组件。在图8a中示出了执行光线脚本的一个示例，从虚拟相机投射的光线与“凝视对象”相碰撞。所述碰撞触发了凝视对象处的事件以及在相同和不同虚拟场景中的其他凝视对象处的事件。

通过在Unity编辑器窗口中的文本字段中输入数字,脚本具有延迟上文描述的过程的激活的选项,在光线被投射之前以秒表示时间。

光线可以被投射到无穷远的距离，并且能够检测任何数量的可凝视对象，所述光线与他们相交并交互。

可凝视对象(Gazable object)

Unity中的每个游戏对象(GameObject)都可以成为所谓的“被凝视对象(GazedObject)”。这意味着Unity的场景视图中的每个对象都可以潜在地成为凝视交互系统的一部分。为了创建被凝视对象，创建了Unity预制项。这个对象可以被拖进场景视图中并且包含三个不同部分：

根部——被凝视对象的层级结构中的顶部元素。包含用于移动场景视图中整个被凝视对象预制项的动画制作者。

‘触发(Trigger)’子级——包含于与被凝视对象相关联的每个触发(将对触发进行进一步描述)。它还包括负责通知何时相机凝视对象的碰撞机。

‘时隙(Slot)’子级——包含与被凝视对象相关联的每个游戏对象(子画面、3D模型、音频……)。每个添加到“时隙”母级的时隙代表整个游戏对象的一个或多个部分。例如，人类被凝视对象的时隙组件可以包含6个子级，身体一个、每条上肢一个、每条下肢一个和头部一个。时隙子级还有负责将它包含的子级组件制作成动画的动画制作者。

触发

被凝视对象预制项中叫做‘触发(Trigger)’的子级包含一个或多个子级。每个子级是触发本身。触发可以由以下事件之一被引发：

●两个游戏对象之间的碰撞(Unity中的碰撞机对象(Collider object))。

●由相机凝视的游戏对象(通过凝视技术)。

●以秒为单位的持续时间始于场景的加载或与另一个包含在被凝视对象中的触发相关。

触发游戏对象包括四个组件；作为标准Unity一部分的‘音频源(Audio Source)’组件、‘触发激活器(Trigger Activator)’脚本、‘音频播放器(Audio Player)’脚本和定制脚本。对每个脚本的说明如下：

‘触发激活器’是规定当触发子级游戏对象将要激活并且它的潜能依赖其他触发时的时间的脚本。它向用户显示以下图形字段以设置那些不同的值：

‘自主(Autonomous)’是用于规定触发是否依赖于另一个被凝视对象的触发或它是否是自主的可编辑复选框。如果复选框被选中，‘激活持续时间(Activation Duration)’和‘等待时间(Wait Time)’在由Unity场景的开始设置的时间上将会相关。如未被选中，他们将依赖于另一个被凝视对象的触发的开始时间。

‘等待时间’是用于设置从定制脚本中所指定的动作(进一步描述)已经被触发时的时间开始在引发所述动作之前的期望时间量(以秒为单位)的可编辑文本字段。

‘自动触发(Auto Trigger)’是用于规定一旦触发到达‘激活持续时间’结束时触发是否必须被引发的选框。如果被选中，即使没有触发已发生(碰撞、凝视或相关时间)，则向所定义的‘等待时间’添加时间。如未被选中，如果在这个时间窗口期间没有触发发生，则不会实施动作。

‘重新加载(Reload)’是允许触发在被触发后重置从而使得它可以被重新触发的选项框。

‘无穷(infinite)’是用于规定激活的持续时间是否是无穷的选项。

‘接近度(proximity)’是用于规定为了能够触发动作相机是否必须接近规定的距离的选项。距离由碰撞机(可见立方体)定义，其中相机必须进入到被认为足够接近(如图8b、8c和8d所示)。

在图9示出了流程图，展示了在凝视对象处的触发事件。

之前从未产生具有使用户控制虚拟相机的能力的完全沉浸式(360°在三维轴x/y/z上)虚拟环境中的交互体验。

当被注视时，声音可能也会由凝视系统提供以帮助排序环境中的音频源。

凝视实施例提供了优于现有技术的以下改进：用户可能未觉察触发，并且这些触发可以仅被所述环境中的用户的焦点激活。因此，没有物理或虚拟的操纵杆是必要的。

用户设备可以包括如智能电话、数字平板计算机、移动游戏控制器或虚拟现实耳机等设备或通过虚拟相机的定向能够触发不同事件的其他设备。进一步地，可以在各种操作系统上(包括iOS、Mac、Android和Windows)访问空间应用。

在一个或多个实施例中，系统允许用户在3D环境中使用虚拟相机导航，所述3D环境使用陀螺使能的设备(例如，智能电话、数字平板计算机、移动游戏控制器或虚拟现实耳机)并且通过虚拟相机的定向由用户有意或无意地触发不同事件。举例来讲，设备的屏幕可以包括虚拟世界的图像。此外，虚拟相机可以投射光线，所述光线充当针对虚拟世界中的所有元素的可能触发。在一个实施例中，一旦此光线撞击了虚拟世界中的元素，不同类型的事件可以被激活(如图10a所示)，例如：动画(它包括虚拟世界中现有元素1000或任何新元素的任何种类的转换)、声音1001、视频、场景、粒子系统1002、子画面动画、定向变化1003或任何其他可触发的元素。

更确切地，这些事件可以不仅被定位在光线的场中，还可以在它的场景的任何其他角度或另一场景中(如图10b所示)。具体地，每个事件可以被任何以下条件的组合所触发：光线的角度、事件可以在其中被激活的时间窗口、持续时间(如果光线有具体角度)、光线的移动、设备的各种输入(例如：相机、湿度传感器、物理设备)，一天的时间、天气预报、其他数据或其任意组合。

更确切地，这种新型交互视听技术可以用于创建需要360°环境的任何种类的应用：基于音频的故事、交互电影、交互图形小说、游戏、教育项目或任何模拟环境(例如，汽车、模拟器、飞机模拟器、船只模拟器、医药或保健模拟器、环境模拟器如作战模拟器、危机模拟器或其他)。

一些凝视实施例提供了对3D环绕声的改进，因为如果凝视技术可以适应用户的实时定向并且适应用户所看到的3D场景中的元素，声音就可以更加动态。在图11中示出了空间化声音的示例，并且所述空间化声音可以经由用户设备例如具有立体声头戴式耳机1201的平板计算机1200而被传递(如图12所示)。

应理解的是，以上实施例可以以硬件、软件或它们的组合部署。软件可以被存储在非瞬态计算机可读介质(例如闪存存储器)上，或经由瞬态计算机可读介质(如网络信号)传送以被一个或多个处理器执行。

本发明一些实施例的潜在优点是：更简单的设备可以用于提供交互虚拟环境；用于提供交互性的机制比现有技术系统更易使用；应用开发者可以在具有虚拟环境的应用内更容易地部署各种各样的交互性以及新颖的交互体验是可能的(例如，当用户没有意识到交互时)。

虽然已经通过本发明的实施例的描述展示了本发明，并且虽然已经相当详细地描述了实施例，但申请人不旨在将所附权利要求的范围局限或以任何方式限制于这样的细节。对本领域技术人员而言，附加优点及修改将是显而易见的。因此，本发明广义来说不限于特别详细的代表性装置及方法以及所显示及描述的说明性示例。因此，可以在不偏离申请人的总的发明概念的精神或范围的情况下偏离这些细节。