用于使用头戴式显示器在虚拟或增强现实场景内进行用户交互的方法和系统与流程
本发明涉及用于在虚拟现实空间内进行用户交互的方法和系统。
背景技术：
在虚拟现实系统中，用户在视觉上变得沉浸在计算机产生的三维虚拟现实场景中。在一些应用中，如向用户显示的整个虚拟现实场景是计算机产生的。在其他应用中，虚拟现实场景的一部分是计算机产生的，同时虚拟现实场景的另一部分对应于现实物体和/或个人的视频和/或图像，其中此类现实视频/图像可基本上实时地在虚拟现实场景中渲染。此类应用可被称为增强现实应用。
在许多虚拟现实应用中，不仅希望使用户感觉在视觉上沉浸在虚拟现实场景中，而且希望为用户提供与显示在虚拟现实场景内的特征自然交互的感觉。本发明就是在这种情形下产生。
技术实现要素：
在示例性实施方案中，一种方法包括将视频数据传输到头戴式显示器以在头戴式显示器内显示虚拟现实场景。所述方法还包括从头戴式显示器内的一个或多个惯性传感器接收惯性传感器数据。惯性传感器数据指示头戴式显示器根据佩戴所述头戴式显示器的用户移动的移动。用户的移动基于显示在头戴式显示器内的虚拟现实场景。所述方法还包括使接收的惯性传感器数据与虚拟现实场景内的动作关联。所述方法还包括产生虚拟现实场景的更新以反映动作的实现。
在示例性实施方案中，一种方法包括在头戴式显示器处接收视频数据。视频数据定义虚拟现实场景。所述方法还包括在头戴式显示器内显示虚拟现实场景。所述方法还包括操作头戴式显示器内的一个或多个惯性传感器来产生惯性传感器数据，所述惯性传感器数据指示头戴式显示器根据佩戴所述头戴式显示器的用户移动的移动。用户的移动对应于虚拟现实场景内的动作。所述方法还包括将惯性传感器数据传输到视频数据从其接收的计算系统。所述方法还包括从计算系统接收视频数据，所述视频数据定义反映虚拟现实场景内的对应于用户移动的动作的更新的虚拟现实场景。所述方法还包括在头戴式显示器内显示更新的虚拟现实场景。
在示例性实施方案中，一种系统包括惯性数据处理模块，所述惯性数据处理模块被配置来从头戴式显示器接收惯性传感器数据。惯性传感器数据指示头戴式显示器根据佩戴所述头戴式显示器的用户移动的移动。用户的移动基于显示在头戴式显示器内的虚拟现实场景。惯性数据处理模块被配置来根据惯性传感器数据确定头戴式显示器的移动路径和头戴式显示器的移动速率。所述系统还包括惯性数据关联模块，所述惯性数据关联模块被配置来使头戴式显示器的移动路径和头戴式显示器的移动速率与虚拟现实场景内的动作关联。所述系统还包括惯性数据命令输出模块，所述惯性数据命令输出模块被配置来向渲染引擎提供命令信号。命令信号引导渲染引擎来更新虚拟现实场景以反映动作的实现。
在示例性实施方案中，一种方法包括将视频数据传输到头戴式显示器以在头戴式显示器内显示虚拟现实场景。头戴式显示器配备有一个或多个惯性传感器，所述一个或多个惯性传感器被配置来产生指示头戴式显示器根据佩戴所述头戴式显示器的用户移动的移动的惯性传感器数据。虚拟现实场景请求用户做出示意动作来在虚拟现实场景内引发具体动作。示意动作引发头戴式显示器的移动和对应于头戴式显示器的移动的惯性传感器数据的产生。所述方法还包括从头戴式显示器接收惯性传感器数据。惯性传感器数据指示头戴式显示器响应于用户做出示意动作来在虚拟现实场景内引发具体动作的移动。所述方法还包括使接收的惯性传感器数据与虚拟现实场景内的具体动作关联，使得当随后接收基本上等于先前接收的惯性传感器数据的惯性传感器数据时具体动作在虚拟现实场景内被执行。
在示例性实施方案中，一种方法包括将视频数据传输到头戴式显示器以在头戴式显示器内显示虚拟现实场景。头戴式显示器配备有一个或多个惯性传感器，所述一个或多个惯性传感器被配置来产生指示头戴式显示器根据佩戴所述头戴式显示器的用户移动的移动的惯性传感器数据。虚拟现实场景允许用户做出示意动作来在虚拟现实场景内引发具体动作。示意动作引发头戴式显示器的移动和对应于头戴式显示器的移动的惯性传感器数据的产生。所述方法还包括从头戴式显示器接收惯性传感器数据。惯性传感器数据指示头戴式显示器响应于用户做出示意动作来在虚拟现实场景内引发具体动作的移动。所述方法还包括通过处理接收的惯性传感器数据来确定用户的移动路径和用户的移动速率。所述方法还包括确定虚拟现实场景的对应于接收的惯性传感器数据的移动类别。所述方法还包括使接收的惯性传感器数据与虚拟现实场景的确定的移动类别关联。所述方法还包括在用户简档中记录接收的惯性传感器数据与虚拟现实场景的确定的移动类别的关联。
结合附图来阅读以下详细描述，本发明的其他方面将变得更显而易见，以下详细描述通过举例的方式来说明本发明。
附图说明
图1a示出根据本发明的示例性实施方案的佩戴头戴式显示器的用户，所述头戴式显示器通过有线链路与计算机系统通信。
图1b示出根据本发明的示例性实施方案的由用户佩戴以观看多媒体内容和/或与之交互的示例性头戴式显示器。
图2a示出根据本发明的示例性实施方案的佩戴头戴式显示器的用户的侧视图，其中用户位于相对于由x、y、z轴线限定的参考笛卡儿坐标系统的起始位置。
图2b示出根据本发明的示例性实施方案的佩戴头戴式显示器的用户的主视图，其中用户位于相对于由x、y、z轴线限定的参考笛卡儿坐标系统的起始位置。
图3a示出根据本发明的示例性实施方案的用户从起始位置的前倾移动。
图3b示出根据本发明的示例性实施方案的用户从起始位置的后倾移动。
图3c示出根据本发明的示例性实施方案的用户从起始位置的左倾移动。
图3d示出根据本发明的示例性实施方案的用户从起始位置的右倾移动。
图3e示出根据本发明的示例性实施方案的佩戴头戴式显示器的用户的俯视图，其中用户位于相对于由x、y、z轴线限定的参考笛卡儿坐标系统的起始位置。
图3f示出根据本发明的示例性实施方案的用户从起始位置的左转头移动。
图3g示出根据本发明的示例性实施方案的用户从起始位置的右转头移动。
图3h示出根据本发明的示例性实施方案的用户从起始位置的上摆头移动。
图3i示出根据本发明的示例性实施方案的用户从起始位置的下摆头移动。
图3j示出根据本发明的示例性实施方案的用户从起始位置的向下移动。
图3k示出根据本发明的示例性实施方案的用户从起始位置的向上移动。
图3l示出根据本发明的示例性实施方案的佩戴头戴式显示器的用户的主视图，其中用户位于相对于由x、y、z轴线限定的参考笛卡儿坐标系统的起始位置，并且其中另外的惯性传感器位于用户身体上在头戴式显示器外部。
图4示出根据本发明的示例性实施方案的一种操作计算机系统来基于从头戴式显示器接收的惯性传感器数据产生虚拟现实场景的视频数据的方法的流程图。
图5示出根据本发明的示例性实施方案的一种操作计算机系统来基于从头戴式显示器接收的惯性传感器数据和注视方向数据产生虚拟现实场景的视频数据的方法的流程图。
图6示出根据本发明的示例性实施方案的一种用于操作头戴式显示器的方法的流程图，在所述头戴式显示器中基于用户移动产生的惯性数据信号被提供作为在虚拟现实场景内引发动作的输入。
图7示出根据本发明的示例性实施方案的一种用于操作头戴式显示器的方法的流程图，在所述头戴式显示器中基于用户移动产生的惯性数据信号和注视方向数据两者被提供作为在虚拟现实场景内引发动作的输入。
图8示出根据本发明的示例性实施方案的一种操作计算机系统来基于从头戴式显示器接收的惯性传感器数据校准虚拟现实场景内的动作的方法的流程图。
图9a示出根据本发明的示例性实施方案的一种操作计算机系统来基于从头戴式显示器接收的惯性传感器数据动态地校准虚拟现实场景内的动作的方法的流程图。
图9b示出根据本发明的示例性实施方案的用户简档中的接收的惯性传感器数据与虚拟现实场景的确定的移动类别的示例性关联。
图10示出根据本发明的示例性实施方案的头戴式显示器的块级体系结构。
图11a示出计算机系统和可用来实现本发明的一些实施方案的其他交互硬件的示例性块级体系结构。
图11b示出根据本发明的示例性实施方案的惯性处理模块的块级图。
具体实施方式
在以下描述中，提出了许多具体细节，以便提供对本发明的透彻的了解。然而，本领域的技术人员将明白，在不具有一些或全部这些具体细节的情况下也可实践本发明。在其他情况下，众所周知的过程操作尚未进行详细描述，以免不必要地混淆本发明。
以下详细说明包括对这些附图的参考，这些附图形成所述详细说明的一部分。附图示出根据示例性实施方案的例证。对在本文中还被称为“实例”的这些示例性实施方案进行足够详细的描述，以使得本领域的技术人员能够实践所呈现的主题。在不脱离权利要求书的范围的情况下，可结合这些实施方案，可利用其他实施方案，或可做出结构、逻辑和电气改变。因此以下详细说明不应以限制的含义来理解，并且所述范围仅由所附权利要求书及它们的等效物来限定。在本文件中，术语“一个”和“一种”像通常专利文件中一样用来包括一个(种)或多于一个(种)。在本文件中，除非另外指示，否则术语“或者”用来指代非排他性的或者，使得“a或b”包括“a但不是b”、“b但不是a”、和“a和b”。
可使用多种技术来实现本文公开的实施方案的技术。例如，以计算机系统上执行的软件或者以利用微处理器或其他专门设计的专用集成电路(asic)、可编程逻辑器件的组合或者它们的各种组合的硬件来实现本文描述的方法。具体地，本文描述的方法由驻留在存储介质(诸如磁盘驱动器)或计算机可读介质上的一系列计算机可执行指令来实现。应注意，本文公开的方法可由移动终端、蜂窝电话、智能电话、计算机(例如，台式计算机、平板计算机、膝上型计算机)、游戏机、手持式游戏设备等来实现。
如本文使用的术语“头戴式显示器”是指以下中的一个或多个：具有显示器的可佩戴计算机、头戴式电子器件、头联式显示器、头盔显示器、具有显示器的头戴式计算机。戴在用户头上或作为头盔的一部分的头戴式显示器具有位于一只眼睛(单眼显示器件)或每只眼睛(双眼显示器件)前方的小型显示光学器件。头戴式显示器具有一个或两个小型显示单元，其中透镜和半透明镜片嵌入头盔、眼镜(也被称为数据玻璃)或遮光板。显示单元可小型化并且可包括液晶显示器(lcd)、有机发光二极管(oled)显示器等。一些供应商采用多个微显示器来增大总分辨率和视野。一些其他头戴式显示器从不使用传统的显示器，而是替代地将光直接投射到用户的眼睛上。
图1a示出根据本发明的示例性实施方案的佩戴头戴式显示器102的用户100，所述头戴式显示器102通过有线链路104与计算机系统106通信。以类似于眼镜、护目镜或头盔的方式佩戴头戴式显示器102，并且所述头戴式显示器102被配置来向用户100显示视频游戏或其他内容。头戴式显示器102被配置来通过非常接近于用户眼睛操作其显示部件(诸如光学器件和显示屏)向用户100提供沉浸式体验。此外，视频内容的格式可被限定来通过头戴式显示器102向用户100显示虚拟现实场景，其中使得用户100感觉真实置身于虚拟现实场景内。在一些实施方案中，头戴式显示器102可为用户的每只眼睛提供显示区域，所述显示区域占据用户视野的大部分或甚至整个部分。
计算机系统106可以是任何通用或专用计算机，包括但不限于游戏机、个人计算机、膝上型电脑、平板计算机、移动设备、蜂窝电话、平板电脑、精简型客户端、机顶盒、流媒体设备等。计算机系统106被配置来渲染视频和音频内容并且通过有线链路104将渲染的内容传输到头戴式显示器102。应理解尽管图1a的实例包括有线链路104，但其他实施方案可单独或结合通过有线链路104的通信利用头戴式显示器102与计算机系统106之间的无线通信。此外，在一些实施方案中，头戴式显示器102可直接连接到互联网。
由计算机系统106渲染的内容可基本上用于任何类型的计算机应用，并且可包括一种或多种类型的内容，诸如游戏、电影、音频、图像、多媒体等。在一些实施方案中，内容或内容的部分由计算机系统106产生。然而，在一些实施方案中，内容或内容的部分通过网络110从远程内容源120流式传送到计算机系统106。此外，在一些实施方案中，内容或内容的部分通过网络110从云游戏基础设施112流式传送到计算机系统106。云游戏基础设施112还可通过网络110将有待从远程内容源120传输的各种类型的内容引导到计算机系统106。示例性远程内容源120是提供可下载内容和/或流式内容的互联网网站。由远程内容源120提供的内容可包括任何类型的多媒体内容，诸如电影、游戏、静态/动态内容、图片、社交媒体内容、社交媒体网站等。在一些实施方案中，内容数据从远程内容源120传输到计算机系统106，其中计算机系统106接着以适于由头戴式显示器102使用的格式渲染内容数据，接着通过有线链路104将渲染的内容从计算机系统106传输到头戴式显示器102。
在一些实施方案中，用户100可操作控制器(未示出)来向计算机系统106提供输入命令。此外，在一些实施方案中，摄像机108被配置来捕获用户100所处的环境的图像。摄像机108如由链接109所指示连接到计算机系统106。计算机系统106可操作来分析由摄像机108捕获的图像以确定用户100、头戴式显示器102和/或控制器的位置和移动。如关于图1b所论述的，头戴式显示器102可包括一个或多个灯，所述一个或多个灯可用作标记以帮助通过对由摄像机108捕获的图像的分析追踪头戴式显示器102。此外，在一些实施方案中，摄像机108可被配置来包括多个图像捕获设备(诸如立体摄像机对)、红外摄像机、深度摄像机或其组合。在一些实施方案中，一个或多个麦克风(未示出)可用来捕获来自用户100和/或来自用户100所处的环境的声音，以用于由计算机系统106处理。
在一些实施方案中，计算机系统106被配置来在计算机系统106的处理硬件上以本地方式执行游戏。可以任何形式获得游戏或内容，诸如物理介质形式(例如，数字光盘、磁带、插件、拇指驱动器、固态芯片或插件等)，或借助于经由网络110从互联网下载。在一些实施方案中，计算机系统106充当通过网络110与云游戏基础设施112通信的客户端。云游戏基础设施112可维护并且执行用户100正玩的视频游戏。计算机系统106可被限定来将从头戴式显示器102、控制器和摄像机108接收的输入传输到云游戏基础设施112，所述云游戏基础设施112处理输入以影响正执行的视频游戏的游戏状态。
在一些实施方案中，头戴式显示器102、控制器和摄像机108本身可以是连接到网络110以便与云游戏基础设施112通信的联网设备。例如，计算机系统106可以是不另外进行视频游戏处理但促进网络流量通过的本地网络设备(诸如路由器)。头戴式显示器102、控制器和摄像机108到网络110的连接可以是有线或无线的。
来自正执行视频游戏的游戏数据(诸如视频数据、音频数据和触觉反馈数据)可从云游戏基础设施112和/或内容源120传输到计算机系统106。计算机系统106在传输到适当设备之前可进一步处理游戏数据，或可将所述游戏数据直接传输到适当设备。例如，视频流和音频流可传输到头戴式显示器102，而振动反馈命令可传输到控制器。
图1b示出根据本发明的示例性实施方案的由用户100佩戴以观看多媒体内容和/或与之交互的示例性头戴式显示器102。头戴式显示器102允许用户100观看丰富的多媒体内容，所述多媒体内容包括来自视频游戏的交互式场景、来自电影的场景、互联网内容以及其他类型的交互式和非交互式内容。对头戴式显示器102的位置和移动(包括取向、定位、方向等)的追踪由头戴式显示器102搭载的惯性传感器并且通过以下方式来实现：使用传感器组合或基于用来定义围绕头戴式显示器102的体积的一个或多个变量追踪跨头戴式显示器102的不同外表面分布的多个标记元素(诸如发光二极管、红外标记、视觉标记元素等)。用于追踪的传感器中的一些包括但不限于头戴式显示器102内的允许对头戴式显示器102进行移动追踪的惯性传感器、一个或多个图像传感器和一个或多个深度传感器，其中所述图像传感器和所述深度传感器允许光学追踪。使用惯性传感器进行的追踪可使用设置在头戴式显示器102内的一个或多个加速计和一个或多个陀螺仪来实现。
图像传感器可包括一个或多个单透镜摄像机、红外摄像机、立体摄影机等。此外，深度传感器可包括一个或多个深度感测摄像机、超声波摄像机、三维(3d)立体摄像机、视频摄像机等。图像传感器和深度传感器涵盖设置在头戴式显示器102内的一个或多个摄像机以及分散在佩戴头戴式显示器102的用户100的现实世界环境内的外部摄像机，诸如摄像机108。头戴式显示器102内的图像传感器和/或深度传感器例如用来从佩戴头戴式显示器102的用户100的角度捕获紧邻用户100的现实世界物体/场景的图像/视频。当内容产生时，捕获的图像/视频可在头戴式显示器102的显示器部分中渲染。
此外，捕获的图像/视频可在头戴式显示器102的显示器上呈现给用户100以在用户100佩戴头戴式显示器102时向所述用户100提供“视频透视式”能力。就是说，尽管严格意义上来说，用户100不能透视头戴式显示器102，但头戴式显示器102的图像捕获设备所捕获的视频可提供功能等效物，所述功能等效物能够看见头戴式显示器102外部的环境，如同头戴式显示器102是透明的。此类视频可利用虚拟元素来增强，以便提供增强的现实体验，或可与虚拟元素以其他方式组合或共混。为了便于描述，如本文使用的术语“虚拟现实场景”是指头戴式显示器102内的视频显示，所述视频显示为完全由计算机产生的虚拟现实场景或增强现实场景。
从外部看分布在用户100的场景内的图像传感器和/或深度传感器例如被配置来捕获跨头戴式显示器102的外表面分布的各种标记(诸如灯、发光二极管(led)、红外标记等)的图像/视频。在一个实施方案中，图像/视频被传输到计算机系统106，在所述计算机系统106中对所述图像/视频帧进行分析以确定头戴式显示器102的位置。另外，可在头戴式显示器102的计算机处理能力内对图像/视频进行分析以确定头戴式显示器102相对于现实世界场景中的其他物体的位置、取向、方向。
在一个配置中，头戴式显示器102包括设置在头戴式显示器102的一个或多个外表面上的战略位置处的led(例如，由图1b中的泡状物2、4和6所表示)。例如，led可设置在头戴式显示器102的前块单元102a(例如，也被称为光学块)的四角上，并且两个led设置在头戴式显示器102的后/背区段102b上。在一些实施方案中，后/背区段102b设置在可调节带单元上。头戴式显示器102还可包括其他表面，诸如102c和102d，以允许用户安全且紧固地将头戴式显示器102定位在用户100的头部上。在一些实施方案，前部led被配置成部分地设置在前块单元102a的前表面上并且部分地设置在前块单元102a的侧表面上(设置在前表面中的每一侧上)，以限定局部l形、弯曲l形、回旋形、弯曲矩形、曲线、斑点、圆形、图案或其组合。标记并不局限于led而且还可包括灯、红外标记、颜色编码的标记、反射标记等。
对图像/视频帧的分析用来计算头戴式显示器102的不同标记与彼此和与一个或多个参考点的相对距离。经计算的距离用来确定头戴式显示器102周围的体积和在使用期间的体积变化以更准确地限定头戴式显示器102的位置。另外，在一些实施方案中，对由各种传感器捕获的视频帧/图像进行分析以帮助就取向、定位和移动方向而言确定各个标记的位置，以便更准确地确定佩戴头戴式显示器102的用户100的移动方向或位置。
此外，如本文论述的，头戴式显示器102搭载的惯性传感器产生惯性传感器数据，可对所述惯性传感器数据进行分析/处理以确定头戴式显示器102的位置、移动方向和移动速率，以便确定由用户100做出的作为对应用的输入的动作和/或示意动作，所述输入执行来产生在头戴式显示器102中显示的虚拟现实场景。在一些实施方案中，可在没有头戴式显示器102的其他标记的情况下使用惯性传感器来确定头戴式显示器102的位置、移动方向和移动速率。在一些实施方案中，可使用惯性传感器结合头戴式显示器102的其他标记来确定头戴式显示器102的位置、移动方向和移动速率。
在一些实施方案中，头戴式显示器102被配置来允许观看计算机应用的交互式虚拟现实场景。例如，可支持虚拟现实场景产生和通过头戴式显示器102显示的一些计算机应用包括游戏(诸如第一人称射击游戏)、虚拟旅行(诸如酒店、旅游景点、全球名胜古迹、增强现实应用(诸如用于虚拟会议、不同远程用户之间的协作、共享/同步虚拟空间))和增强现实医学应用(诸如远程检查、检查协助、远程手术、远程手术协助)等。在各种计算机应用中，佩戴头戴式显示器102的用户100将能够在任何方向移动他们的头部以观看虚拟现实场景的其他部分。此外，就交互式虚拟现实场景而言，头戴式显示器102借助于用户头部移动的移动可用来提供输入以控制用户和/或虚拟现实场景内的其他物体的移动，和/或在虚拟现实场景内采取其他动作，诸如相对于虚拟现实场景内存在的物体放大和缩小用户的视野。
因为可在头戴式显示器102中的虚拟现实场景中渲染的交互式内容几乎是无限的，所以用户能够在几乎每个维度中观看虚拟场景并且与之交互。追踪用户的移动可包括使用设置在头戴式显示器102内的惯性传感器。惯性传感器可包括一个或多个加速计(诸如mems惯性加速计等)和/或一个或多个陀螺仪(诸如环形激光陀螺仪、光纤陀螺仪、mems陀螺仪等)。头戴式显示器102的一些实现可包括或多或少的惯性传感器。
为了便于描述，如本文使用的术语“惯性传感器”是指能够在没有外部参考的情况下检测/感测本身移动的任何类型的惯性传感器。惯性传感器产生惯性传感器数据，所述惯性传感器数据提供有关惯性传感器的移动方向和移动速率的信息。由于惯性传感器固定在头戴式显示器102内，可对惯性传感器数据进行分析以确定头戴式显示器102的移动方向和移动速率，继而可对所述移动方向和移动速率进行分析以确定佩戴头戴式显示器102的用户100的移动方向和移动速率。以此方式，如通过对惯性传感器数据的分析确定的用户移动可用作对计算机应用的输入，所述输入执行来产生和渲染虚拟现实场景。
因此，通过对惯性传感器数据的分析，用户能够充当人控制器以影响交互式虚拟现实场景内的具体动作。此外，在一些实施方案中，用户的移动和在虚拟现实场景内的对应动作可自然地彼此相关。例如，指示用户前倾的惯性传感器数据可由计算机应用用作输入以引发用户的视点在虚拟现实场景内前移。应了解，根据人体可能的移动范围和任何给定虚拟现实场景的情形，用户移动和虚拟现实场景内的对应动作的类型基本上是无限的。
图2a示出根据本发明的示例性实施方案的佩戴头戴式显示器102的用户100的侧视图，其中用户位于相对于由x、y、z轴线限定的参考笛卡儿坐标系统的起始位置。图2b示出根据本发明的示例性实施方案的佩戴头戴式显示器102的用户100的主视图，其中用户位于相对于由x、y、z轴线限定的参考笛卡儿坐标系统的起始位置。
图3a示出根据本发明的示例性实施方案的用户100从起始位置的前倾移动。用户100的前倾移动致使头戴式显示器102搭载的惯性传感器产生惯性传感器数据，所述惯性传感器数据在被分析时揭示出如箭头201所指示的前倾移动方向。如通过对惯性传感器数据的分析确定的前倾移动方向可用来影响显示在头戴式显示器102中的虚拟现实场景内的动作，诸如致使用户的视点或受用户控制的虚拟物体前倾，或者致使用户的视点或受用户控制的虚拟物体的后移停止，或者致使用户在虚拟现实场景内的特定物体或点上的视野放大等与当前在头戴式显示器102内显示给用户100的虚拟现实场景的情形相称的其他可能的动作。
图3b示出根据本发明的示例性实施方案的用户100从起始位置的后倾移动。用户100的后倾移动致使头戴式显示器102搭载的惯性传感器产生惯性传感器数据，所述惯性传感器数据在被分析时揭示出如箭头203所指示的后倾移动方向。如通过对惯性传感器数据的分析确定的后倾移动方向可用来影响显示在头戴式显示器102中的虚拟现实场景内的动作，诸如致使用户的视点或受用户控制的虚拟物体的前移停止，或者致使用户的视点或受用户控制的虚拟物体后移，或者致使用户从虚拟现实场景内的特定物体或点的视野缩小等与当前在头戴式显示器102内显示给用户100的虚拟现实场景的情形相称的其他可能的动作。
图3c示出根据本发明的示例性实施方案的用户100从起始位置的左倾移动。用户100的左倾移动致使头戴式显示器102搭载的惯性传感器产生惯性传感器数据，所述惯性传感器数据在被分析时揭示出如箭头205所指示的左倾移动方向。如通过对惯性传感器数据的分析确定的左倾移动方向可用来影响显示在头戴式显示器102中的虚拟现实场景内的动作，诸如致使用户的视点或受用户控制的虚拟物体的右移停止，或者致使用户的视点或受用户控制的虚拟物体左移，或者致使用户或受用户控制的虚拟物体的视野向左倾斜等与当前在头戴式显示器102内显示给用户100的虚拟现实场景的情形相称的其他可能的动作。
图3d示出根据本发明的示例性实施方案的用户100从起始位置的右倾移动。用户100的右倾移动致使头戴式显示器102搭载的惯性传感器产生惯性传感器数据，所述惯性传感器数据在被分析时揭示出如箭头207所指示的右倾移动方向。如通过对惯性传感器数据的分析确定的右倾移动方向可用来影响显示在头戴式显示器102中的虚拟现实场景内的动作，诸如致使用户的视点或受用户控制的虚拟物体的左移停止，或者致使用户的视点或受用户控制的虚拟物体右移，或者致使用户的视点或受用户控制的虚拟物体右倾等与当前在头戴式显示器102内显示给用户100的虚拟现实场景的情形相称的其他可能的动作。
图3e示出根据本发明的示例性实施方案的佩戴头戴式显示器102的用户100的俯视图，其中用户位于相对于由x、y、z轴线限定的参考笛卡儿坐标系统的起始位置。图3f示出根据本发明的示例性实施方案的用户100从起始位置的左转头移动。用户100的左转头移动致使头戴式显示器102搭载的惯性传感器产生惯性传感器数据，所述惯性传感器数据在被分析时揭示出如箭头209所指示的左转头移动方向。如通过对惯性传感器数据的分析确定的左转头移动方向可用来影响显示在头戴式显示器102中的虚拟现实场景内的动作，诸如致使用户的视点或受用户控制的虚拟物体的右转移动停止，或者致使用户的视点或受用户控制的虚拟物体左转，或者致使用户的视野向左摇摄等与当前在头戴式显示器102内显示给用户100的虚拟现实场景的情形相称的其他可能的动作。
图3g示出根据本发明的示例性实施方案的用户100从起始位置的右转头移动。用户100的右转头移动致使头戴式显示器102搭载的惯性传感器产生惯性传感器数据，所述惯性传感器数据在被分析时揭示出如箭头211所指示的右转头移动方向。如通过对惯性传感器数据的分析确定的右转头移动方向可用来影响显示在头戴式显示器102中的虚拟现实场景内的动作，诸如致使用户的视点或受用户控制的虚拟物体的左转移动停止，或者致使用户的视点或受用户控制的虚拟物体右转，或者致使用户的视野向右摇摄等与当前在头戴式显示器102内显示给用户100的虚拟现实场景的情形相称的其他可能的动作。
图3h示出根据本发明的示例性实施方案的用户100从起始位置的上摆头移动。用户100的上摆头移动致使头戴式显示器102搭载的惯性传感器产生惯性传感器数据，所述惯性传感器数据在被分析时揭示出如箭头213所指示的仰头移动方向。如通过对惯性传感器数据的分析确定的上摆头移动方向可用来影响显示在头戴式显示器102中的虚拟现实场景内的动作，诸如致使用户的视点或受用户控制的虚拟物体的向下移动停止，或者致使用户的视点或受用户控制的虚拟物体向上转动，或者致使用户的视野向上摇摄等与当前在头戴式显示器102内显示给用户100的虚拟现实场景的情形相称的其他可能的动作。
图3i示出根据本发明的示例性实施方案的用户100从起始位置的下摆头移动。用户100的下摆头移动致使头戴式显示器102搭载的惯性传感器产生惯性传感器数据，所述惯性传感器数据在被分析时揭示出如箭头215所指示的低头移动方向。如通过对惯性传感器数据的分析确定的下摆头移动方向可用来影响显示在头戴式显示器102中的虚拟现实场景内的动作，诸如致使用户的视点或受用户控制的虚拟物体的向上移动停止，或者致使用户的视点或受用户控制的虚拟物体向下转动，或者致使用户的视野向下摇摄等与当前在头戴式显示器102内显示给用户100的虚拟现实场景的情形相称的其他可能的动作。
图3j示出根据本发明的示例性实施方案的用户100从起始位置的向下移动。用户100的向下移动致使头戴式显示器102搭载的惯性传感器产生惯性传感器数据，所述惯性传感器数据在被分析时揭示出如箭头217所指示的向下移动方向。如通过对惯性传感器数据的分析确定的向下移动方向可用来影响显示在头戴式显示器102中的虚拟现实场景内的动作，诸如致使用户的视点或受用户控制的虚拟物体的向上移动停止，或者致使用户的视点或受用户控制的虚拟物体向下移动，或者致使用户的视点或受用户控制的虚拟物体在虚拟现实场景内呈现静止状态、或者致使选择动作发生等与当前在头戴式显示器102内显示给用户100的虚拟现实场景的情形相称的其他可能的动作。
图3k示出根据本发明的示例性实施方案的用户100从起始位置的向上移动。用户100的向上移动致使头戴式显示器102搭载的惯性传感器产生惯性传感器数据，所述惯性传感器数据在被分析时揭示出如箭头219所指示的直立移动方向。如通过对惯性传感器数据的分析确定的向上移动方向可用来影响显示在头戴式显示器102中的虚拟现实场景内的动作，诸如致使用户的视点或受用户控制的虚拟物体的向下移动停止，或者致使用户的视点或受用户控制的虚拟物体向上移动，或者致使用户的视点或受用户控制的虚拟物体在虚拟现实场景内进行跳跃等与当前在头戴式显示器102内显示给用户100的虚拟现实场景的情形相称的其他可能的动作。
图3l示出根据本发明的示例性实施方案的佩戴头戴式显示器102的用户100的主视图，其中用户位于相对于由x、y、z轴线限定的参考笛卡儿坐标系统的起始位置，并且其中另外的惯性传感器301位于用户100的身体上在头戴式显示器102外部。在此实施方案中，可结合从头戴式显示器102搭载的惯性传感器接收的信号处理来自位于用户100的身体上在头戴式显示器102外部的另外的惯性传感器301的信号，以帮助确定正由用户100进行的移动的具体种类。例如，当头戴式显示器102搭载的惯性传感器指示侧向(左/右)方向上的移动时，虽然用户100的身体上的惯性传感器301不指示侧向方向上的移动，但是如由头戴式显示器102搭载的惯性传感器指示的侧向方向上的移动可被解释为对应于侧向摆头运动，所述侧向摆头运动不同于侧向倾斜运动。类似地，在另一个实例中，当头戴式显示器102搭载的惯性传感器指示侧向(左/右)方向上的移动时，虽然用户100的身体上的惯性传感器301同样指示侧向方向上的移动，但是如由头戴式显示器102搭载的惯性传感器指示的侧向方向上的移动可被解释为对应于侧向倾斜运动，所述侧向倾斜运动不同于侧向摆动运动。
在另一个实例中，当头戴式显示器102搭载的惯性传感器指示向前方向上的移动时，虽然用户100的身体上的惯性传感器301不指示向前方向上的移动，但是如由头戴式显示器102搭载的惯性传感器指示的向前方向上的移动可被解释为对应于前摆头运动，所述前摆头运动不同于前倾运动。类似地，在另一个实例中，当头戴式显示器102搭载的惯性传感器指示向前方向上的移动时，虽然用户100的身体上的惯性传感器301同样指示向前方向上的移动，但是如由头戴式显示器102搭载的惯性传感器指示的向前方向上的移动可被解释为对应于前倾运动，所述前倾运动不同于前摆头运动。
在另一个实例中，当头戴式显示器102搭载的惯性传感器指示向后方向上的移动时，虽然用户100的身体上的惯性传感器301不指示向后方向上的移动，但是如由头戴式显示器102搭载的惯性传感器指示的向后方向上的移动可被解释为对应于后摆头运动，所述后摆头运动不同于后倾运动。类似地，在另一个实例中，当头戴式显示器102搭载的惯性传感器指示向后方向上的移动时，虽然用户100的身体上的惯性传感器301同样指示向后方向上的移动，但是如由头戴式显示器102搭载的惯性传感器指示的向后方向上的移动可被解释为对应于后倾运动，所述后倾运动不同于后摆头运动。
在另一个实例中，当头戴式显示器102搭载的惯性传感器指示旋转方向上的移动(向左旋转或向右旋转)时，虽然用户100的身体上的惯性传感器301不指示旋转方向上的移动，但是如由头戴式显示器102搭载的惯性传感器指示的旋转方向上的移动可被解释为对应于旋转方向上的转头运动，所述旋转方向上的转头运动不同于旋转方向上的转身运动。在另一个实例中，当头戴式显示器102搭载的惯性传感器指示第一旋转方向上的移动时，虽然用户100的身体上的惯性传感器301指示与第一旋转方向相反的第二旋转方向上的移动，但是如由头戴式显示器102搭载的惯性传感器指示的相对于用户100的身体上的惯性传感器的相反的旋转移动可被解释为对应于逆旋转运动，所述逆旋转运动诸如缠绕运动等。
应理解如图3l描绘的用户100的身体上的惯性传感器301的特定数目和位置通过举例来提供。在各种实施方案中，用户100的身体上的惯性传感器301的数目和位置可根据需要改变以便提供表示身体运动的信号，从而与由头戴式显示器102搭载的惯性传感器产生的信号比较以便识别用户100的具体移动。
应理解关于图3a-3l描述的特定用户100移动是更广泛可能的用户100移动集合的实例。因此，尽管关于图3a-3l描述的特定用户100移动可被认为是主要移动，但这些特定用户100移动决不是穷举所有可能的用户100移动。对惯性传感器数据的分析可揭示出可能发生的任何方向的用户100移动，包括图3a-3l描绘的特定用户100移动及其之间的任何方向的用户100移动。此外，可使虚拟现实场景内与虚拟现实场景的情形相称的任何动作与可通过对从头戴式显示器102内的惯性传感器接收的惯性传感器数据进行分析检测的任何用户100移动关联。
图4示出根据本发明的示例性实施方案的一种操作计算机系统来基于从头戴式显示器接收的惯性传感器数据产生虚拟现实场景的视频数据的方法的流程图。所述方法包括用于将视频数据传输到头戴式显示器以在头戴式显示器内显示虚拟现实场景的操作401。所述方法还包括用于从头戴式显示器内的一个或多个惯性传感器接收惯性传感器数据的操作403。惯性传感器数据指示头戴式显示器根据佩戴所述头戴式显示器的用户移动的移动。用户的移动基于显示在头戴式显示器内的虚拟现实场景。所述方法还包括用于使接收的惯性传感器数据与虚拟现实场景内的动作关联的操作405。所述方法还包括用于产生虚拟现实场景的更新以反映动作的实现的操作407。虚拟现实场景的更新是反映处理与接收的惯性传感器数据关联的动作之后的虚拟现实场景的视频数据。
在一些实施方案中，操作405的关联包括确定头戴式显示器的移动路径和确定头戴式显示器的移动速率。在一些实施方案中，头戴式显示器的移动路径对应于用户移动集合内的一个或多个用户移动，所述用户移动集合包括前倾、后倾、左倾、右倾、左转头、右转头、上摆头、下摆头、后蹲和跳跃。然而，在其他实施方案中，头戴式显示器的移动路径可对应于人体的移动能力内的基本上任何用户移动。
操作405的关联还可包括确定虚拟现实场景的当前情形内的可允许虚拟移动集合。操作405的关联还可包括使头戴式显示器的移动路径映射到可允许虚拟移动集合内的对应虚拟移动。在一些实施方案中，使头戴式显示器的移动路径映射到对应虚拟移动包括查询校准表，其中所述校准表定义头戴式显示器的多个移动路径与虚拟现实场景内(即，虚拟现实场景的当前情形内)的所得动作之间的关联。
操作405的关联还可包括使头戴式显示器的移动速率映射到虚拟现实场景内的对应虚拟移动的速率，其中所述虚拟移动可针对用户的视点、针对受用户控制的物体、或者针对虚拟现实场景内的某种其他移动动作。在一些实施方案中，使头戴式显示器的移动路径和移动速率两者映射到虚拟现实场景内的对应虚拟移动包括查询校准表，其中所述校准表定义头戴式显示器的多个移动路径和移动速率组合与虚拟现实场景内的所得动作之间的关联。
在一些实施方案中，虚拟现实场景内的在操作405中使接收的惯性传感器数据与其关联的动作是用户视点在虚拟现实场景内的移动。在一些实施方案中，虚拟现实场景内的在操作405中使接收的惯性传感器数据与其关联的动作是用户视点在虚拟现实场景内的方向变化。在一些实施方案中，虚拟现实场景内的在操作405中使接收的惯性传感器数据与其关联的动作是用户视点在虚拟现实场景内的放大或缩小。在一些实施方案中，虚拟现实场景内的在操作405中使接收的惯性传感器数据与其关联的动作是显示在虚拟现实场景内的物体的移动。然而，不管具体实施方案如何，应理解虚拟现实场景内的在操作405中使接收的惯性传感器数据与其关联的动作可以是与如在头戴式显示器内显示给用户的虚拟现实场景的当前情形相称的基本上任何类型的动作。
在一些实施方案中，其中操作405的关联包括确定虚拟现实场景的当前情形内的可允许虚拟移动集合，操作405的关联还可包括确定头戴式显示器的移动路径并不对应于可允许虚拟移动集合内的任何虚拟移动。在这些实施方案中，所述方法可包括用来将反馈信号传输到头戴式显示器的任选操作，其中反馈信号通知用户头戴式显示器的移动并不对应于可允许虚拟移动集合内的任何虚拟移动。
图4的方法还可包括从定位在正佩戴头戴式显示器的用户身体上的一个或多个外部惯性传感器接收惯性传感器数据的任选操作。外部惯性传感器数据指示用户身体的移动。所述方法还可包括用于将外部惯性传感器数据与从头戴式显示器中的惯性传感器接收的惯性传感器数据比较以便确定用户做出的具体移动，诸如关于图3l所论述。接着，用于使接收的惯性传感器数据与虚拟现实场景内的动作关联的操作405将会将从定位在用户身体上的一个或多个外部惯性传感器接收的外部惯性传感器数据考虑在内。
图5示出根据本发明的示例性实施方案的一种操作计算机系统来基于从头戴式显示器接收的惯性传感器数据和注视方向数据产生虚拟现实场景的视频数据的方法的流程图。所述方法包括用于将视频数据传输到头戴式显示器以在头戴式显示器内显示虚拟现实场景的操作501。所述方法还包括用于从头戴式显示器内的一个或多个惯性传感器接收惯性传感器数据的操作503。惯性传感器数据指示头戴式显示器根据佩戴所述头戴式显示器的用户移动的移动。用户的移动基于显示在头戴式显示器内的虚拟现实场景。
所述方法还包括用于从头戴式显示器内的一个或多个注视检测器接收注视方向数据的操作505。注视检测器被限定来检测用户眼睛的瞳孔的准确位置。注视方向数据指示当虚拟现实场景显示在头戴式显示器内时用户的视觉焦点方向。所述方法还包括用于使注视方向数据与惯性传感器数据同步以确定当虚拟现实场景显示在头戴式显示器内时用户的同步视觉焦点方向的操作507。在一些实施方案中，在操作507中使注视方向数据与惯性传感器数据同步包括使注视方向数据与惯性传感器数据临时匹配，使得注视方向数据和惯性传感器数据对应于同一时刻。
所述方法还包括用于使接收的惯性传感器数据与虚拟现实场景内的动作关联的操作509。操作509的关联包括用来基于接收的惯性传感器数据确定头戴式显示器的移动路径和头戴式显示器的移动速率的操作509a。操作509的关联还包括用来使用头戴式显示器的移动路径和同步视觉焦点方向两者来确定虚拟现实场景内的动作的操作509b。在一些实施方案中，同步视觉焦点方向被应用为确定虚拟现实场景内的动作的方向加权参数。例如，在一些实施方案中，方向加权参数的大小与同步视觉焦点方向在给定方向上持续的时间量成比例。还应理解以上关于图4的方法中的操作405的关联论述的任何特征同样适用于操作509的关联。
图5的方法还包括用于产生虚拟现实场景的更新以反映动作的实现的操作511。虚拟现实场景的更新是反映处理与接收的惯性传感器数据和接收的注视方向数据两者关联的动作之后的虚拟现实场景的视频数据。
图5的方法还可包括从定位在正佩戴头戴式显示器的用户身体上的一个或多个外部惯性传感器接收惯性传感器数据的任选操作。外部惯性传感器数据指示用户身体的移动。所述方法还可包括用于将外部惯性传感器数据与从头戴式显示器中的惯性传感器接收的惯性传感器数据比较以便确定用户做出的具体移动，诸如关于图3l所论述。接着，用于使接收的惯性传感器数据与虚拟现实场景内的动作关联的操作509将会将从定位在用户身体上的一个或多个外部惯性传感器接收的外部惯性传感器数据考虑在内。
图6示出根据本发明的示例性实施方案的一种用于操作头戴式显示器的方法的流程图，在所述头戴式显示器中基于用户移动产生的惯性数据信号被提供作为在虚拟现实场景内引发动作的输入。所述方法包括用于在头戴式显示器处接收视频数据的操作601，其中所述视频数据定义虚拟现实场景。所述方法还包括用于在头戴式显示器内显示虚拟现实场景、使得用户能够观看虚拟现实场景的操作603。所述方法还包括用于操作头戴式显示器内的一个或多个惯性传感器来产生惯性传感器数据的操作605，所述惯性传感器数据指示头戴式显示器根据佩戴所述头戴式显示器的用户移动的移动。用户的移动对应于有待在虚拟现实场景内进行的动作。
惯性传感器数据允许确定头戴式显示器的移动路径和确定头戴式显示器的移动速率。在一些实施方案中，头戴式显示器的移动路径和头戴式显示器的移动速率由计算系统映射到虚拟现实场景的当前情形内的可允许虚拟移动集合内的对应虚拟移动。在一些实施方案中，头戴式显示器的移动路径对应于用户移动集合内的一个或多个用户移动，所述用户移动集合包括前倾、后倾、左倾、右倾、左转头、右转头、上摆头、下摆头、后蹲和跳跃。然而，在其他实施方案中，头戴式显示器的移动路径可对应于人体的移动能力内的基本上任何用户移动。
在一些实施方案中，虚拟现实场景内的产生的惯性传感器数据与其对应的动作是用户视点在虚拟现实场景内的移动。在一些实施方案中，虚拟现实场景内的产生的惯性传感器数据与其对应的动作是用户视点在虚拟现实场景内的方向变化。在一些实施方案中，虚拟现实场景内的产生的惯性传感器数据与其对应的动作是用户视点在虚拟现实场景内的放大或缩小。在一些实施方案中，虚拟现实场景内的产生的惯性传感器数据与其对应的动作是显示在虚拟现实场景内的物体的移动。然而，不管具体实施方案如何，应理解虚拟现实场景内的产生的惯性传感器数据与其对应的动作可以是与如在头戴式显示器内显示给用户的虚拟现实场景的当前情形相称的几乎任何类型的动作。
所述方法还包括用于将惯性传感器数据传输到视频数据从其接收的计算系统的操作607。所述方法还包括用于从计算系统接收视频数据的操作609，所述视频数据定义反映虚拟现实场景内的对应于用户移动的动作的更新的虚拟现实场景。所述方法还包括用于在头戴式显示器内显示更新的虚拟现实场景的操作611。
此外，在一些实施方案中，图6的方法可包括用于从计算系统接收指示头戴式显示器的移动路径不具有虚拟现实场景的当前情形内的可允许虚拟移动集合内的任何对应虚拟移动的反馈信号的任选操作。响应于反馈信号，用户可被通知头戴式显示器的移动路径并不对应于虚拟现实场景的当前情形内的有效动作。在一些实施方案中，通知用户反馈信号可通过操作头戴式显示器来提供听觉信号、触觉信号和视觉信号等中的一个或多个来进行。
图6的方法还可包括将来自定位在正佩戴头戴式显示器的用户身体上的一个或多个外部惯性传感器的惯性传感器数据传输到视频数据从其接收的计算系统的任选操作。外部惯性传感器数据指示用户身体的移动。计算系统接着可使用外部惯性传感器数据结合从头戴式显示器中的惯性传感器接收的惯性传感器数据以便确定用户做出的具体移动，诸如关于图3l所论述。接着，如在操作609中接收的定义更新的虚拟现实场景的视频数据将反映虚拟场景内的根据外部惯性传感器数据和头戴式显示器惯性传感器数据的组合识别的动作。
图7示出根据本发明的示例性实施方案的一种用于操作头戴式显示器的方法的流程图，在所述头戴式显示器中基于用户移动产生的惯性数据信号和注视方向数据两者被提供作为在虚拟现实场景内引发动作的输入。所述方法包括用于在头戴式显示器处接收视频数据的操作701，其中所述视频数据定义虚拟现实场景。所述方法还包括用于在头戴式显示器内显示虚拟现实场景、使得用户能够观看虚拟现实场景的操作703。所述方法还包括用于操作头戴式显示器内的一个或多个惯性传感器来产生惯性传感器数据的操作705，所述惯性传感器数据指示头戴式显示器根据佩戴所述头戴式显示器的用户移动的移动。用户的移动对应于有待在虚拟现实场景内进行的动作。所述方法还包括用于将惯性传感器数据传输到视频数据从其接收的计算系统的操作707。
惯性传感器数据允许确定头戴式显示器的移动路径和确定头戴式显示器的移动速率。在一些实施方案中，头戴式显示器的移动路径和头戴式显示器的移动速率由计算系统映射到虚拟现实场景的当前情形内的可允许虚拟移动集合内的对应虚拟移动。在一些实施方案中，头戴式显示器的移动路径对应于用户移动集合内的一个或多个用户移动，所述用户移动集合包括前倾、后倾、左倾、右倾、左转头、右转头、上摆头、下摆头、后蹲和跳跃。然而，在其他实施方案中，头戴式显示器的移动路径可对应于人体的移动能力内的基本上任何用户移动。
在一些实施方案中，虚拟现实场景内的产生的惯性传感器数据与其对应的动作是用户视点在虚拟现实场景内的移动。在一些实施方案中，虚拟现实场景内的产生的惯性传感器数据与其对应的动作是用户视点在虚拟现实场景内的方向变化。在一些实施方案中，虚拟现实场景内的产生的惯性传感器数据与其对应的动作是用户视点在虚拟现实场景内的放大或缩小。在一些实施方案中，虚拟现实场景内的产生的惯性传感器数据与其对应的动作是显示在虚拟现实场景内的物体的移动。然而，不管具体实施方案如何，应理解虚拟现实场景内的产生的惯性传感器数据与其对应的动作可以是与如在头戴式显示器内显示给用户的虚拟现实场景的当前情形相称的几乎任何类型的动作。
所述方法还包括用于操作头戴式显示器内的一个或多个注视检测器来产生指示当虚拟现实场景显示在头戴式显示器内时用户的视觉焦点方向的注视方向数据的操作709。注视检测器被限定来检测用户眼睛的瞳孔的准确位置。所述方法还包括用于将注视方向数据传输到视频数据从其接收的计算系统的操作711。使注视方向数据与惯性传感器数据同步以确定当虚拟现实场景显示在头戴式显示器内时用户的同步视觉焦点方向。在一些实施方案中，使注视方向数据与惯性传感器数据同步包括使注视方向数据与惯性传感器数据临时匹配，使得注视方向数据和惯性传感器数据对应于同一时刻。如根据惯性传感器数据确定的头戴式显示器的移动路径和同步视觉焦点方向两者用来确定虚拟现实场景内对应于用户移动的动作。
所述方法还包括用于从计算系统接收视频数据的操作713，所述视频数据定义反映虚拟现实场景内的对应于用户移动的动作的更新的虚拟现实场景。所述方法还包括用于在头戴式显示器内显示更新的虚拟现实场景的操作715。
此外，在一些实施方案中，图7的方法可包括用于从计算系统接收指示头戴式显示器的移动路径不具有虚拟现实场景的当前情形内的可允许虚拟移动集合内的任何对应虚拟移动的反馈信号的任选操作。响应于反馈信号，用户可被通知头戴式显示器的移动路径并不对应于虚拟现实场景的当前情形内的有效动作。在一些实施方案中，通知用户反馈信号可通过操作头戴式显示器来提供听觉信号、触觉信号和视觉信号等中的一个或多个来进行。
图7的方法还可包括将来自定位在正佩戴头戴式显示器的用户身体上的一个或多个外部惯性传感器的惯性传感器数据传输到视频数据从其接收的计算系统的任选操作。外部惯性传感器数据指示用户身体的移动。计算系统接着可使用外部惯性传感器数据结合从头戴式显示器中的惯性传感器接收的惯性传感器数据以便确定用户做出的具体移动，诸如关于图3l所论述。接着，如在操作713中接收的定义更新的虚拟现实场景的视频数据将反映虚拟场景内的根据外部惯性传感器数据和头戴式显示器惯性传感器数据的组合识别的动作。
图8示出根据本发明的示例性实施方案的一种操作计算机系统来基于从头戴式显示器接收的惯性传感器数据校准虚拟现实场景内的动作的方法的流程图。所述方法包括用于将视频数据传输到头戴式显示器以在头戴式显示器内显示虚拟现实场景、使得佩戴头戴式显示器的用户能够观看虚拟现实场景的操作801。头戴式显示器配备有一个或多个惯性传感器，所述一个或多个惯性传感器被配置来产生指示头戴式显示器根据佩戴所述头戴式显示器的用户移动的移动的惯性传感器数据。产生虚拟现实场景以请求用户做出示意动作来在虚拟现实场景内引发具体动作。例如，虚拟现实场景可示出有待做出的示意动作的图，或者可显示有待做出的示意动作的文本指令，或者可简单地示出隐含地邀请用户做出所请求的示意动作的场景。所请求示意动作引发头戴式显示器的移动和对应于头戴式显示器的移动的惯性传感器数据的产生。
所述方法还包括用于从头戴式显示器接收惯性传感器数据的操作803。惯性传感器数据指示头戴式显示器响应于用户做出示意动作来在虚拟现实场景内引发具体动作的移动。所述方法还包括用于使接收的惯性传感器数据与虚拟现实场景内的具体动作关联，使得在随后接收基本上等于在操作803中接收的惯性传感器数据的惯性传感器数据时具体动作在虚拟现实场景内被执行的操作805。应理解操作805的关联使接收的惯性传感器数据与属于虚拟现实场景的情形的具体动作相关联。
使接收的惯性传感器数据与虚拟现实场景内的具体动作关联有效地校准与接收的惯性传感器数据相关联的用户移动以在虚拟现实场景内引发具体动作。在一些实施方案中，在操作805中使接收的惯性传感器数据与具体动作关联包括确定头戴式显示器的移动路线和确定头戴式显示器的移动速率，以及记录具体动作与头戴式显示器的确定移动路线和头戴式显示器的确定移动速率之间的关联。
图8的方法还可包括针对虚拟现实场景内的多个具体动作中的每一个重复操作801、803和805。在一些实施方案中，虚拟现实场景内的多个具体动作包括前移、后移、左移和右移的移动动作，其中用户进行来引发这些移动动作的示意动作分别为前倾、后倾、左倾和右倾。在一些实施方案中，虚拟现实场景内的多个具体动作包括左看、右看、上看和下看的观看动作，其中用户进行来引发这些观看动作的示意动作分别为左转头、右转头、上摆头和下摆头。在一些实施方案中，虚拟现实场景内的多个具体动作包括跳跃和下蹲的垂直移动动作，其中用户进行来引发这些垂直移动动作的示意动作分别为跳跃和下蹲。在一些实施方案中，虚拟现实场景内的多个具体动作包括就坐，其中用户进行来引发所述就坐的示意动作为后蹲。在一些实施方案中，虚拟现实场景内的多个具体动作包括放大和缩小的缩放动作，其中用户进行来引发这些缩放动作的示意动作分别为头部前移和头部后移。
图8的方法还可包括从定位在正佩戴头戴式显示器的用户身体上的一个或多个外部惯性传感器接收惯性传感器数据的任选操作。外部惯性传感器数据指示用户身体的移动。所述方法还可包括用于将外部惯性传感器数据与从头戴式显示器中的惯性传感器接收的惯性传感器数据比较以便确定用户做出的具体移动，诸如关于图3l所论述。接着，用于使接收的惯性传感器数据与虚拟现实场景内的具体动作关联的操作805将会将从定位在用户身体上的一个或多个外部惯性传感器接收的外部惯性传感器数据考虑在内。
图9a示出根据本发明的示例性实施方案的一种操作计算机系统来基于从头戴式显示器接收的惯性传感器数据动态地校准虚拟现实场景内的动作的方法的流程图。所述方法包括用于将视频数据传输到头戴式显示器以在头戴式显示器内显示虚拟现实场景、使得佩戴头戴式显示器的用户能够观看虚拟现实场景的操作901。头戴式显示器配备有一个或多个惯性传感器，所述一个或多个惯性传感器被配置来产生指示头戴式显示器根据佩戴所述头戴式显示器的用户移动的移动的惯性传感器数据。产生虚拟现实场景以允许用户做出示意动作来在虚拟现实场景内引发具体动作。例如，虚拟现实场景可针对用户已经熟悉的应用。用户的示意动作引发头戴式显示器的移动和对应于头戴式显示器的移动的惯性传感器数据的产生。
所述方法还包括用于从头戴式显示器接收惯性传感器数据的操作903。惯性传感器数据指示头戴式显示器响应于用户做出示意动作来在虚拟现实场景内引发具体动作的移动。所述方法还包括用于通过处理接收的惯性传感器数据来确定用户的移动路径和用户的移动速率的操作905。所述方法还包括用于确定虚拟现实场景的对应于接收的惯性传感器数据的移动类别的操作907。所述方法还包括用于使接收的惯性传感器数据与虚拟现实场景的确定的移动类别关联的操作909。此外，所述方法包括用于在用户简档中记录接收的惯性传感器数据与虚拟现实场景的确定的移动类别的关联的操作911。图9b示出根据本发明的示例性实施方案的用户简档中的接收的惯性传感器数据与虚拟现实场景的确定的移动类别的示例性关联。当用户移动来在虚拟现实场景内引发动作时，用户简档中接收的惯性传感器数据与虚拟现实场景的确定的移动类别的关联可由与虚拟现实场景相关联的应用来连续且自动地更新。
图9a的方法还可包括从定位在正佩戴头戴式显示器的用户身体上的一个或多个外部惯性传感器接收惯性传感器数据的任选操作。外部惯性传感器数据指示用户身体的移动。所述方法还可包括用于将外部惯性传感器数据与从头戴式显示器中的惯性传感器接收的惯性传感器数据比较以便确定用户做出的具体移动，诸如关于图3l所论述。接着，用于确定用户移动路径的操作905将会将与从位于头戴式显示器内的惯性传感器接收的惯性传感器数据相比从定位在用户身体上的一个或多个外部惯性传感器接收的外部惯性传感器数据考虑在内。
图10示出根据本发明的示例性实施方案的头戴式显示器102的块级体系结构。应理解，头戴式显示器102可包括或不包括比图10所示的多或少的部件，取决于启用的配置和功能。头戴式显示器102可包括用于执行程序指令的处理器1001。存储器1003被提供用于数据存储目的，并且可包括易失性存储器和非易失性存储器。包括显示器1005，所述显示器1005提供用户可观看的视觉界面。显示器1005可由单个显示器或可以每只眼睛单独显示屏的形式界定。当提供两个显示屏时，有可能分别提供左眼和右眼视频内容。将视频内容单独呈现给每只眼睛例如可提供对虚拟现实场景的三维内容更好的沉浸式控制。
电池1007可被提供为头戴式显示器102的电源。在其他实施方案中，电源可包括插座连接电源。在其他实施方案中，可提供插座连接电源和电池1007。在一些实施方案中，头戴式显示器102从相同电缆获得电力或可连接到另一条电缆。在一些实施方案中，头戴式显示器102可具有可再充电的电池1007，以便避免额外的电源线。
运动检测模块1037可包括各种运动敏感硬件中的任一种，诸如磁力计1039、加速计1041和陀螺仪1043。磁力计1039测量头戴式显示器102附近的磁场的强度和方向。在一些实施方案中，在头戴式显示器102内使用三个磁力计1039，从而确保世界空间偏航角的绝对参考。在一些实施方案中，磁力计1039被设计来跨越地球磁场，所述地球磁场为±80微特斯拉。磁力计受金属影响，并且提供与实际偏航无变化的偏航测量。磁场可由于环境中的金属而扭曲，从而导致偏航测量的偏差。如果必要的话，那么可使用来自其他传感器(诸如陀螺仪或摄像机)的信息来校准此偏差。在一些实施方案中，加速计1041与磁力计1039一起使用，以便获得头戴式显示器102的倾斜度和方位角。
加速计1041是用于测量反作用力所引起的加速度和重力的设备。单轴和多轴(例如，六轴)模型能够检测不同方向上的加速度的量级和方向。加速计1041用于感测倾斜度、振动和冲击。在一个实施方案中，使用三个加速计1041来提供重力方向，所述重力方向为两个角度(世界空间纵摇和世界空间横摇)给出绝对参考。
陀螺仪1043是用于基于角动量的原理来测量或维持定向的设备。在一个实施方案中，三个陀螺仪1043基于惯性感测提供关于越过相应坐标轴(x、y和z)的移动的信息。陀螺仪1043帮助检测快速旋转。然而，陀螺仪1043在不存在绝对参考的情况下可随时间而漂移。这需要定期重新设置陀螺仪1043，所述重新设置可使用其他可利用的信息来完成，所述信息诸如基于对物体、加速计、磁力计等的视觉追踪的位置/定向确定。
摄像机1009被提供用于捕获头戴式显示器102所曝光的现实世界环境的图像和图像流。头戴式显示器102可包括多于一个摄像机1009(任选地)，所述多于一个摄像头1009包括后置摄像机1009(当用户正在观看头戴式显示器102的显示时背离用户),和前置摄像机1009(当用户正在观看头戴式显示器102的显示时直接朝向用户)。另外，头戴式显示器102可包括深度摄像机1011，以用于感测头戴式显示器102所曝光的真实世界环境中的物体的深度信息。
头戴式显示器102包括用于提供音频输出的扬声器1013。此外，可包括麦克风1015，以用于从真实世界环境捕获音频，所述音频包括来自周围环境的声音、用户的语音等。头戴式显示器102包括用于向用户提供触觉反馈的触觉反馈模块1017。在一个实施方案中，触觉反馈模块1017能够引起头戴式显示器102的移动和/或振动，以便向用户提供触觉反馈。
led1019被提供为头戴式显示器102的状态的视觉指示器。例如，led可指示电池水平、通电等。led1019还可用于通过摄像机观看头戴式显示器102所处的现实世界环境来对头戴式显示器102的位置和移动进行视觉追踪。提供读卡器1021来使头戴式显示器102能够从存储卡读取信息和将信息写入到存储卡。包括usb接口1023作为用于实现外围设备的连接或连到其他设备(诸如其他便携式设备、计算机等)的连接的接口的一个实例。在头戴式显示器102的各种实施方案中，可包括各种接口中的任一种来实现头戴式显示器102的更大的连接性。
可包括wifi模块1025，以用于实现头戴式显示器102经由无线联网技术来连接到互联网。此外，头戴式显示器102可包括用于实现无线连接到其他设备的蓝牙模块1027。还可包括通信链接1029，以用于连接到其他设备。在一个实施方案中，通信链路1029利用红外线传输来进行无线通信。在其他实施方案中，通信链路1029可利用各种无线或有线传输协议中的任一种来与其他设备通信。
包括输入按钮/传感器1031来为用户提供输入接口。可包括各种输入接口中的任一种，诸如按钮、示意动作、触摸板、操纵杆、轨迹球等。头戴式显示器102可包括超声波通信模块1033，以用于促进经由超声波技术与其他设备的通信。
头戴式显示器102还可包括一个或多个生物传感器1035，以实现对来自佩戴头戴式显示器102的用户的生理数据的检测。在一些实施方案中，生物传感器1035包括一个或多个干电极，所述一个或多个干电极用于通过用户皮肤、语音检测、眼睛视网膜检测来检测用户的生物电信号以识别用户/简档等。
应理解如图10所述的头戴式显示器102的部件是头戴式显示器102可包括的部件的实例，并且不代表头戴式显示器102可包括的所有可能的部件。例如，在各种实施方案中，头戴式显示器102可包括或可不包括图10所述的部件中的一些。此外，在一些实施方案中，头戴式显示器102可包括图10未示出的另外的部件。
图11a示出计算机系统106和可用来实现本发明的一些实施方案的其他交互硬件的示例性块级体系结构。在一些实施方案中，计算机系统106可以是
在操作中，i/o桥1110处置所有无线、usb和以太网数据，包括来自一个或多个游戏控制器1162和1124的数据。例如，当用户正在玩游戏时，i/o桥1110经由蓝牙链接从游戏控制器1162和1124接收数据并将其引导到cell处理器1102，所述cell处理器1102相应地更新游戏的当前状态。
无线、usb和以太网端口还提供用于除游戏控制器1162和1124之外的其他外围设备的连接性，所述其他外围设备诸如遥控器1126、键盘1128、鼠标1130、诸如sony
提供这些接口意味着计算机系统106潜在地也与其他外围设备兼容，所述其他外围设备诸如数字视频录像机(dvr)、机顶盒、数码摄像机、便携式媒体播放器、互联网协议(ip)语音电话、移动电话、打印机和扫描仪。另外，传统存储卡读卡器1140可经由usb端口1116连接到系统单元，从而使得能够读取由先前playstation设备使用的类型的存储卡。
游戏控制器1162和1124可操作来经由蓝牙链接与计算机系统106进行无线通信，或连接到usb端口，从而还提供了藉以为游戏控制器1162和1124的电池充电的电力。游戏控制器1162和1124还可包括存储器、处理器、存储卡读取器、永久存储器(诸如快闪存储器)、光发射器(诸如球面照射部分)、发光二极管(led)、或红外光、用于超声通信的麦克风和扬声器、声室、数码摄像机、内部时钟、面对游戏控制台的可辨识形状、和使用诸如
游戏控制器1124被设计来供两只手使用，并且游戏控制器1162是具有球形附件的单手控制器。除一个或多个模拟操纵杆和常规控制按钮之外，游戏控制器对三维位置确定敏感。因此，除常规的按钮或操纵杆命令之外或取而代之，游戏控制器的用户的示意动作和移动可转换为游戏的输入。任选地，诸如sony
遥控器1126也可操作来经由蓝牙链接与计算机系统106无线通信。遥控器1126包括适于bluraytm光盘bd-rom读取器1112的操作并且适于导览光盘内容的控件。除了常规预刻录cd和可刻录cd以及所谓的超级音频cd之外，bluraytm光盘bd-rom阅读器1112可操作来读取与任何playstation设备兼容的cd-rom。除了常规预刻录dvd和可刻录dvd之外，阅读器1112也可操作来读取与任何playstation设备兼容的dvd-rom。阅读器1112进一步可操作来读取与任何playstation设备兼容的bd-rom，以及常规的预刻录蓝光光盘和可刻录蓝光光盘。
计算机系统106可操作来通过音频和视频连接器将由playstation设备经由现实合成器图形单元(rsx)1106产生或解码的音频和视频提供到显示器和声音输出设备1142，诸如具有显示器1146和一个或多个扬声器1148或独立扬声器1150的监视器或电视机。在一些实施方案中，利用语音和注视输入来根据用户的pog来朝向具体音频扬声器播放声音。音频连接器1158可包括常规的模拟和数字输出，而视频连接器1160可不同地包括分量视频、s视频、复合视频和一个或多个高清晰度多媒体接口(hdmi)输出。因此，视频输出可呈诸如pal或ntsc的格式，或呈720p、1080i或1080p的高清晰度。音频处理(产生、解码等)是由cell处理器1302进行。playstation3设备的操作系统支持
计算机系统106还包括与cell处理器1102通信的惯性处理模块1170。惯性处理模块1170被连接来从头戴式显示器102内的惯性传感器接收惯性传感器数据。图11b示出根据本发明的示例性实施方案的惯性处理模块1170的块级图。惯性处理模块1170包括惯性数据处理模块1180，所述惯性数据处理模块1180被配置来从头戴式显示器102接收惯性传感器数据。惯性传感器数据指示头戴式显示器102根据佩戴所述头戴式显示器102的用户移动的移动。用户的移动基于显示在头戴式显示器102内的虚拟现实场景。惯性数据处理模块1180被配置来根据惯性传感器数据确定头戴式显示器102的移动路径和头戴式显示器102的移动速率。在一些实施方案中，头戴式显示器的移动路径对应于用户移动集合内的一个或多个用户移动，所述用户移动集合包括前倾、后倾、左倾、右倾、左转头、右转头、上摆头、下摆头、后蹲和跳跃。然而，在其他实施方案中，头戴式显示器的移动路径可对应于人体的移动能力内的基本上任何用户移动。
惯性处理模块1170还包括惯性数据关联模块1182，所述惯性数据关联模块1182被配置来使头戴式显示器的移动路径和头戴式显示器的移动速率与目前显示在头戴式显示器102内的虚拟现实场景内的动作关联。在一些实施方案中，虚拟现实场景内的动作是用户视点虚拟现实场景内的移动。在一些实施方案中，虚拟现实场景内的动作是用户视点在虚拟现实场景内的方向变化。在一些实施方案中，虚拟现实场景内的动作是用户视点在虚拟现实场景内的放大或缩小。在一些实施方案中，虚拟现实场景内的动作是显示在虚拟现实场景内的物体的移动。然而，应理解虚拟现实场景内的使惯性传感器数据与其关联的动作可以是与如在头戴式显示器内显示给用户的虚拟现实场景的当前情形相称的几乎任何类型的动作。
惯性处理模块1170还包括惯性数据命令输出模块1184，所述惯性数据命令输出模块1184被配置来向渲染引擎(诸如现实合成器图形单元(rsx)1106)提供命令信号。命令信号引导渲染引擎更新虚拟现实场景以反映与头戴式显示器102的移动路径和移动速率关联的动作的实现。
在一些实施方案中，惯性数据关联模块1182被配置来确定虚拟现实场景的当前情形内的可允许虚拟移动集合。在一些实施方案中，惯性数据关联模块1182被配置来使头戴式显示器的移动路径映射到可允许虚拟移动集合内的对应虚拟移动。在一些实施方案中，惯性数据关联模块1182被配置来查询校准表以便使头戴式显示器的移动路径映射到可允许虚拟移动集合内的对应虚拟移动。在此类实施方案中，校准表定义头戴式显示器的多个移动路径与虚拟现实场景内的所得动作之间的相关性。
此外，在一些实施方案中，惯性数据关联模块1182被配置来使头戴式显示器的移动速率映射到虚拟现实场景内的对应虚拟移动。在一些实施方案中，惯性数据关联模块1182被配置来查询校准表以便使头戴式显示器的移动路径和移动速率映射到虚拟现实场景内的对应虚拟移动。在此类实施方案中，校准表定义头戴式显示器的多个移动路径和移动速率组合与虚拟现实场景内的所得动作之间的相关性。
此外，在一些实施方案中，惯性数据关联模块1182被配置来确定头戴式显示器的移动路径并不对应于可允许虚拟移动集合内的任何虚拟移动。在一些实施方案中，惯性处理模块1170包括惯性数据反馈模块1186，所述惯性数据反馈模块1186被配置来产生反馈信号并将反馈信号传输到头戴式显示器，其中反馈信号通知用户头戴式显示器的移动并不对应于可允许虚拟移动集合内的任何虚拟移动。
在一些实施方案中，惯性处理模块1170包括注视方向处理模块1188，所述注视方向处理模块1188被配置来从头戴式显示器接收注视方向数据。注视方向数据指示当虚拟现实场景显示在头戴式显示器内时用户的视觉焦点方向。惯性处理模块1170还可包括同步模块1190，所述同步模块1190被配置来使注视方向与惯性传感器数据同步以确定同步视觉焦点方向。在一些实施方案中，同步模块1190被配置来使注视方向数据与惯性传感器数据临时匹配。
当利用注视方向处理模块1188和同步模块1190时，惯性数据关联模块1182可被配置来使用头戴式显示器的移动路径和同步视觉焦点方向两者来确定虚拟现实场景内的动作。在一些实施方案中，惯性数据关联模块1182被配置来使用同步视觉焦点方向作为确定虚拟现实场景内的动作的方向加权参数。在一些实施方案中，方向加权参数的大小与同步视觉焦点方向在给定方向上持续的时间量成比例。
应用编程接口(api)可用来向应用提供对惯性处理模块1170的功能和输出的访问权。api可由多个应用(例如游戏)以同时的方式使用。应理解在各种实施方案中惯性处理模块1170和/或其中的各种模块(1180、1182、1184、1186、1188、1190)可实现为软件和/或固件。此外，在一些实施方案中，惯性处理模块1170和/或其中的各种模块(1180、1182、1184、1186、1188、1190)的部分诸如在应用性能需要迅速数据处理时可实现为硬件。
如本文论述的，提供方法和系统，其中头戴式显示器的移动用来确定有待在当前显示在头戴式显示器内的虚拟现实场景内进行的动作，其中头戴式显示器的移动路径和移动速率使用设置在头戴式显示器内的惯性传感器来检测和测量。以此方式，佩戴头戴式显示器的用户可充当人体控制器(例如，人体操纵杆)以影响虚拟现实场景内的动作。在一些实施方案中，头戴式显示器的现实世界移动用来控制用户的角色在虚拟现实场景中的移动。在一些实施方案中，头戴式显示器的现实世界移动用来控制用户视点在虚拟现实场景中的移动，诸如使其看起来好像用户正在虚拟现实场景内移动。应了解根据应用，头戴式显示器的现实世界移动可用来控制虚拟现实场景内的几乎任何类型的动作。
在一些实施方案中，头戴式显示器与现实世界中的起始位置相关联。头戴式显示器从此起始位置的移动被检测和转换来引导虚拟现实场景中的动作(即变化)。虚拟现实场景中的动作可以是通过检测头戴式显示器的物理移动而易于控制的几乎任何动作。例如，在一些实施方案中，头戴式显示器的移动可用来引导用户位置在虚拟现实场景中改变，不管是通过步行、跑步、跳跃等。此外，在一些实施方案中，头戴式显示器的移动可用来引导用户视点在虚拟现实场景中改变，不管是通过放大、缩小、在特定方向上看等。
在一些实施方案中，校准过程可被进行来在头戴式显示器的移动路径与虚拟现实场景内的动作之间建立相关性。此类校准过程可包括使如由头戴式显示器中的惯性传感器检测的用户的运动路径映射到用户角色在虚拟现实场景中的移动。此外，此类校准过程可包括使如由头戴式显示器中的惯性传感器检测的用户的运动速率(加速度/减速度)映射到用户角色在虚拟现实场景中的移动速率。以此方式，头戴式显示器内的惯性传感器用来基于校准过程确定用户角色在虚拟现实场景内的方向和速度。此外，在一些实施方案中，头戴式显示器的移动可与用户整个身体的移动关联，由此减少或消除借助除头戴式显示器之外的手段追踪用户身体移动的需要。此外，在一些实施方案中，用户眼睛移动的检测(即，注视检测)可与头戴式显示器的移动检测结合以确定虚拟现实场景内的动作。
虚拟现实场景的情形可用来计量虚拟现实场景内的对应于检测的头戴式显示器移动的动作。例如，任务专用的放大/缩小动作可基于当前显示的虚拟现实场景的视觉情形。例如，显示广大户外场景的虚拟现实场景的放大/缩小量对于头戴式显示器的给定移动与显示用于用户阅读的书本的虚拟现实场景相比可以更大。此外，虚拟现实场景的情形可用来计量虚拟现实场景内的对应于检测的头戴式显示器移动的动作(例如移动)速率。在一些实施方案中，对虚拟现实场景内的对应于检测的头戴式显示器移动的动作的基于情形的计量可被预定义。然而，在一些实施方案中，对虚拟现实场景内的对应于检测的头戴式显示器移动的动作的基于情形的计量可在执行产生虚拟现实场景的应用期间被确定。
应理解本文论述的头戴式显示器的移动借以用来确定有待在虚拟现实场景内做出的动作的方法和系统可与能够在头戴式显示器内显示给用户的任何类型的虚拟现实场景和任何类型的增强现实场景一起使用。例如，本文论述的头戴式显示器的移动借以用来确定有待在虚拟现实场景内做出的动作的方法可系统可与应用一起用于：游戏(诸如几乎任何其他类型电脑游戏中的第一人称射击游戏)、酒店虚拟现实旅行、旅游胜地虚拟现实旅行、全球名胜古迹的虚拟现实旅行、远程用户之间的合作、共享/同步虚拟现实空间、虚拟会议、医疗实践(诸如远程手术协助和远程检查等)和适用于在用户所佩戴的头戴式显示器内显示虚拟现实场景的任何其他类型的活动。
利用本文论述的方法和系统，当佩戴头戴式显示器的用户希望围绕虚拟现实场景移动时，用户可简单地做出示意动作，接着进行容易的身体移动。例如，用户可用手指向一定方向并且接着朝向所述方向稍微前倾。在其他实施方案中，朝向一定方向简单地前倾、同时佩戴头戴式显示器可致使角色或用户在虚拟现实场景中的特定方向上移动。为了停止移动，用户可简单地停止前倾。移动(例如倾斜)可以是非常轻微的，只要头戴式显示器中的惯性传感器可检测移动或移动变化。用户的头部因此可充当一种类型的操纵杆，所述类型为用户可能想要在一定方向上步行或停止步行所做出的自然运动类型。例如，如果用户想要在现实生活中步行前进，那么用户一般前倾。这种倾斜可被检测到，所述倾斜可致使用户在虚拟现实场景中移动，如当前显示在头戴式显示器内。
此外，如由头戴式显示器内的惯性传感器检测的头戴式显示器的移动可与其他输入结合以在虚拟现实场景中引发对应动作。例如，用户可使用脚踏板从而可踏着踏板移动，并且移动方向可通过头戴式显示器中的惯性传感器根据用户的倾斜检测，正如用户正充当操纵杆控制器一样。为了增强示意动作，用户在场景中经由眼睛追踪观看的方向可用来形成移动方向，接着是用户头部在所述方向上倾斜。用户在另一个方向上的注视可用来在虚拟现实场景中自然地引导角色。因此，使用用户的自然头部运动和/或其他示意动作，可使用示意动作操纵方法的组合。
本文论述的方法和系统的一个实现可以是进行远程手术。如果外科医生经由某个专注示意动作聚焦于身体的某个特定部位并且外科医生自然向前运动以便更靠近地观看，那么示意动作引起放大，从而使得用户实际上无需不得不移得太近。这种示意动作预测用户想要放大。这与当用户注视屏幕并且接着表现得移动地更近时类似。这是需要放大的指示，并且所述放大可自动完成。应理解这仅是本文论述的方法和系统的基本上无限数目的应用的实例，头戴式显示器的借以所述方法和系统的基于惯性传感器的移动检测可用来影响显示给佩戴头戴式显示器的用户的虚拟现实场景中的变化/动作。
在本发明的一些实施方案中，一种方法包括：a)将视频数据传输到头戴式显示器以在头戴式显示器内显示虚拟现实场景，b)从头戴式显示器内的一个或多个惯性传感器接收惯性传感器数据，所述惯性传感器数据指示头戴式显示器根据佩戴头戴式显示器的用户移动的移动，所述用户的移动基于显示在头戴式显示器内的虚拟现实场景，c)使接收的惯性传感器数据与虚拟现实场景内的动作关联，以及d)产生虚拟现实场景的更新以反映动作的实现。在本发明的一些实施方案中，c)的关联包括确定头戴式显示器的移动路径以及确定头戴式显示器的移动速率。在本发明的一些实施方案中，c)的关联包括确定虚拟现实场景的当前情形内的可允许虚拟移动集合。在本发明的一些实施方案中，c)的关联包括使头戴式显示器的移动路径映射到可允许虚拟移动集合内的对应虚拟移动。在本发明的一些实施方案中，使头戴式显示器的移动路径映射到对应虚拟移动包括查询校准表，所述校准表定义头戴式显示器的多个移动路径与虚拟现实场景内的所得动作之间的关联。在本发明的一些实施方案中，c)的关联包括使头戴式显示器的移动速率映射到虚拟现实场景内的对应虚拟移动速率。在本发明的一些实施方案中，使头戴式显示器的移动路径和移动速率映射到对应虚拟移动包括查询校准表，所述校准表定义头戴式显示器的多个移动路径和移动速率的组合与虚拟现实场景的所得动作之间的关联。在本发明的一些实施方案中，c)的关联包括确定头戴式显示器的移动路径并不对应于可允许虚拟移动集合内的任何虚拟移动。
在本发明的一些实施方案中，所述方法包括将反馈信号传输到头戴式显示器，所述反馈信号通知用户头戴式显示器的移动并不对应于可允许虚拟移动集合内的任何虚拟移动。在本发明的一些实施方案中，头戴式显示器的移动路径对应于用户移动集合内的一个或多个用户移动，所述用户移动集合包括前倾、后倾、左倾、右倾、左转头、右转头、上摆头、下摆头、后蹲和跳跃。在本发明的一些实施方案中，虚拟现实场景内的动作是用户视点在虚拟现实场景内的移动。在本发明的一些实施方案中，虚拟现实场景内的动作是用户视点在虚拟现实场景内的方向变化。在本发明的一些实施方案中，虚拟现实场景内的动作是用户视点在虚拟现实场景内的放大或缩小。在本发明的一些实施方案中，虚拟现实场景内的动作是显示在虚拟现实场景内的物体的移动。
在本发明的一些实施方案中，所述方法包括：从头戴式显示器内的一个或多个注视检测器接收注视方向数据，所述注视方向数据指示当虚拟现实场景显示在头戴式显示器内时用户的视觉焦点方向；以及使注视方向数据与惯性传感器数据同步以确定同步视觉焦点方向。在本发明的一些实施方案中，c)的关联包括确定头戴式显示器的移动路径和确定头戴式显示器的移动速率，其中所述c)的关联包括使用头戴式显示器的移动路径和同步视觉焦点方向两者来确定虚拟现实场景内的动作。在本发明的一些实施方案中，同步视觉焦点方向被应用为确定虚拟现实场景内的动作的方向加权参数。在本发明一些实施方案中，方向加权参数的大小与同步视觉焦点方向在给定方向上持续的时间量成比例。在本发明的一些实施方案中，使注视方向数据与惯性传感器数据同步包括使注视方向数据与惯性传感器数据临时匹配。
在本发明的一些实施方案中，一种方法包括：a)在头戴式显示器处接收视频数据，所述视频数据定义虚拟现实场景，b)在头戴式显示器内显示虚拟现实场景，c)操作头戴式显示器内的一个或多个惯性传感器来产生指示头戴式显示器根据佩戴头戴式显示器的用户移动的移动的惯性传感器数据，所述用户移动对应于虚拟现实场景内的动作，d)将惯性传感器数据传输到视频数据从其接收的计算系统，e)从计算系统接收定义反映虚拟现实场景内对应于用户移动的动作的更新的虚拟现实场景的视频数据，以及f)在头戴式显示器内显示更新的虚拟现实场景。在本发明的一些实施方案中，惯性传感器数据允许确定头戴式显示器的移动路径以及确定头戴式显示器的移动速率。在本发明的一些实施方案中，头戴式显示器的移动路径和头戴式显示器的移动速率由计算系统映射到虚拟现实场景的当前情形内的可允许虚拟移动集合内的对应虚拟移动。
在本发明的一些实施方案中，所述方法包括用于从计算系统接收指示头戴式显示器的移动路径不具有虚拟现实场景的当前情形内的可允许虚拟移动集合内的任何对应虚拟移动的反馈信号。在本发明的一些实施方案中，通知通过操作头戴式显示器来提供听觉信号、触觉信号和视觉信号中的一个或多个来进行。在本发明的一些实施方案中，头戴式显示器的移动路径对应于用户移动集合内的一个或多个用户移动，所述用户移动集合包括前倾、后倾、左倾、右倾、左转头、右转头、上摆头、下摆头、后蹲和跳跃。在本发明的一些实施方案中，虚拟现实场景内的动作是用户视点在虚拟现实场景内的移动。在本发明的一些实施方案中，虚拟现实场景内的动作是用户视点在虚拟现实场景内的方向变化。在本发明的一些实施方案中，虚拟现实场景内的动作是用户视点在虚拟现实场景内的放大或缩小。在本发明的一些实施方案中，虚拟现实场景内的动作是显示在虚拟现实场景内的物体的移动。
在本发明的一些实施方案中，所述方法包括：操作头戴式显示器内的一个或多个注视检测器来产生指示当虚拟现实场景显示在头戴式显示器内时用户的视觉焦点方向的注视方向数据，以及将注视方向数据传输到视频数据从其接收的计算系统，所述注视方向数据与所述惯性传感器数据同步以确定同步视觉焦点方向。在本发明的一些实施方案中，惯性传感器数据允许确定头戴式显示器的移动路径和确定头戴式显示器的移动速率，其中头戴式显示器的移动路径和同步视觉焦点方向用来确定虚拟现实场景内对应于用户移动的动作。
在本发明的一些实施方案中，一种系统包括：a)惯性数据处理模块，所述惯性数据处理模块被配置来从头戴式显示器接收惯性传感器数据，所述惯性传感器数据指示头戴式显示器根据佩戴头戴式显示器的用户移动的移动，所述用户移动基于显示在头戴式显示器内的虚拟现实场景，所述惯性数据处理模块被配置来根据惯性传感器数据确定头戴式显示器的移动路径和头戴式显示器的移动速率，b)惯性数据关联模块，所述惯性数据关联模块被配置来使头戴式显示器的移动路径和头戴式显示器的移动速率与虚拟现实场景内的动作关联，以及c)惯性数据命令输出模块，所述惯性数据命令输出模块被配置来向渲染引擎提供命令信号，所述命令信号引导渲染引擎来更新虚拟现实场景以反映动作的实现。在本发明的一些实施方案中，惯性数据关联模块被配置来确定虚拟现实场景的当前情形内的可允许虚拟移动集合。在本发明的一些实施方案中，惯性数据关联模块被配置来使头戴式显示器的移动路径映射到可允许虚拟移动集合内的对应虚拟移动。在本发明的一些实施方案中，惯性数据关联模块被配置来查询校准表以便使头戴式显示器的移动路径映射到可允许虚拟移动集合内的对应虚拟移动，所述校准表定义头戴式显示器的多个移动路径与虚拟现实场景的所得动作之间的关联。在本发明的一些实施方案中，惯性数据关联模块被配置来使头戴式显示器的移动速率映射到虚拟现实场景内的对应虚拟移动速率。在本发明的一些实施方案中，惯性数据关联模块被配置来查询校准表以便使头戴式显示器的移动路径和移动速率映射到虚拟现实场景内的对应虚拟移动，所述校准表定义头戴式显示器的多个移动路径和移动速率组合与虚拟现实场景的所得动作之间的关联。在本发明的一些实施方案中，惯性数据关联模块被配置来确定头戴式显示器的移动路径并不对应于可允许虚拟移动集合内的任何虚拟移动。
在本发明的一些实施方案中，所述系统包括惯性数据反馈模块，所述惯性数据反馈模块被配置来产生反馈信号并将反馈信号传输到头戴式显示器，所述反馈信号通知用户头戴式显示器的移动并不对应于可允许虚拟移动集合内的任何虚拟移动。在本发明的一些实施方案中，头戴式显示器的移动路径对应于用户移动集合内的一个或多个用户移动，所述用户移动集合包括前倾、后倾、左倾、右倾、左转头、右转头、上摆头、下摆头、后蹲和跳跃。在本发明的一些实施方案中，虚拟现实场景内的动作是用户视点在虚拟现实场景内的移动。在本发明的一些实施方案中，虚拟现实场景内的动作是用户视点在虚拟现实场景内的方向变化。在本发明的一些实施方案中，虚拟现实场景内的动作是用户视点在虚拟现实场景内的放大或缩小。在本发明的一些实施方案中，虚拟现实场景内的动作是显示在虚拟现实场景内的物体的移动。
在本发明的一些实施方案中，所述系统包括：注视方向处理模块，所述注视方向处理模块被配置来从头戴式显示器接收注视方向数据，所述注视方向数据指示当虚拟现实场景显示在头戴式显示器内时用户的视觉焦点方向；和同步模块，所述同步模块被配置来使注视方向数据与惯性传感器数据同步以确定同步视觉焦点方向。在本发明的一些实施方案中，惯性数据关联模块被配置来使用头戴式显示器的移动路径和同步视觉焦点方向两者来确定虚拟现实场景内的动作。在本发明的一些实施方案中，惯性数据关联模块被配置来使用同步视觉焦点方向作为确定虚拟现实场景内的动作的方向加权参数。在本发明一些实施方案中，方向加权参数的大小与同步视觉焦点方向在给定方向上持续的时间量成比例。在本发明的一些实施方案中，同步模块被配置来使注视方向数据与惯性传感器数据临时匹配。
在本发明的一些实施方案中，一种方法包括：a)将视频数据传输到头戴式显示器以在头戴式显示器内显示虚拟现实场景，所述头戴式显示器配备有一个或多个惯性传感器，所述一个或多个惯性传感器被配置来产生指示头戴式显示器根据佩戴头戴式显示器的用户移动的移动的惯性传感器数据，所述虚拟现实场景请求用户做出示意动作来在虚拟现实场景内引发具体动作，所述示意动作引发头戴式显示器的移动和对应于头戴式显示器的移动的惯性传感器数据的产生，b)从头戴式显示器接收惯性传感器数据，所述惯性传感器数据指示头戴式显示器响应于用户做出示意动作来在虚拟现实场景内引发具体动作的移动，以及c)使接收的惯性传感器数据与虚拟现实场景内的具体动作关联，使得在后续接收基本上等于在b中接收的惯性传感器数据的惯性传感器数据时在虚拟现实场景内执行具体动作。在本发明的一些实施方案中，使接收的惯性传感器数据与具体动作关联包括确定头戴式显示器的移动路线和确定头戴式显示器的移动速率，以及记录具体动作与头戴式显示器的确定移动路线和头戴式显示器的确定移动速率之间的关联。在本发明的一些实施方案中，所述方法包括重复a、b和c以在虚拟现实场景内实现多个具体动作。
在本发明的一些实施方案中，虚拟现实场景内的多个具体动作包括前移、后移、左移和右移的移动动作，并且其中用户做出来引发移动动作的示意动作分别为前倾、后倾、左倾和右倾。在本发明的一些实施方案中，虚拟现实场景内的多个具体动作包括左看、右看、上看和下看的观看动作，并且其中用户做出来引发观看动作的示意动作分别为左转头、右转头、上摆头和下摆头。在本发明的一些实施方案中，虚拟现实场景内的多个具体动作包括跳跃和下蹲的垂直移动动作，并且其中用户做出来引发垂直移动动作的示意动作分别为跳跃和下蹲。在本发明的一些实施方案中，虚拟现实场景内的多个具体动作包括就坐，并且其中用户做出来引发所述就坐的示意动作为后蹲。在本发明的一些实施方案中，虚拟现实场景内的多个具体动作包括放大和缩小的缩放动作，并且其中用户做出来引发缩放动作的示意动作分别为头部前移和头部后移。在本发明的一些实施方案中，所述关联使接收的惯性传感器数据与属于虚拟现实场景的情形的具体动作相关联。
在本发明的一些实施方案中，一种方法包括：a)将视频数据传输到头戴式显示器以在头戴式显示器内显示虚拟现实场景，所述头戴式显示器配备有一个或多个惯性传感器，所述一个或多个惯性传感器被配置来产生指示头戴式显示器根据佩戴头戴式显示器的用户移动的移动的惯性传感器数据，所述虚拟现实场景允许用户做出示意动作来在虚拟现实场景内引发具体动作，所述示意动作引发头戴式显示器的移动和对应于头戴式显示器的移动的惯性传感器数据的产生，b)从头戴式显示器接收惯性传感器数据，所述惯性传感器数据指示头戴式显示器响应于用户做出示意动作来在虚拟现实场景内引发具体动作的移动，c)通过处理接收的惯性传感器数据来确定用户移动路径和用户移动速率，d)确定虚拟现实场景的对应于接收的惯性传感器数据的移动类别，e)使接收的惯性传感器数据与虚拟现实场景的确定的移动类别关联，以及f)在用户简档中记录接收的惯性传感器数据与虚拟现实场景的确定的移动类别的关联。
尽管一些方法操在本文中已经作以具体顺序来描述，但是应理解，其他内务处理操作可在各个操作之间进行，或操作可加以调整以使得其在稍微不同时间来发生，或可分布于允许处理操作以与处理相关联的不同间隔来发生的系统中。本发明的实施方案可以通过各种计算机系统配置来实践，包括手持式设备、微处理器系统、基于微处理器的或可编程的消费型电子产品、小型计算机、大型计算机等。本发明也可在分布式计算环境下实践，其中由通过基于有线或无线的网络链接的远程处理设备来执行任务。
考虑到以上实施方案，应理解，本发明可采用涉及存储于计算机系统中的数据的各种计算机实现的操作。这些操作是需要对物理量进行物理操纵的操作。本文中描述的形成本发明的各种实施方案的部分的任何操作都是有用的机器操作。本发明的若干实施方案还涉及用于执行这些操作的设备或装置。所述装置可出于所要求的目的而专门构造而成，或所述装置可为由存储于计算机中的计算机程序选择性地激活或配置的通用计算机。具体来说，各种通用机器可与根据本文的教导内容所编写的计算机程序一起使用，或者可更方便地构造更专门的装置来执行所要求的操作。
本发明的各种实施方案也可体现为计算机可读介质上的计算机可读代码。所述计算机可读介质是可存储数据的任何数据存储设备，所述数据随后可由计算机系统读取。计算机可读介质的实例包括硬盘驱动器、网络附加存储器(nas)、只读存储器、随机存取存储器、cd-rom、cd-r、cd-rw、磁带以及其他光学和非光学数据存储设备。所述计算机可读介质可包括分布在网络耦合计算机系统上的计算机可读有形介质，使得计算机可读代码以分布式方式存储和执行。
尽管为了理解的清晰性目的而略微详细地描述了前述发明，但很显然，可在所附权利要求的范围内实践某些变化和修改。因此，本发明的实施方案被认为是说明性的而非限制性的，并且本发明不限于本文给出的细节，而可在所描述实施方案的范围和等效范围内进行修改。
权利要求：
- 还没有人留言评论。精彩留言会获得点赞！