控制器。
[0061] 图12示出根据本发明的实施方案的头戴式显示器的部件。
[0062] 图13是根据本发明的各种实施方案的游戏系统的框图。
[0063] 详述
[0064] 图1示出根据本发明的实施方案的用于视频游戏的交互性游戏玩法的系统。尽管 本文的实例参考视频游戏和游戏来提供，但是所述实施方案也可以在不同的环境和工具中 使用。此类环境可包括商务工具环境、演示工具、电话会议系统、虚拟访问程序、虚拟项目合 作、信息和社交互动共享、社交网络、社会数据挖掘、通信等。
[0065] 在视频游戏实例中，示出用户100正佩戴着头戴式显示器（HMD) 102。以类似于眼 镜、护目镜或头盔的方式佩戴HMD 102,并且所述HMD 102被配置来向用户100显示视频游 戏或其他内容。HMD 102借助于其所提供的紧密靠近用户眼睛的显示机构来向用户提供良 好的沉浸式体验。因此，HMD 102可以向用户眼睛中的每一只提供显示区，所述显示区占据 用户视场的大部分或甚至全部。
[0066] 在一个实施方案中，HMD 102可连接到计算机106。到计算机106的连接可以是有 线或无线的。计算机106可以是本领域中已知的任何通用或专用的计算机，包括但不限于： 游戏控制台、个人计算机、膝上型计算机、平板计算机、移动设备、移动电话、平板电脑、瘦客 户端、机顶盒、流媒体设备等。在一个实施方案中，计算机106可以被配置来执行视频游戏， 并且从视频游戏中输出视频和音频以便由HMD 102渲染。
[0067] 用户100可操作控制器104来提供视频游戏的输入。此外，摄像机108可被配置 来捕获用户100位于其中的交互式环境的图像。可分析这些所捕获的图像来确定用户100、 HMD 102和控制器104的位置和移动。在一个实施方案中，控制器104包括一个灯，所述灯 可被追踪来确定它的位置和定向。此外，如下文更详细地描述，HMD 102可包括一个或多个 灯，所述灯可以被追踪以便确定HMD 102的位置和定向。灯被认为是照明对象。
[0068] 在一个实施方案中，照明对象是当通过人眼观察和/或通过摄像机或图像检测设 备、或检测器、或接收器观察时，可以发光或发热以便提供可见的区别的对象。在一个实施 方案中，照明对象可以发出人类可见的或其他人类不可见的光。在一个实施方案中，照明对 象可通过红外（IR)发射器发出IR光。在一个实例中，照明对象可以是一个或多个发光二 极管（LED)。每个二极管可发出白光，或各种色调的有色光。在一些实施方案中，照明对象 可放置在至少部分透明的表面下方。表面可以是盖罩，以使得所述盖罩可发热或显现一种 或多种颜色。
[0069] 在一些实施方案中，照明对象被整合到HMD的主体或壳体中，被放置在HMD上的灯 或透明塑料下方，被暴露在HMD的表面上，被放置在以特定颜色照明的有色屏蔽体/材料下 方，且/或被布置成特定形状以便提高可检测性，以便改进追踪（例如，以便识别倾斜、横 摇、偏航和深度）。在各种实例中，HMD可包括处于各种位置的各种照明对象，以使得可以从 前部、侧面和后部追踪HMD。在一个实施方案中，可将照明对象添加到HMD的束头带，此类照 明对象可以被附接到处于各种位置的束头带的侧面，这可在用户移动、转弯、转圈等时增加 追足示。
[0070] 在一个实施方案中，可将照明逻辑整合到HMD中。HMD可包括用于激活照明对象 的一个或多个电路。在简单的配置中，照明逻辑可由连接到照明对象的电线限定到电路、开 关、触发器、芯片、控制器、CPU(中央处理单元）、DSP(数字信号处理器）、ASIC(专用集成 电路）、和/或固件和/或软件。因此，照明对象可以控制照明对象中的一个和全部何时打 开、保持、闪烁、通过代码打开/关闭、转变颜色、转变特定的颜色来区分游戏的多个HMD玩 家等。在一些实施方案中，HMD的电路可包括用于接收和处理图像数据的逻辑。
[0071] HMD可以接收例如从计算机或游戏控制台接收到的图像数据并且对其进行处理。 数据的处理可以包括将图像数据渲染到观察模块上。观察模块可包括屏幕，其通过HMD渲 染图像以便进行观察。在一些实施方案中，HMD的屏幕可限定两个单独的屏幕，例如，一只 眼睛一个。在另一个实施方案中，所述屏幕可以是单个屏幕，由此允许使用光学器件使每只 眼睛聚焦在屏幕上。
[0072] 摄像机108可包括用于捕获来自交互式环境的声音的一个或多个麦克风。可处理 麦克风阵列所捕获的声音来识别声源的位置。可选择性地利用或处理来自所识别位置的声 音，以便排除不是来自所识别位置的其他声音。此外，摄像机108可被定义成包括多个图像 捕获设备（例如，立体摄像机对）、IR摄像机、深度摄像机及其组合。
[0073] 在另一个实施方案中，计算机106充当通过网络与云游戏提供商112通信的瘦客 户端。云游戏提供商112维护并且执行用户102正在玩的视频游戏。计算机106将来自 HMD 102、控制器104和摄像机108的输入传输给云游戏提供商，云游戏提供商处理所述输 入以影响正执行的视频游戏的游戏状态。来自正执行的视频游戏的输出（如视频数据、音 频数据和触觉反馈数据）被传输到计算机106。计算机106在传输之前可进一步处理所述 数据，或可将数据直接传输到相关设备。例如，将视频流和音频流提供到HMD 102,而将振动 反馈命令提供到控制器104。
[0074] 在一个实施方案中，HMD 102、控制器104和摄像机108本身可以是连接到网络110 的联网设备，以便与云游戏提供商112通信。例如，计算机106可以是不另外执行视频游戏 处理但促进通路网络流量的本地网络设备（如路由器）。HMD 102、控制器104和摄像机108 到网络的连接可以是有线或无线的。
[0075] 图2示出根据本发明的实施方案的头戴式显示器（HMD)。如图所示，HMD 102包 括多个灯200A-H。这些灯中的每一个可被配置来具有特定的形状，并且可以被配置来具有 相同或不同的颜色。灯还可以特定的图案被定向和限定在HMD上以便改进追踪。灯200A、 200B、200C和200D被布置在HMD 102的前表面上。灯200E和200F被布置在HMD 102的侧 表面上。而且，灯200G和200H被布置在HMD 102的隅角处，从而跨越HMD 102的前表面和 侧表面。将了解，可在用户使用HMD 102的交互式环境的所捕获图像中识别所述灯。基于 对灯的识别和追踪，可确定HMD 102在交互式环境中的位置和定向。将进一步了解，所述灯 中的一些灯可见或不可见，取决于HMD 102相对于图像捕获设备的具体定向。并且，可暴露 灯（例如，灯200G和200H)的不同部分以用于图像捕获，取决于HMD 102相对于图像捕获 设备的定向。
[0076] 在一个实施方案中，灯可被配置来向附近其他人指示HMD的当前状态。例如，所 述灯中的一些或全部可被配置成具有某一颜色布置、密度布置，所述灯被配置成闪烁、具有 某一开/关配置、或指示HMD102的当前状态的其他布置。作为实例，所述灯可被配置来显 示视频游戏的活跃游戏玩法（通常是发生在活跃时间轴期间或游戏场景内的游戏玩法）对 于视频游戏的其他不活跃游戏玩法方面期间的不同配置，如导航菜单界面或配置游戏设置 (在所述设置期间，游戏时间轴或场景可不活跃或暂停）。所述灯还可被配置来指示游戏玩 法的相对强度等级。例如，灯的强度或闪烁速率在游戏玩法的强度增加时可增加。以这种 方式，用户之外的人员可看到HMD 102上的灯，并且理解用户正在积极参与激烈的游戏，并 在那时可能不希望被打扰。
[0077] HMD 102可另外包括一个或多个麦克风。在所示出的实施方案中，HMD 102包括限 定在HMD 102的前表面上的麦克风204A和204B，以及限定在HMD 102的侧表面上的麦克风 204C。通过利用麦克风阵列，可处理来自麦克风中的每一个的声音以确定声源的位置。可 以各种方式利用此信息，所述方式包括排除不想要的声源、使声源与视觉识别相关联等。
[0078] HMD 102还可包括一个或多个图像捕获设备。在所示出的实施方案中，HMD 102被 示出为包括图像捕获设备202A和202B。通过利用立体图像捕获设备对，可从HMD 102的视 角捕获环境的三维（3D)图像和视频。可将此类视频展示给用户，以在佩戴HMD 102时向用 户提供"视频透视"能力。就是说，虽然严格意义上来说，用户不能透视HMD 102,但是图像 捕获设备202A和202B所捕获的视频可提供功能等效物，其能够如同看穿HMD 102 -样看 见HMD 102外部的环境。此类视频可利用虚拟元素来增强，以便提供增强的现实体验，或可 与虚拟元素以其他方式组合或共混。虽然在所示出的实施方案中，在HMD 102的前表面上 示出两个摄像机，但是将了解，可存在任何数目的面向外部的摄像机安装在HMD 102上、定 向在任何方向上。例如，在另一个实施方案中，HMD 102的侧面上可安装有摄像机，以便提 供对环境的额外全景图像捕获。
[0079] 图3概念性地示出根据本发明的实施方案的与正执行的视频游戏相结合的HMD 102的功能。正执行的视频游戏由游戏引擎320限定，所述游戏引擎320接收输入以便更 新视频游戏的游戏状态。视频游戏的游戏状态可至少部分地由视频游戏的各种参数的值限 定，所述值限定当前游戏玩法的各种方面，如对象的存在和位置、虚拟环境的条件、事件的 触发、用户档案、观察角度等。
[0080] 在所示出的实施方案中，游戏引擎接收例如控制器输入314、音频输入316和运动 输入318。控制器输入314可从与HMD 102分开的游戏控制器（如控制器104)的操作中 定义。作为实例，控制器输入314可包括方向输入、按钮按压、触发器激活、移动、或由游戏 控制器的操作处理的其他类型的输入。音频输入316可以由HMD 102的麦克风302处理得 到，或由包括在图像捕获设备108中的麦克风处理。运动输入218可以由包括在HMD 102 中的运动传感器300处理，或在图像捕获设备108捕获HMD 102的图像时由所述的图像捕 获设备108处理。游戏引擎320接收根据游戏引擎的配置来处理的输入，以便更新视频游 戏的游戏状态。游戏引擎320将游戏状态数据输出到各种渲染模块，所述渲染模块处理游 戏状态数据以便限定将展示给用户的内容。
[0081] 在所示出的实施方案中，视频渲染模块322被限定来渲染用于在HMD 102上展示 的视频流。视频流可通过显示器/投影仪机构310展示，并且通过用户的眼睛306透过光 学器件308进行观察。音频渲染模块304被配置来渲染用于由用户收听的音频流。在一个 实施方案中，音频流通过与HMD 102相关联的扬声器304输出。应了解，扬声器304可采取 露天扬声器、耳机、或能够展示音频的任何其他类型的扬声器的形式。
[0082] 在一个实施方案中，HMD 102中包括注视追踪摄像机312以便能够追踪用户的注 视。注视追踪摄像机捕获用户眼睛的图像，对所述图像进行分析以便确定用户的注视方向。 在一个实施方案中，可以利用关于用户的注视方向的信息来影响视频渲染。例如，如果确定 用户的眼睛正在观看特