信。
[0056] 电源管理电路202包括电压调节器234、眼睛跟踪照明驱动器236、音频DAC和放 大器238、话筒前置放大器和音频ADC240、温度传感器接口 242、以及时钟发生器244。电 压调节器234通过带接口 232从处理单元4接收电能，并将该电能提供给头戴式显示设备2 的其他组件。每个眼睛跟踪照明驱动器236都如上面所述的那样为眼睛跟踪照明134A提 供IR光源。音频DAC和放大器238向耳机130输出音频信息。话筒前置放大器和音频ADC 240提供用于话筒110的接口。温度传感器接口 242是用于温度传感器138的接口。电源 管理电路202还向三轴磁力计132A、三轴陀螺仪132B以及三轴加速度计132C提供电能并 从其接收回数据。
[0057] 图5是描述处理单元4的各种组件的框图。图5示出与电源管理电路306通信的控 制电路304。控制电路304包括：中央处理单元（CPU) 320、图形处理单元（GPU) 322、高速缓 存324、RAM326、与存储器330 (例如D-RAM)进行通信的存储器控制器328、与闪存334 (或 其他类型的非易失性存储）进行通信的闪存控制器332、通过带接口 302和带接口 232与头 戴式显示设备2进行通信的显示输出缓冲器336、通过带接口 302和带接口 232与头戴式显 示设备2进行通信的显示输入缓冲器338、与用于连接到话筒的外部话筒连接器342进行 通信的话筒接口 340、用于连接到无线通信设备346的PCIexpress接口、以及（一个或多 个）USB端口 348。在一个实施例中，无线通信设备346可包括启用Wi-Fi的通信设备、蓝牙 通信设备、红外通信设备等。USB端口可被用于将处理单元4对接到中枢计算系统12,以便 将数据或软件加载到处理单元4上以及对处理单元4进行充电。在一个实施例中，CPU320 和GPU322是用于确定在何处、何时以及如何向用户的视野内插入虚拟三维物体的主要力 量。以下提供更多细节。
[0058] 电源管理电路306包括时钟发生器360、模数转换器362、电池充电器364、电压 调节器366、头戴式显示器电源376、以及与温度传感器374进行通信的温度传感器接口 372 (其可能位于处理单元4的腕带上）。模数转换器362被用于监视电池电压、温度传感 器，以及控制电池充电功能。电压调节器366与用于向该系统提供电能的电池368进行通 信。电池充电器364被用来在从充电插孔370接收到电能之际（通过电压调节器366)对 电池368进行充电。HMD电源376向头戴式显示设备2提供电力。
[0059] 图6例示出具有捕捉设备20的中枢计算系统12的示例实施例。根据一示例实施 例，捕捉设备20可被配置为通过包括例如飞行时间、结构化光、立体图像等在内的任何合 适的技术来捕捉包括深度图像的带有深度信息的视频，该深度图像可包括深度值。根据一 个实施例，捕捉设备20可将深度信息组织为"Z层"，即可与从深度相机沿其视线延伸的Z 轴垂直的层。
[0060] 如图6所示，捕捉设备20可包括相机组件423。根据一示例性实施例，相机组件 423可以是或者可以包括可捕捉场景的深度图像的深度相机。深度图像可包括所捕捉的场 景的二维（2-D)像素区域，其中该2-D像素区域中的每个像素都可以表示一深度值，比如所 捕捉的场景中的一物体与相机相距的例如以厘米、毫米等为单位的距离。
[0061] 相机组件423可包括可被用于捕捉场景的深度图像的红外（IR)光组件425、三维 (3D)相机426、以及RGB(视觉图像）相机428。例如，在飞行时间分析中，捕捉设备20的 IR光组件425可将红外光发射到场景上，并且然后可使用传感器（在一些实施例中包括未 示出的传感器）、例如使用3-D相机426和/或RGB相机428来检测从场景中的一个或多个 目标和物体的表面后向散射的光。
[0062] 在一示例实施例中，捕捉设备20可进一步包括可与图像相机组件423进行通信的 处理器432。处理器432可包括可执行指令的标准处理器、专用处理器、微处理器等，这些指 令例如包括用于接收深度图像、生成合适的数据格式（例如，帧）以及将数据传送给中枢计 算系统12的指令。
[0063] 捕捉设备20可进一步包括存储器434,存储器434可存储由处理器432执行的指 令、由3-D相机和/或RGB相机所捕捉的图像或图像帧、或任何其他合适的信息、图像等等。 根据一示例实施例，存储器434可包括随机存取存储器（RAM)、只读存储器（R0M)、高速缓 存、闪存、硬盘或任何其他合适的存储组件。如图6中所示，在一个实施例中，存储器434可 以是与图像相机组件423和处理器432通信的单独组件。根据另一实施例，存储器434可 被集成到处理器432和/或图像捕捉组件423中。
[0064] 捕捉设备20通过通信链路436与中枢计算系统12通信。通信链路436可以是包 括例如USB连接、火线连接、以太网电缆连接等有线连接和/或诸如无线802.llb、802.llg、 802. 11a或802.lln连接等的无线连接。根据一个实施例，中枢计算系统12可经由通信链 路436向捕捉设备20提供可被用于确定何时捕捉例如场景的时钟。附加地，捕捉设备20经 由通信链路436将由例如3-D相机426和/或RGB相机428捕捉的深度信息和视觉（例如 RGB)图像提供给中枢计算系统12。在一个实施例中，深度图像和视觉图像以每秒30帧的 速率被传送；但是可以使用其他帧速率。中枢计算系统12然后可以创建模型并使用模型、 深度信息、以及所捕捉的图像来例如控制诸如游戏或文字处理程序等的应用和/或使化身 或屏上人物动画化。
[0065] 上述中枢计算系统12与头戴式显示设备2和处理单元4 一起能够将虚拟三维物 体插入到一个或多个用户的F0V中，使得该虚拟三维物体扩充和/或替换现实世界的视图。 在一个实施例中，头戴式显示设备2、处理单元4以及中枢计算系统12 -起工作，因为这些 设备中的每一个都包括被用来获得用以确定何处、何时以及如何插入虚拟三维物体的数据 的传感器子集。在一个实施例中，确定何处、何时以及如何插入虚拟三维物体的计算由彼此 合作地工作的中枢计算系统12和处理单元4执行。然而，在又一些实施例中，所有计算都 可由单独工作的中枢计算系统12或单独工作的（一个或多个）处理单元4执行。在其他 实施例中，计算中的至少一些可由头戴式显示设备2执行。
[0066] 在一个示例实施例中，中枢计算设备12和处理单元4 一起工作以创建所述一个或 多个用户所在的环境的场景图或模型，以及跟踪该环境中各种移动的物体。此外，中枢计算 系统12和/或处理单元4通过跟踪用户18佩戴的头戴式显示设备2的位置和定向来跟踪 头戴式显示设备2的FOV。头戴式显示设备2所获得的传感器信息被传送给处理单元4。在 一个实施例中，该信息被传送给中枢计算系统12,该中枢计算系统12更新场景模型并且将 其传送回处理单元。处理单元4随后使用它从头戴式显示设备2接收的附加传感器信息来 细化用户的FOV并且向头戴式显示设备2提供关于在何处、何时以及如何插入虚拟三维物 体的指令。基于来自捕捉设备20和（一个或多个）头戴式显示设备2中的相机的传感器 信息，可在一闭环反馈系统中在中枢计算系统12和处理单元4之间周期性地更新场景模型 和跟踪信息，如下面所解释的那样。
[0067] 图7例示出可被用于实现中枢计算系统12的计算系统的示例实施例。如图7中 所示，多媒体控制台500具有含有一级高速缓存502、二级高速缓存504和闪存ROM(只读 存储器）506的中央处理单元（CPU) 501。一级高速缓存502和二级高速缓存504临时存储 数据，并且因此减少存储器访问周期的数量，由此改进处理速度和吞吐量。CPU501可被配 备为具有一个以上的内核，并且由此具有附加的一级和二级高速缓存502和504。闪存ROM 506可存储在多媒体控制台500通电时在引导过程的初始化阶段加载的可执行代码。
[0068] 图形处理单元（GPU) 508和视频编码器/视频编解码器（编码器/解码器）514形 成用于高速和高分辨率图形处理的视频处理流水线。数据经由总线从图形处理单元508输 送到视频编码器/视频编解码器514。视频处理流水线向A/V(音频/视频）端口 540输出 数据，以供传输到电视机或其他显示器。存储器控制器510连接到GPU508以方便处理器 访问各种类型的存储器512,诸如但不局限于RAM(随机存取存储器）。
[0069] 多媒体控制台500包括优选地在模块518上实现的I/O控制器520、系统管理控制 器522、音频处理单元523、网络接口 524、第一USB主控制器526、第二USB控制器528以及 前面板I/O子部件530。USB控制器526和528用作外围控制器542 (1) -542 (2)、无线适配 器548、以及外置存储器设备546 (例如，闪存、外置⑶/DVDROM驱动器、可移动介质等）的 主机。网络接口 524和/或无线适配器548提供对网络（例如，因特网、家庭网络等）的访 问，并且可以是包括以太网卡、调制解调器、蓝牙模块、电缆调制解调器等的各种不同的有 线或无线适配器组件中的任何一种。
[0070] 系统存储器543被提供来存储在引导过程期间加载的应用数据。介质驱动器544 被提供且可包括DVD/⑶驱动器、蓝光驱动器、硬盘驱动器、或其它可移动介质驱动器等。介 质驱动器544可内置或外置于多媒体控制台500。应用数据可经由介质驱动器544访问，以 供多媒体控制台500执行、回放等。介质驱动器544经由诸如串行ΑΤΑ总线或其他高速连 接（例如IEEE1394)等总线连接到I/O控制器520。
[0071] 系统管理控制器522提供与确保多媒体控制台500的可用性相关的各种服务功 能。音频处理单元523和音频编解码器532形成具有高保真度和立体声处理的相应音频处 理流水线。音频数据经由通信链路在音频处理单元523与音频编解码器532之间传输。音 频处理流水线将数据输出到A/V端口 540,以供外置音频用户或具有音频能力的设备再现。
[0072] 前面板I/O子部件530支持暴露在多媒体控制台500的外表面上的电源按钮550 和弹出按钮552、以及任何LED(发光二极管）或其他指示器的功能。系统供电模块536向 多媒体控制台500的组件供电。风扇538冷却多媒体控制台500内的电路。
[0073] 多媒体控制台500内的CPU501、GPU508、存储器控制器510、以及各种其他组件 经由一条或多条总线互连，总线包括串行和并行总线、存储器总线、外围总线、以及使用各 种总线架构中的任一种的处理器或局部总线。作为示例，这些架构可以包括外围部件互连 (PCI)总线、PCI-Express总线等。
[0074] 当多媒体控制台500通电时，应用数据可从系统存储器543被加载到存储器512 和/或高速缓存502、504中并在CPU501上执行。应用可在导航到多媒体控制台500上可 用的不同媒体类型时呈现提供一致用户体验的图形用户界面。在操作中，介质驱动器544 中所包含的应用