信息组织为"Z层"，即可与从深度相机沿其视线延伸的Z轴垂直 的层。
[0067] 如图6所示，捕捉设备20可包括相机组件423。根据一示例性实施例，相机组件423 可W是或者可W包括可捕捉场景的深度图像的深度相机。深度图像可包括所捕捉的场景的 二维（2-D)像素区域，其中该2-D像素区域中的每个像素都可W表示一深度值，比如所捕捉 的场景中的一物体与相机相距的例如W厘米、毫米等为单位的距离。
[0068] 相机组件423可包括可被用于捕捉场景的深度图像的红外（IR)光组件425、Ξ维 (3D)相机426、W及RGB(视觉图像)相机428。例如，在飞行时间分析中，捕捉设备20的IR光组 件425可将红外光发射到场景上，并且然后可使用传感器(在一些实施例中包括未示出的传 感器）、例如使用3-D相机426和/或RGB相机428来检测从场景中的一个或多个目标和对象的 表面后向散射的光。
[0069] 在一示例实施例中，捕捉设备20可进一步包括可与图像相机组件423进行通信的 处理器432。处理器432可包括可执行指令的标准处理器、专用处理器、微处理器等，运些指 令例如包括用于接收深度图像、生成合适的数据格式(例如，帖）W及将数据传送给中枢计 算系统12的指令。
[0070] 捕捉设备20可进一步包括存储器434，存储器434可存储由处理器432执行的指令、 由3-D相机和/或RGB相机所捕捉的图像或图像帖、或任何其他合适的信息、图像等等。根据 一示例实施例，存储器434可包括随机存取存储器(RAM)、只读存储器(ROM)、高速缓存、闪 存、硬盘或任何其他合适的存储组件。如图6中所示，在一个实施例中，存储器434可W是与 图像相机组件423和处理器432通信的单独组件。根据另一实施例，存储器434可被集成到处 理器432和/或图像捕捉组件423中。
[0071] 捕捉设备20通过通信链路436与中枢计算系统12通信。通信链路436可W是包括例 如USB连接、火线连接、W太网电缆连接等有线连接和/或诸如无线802.11B、802.11g、 802.11a或802.11η连接等的无线连接。根据一个实施例，中枢计算系统12可经由通信链路 436向捕捉设备20提供可被用于确定何时捕捉例如场景的时钟。附加地，捕捉设备20经由通 信链路436将由例如3-D相机426和/或RGB相机428捕捉的深度信息和视觉(例如RGB)图像提 供给中枢计算系统12。在一个实施例中，深度图像和视觉图像W每秒30帖的速率被传送;但 是可W使用其他帖速率。中枢计算系统12然后可W创建模型并使用模型、深度信息、W及所 捕捉的图像来例如控制诸如游戏或文字处理程序等的应用和/或使化身或屏上人物动画 化。
[0072] 上述中枢计算系统12与头戴式显示设备2和处理单元4 一起能够将虚拟Ξ维物体 插入到一个或多个用户的F0V中，使得该虚拟Ξ维物体扩充和/或替换现实世界的视图。在 一个实施例中，头戴式显示设备2、处理单元4W及中枢计算系统12-起工作，因为运些设备 中的每一个都包括被用来获得用W确定何处、何时W及如何插入虚拟Ξ维对象的数据的传 感器子集。在一个实施例中，确定何处、何时W及如何插入虚拟Ξ维对象的计算由彼此合作 地工作的中枢计算系统12和处理单元4执行。然而，在又一些实施例中，所有计算都可由单 独工作的中枢计算系统12或单独工作的(一个或多个)处理单元4执行。在其他实施例中，计 算中的至少一些可由头戴式显示设备2执行。
[0073] 在一个示例实施例中，中枢计算设备12和处理单元4一起工作W创建所述一个或 多个用户所在的环境的场景图或模型，W及跟踪该环境中各种移动的物体。此外，中枢计算 系统12和/或处理单元4通过跟踪用户18佩戴的头戴式显示设备2的位置和定向来跟踪头戴 式显示设备2的F0V。头戴式显示设备2所获得的传感器信息被传送给处理单元4。在一个实 施例中，该信息被传送给中枢计算系统12,该中枢计算系统12更新场景模型并且将其传送 回处理单元。处理单元4随后使用它从头戴式显示设备2接收的附加传感器信息来细化用户 的F0V并且向头戴式显示设备2提供关于在何处、何时W及如何插入虚拟Ξ维对象的指令。 基于来自捕捉设备20和(一个或多个)头戴式显示设备2中的相机的传感器信息，可在一闭 环反馈系统中在中枢计算系统12和处理单元4之间周期性地更新场景模型和跟踪信息，如 下面所解释的那样。
[0074] 图7例示出可被用于实现中枢计算系统12的计算系统的示例实施例。如图7中所 示，多媒体控制台500具有含有一级高速缓存502、二级高速缓存504和闪存ROM(只读存储 器)506的中央处理单元(CPU)501。一级高速缓存502和二级高速缓存504临时存储数据，并 且因此减少存储器访问周期的数量，由此改进处理速度和吞吐量。CPU 501可被配备为具有 一个W上的内核，并且由此具有附加的一级和二级高速缓存502和504。闪存ROM 506可存储 在多媒体控制台500通电时在引导过程的初始化阶段加载的可执行代码。
[0075] 图形处理单元(GPU)508和视频编码器/视频编解码器(编码器/解码器)514形成用 于高速和高分辨率图形处理的视频处理流水线。经由总线从图形处理单元508向视频编码 器/视频编解码器514运送数据。视频处理流水线向A/V(音频/视频)端口 540输出数据，用于 传输至电视或其他显示器。存储器控制器510连接到GPU 508W方便处理器访问各种类型的 存储器512,诸如但不局限于RAM(随机存取存储器）。
[0076] 多媒体控制台500包括优选地在模块518上实现的I/O控制器520、系统管理控制器 522、音频处理单元523、网络接口 524、第一 USB主控制器526、第二USB控制器528W及前面板 I/O子部件530dUSB控制器526和528用作外围控制器542( 1)-542(2)、无线适配器548、W及 外置存储器设备546(例如，闪存、外置CD/DVD ROM驱动器、可移动介质等）的主机。网络接口 524和/或无线适配器548提供对网络（例如，因特网、家庭网络等）的访问，并且可W是包括 W太网卡、调制解调器、蓝牙模块、电缆调制解调器等的各种不同的有线或无线适配器组件 中的任何一种。
[OOW]系统存储器543被提供来存储在引导过程期间加载的应用数据。提供媒体驱动器 544,且其可包括DVD/CD驱动器、蓝光驱动器、硬盘驱动器、或其他可移动媒体驱动器等。媒 体驱动器544可位于多媒体控制台500的内部或外部。应用数据可经由介质驱动器544访问， W供多媒体控制台500执行、回放等。介质驱动器544经由诸如串行ΑΤΑ总线或其他高速连接 (例如ΙΕ邸1394)等总线连接到I/O控制器520。
[0078] 系统管理控制器522提供与确保多媒体控制台500的可用性相关的各种服务功能。 音频处理单元523和音频编解码器532形成具有高保真度和立体声处理的相应音频处理流 水线。音频数据经由通信链路在音频处理单元523与音频编解码器532之间传输。音频处理 流水线将数据输出到A/V端口540, W供外置音频用户或具有音频能力的设备再现。
[0079] 前面板I/O子部件530支持暴露在多媒体控制台500的外表面上的电源按钮550和 弹出按钮552、W及任何LED(发光二极管)或其他指示器的功能。系统供电模块536向多媒体 控制台500的组件供电。风扇538冷却多媒体控制台500内的电路。
[0080] 多媒体控制台500内的CPU 501、GPU 508、存储器控制器510、W及各种其他组件经 由一条或多条总线互连，总线包括串行和并行总线、存储器总线、外围总线、W及使用各种 总线架构中的任一种的处理器或局部总线。作为示例，运些架构可W包括外围部件互连 (PCI)总线、PCI-Express 总线等。
[0081] 当多媒体控制台500通电时，应用数据可从系统存储器543被加载到存储器512和/ 或高速缓存502、504中并在CPU 501上执行。应用可在导航到多媒体控制台500上可用的不 同媒体类型时呈现提供一致用户体验的图形用户界面。在操作中，介质驱动器544中所包含 的应用和/或其他媒体可从介质驱动器544启动或播放，W将附加功能提供给多媒体控制台 500。
[0082] 多媒体控制台500可通过简单地将该系统连接到电视机或其他显示器而作为独立 系统来操作。在该独立模式中，多媒体控制台500允许一个或多个用户与该系统交互、看电 影、或听音乐。然而，在通过网络接口 524或无线适配器548可用的宽带连接集成的情况下， 多媒体控制台500可进一步作为更大网络社区中的参与者来操作。另外，多媒体控制台500 可W通过无线适配器548与处理单元4通信。
[0083] 可选的输入设备(例如，控制器542(1)和542(2))由游戏应用和系统应用共享。输 入设备不是保留的资源，而是要在系统应用和游戏应用之间被切换w使其各自将具有设备 的焦点。应用管理器较佳地控制输入流的切换，而无需知晓游戏应用的知识，而驱动程序维 护有关焦点切换的状态信息。捕捉设备20可经由USB控制器526或其他接口来定义控制台 500的附加输入设备。在其他实施例中，中枢计算系统12可W使用其他硬件架构来实现。没 有一个硬件架构是必需的。
[0084] 图1中所示的头戴式显示设备2和处理单元4(有时统称为移动显示设备)与一个中 枢计算系统12(亦称中枢12)通信。在又一些实施例中，可W存在一个或两个或更多移动显 示设备与中枢12通信。移动显示设备中的每一个可如上述那样使用无线通信与中枢通信。 在运样的实施例中所构思的是，有用于移动显示设备的信息中的许多信息都将在中枢处被 计算和存储并且被传送给每个移动显示设备。例如，中枢将生成环境的模型并且将该模型 提供给与该中枢通信的所有移动显示设备。附加地，中枢可W跟踪移动显示设备W及房间 中的移动对象的位置和定向，并且然后将该信息传输给每个移动显示设备。
[0085] 在另一实施例中，系统可W包括多个中枢12,其中每个中枢都包括一个或多个移 动显示设备。中枢可彼此直接通信或经由因特网（或其他网络)通信。运样的一种实施例在 2010年 10月 15 日提交的题为"Fusing Virtual Content Into Real Content"(将虚拟内容 融合到现实内容中）的Flaks等人的美国专利申请号12/905,952中被公开。
[0086] 此外，在另外的实施例中，中枢12可W被完全省略。运样的实施例的一个优点是， 本系统的混合现实体验变为完全移动的，并且可W被用在室内和室外设定二者中。在运样 的一实施例中，下面的描述中由中枢12执行的所有功能都可W可替代地由处理单元4之一、 合作地工作的一些处理单元4、或者合作地工作的所有处理单元4来执行。在运样的一实施 例中，相应的移动显示设备巧丸行系统10的所有功能，包括生成和更新状态数据、场景图、每 个用户对场景图的视图、所有纹理和擅染信息、视频和音频数据、W及为了执行本文所述的 操作的其他信息。下文参考图9的流程图描述的实施例包括中枢12。然而，在每一运样的实 施例中，处理单元4中的一个或多个处理单元可替代地执行中枢12的所有所描述的功能。
[0087] 图8是示出根据本技术的总体方法的流程图。图8的方法可由中枢计算系统12、处 理单元4和/或头戴式显示设备2在离散时间段(诸如，为了生成、擅染和向每个用户显示单 帖图像数据所花费的时间）期间执行。中枢计算系统2、处理单元4和/或头戴式显示设备2中 的任何一者或多者单独或与运些系统中的其他系统结合起作用可执行该方法的全部或部 分。
[0088] -般而言，该系统生成具有环境和该环境中的诸如用户、现实世界物体和虚拟物 体之类的物体的X、y、z坐标的场景图。如上所述，虚拟物体27可例如由在处理单元4和/或头 戴式显示设备2上运行的应用或由用户18虚拟地置于环境中。该系统还跟踪每个用户的 F0V。尽管所有用户或许可能在观看该场景的相同方面，然而他们正在从不同视角来观看它 们。