件供电。风扇538冷却多媒体控制台500内的电路。
[0068] 多媒体控制台500内的CPU 501、GPU 508、存储器控制器510、以及各种其他组件 经由一条或多条总线互连，总线包括串行和并行总线、存储器总线、外围总线、以及使用各 种总线架构中的任一种的处理器或局部总线。作为示例，这些架构可以包括外围部件互连 (PCI)总线、PCI-Express 总线等。
[0069] 当多媒体控制台500通电时，应用数据可从系统存储器543被加载到存储器512 和/或高速缓存502、504中并在CPU 501上执行。应用可在导航到多媒体控制台500上可 用的不同媒体类型时呈现提供一致用户体验的图形用户界面。在操作中，介质驱动器544 中所包含的应用和/或其他媒体可从介质驱动器544启动或播放，以将附加功能提供给多 媒体控制台500。
[0070] 多媒体控制台500可通过简单地将该系统连接到电视机或其他显示器而作为独 立系统来操作。在该独立模式中，多媒体控制台500允许一个或多个用户与该系统交互、看 电影、或听音乐。然而，在通过网络接口 524或无线适配器548可用的宽带连接集成的情况 下，多媒体控制台500可进一步作为更大网络社区中的参与者来操作。另外，多媒体控制台 500可以通过无线适配器548与处理单元4通信。
[0071] 可选的输入设备（例如，控制器542(1)和542(2))由游戏应用和系统应用共享。 输入设备不是保留的资源，而是要在系统应用和游戏应用之间被切换以使其各自将具有设 备的焦点。应用管理器较佳地控制输入流的切换，而无需知晓游戏应用的知识，而驱动程序 维护有关焦点切换的状态信息。捕捉设备20可经由USB控制器526或其他接口来定义控 制台500的附加输入设备。在其他实施例中，中枢计算系统12可以使用其他硬件架构来实 现。没有一个硬件架构是必需的。
[0072] 图1中所示的头戴式显示设备2和处理单元4 (有时统称为移动显示设备）与一 个中枢计算系统12(亦称中枢12)通信。在又一些实施例中，可以存在一个或两个或更多 移动显示设备与中枢12通信。移动显示设备中的每一个可如上述那样使用无线通信与中 枢通信。在这样的实施例中所构思的是，有用于移动显示设备的信息中的许多信息都将在 中枢处被计算和存储并且被传送给每个移动显示设备。例如，中枢将生成环境的模型并且 将该模型提供给与该中枢通信的所有移动显示设备。附加地，中枢可以跟踪移动显示设备 以及房间中的移动对象的位置和定向，并且然后将该信息传输给每个移动显示设备。
[0073] 在另一实施例中，系统可以包括多个中枢12,其中每个中枢都包括一个或多个移 动显示设备。中枢可彼此直接通信或经由因特网（或其他网络）通信。这样的一种实施例 在 2010 年 10 月 15 日提交的题为"Fusing Virtual Content Into Real Content"（将虚 拟内容融合到现实内容中）的Flaks等人的美国专利申请号12/905, 952中被公开。
[0074] 此外，在另外的实施例中，中枢12可以被完全省略。这样的实施例的一个优点是， 本系统的混合现实体验变为完全移动的，并且可以被用在室内和室外设定二者中。在这样 的一实施例中，下面的描述中由中枢12执行的所有功能都可以可替代地由处理单元4之 一、合作地工作的一些处理单元4、或者合作地工作的所有处理单元4来执行。在这样的一 实施例中，相应的移动显示设备2执行系统10的所有功能，包括生成和更新状态数据、场景 图、每个用户对场景图的视图、所有纹理和渲染信息、视频和音频数据、以及为了执行本文 所述的操作的其他信息。下文参考图9的流程图描述的实施例包括中枢12。然而，在每一 这样的实施例中，处理单元4中的一个或多个处理单元可替代地执行中枢12的所有所描述 的功能。
[0075] 图8是示出根据本技术的总体方法的流程图。图8的方法可由中枢计算系统12、 处理单元4和/或头戴式显示设备2在离散时间段（诸如，为了生成、渲染和向每个用户显 示单帧图像数据所花费的时间）期间执行。中枢计算系统12、处理单元4和/或头戴式显 示设备2中的任何一者或多者单独或与这些系统中的其他系统结合起作用可执行该方法 的全部或部分。
[0076] -般而言，该系统生成具有环境和该环境中的诸如用户、现实世界对象和虚拟对 象之类的对象的x、y、z坐标的场景图。如上所述，虚拟对象21可例如由在处理单元4和/ 或头戴式显示设备2上运行的应用或由用户18虚拟地置于环境中。该系统还跟踪每个用 户的F0V。尽管所有用户或许可能在查看该场景的相同方面，然而他们正在从不同视角来查 看它们。
[0077] 参考图8,在步骤802,收集场景数据。对于中枢12,该场景数据可以是由捕捉设备 20的深度相机426和RGB相机428感测到的图像和音频数据。对于处理单元4,该场景数 据可以是由头戴式显示设备2感测到的图像数据，且具体而言，是由相机112、眼睛跟踪组 件134和頂U 132感测到的图像数据。可使用捕捉设备20和头戴式显示数据的组合。
[0078] 在步骤804,可开发场景图，该场景图标识出该场景的几何形状以及该场景内的对 象的几何形状和位置。在各实施例中，在给定帧中生成的场景图可包括公共环境中的所有 用户、现实世界对象和虚拟对象在本地坐标系中的X、y和z位置。场景图可被用来定位场 景内的虚拟对象，以及显示带有正确遮挡的虚拟三维对象（虚拟三维对象可被现实世界对 象或另一虚拟三维对象遮挡，或虚拟三维对象可遮挡现实世界对象或另一虚拟三维对象）。 在806,确定各现实对象和虚拟对象在用户环境中的位置。
[0079] 在步骤808,该系统可检测和跟踪诸如在公共环境中移动的人之类的移动对象，并 且基于移动对象的位置来更新场景图。
[0080] 在步骤810,确定用户的头戴式显示设备2的位置、朝向和F0V。现在参考附图9 的流程图描述步骤810的进一步细节。当其他用户的位置、朝向和F0V被确定时，该信息可 被取回到执行该方法的设备，以供在确定虚拟对象的查看位置的改变时使用。
[0081] 在步骤812,将虚拟对象渲染在用户佩戴设备2的视野中。每一对象可包括用于渲 染对象的对象定义，包括对象的图形信息以及对象应当被渲染到的位置和朝向。
[0082] 在步骤814,确定在步骤812用户是否选择了渲染的虚拟对象。参考图11-14阐述 了用于确定用户是否选择了虚拟对象的方法以及该选择的图示。
[0083] 在步骤816,如果在814确定了对对象的选择，则可将选择指示符传送给处理器4、 HUB 12和/或应用以对该对象的选择进行操作。
[0084] 在步骤818,如果检测到相对于环境的用户移动，则该方法在810更新该位置、朝 向和F0V。用户移动可包括如上所述用于操纵对象的移动或在公共环境内的移动。用户可 在公共环境内物理地移动，并且其相对于虚拟对象的位置可改变。
[0085] 图9示出一种用于执行图8中的步骤810的方法。在一种方式中，对用户的跟踪 可被分类成与眼睛跟踪和头部朝向跟踪有关的两个不同的分支。
[0086] 步骤900使用上述技术来标识用于跟踪用户的一个或两个眼睛的分支。在步骤 902中，照明眼睛，例如使用来自图3中的眼睛跟踪照明134的若干LED的红外光来照明眼 睛。在步骤904,使用一个或多个红外眼睛跟踪相机134B来检测来自眼睛的反射。在步骤 906,将反射数据提供给处理单元4。在步骤908,如以上讨论的，处理单元4基于反射数据 来确定眼睛的位置。步骤910确定注视方向（例如，结合图11进一步讨论的）和焦距。
[0087] 在一种方式中，眼球的位置可基于相机和LED的位置来确定。瞳孔中心可使用图 像处理来找出，并且延伸穿过瞳孔中心的辐射可被确定为视轴。具体而言，一个可能的眼睛 跟踪技术使用闪光的位置，该闪光是当瞳孔被照明时从瞳孔反射离开的少量的光。计算机 程序基于该闪光确定凝视的位置。另一可能的眼睛跟踪技术是瞳孔中心/角膜反射技术， 该技术可以比闪光技术的位置更准确，因为该技术跟踪闪光和瞳孔中心两者。瞳孔中心一 般是视力的精确位置，并且通过在闪光的参数内跟踪该区域，对眼睛正凝视哪里作出准确 预测是可能的。
[0088] 在另一方式中，瞳孔形状可用于确定用户正注视的方向。瞳孔与相对于正前方的 视角成比例地变得更椭圆。
[0089] 在另一方式中，眼睛中的多个闪光被检测以找出眼睛的3d位置，估计眼睛的半 径，并且绘制通过眼睛中心通过瞳孔中心的线以获取凝视方向。例如，参见加利福尼亚洲圣 地亚哥市2006年ETRA (眼睛跟踪研究应用）第88期ACM第87-94页Hennessey等人的"A Single Camera Eye-Gaze Tracking System with Free Head Motion (具有自由头部运动 的单个相机眼睛注视跟踪系统）"。
[0090] 步骤920使用上述技术来标识用于跟踪用户的头部朝向的分支。在步骤922,处 理单元4从三轴陀螺仪132B访问数据。在步骤924,处理单元4从三轴加速度计132C访 问数据。在步骤926,处理单元4从三轴磁力计132A访问数据。基于这些输入，处理单元4 可在步骤927确定头部朝向。在另一方式中，处理单元4用来自陀螺仪、加速度计和磁力计 的数据来细化从中枢计算设备12接收的朝向数据。
[0091] 图10是示出根据所提出的技术的一种用于确定对虚拟对象的选择的方法的流程 图。图10可结合图11A到14来理解。
[0092] 在步骤1020和1022,取回用户的注视位置和头部位置。用户的注视位置和头部位 置是如上所述结合图9确定的。如以下结合图11A-13B所示的，用户的注视和头部位置可 总是被对齐。
[0093] 在步骤1024,作出关于用户是否正聚焦于可选对象的初始确定。随着用户在头戴 式显示器2的视野中扫描显式对象和虚拟对象两者，用户可能注视在不可选的现实对象和 虚拟对象两者上。可选对象是由用户可基于选择操纵的对象，或者其选择导致对该对象执 行功能的对象。例如，