微处理器等等之类的处理器，这些处理器可以执行存储在处理 器可读存储设备上的指令来执行本文所述的过程。
[0040] 中枢计算系统12进一步包括捕捉设备20,该捕捉设备20用于从其F0V内的场景 的一些部分中捕捉图像数据。如本文所使用的，场景是用户在其中到处移动的环境，这一环 境在捕捉设备20的F0V内和/或每一头戴式显示设备2的F0V内被捕捉。图1示出了单 个捕捉设备20,但是在进一步的实施例中可以存在多个捕捉设备，这些捕捉设备彼此协作 以从所述多个捕捉设备20的合成F0V内的场景中集体地捕捉图像数据。捕捉设备20可包 括一个或多个相机，相机在视觉上监视用户18和周围空间，使得可以捕捉、分析并跟踪该 用户所执行的姿势和/或移动以及周围空间的结构，以在应用内执行一个或多个控制或动 作和/或使化身或屏上人物动画化。
[0041] 中枢计算系统12可被连接到诸如电视机、监视器、高清电视机（HDTV)等可提供游 戏或应用视觉的视听设备16。在一个示例中，视听设备16包括内置扬声器。在其他实施例 中，视听设备16和中枢计算系统12可被连接到外部扬声器22。
[0042] 中枢计算系统12与头戴式显示设备2和处理单元4 一起可以提供混合现实体验， 其中一个或多个虚拟图像（如图1中的虚拟图像21)可与场景中的现实世界物体混合在一 起。图1例示出作为出现在用户的F0V内的现实世界物体的植物23或用户的手23的示例。
[0043] 图2和3示出了头戴式显示设备2的立体图和侧视图。图3示出了头戴式显示设 备2的右侧，包括该设备的具有镜腿102和鼻梁104的一部分。在鼻梁104中置入了话筒 110用于记录声音以及将音频数据传送给处理单元4,如下所述。在头戴式显示设备2的前 方是朝向房间的视频相机112,该视频相机112可以捕捉视频和静止图像。那些图像被传送 至处理单元4,如下所述。
[0044] 头戴式显示设备2的镜架的一部分将围绕显示器（显示器包括一个或多个透镜）。 为了示出头戴式显示设备2的组件，未描绘围绕显示器的镜架部分。该显示器包括光导光 学元件115、不透明滤光器114、透视透镜116和透视透镜118。在一个实施例中，不透明滤 光器114处于透视透镜116之后并与其对齐，光导光学元件115处于不透明滤光器114之 后并与其对齐，而透视透镜118处于光导光学元件115之后并与其对齐。透视透镜116和 118是眼镜中使用的标准透镜，并且可根据任何验光单（包括无验光单）来制作。光导光 学元件115将人造光引导到眼睛。不透明滤光器114以及光导光学元件115的更多细节在 2012 年 5 月 24 日公开的题为"Head-MountedDisplayDeviceWhichProvidesSurround Video"（提供环绕视频的头戴式显示设备）的美国已公开专利申请号2012/0127284中被 提供。
[0045] 控制电路136提供支持头戴式显示设备2的其他组件的各种电子装置。控制电 路136的更多细节在下文参照图4提供。处于镜腿102内部或安装到镜腿102的是耳机 130、惯性测量单元132、以及温度传感器138。在图4中所示的一个实施例中，惯性测量单 元132 (或頂U132)包括惯性传感器，诸如三轴磁力计132A、三轴陀螺仪132B以及三轴加 速度计132C。惯性测量单元132感测头戴式显示设备2的位置、定向和突然加速度（俯仰、 滚转和偏航）。除了磁力计132A、陀螺仪132B和加速度计132C之外或者取代磁力计132A、 陀螺仪132B和加速度计132C，頂U132还可包括其他惯性传感器。
[0046] 微显示器120通过透镜122来投影图像。存在着可被用于实现微显示器120的不 同的图像生成技术。例如，微显示器120可以使用透射投影技术来实现，其中光源由光学活 性材料来调制，用白光从背后照亮。这些技术通常是使用具有强大背光和高光能量密度的 IXD类型的显示器来实现的。微显示器120还可使用反射技术来实现，其中外部光被光学 活性材料反射并调制。取决于该技术，照明是由白光源或RGB源来向前点亮的。数字光处 理（DLP)、硅上液晶（LC0S)、以及来自高通公司的Mirasol?显示技术都是高效的反射技术 的示例（因为大多数能量从已调制结构反射离开）并且可被用在本系统中。附加地，微显 示器120可以使用发射技术来实现，其中光由该显示器生成。例如，来自Microvision有限 公司的PicoP?显示引擎使用微型镜面舵来将激光信号发射到担当透射元件的小型屏幕上 或直接将光束（例如，激光）发射到眼睛。
[0047] 光导光学元件115将来自微显示器120的光传送到佩戴头戴式显示设备2的用户 的眼睛140。光导光学元件115还允许如箭头142所描绘的那样将光从头戴式显示设备2 的前方通过光导光学元件115传送到眼睛140,从而除了接收来自微显示器120的虚拟图像 之外还允许用户具有头戴式显示设备2的前方的空间的实际直接视图。从而，光导光学元 件115的壁是透视的。光导光学元件115包括第一反射表面124 (例如镜面或其他表面）。 来自微显示器120的光穿过透镜122并入射在反射表面124上。反射表面124反射来自微 显示器120的入射光，使得光通过内反射被陷在包括光导光学元件115的平面基底内。在 基底的表面上进行若干次反射之后，被陷的光波到达选择性反射表面126的阵列。注意，五 个表面中的一个表面被标记为126以防止附图太过拥挤。反射表面126将从基底出射并入 射在这些反射表面上的光波耦合进用户的眼睛140。光导光学元件的更多细节可在于2008 年11月20日公开的题为"Substrate-GuidedOpticalDevices"（基底导向的光学设备） 的美国专利公开号2008/0285140中找到。
[0048] 头戴式显示设备2还包括用于跟踪用户的眼睛的位置的系统。如下面将会解释的 那样，该系统将跟踪用户的位置和定向，使得该系统可以确定用户的F0V。然而，人类将不会 感知到他们前方的一切。而是，用户的眼睛将被导向该环境的一子集。因此，在一个实施例 中，该系统将包括用于跟踪用户的眼睛的位置以便细化对该用户的F0V的测量的技术。例 如，头戴式显示设备2包括眼睛跟踪组件134 (图3)，该眼睛跟踪组件134具有眼睛跟踪照 明设备134A和眼睛跟踪相机134B(图4)。在一个实施例中，眼睛跟踪照明设备134A包括 一个或多个红外（IR)发射器，这些红外发射器向眼睛发射IR光。眼睛跟踪相机134B包括 一个或多个感测反射的IR光的相机。通过检测角膜的反射的已知成像技术，可以标识出瞳 孔的位置。例如，参见于2008年7月22日颁发的题为"HeadMountedEyeTrackingand DisplaySystem"（头戴式眼睛跟踪和显示系统）的美国专利号7, 401，920。此类技术可以 定位眼睛的中心相对于跟踪相机的位置。一般而言，眼睛跟踪涉及获得眼睛的图像并使用 计算机视觉技术来确定瞳孔在眼眶内的位置。在一个实施例中，跟踪一只眼睛的位置就足 够了，因为双眼通常一致地移动。然而，单独地跟踪每只眼睛是可能的。
[0049] 在一个实施例中，该系统将使用以矩形布置的4个IRLED和4个IR光电检测器， 使得在头戴式显示设备2的透镜的每个角处存在一个IRLED和IR光电检测器。来自LED 的光从眼睛反射离开。由在4个IR光电检测器中的每个处所检测到的红外光的量来确定 瞳孔方向。也就是说，眼睛中眼白相对于眼黑的量将确定对于该特定光电检测器而言从眼 睛反射离开的光量。因此，光电检测器将具有对眼睛中的眼白或眼黑的量的度量。从这4 个采样中，该系统可确定眼睛的方向。
[0050] 另一替代方案是如上面所讨论的那样使用4个红外LED，但是在头戴式显示设备2 的透镜的一侧上使用一个红外(XD。C⑶将使用小镜子和/或透镜（鱼眼），以使得C⑶可 对来自眼镜框的可见眼睛的多达75%成像。然后，该CCD将感测图像并且使用计算机视觉 来找出该图像，就像上文所讨论的那样。因此，尽管图3示出了具有一个IR发射器的一个 部件，但是图3的结构可以被调整为具有4个IR发射器和/或4个IR传感器。也可以使 用多于或少于4个的IR发射器和/或多于或少于4个的IR传感器。
[0051] 用于跟踪眼睛的方向的另一实施例基于电荷跟踪。此概念基于以下观察：视网膜 携带可测量的正电荷而角膜具有负电荷。传感器被安装在用户的耳朵旁（靠近耳机130) 以检测眼睛在转动时的电势并且高效地实时读出眼睛正在干什么。也可以使用用于跟踪眼 睛的其他实施例。
[0052] 图3示出了头戴式显示设备2的一半。完整的头戴式显示设备将包括另一组透视 透镜、另一不透明滤光器、另一光导光学元件、另一微显示器120、另一透镜122、面向房间 的相机、眼睛跟踪组件、微显示器、耳机、和温度传感器。
[0053] 图4是描绘了头戴式显示设备2的各个组件的框图。图5是描述处理单元4的各 个组件的框图。头戴式显示设备2(其组件在图4中被描绘）被用于通过将一个或多个虚 拟图像与用户对现实世界的视图的无缝融合来向用户提供混合现实体验。另外，图4的头 戴式显示设备组件包括跟踪各种状况的许多传感器。头戴式显示设备2将从处理单元4接 收关于虚拟图像的指令，并且将把传感器信息提供回给处理单元4。处理单元4 (其组件在 图4中被描绘）将从头戴式显示设备2接收传感信息，并且将与中枢计算设备12 (图1)交 换信息和数据。基于该信息和数据的交换，处理单元4将确定在何处以及在何时向用户提 供虚拟图像并相应地将指令发送给图4的头戴式显示设备。
[0054] 图4的组件中的一些（例如朝向房间的相机112、眼睛跟踪相机134B、微显示器 120、不透明滤光器114、眼睛跟踪照明134A、耳机130和温度传感器138)是以阴影示出的， 以指示这些设备中的每个都存在两个，其中一个用于头戴式显示设备2的左侧，而一个用 于头戴式显示设备2的右侧。图4示出与电源管理电路202通信的控制电路200。控制电 路200包括处理器210、与存储器214(例如D-RAM)进行通信的存储器控制器212、相机接 口 216、相机缓冲器218、显示驱动器220、显示格式化器222、定时发生器226、显示输出接口 228、以及显示输入接口 230。
[0055] 在一个实施例中，控制电路200的所有组件都通过专用线路或一个或多个总线彼 此进行通信。在另一实施例中，控制电路200的每个组件都与处理器210通信。相机接口 216提供到两个朝向房间的相机112的接口，并且将从朝向房间的相机所接收到的图像存 储在相机缓冲器218中。显示驱动器220将驱动微显示器120。显示格式化器222向控制 不透明滤光器114的不透明度控制电路224提供关于微显示器120上所正显示的虚拟图像 的信息。定时发生器226被用于向该系统提供定时数据。显示输出接口 228是用于将图像 从朝向房间的相机112提供给处理单元4的缓冲器。显示输入接口 230是用于接收诸如要 在微显示器120上显示的虚拟图像之类的图像的缓冲器。显示输出接口 228和显示输入接 口 230与作为到处理单元4的接口的带接口 232通