头戴式显示设备2的组件，未描绘围绕显示器的镜架部分。该显示器包括光导光学 元件115、不透明滤光器114、透视透镜116和透视透镜118。在一个实施例中，不透明度滤光 器114处于透视透镜116之后并与其对齐，光导光学元件115处于不透明度滤光器114之后并 与其对齐，而透视透镜118处于光导光学元件115之后并与其对齐。透视透镜116和118是眼 镜中使用的标准透镜，并且可根据任何验光单(包括无验光单)来制作。光导光学元件115将 人造光引导到眼睛。不透明滤光器114W及光导光学元件115的更多细节在2012年5月24日 公开的题为巧ead-Mounted Display Device Which Provides Surround Video"(提供环 绕视频的头戴式显示设备）的美国已公开专利申请号2012/0127284中被提供。
[0052] 控制电路136提供支持头戴式显示设备2的其他组件的各种电子装置。控制电路 136的更多细节在下文参照图4提供。处于镜腿102内部或安装到镜腿102的是耳机130、惯性 测量单元132、W及溫度传感器138。在图4中所示的一个实施例中，惯性测量单元132(或IMU 132)包括惯性传感器，诸如Ξ轴磁力计132Α、Ξ轴巧螺仪132BW及Ξ轴加速度计132C。惯性 测量单元132感测头戴式显示设备2的位置、定向和突然加速度(俯仰、滚转和偏航）。除了磁 力计132Α、巧螺仪132Β和加速度计132C之外或者取代磁力计132Α、巧螺仪132Β和加速度计 132CJMU 132还可包括其他惯性传感器。
[0053] 微显示器120通过透镜122来投影图像。存在着可被用于实现微显示器120的不同 的图像生成技术。例如，微显示器120可W使用透射投影技术来实现，其中光源由光学活性 材料来调制，用白光从背后照亮。运些技术通常是使用具有强大背光和高光能量密度的LCD 类型的显示器来实现的。微显示器120还可使用反射技术来实现，其中外部光被光学活性材 料反射并调制。取决于该技术，照明是由白光源或RGB源来向前点亮的。数字光处理(DLP)、 娃上液晶化COS)、W及来自高通公司的Mirasol愈显示技术都是高效的反射技术的示例（因 为大多数能量从已调制结构反射离开)并且可被用在本系统中。附加地，微显示器120可W 使用发射技术来实现，其中光由该显示器生成。例如，来自Microvision有限公司的PicoP? 显示引擎使用微型镜面舱来将激光信号发射到担当透射元件的小型屏幕上或直接将光束 (例如，激光)发射到眼睛。
[0054] 光导光学元件115将来自微显示器120的光传送到佩戴头戴式显示设备2的用户的 眼睛140。光导光学元件115还允许如箭头142所描绘的那样将光从头戴式显示设备2的前方 通过光导光学元件115传送到眼睛140,从而除了接收来自微显示器120的虚拟图像之外还 允许用户具有头戴式显示设备2的前方的空间的实际直接视图。从而，光导光学元件115的 壁是透视的。光导光学元件115包括第一反射表面124(例如镜面或其他表面）。来自微显示 器120的光穿过透镜122并入射在反射表面124上。反射表面124反射来自微显示器120的入 射光，使得光通过内反射被陷在包括光导光学元件115的平面基底内。在基底的表面上进行 若干次反射之后，被陷的光波到达选择性反射表面126的阵列。注意，五个表面中的一个表 面被标记为126W防止附图太过拥挤。反射表面126将从基底出射并入射在运些反射表面上 的光波禪合进用户的眼睛140。光导光学元件的更多细节可在于2008年11月20日公开的题 为"Substrate-Guided Optical Devices"(基底导向的光学设备）的美国专利公开号2008/ 0285140中找到。
[0055] 头戴式显示设备2还包括用于跟踪用户的眼睛的位置的系统。如下面将会解释的 那样，该系统将跟踪用户的位置和定向，使得该系统可W确定用户的F0V。然而，人类将不会 感知到他们前方的一切。而是，用户的眼睛将被导向该环境的一子集。因此，在一个实施例 中，该系统将包括用于跟踪用户的眼睛的位置W便细化对该用户的F0V的测量的技术。例 如，头戴式显示设备2包括眼睛跟踪组件134(图3)，该眼睛跟踪组件134具有眼睛跟踪照明 设备134A和眼睛跟踪相机134B (图4)。在一个实施例中，眼睛跟踪照明设备134A包括一个或 多个红外（IR)发射器，运些红外发射器向眼睛发射IR光。眼睛跟踪相机134B包括一个或多 个感测反射的IR光的相机。通过检测角膜的反射的已知成像技术，可W标识出瞳孔的位置。 例如，参见于2008年7月22日颁发的题为巧ead Mounted Eye Tracking and Display System"(头戴式眼睛跟踪和显示系统）的美国专利号7,401,920。此类技术可W定位眼睛的 中屯、相对于跟踪相机的位置。一般而言，眼睛跟踪设及获得眼睛的图像并使用计算机视觉 技术来确定瞳孔在眼眶内的位置。在一个实施例中，跟踪一只眼睛的位置就足够了，因为双 眼通常一致地移动。然而，单独地跟踪每只眼睛是可能的。
[0056] 在一个实施例中，该系统将使用W矩形布置的4个IR L抓和4个IR光电检测器，使 得在头戴式显示设备2的透镜的每个角处存在一个IR L邸和IR光电检测器。来自L邸的光从 眼睛反射离开。由在4个IR光电检测器中的每个处所检测到的红外光的量来确定瞳孔方向。 也就是说，眼睛中眼白相对于眼黑的量将确定对于该特定光电检测器而言从眼睛反射离开 的光量。因此，光电检测器将具有对眼睛中的眼白或眼黑的量的度量。从运4个采样中，该系 统可确定眼睛的方向。
[0057] 另一替代方案是如上面所讨论的那样使用4个红外LED,但是在头戴式显示设备2 的透镜的一侧上使用一个红外CCDXCD将使用小镜子和/或透镜(鱼眼），W使得CCD可对来 自眼镜框的可见眼睛的多达75%成像。然后，该CC明尋感测图像并且使用计算机视觉来找出 该图像，就像上文所讨论的那样。因此，尽管图3示出了具有一个IR发射器的一个部件，但是 图3的结构可W被调整为具有4个IR发射器和/或4个IR传感器。也可W使用多于或少于4个 的IR发射器和/或多于或少于4个的IR传感器。
[0058] 用于跟踪眼睛的方向的另一实施例基于电荷跟踪。此概念基于W下观察:视网膜 携带可测量的正电荷而角膜具有负电荷。传感器被安装在用户的耳朵旁(靠近耳机130) W 检测眼睛在转动时的电势并且高效地实时读出眼睛正在干什么。也可W使用用于跟踪眼睛 的其他实施例。
[0059] 图3示出了头戴式显示设备2的一半。完整的头戴式显示设备将包括另一组透视透 镜、另一不透明滤光器、另一光导光学元件、另一微显示器120、另一透镜122、面向房间的相 机、眼睛跟踪组件、微显示器、耳机、和溫度传感器。
[0060] 图4是描绘了头戴式显示设备2的各个组件的框图。图5是描述处理单元4的各种组 件的框图。头戴式显示设备2(其组件在图4中被描绘)被用于通过将一个或多个虚拟图像与 用户对现实世界的视图的无缝融合来向用户提供混合现实体验。另外，图4的头戴式显示设 备组件包括跟踪各种状况的许多传感器。头戴式显示设备2将从处理单元4接收关于虚拟图 像的指令，并且将把传感器信息提供回给处理单元4。处理单元4(其组件在图4中被描绘)将 从头戴式显示设备2接收传感信息，并且将与中枢计算设备12(图1A)交换信息和数据。基于 该信息和数据的交换，处理单元4将确定在何处W及在何时向用户提供虚拟图像并相应地 将指令发送给图4的头戴式显示设备。
[0061] 图4的组件中的一些(例如朝向房间的相机112、眼睛跟踪相机134B、微显示器120、 不透明滤光器114、眼睛跟踪照明134A、耳机130和溫度传感器138)是W阴影示出的，W指示 运些设备中的每个都存在两个，其中一个用于头戴式显示设备2的左侧，而一个用于头戴式 显示设备2的右侧。图4示出与电源管理电路202通信的控制电路200。控制电路200包括处理 器210、与存储器214(例如D-RAM)进行通信的存储器控制器212、相机接口 216、相机缓冲器 218、显示驱动器220、显示格式化器222、定时生成器226、显示输出接口 228、W及显示输入 接日230。
[0062] 在一个实施例中，控制电路200的所有组件都通过专用线路或一个或多个总线彼 此进行通信。在另一实施例中，控制电路200的每个组件都与处理器210通信。相机接口216 提供到两个朝向房间的相机112的接口，并且将从朝向房间的相机所接收到的图像存储在 相机缓冲器218中。显示驱动器220将驱动微显示器120。显示格式化器222向控制不透明滤 光器114的不透明度控制电路224提供关于微显示器120上所正显示的虚拟图像的信息。定 时生成器226被用于向该系统提供定时数据。显示输出接口 228是用于将图像从朝向房间的 相机112提供给处理单元4的缓冲器。显示输入接口 230是用于接收诸如要在微显示器120上 显示的虚拟图像之类的图像的缓冲器。显示输出接口 228和显示输入接口 230与作为到处理 单元4的接口的带接口 232通信。
[0063] 电源管理电路202包括电压调节器234、眼睛跟踪照明驱动器236、音频DAC和放大 器238、话筒前置放大器和音频ADC 240、溫度传感器接口 242、W及时钟发生器244。电压调 节器234通过带接口 232从处理单元4接收电能，并将该电能提供给头戴式显示设备2的其他 组件。每个眼睛跟踪照明驱动器236都如上面所述的那样为眼睛跟踪照明134A提供IR光源。 音频DAC和放大器238向耳机130输出音频信息。话筒前置放大器和音频ADC 240提供用于话 筒110的接口。溫度传感器接口242是用于溫度传感器138的接口。电源管理电路202还向Ξ 轴磁力计132Α、Ξ轴巧螺仪132BW及Ξ轴加速度计132C提供电能并从其接收回数据。
[0064] 图5是描述处理单元4的各种组件的框图。图5示出与电源管理电路306通信的控制 电路304。控制电路304包括：中央处理单元（CPU)320、图形处理单元(GPU)322、高速缓存 324、RAM 326、与存储器330(例如D-RAM)进行通信的存储器控制器328、与闪存334(或其他 类型的非易失性存储)进行通信的闪存控制器332、通过带接口 302和带接口 232与头戴式显 示设备2进行通信的显示输出缓冲器336、通过带接口 302和带接口 232与头戴式显示设备2 进行通信的显示输入缓冲器338、与用于连接到话筒的外部话筒连接器342进行通信的话筒 接口％0、用于连接到无线通信设备346的PCI express接口、W及（一个或多个）USB端口 348。在一个实施例中，无线通信设备346可包括启用Wi-Fi的通信设备、蓝牙通信设备、红外 通信设备等。USB端口可被用于将处理单元4对接到中枢计算系统12, W便将数据或软件加 载到处理单元4上W及对处理单元4进行充电。在一个实施例中，CPU 320和GPU 322是用于 确定在何处、何时W及如何向用户的视野内插入虚拟Ξ维对象的主要力量。W下提供更多 的细节。
[0065] 电源管理电路306包括时钟发生器360、模数转换器362、电池充电器364、电压调节 器366、头戴式显示器电源376、W及与溫度传感器374进行通信的溫度传感器接口372(其可 能位于处理单元4的腕带上）。模数转换器362被用于监视电池电压、溫度传感器，W及控制 电池充电功能。电压调节器366与用于向该系统提供电能的电池368进行通信。电池充电器 364被用来在从充电插孔370接收到电能之际（通过电压调节器366)对电池368进行充电。 HMD电源376向头戴式显示设备2提供电力。
[0066] 图6例示出具有捕捉设备20的中枢计算系统12的示例实施例。根据一示例实施例， 捕捉设备20可被配置为通过包括例如飞行时间、结构化光、立体图像等在内的任何合适的 技术来捕捉包括深度图像的带有深度信息的视频，该深度图像可包括深度值。根据一个实 施例，捕捉设备20可将深度