更多细节在 2012年5月24日公开的题为"Head-MountedDisplayDeviceWhichProvidesSurround Video"（提供环绕视频的头戴式显示设备）的美国已公开专利申请号2012/0127284中被 提供。
[0040] 控制电路136提供支持头戴式显示设备2的其他组件的各种电子装置。控制电 路136的更多细节在下文参照图4提供。处于镜腿102内部或安装到镜腿102的是耳机 130、惯性测量单元132、以及温度传感器138。在图4中所示的一个实施例中，惯性测量单 元132(或頂U132)包括惯性传感器，诸如三轴磁力计132A、三轴陀螺仪132B以及三轴加 速度计132C。惯性测量单元132感测头戴式显示设备2的位置、定向和突然加速度（俯仰、 滚转和偏航）。除了磁力计132A、陀螺仪132B和加速度计132C之外或者取代磁力计132A、 陀螺仪132B和加速度计132C，頂U 132还可包括其他惯性传感器。
[0041] 微显示器120通过透镜122来投影图像。存在着可被用于实现微显示器120的不 同的图像生成技术。例如，微显示器120可以使用透射投影技术来实现，其中光源由光学活 性材料来调制，用白光从背后照亮。这些技术通常是使用具有强大背光和高光能量密度的 IXD类型的显示器来实现的。微显示器120还可使用反射技术来实现，其中外部光被光学 活性材料反射并调制。取决于该技术，照明是由白光源或RGB源来向前点亮的。数字光处 理（DLP)、硅上液晶（LC0S)、以及来自高通公司的Mirasol?显示技术都是高效的反射技术 的示例（因为大多数能量从已调制结构反射离开）并且可被用在本系统中。附加地，微显 示器120可以使用发射技术来实现，其中光由该显示器生成。例如，来自Microvision有限 公司的PicoP?显示引擎使用微型镜面舵来将激光信号发射到担当透射元件的小型屏幕上 或直接将光束（例如，激光）发射到眼睛。
[0042] 光导光学元件115将来自微显示器120的光传送到佩戴头戴式显示设备2的用户 的眼睛140。光导光学元件115还允许如箭头142所描绘的那样将光从头戴式显示设备2 的前方通过光导光学元件115传送到眼睛140,从而除了接收来自微显示器120的虚拟图像 之外还允许用户具有头戴式显示设备2的前方的空间的实际直接视图。从而，光导光学元 件115的壁是透视的。光导光学元件115包括第一反射表面124(例如镜面或其他表面）。 来自微显示器120的光穿过透镜122并入射在反射表面124上。反射表面124反射来自微 显示器120的入射光，使得光通过内反射被陷在包括光导光学元件115的平面基底内。在 基底的表面上进行若干次反射之后，被陷的光波到达选择性反射表面126的阵列。注意，五 个表面中的一个表面被标记为126以防止附图太过拥挤。反射表面126将从基底出射并入 射在这些反射表面上的光波耦合进用户的眼睛140。光导光学元件的更多细节可在于2008 年11月20日公开的题为"Substrate-Guided Optical Devices"（基底导向的光学设备） 的美国专利公开号2008/0285140中找到。
[0043] 头戴式显示设备2还包括用于跟踪用户的眼睛的位置的系统。如下面将会解释的 那样，该系统将跟踪用户的位置和定向，使得该系统可以确定用户的F0V。然而，人类将不会 感知到他们前方的一切。而是，用户的眼睛将被导向该环境的一子集。因此，在一个实施例 中，该系统将包括用于跟踪用户的眼睛的位置以便细化对该用户的F0V的测量的技术。例 如，头戴式显示设备2包括眼睛跟踪组件134 (图3)，该眼睛跟踪组件134具有眼睛跟踪照 明设备134A和眼睛跟踪相机134B(图4)。在一个实施例中，眼睛跟踪照明设备134A包括 一个或多个红外（IR)发射器，这些红外发射器向眼睛发射IR光。眼睛跟踪相机134B包括 一个或多个感测反射的IR光的相机。通过检测角膜的反射的已知成像技术，可以标识出瞳 孔的位置。例如，参见于2008年7月22日颁发的题为"HeadMountedEyeTrackingand DisplaySystem"（头戴式眼睛跟踪和显示系统）的美国专利号7, 401，920。此类技术可以 定位眼睛的中心相对于跟踪相机的位置。一般而言，眼睛跟踪涉及获得眼睛的图像并使用 计算机视觉技术来确定瞳孔在眼眶内的位置。在一个实施例中，跟踪一只眼睛的位置就足 够了，因为双眼通常一致地移动。然而，单独地跟踪每只眼睛是可能的。
[0044] 在一个实施例中，该系统将使用以矩形布置的4个IRLED和4个IR光电检测器， 使得在头戴式显示设备2的透镜的每个角处存在一个IRLED和IR光电检测器。来自LED的光从眼睛反射离开。由在4个IR光电检测器中的每个处所检测到的红外光的量来确定 瞳孔方向。也就是说，眼睛中眼白相对于眼黑的量将确定对于该特定光电检测器而言从眼 睛反射离开的光量。因此，光电检测器将具有对眼睛中的眼白或眼黑的量的度量。从这4 个采样中，该系统可确定眼睛的方向。
[0045] 另一替代方案是如上面所讨论的那样使用4个红外LED，但是在头戴式显示设备2 的透镜的一侧上使用一个红外(XD。C⑶将使用小镜子和/或透镜（鱼眼），以使得C⑶可 对来自眼镜框的可见眼睛的多达75%成像。然后，该CCD将感测图像并且使用计算机视觉 来找出该图像，就像上文所讨论的那样。因此，尽管图3示出了具有一个IR发射器的一个 部件，但是图3的结构可以被调整为具有4个IR发射器和/或4个IR传感器。也可以使 用多于或少于4个的IR发射器和/或多于或少于4个的IR传感器。
[0046] 用于跟踪眼睛的方向的另一实施例基于电荷跟踪。此概念基于以下观察：视网膜 携带可测量的正电荷而角膜具有负电荷。传感器被安装在用户的耳朵旁（靠近耳机130) 以检测眼睛在转动时的电势并且高效地实时读出眼睛正在干什么。也可以使用用于跟踪眼 睛的其他实施例。
[0047] 图3示出了头戴式显示设备2的一半。完整的头戴式显示设备将包括另一组透视 透镜、另一不透明滤光器、另一光导光学元件、另一微显示器120、另一透镜122、面向房间 的相机、眼睛跟踪组件、微显示器、耳机、和温度传感器。
[0048] 图4是描绘了头戴式显示设备2的各个组件的框图。图5是描述处理单元4的各 种组件的框图。头戴式显示设备2(其组件在图4中被描绘）被用于通过将一个或多个虚 拟图像与用户对现实世界的视图的无缝融合来向用户提供混合现实体验。另外，图4的头 戴式显示设备组件包括跟踪各种状况的许多传感器。头戴式显示设备2将从处理单元4接 收关于虚拟图像的指令，并且将把传感器信息提供回给处理单元4。处理单元4 (其组件在 图4中被描绘）将从头戴式显示设备2接收传感信息，并且将与中枢计算设备12 (图1)交 换信息和数据。基于该信息和数据的交换，处理单元4将确定在何处以及在何时向用户提 供虚拟图像并相应地将指令发送给图4的头戴式显示设备。
[0049] 图4的组件中的一些（例如朝向房间的相机112、眼睛跟踪相机134B、微显示器 120、不透明滤光器114、眼睛跟踪照明134A、耳机130和温度传感器138)是以阴影示出的， 以指示这些设备中的每个都存在两个，其中一个用于头戴式显示设备2的左侧，而一个用 于头戴式显示设备2的右侧。图4示出与电源管理电路202通信的控制电路200。控制电 路200包括处理器210、与存储器214(例如D-RAM)进行通信的存储器控制器212、相机接 口 216、相机缓冲器218、显示驱动器220、显示格式化器222、定时发生器226、显示输出接口 228、以及显示输入接口 230。
[0050] 在一个实施例中，控制电路200的所有组件都通过专用线路或一个或多个总线彼 此进行通信。在另一实施例中，控制电路200的每个组件都与处理器210通信。相机接口 216提供到两个朝向房间的相机112的接口，并且将从朝向房间的相机所接收到的图像存 储在相机缓冲器218中。显示驱动器220将驱动微显示器120。显示格式化器222向控制 不透明滤光器114的不透明度控制电路224提供关于微显示器120上所正显示的虚拟图像 的信息。定时发生器226被用于向该系统提供定时数据。显示输出接口 228是用于将图像 从朝向房间的相机112提供给处理单元4的缓冲器。显示输入接口 230是用于接收诸如要 在微显示器120上显示的虚拟图像之类的图像的缓冲器。显示输出接口 228和显示输入接 口 230与作为到处理单元4的接口的带接口 232通信。
[0051] 电源管理电路202包括电压调节器234、眼睛跟踪照明驱动器236、音频DAC和放 大器238、话筒前置放大器和音频ADC240、温度传感器接口 242、以及时钟发生器244。电 压调节器234通过带接口 232从处理单元4接收电能，并将该电能提供给头戴式显示设备2 的其他组件。每个眼睛跟踪照明驱动器236都如上面所述的那样为眼睛跟踪照明134A提 供IR光源。音频DAC和放大器238向耳机130输出音频信息。话筒前置放大器和音频ADC 240提供用于话筒110的接口。温度传感器接口 242是用于温度传感器138的接口。电源 管理电路202还向三轴磁力计132A、三轴陀螺仪132B以及三轴加速度计132C提供电能并 从其接收回数据。
[0052] 图5是描述处理单元4的各种组件的框图。图5示出与电源管理电路306通信的控 制电路304。控制电路304包括：中央处理单元（CPU) 320、图形处理单元（GPU) 322、高速缓 存324、RAM326、与存储器330 (例如D-RAM)进行通信的存储器控制器328、与闪存334 (或 其他类型的非易失性存储）进行通信的闪存控制器332、通过带接口 302和带接口 232与头 戴式显示设备2进行通信的显示输出缓冲器336、通过带接口 302和带接口 232与头戴式显 示设备2进行通信的显示输入缓冲器338、与用于连接到话筒的外部话筒连接器342进行 通信的话筒接口 340、用于连接到无线通信设备346的PCIexpress接口、以及（一个或多 个）USB端口 348。在一个实施例中，无线通信设备346可包括启用Wi-Fi的通信设备、蓝牙 通信设备、红外通信设备等。USB端口可被用于将处理单元4对接到中枢计算系统12,以便 将数据或软件加载到处理单元4上以及对处理单元4进行充电。在一个实施例中，CPU320 和GPU322是用于确定在何处、何时以及如何向用户的视野内插入虚拟三维物体的主要力 量。以下提供更多细节。
[0053] 电源管理电路306包括时钟发生器360、模数转换器362、电池充电器364、电压 调节器366、头戴式显示器电源376、以及与温度传感器374进行通信的温度传感器接口 372(其可能位于处理单元4的腕带上）。模数转换器362被用于监视电池电压、温度传感 器，以及控制电池充电功能。电压调节器366与用于向该系统提供电能的电池368进行通 信。电池充电器364被用来在从充电插孔370接收到电能之际（通过电压调节器366)对 电池368进行充电。HMD电源376向头戴式显示设备2提供电力。
[0054] 图6例示出具有捕捉设备20的中枢计算系统12的示例实施例。根据一示例实施 例，捕捉设备20可被配置为通过包括例如飞行时间、结构化光、立体图像等在内的任何合 适的技术来捕捉包括深度图像的带有深度信息的视频，该深度图像可包括深度值。根据一 个实施例，捕捉设备20可将深度信息组织为"Z层"，即可与从深度相机沿其视线延伸的Z 轴垂直的层。
[0055] 如图6所示，捕捉设备20可包括相机组件423。根据一示例性实施例，相机组件 423可以是或者可以包括可捕捉场景的深度图像的深度相机。深度图像可包括所捕捉的场 景的二维（2-D)像素区域，其中该2-D像素区域中的每个像素都可以表示一深度值，比如所 捕捉的场景中的一物体与相机相距的例如以厘米、毫米等为单位的距离。
[0056] 相机组件423可包括可被用于捕捉场景的深度图像的红外（IR)光组件425、三维 (3D)相机426、以及RGB(视觉图像）相机428。例如，在飞行时间分析中，捕捉设备20的IR光组件425可将红外光发射到场景上，并且然后可使用传感器（在一些实施例中包括未 示出的传感器）、例如使用3-D相机426和/或RGB相机428来检测从场景中的一个或多个 目标和物体的表面后向散射的光。
[0057] 在一示例实施例中，捕捉设备20可进一步包括可与图像相机组件423进行通信的 处理器432。处理器432可包括可执行指令的标准处理器、专用处理器、微处理器等，这些指 令例如包括用于接收深度图像、生成合适的数据格式（例如，帧）以及将数据传送给中枢计 算系统12的指令。
[0058] 捕捉设备20可进一步包括存储器434,存储器434可存储由处理器432执行的指 令、由3-D相机和/或RGB相机所捕捉的图像或图像帧、或任何其他合适的信息、图像等等。 根据一示例实施例，存储器434可包括随机存取存储器（RAM)、只读存储器（R0M)、高速缓 存、闪存、硬盘或任何其他合适的存储组件。如图6中所示，在一个实施例中，存储器434