9可提供自然用户界面（NUI)。使用自然用户界面，人的身体部位和移动 可被检测、解释、以及用于控制计算应用的各方面。在一个示例中，利用自然用户界面的计 算设备可推断与计算设备交互的人的意图（例如，最终用户执行了特定姿势来控制该计算 设备）。
[0031] 联网计算环境100可以为一个或多个计算设备提供云计算环境。云计算指的是基 于因特网的计算，其中共享的资源、软件和/或信息通过因特网（或其他全局网络）被按需 提供给一个或多个计算设备。基于在计算机网络图中使用的云图来将因特网描绘成对其所 表示的底层基础设施的抽象，术语"云"被用作对因特网的比喻。
[0032] 在一个示例中，移动设备19包括向头戴式显示设备（HMD)的最终用户提供增强现 实环境或混合现实环境（例如，以控制在该HMD上运行的应用）的头戴式显示设备。HMD可 包括视频透视和/或光学透视系统。最终用户佩戴的光学透视HMD可允许（例如经由透明 透镜）对真实世界环境的实际直接查看，并且同时可将虚拟对象的图像投影到最终用户的 视野中，由此用虚拟对象来增强最终用户所感知的真实世界环境。
[0033] 通过利用HMD，佩戴HMD的最终用户可在真实世界环境（例如，起居室）中四处移 动，并感知覆盖有虚拟对象的图像的真实世界的视图。虚拟对象可以看起来保持与真实世 界环境的相干空间关系（即，当最终用户在真实世界环境中转动他们的头或移动时，显示 给该最终用户的图像将改变，使得虚拟对象看起来像被最终用户感知的那样存在于该真实 世界环境内）。虚拟对象还可看起来相对于最终用户的视角是固定的（例如，无论最终用 户如何在真实世界环境中转动他们的头或移动，总是出现在最终用户视角的右上角的虚拟 菜单）。在一个实施例中，真实世界环境的环境映射可由服务器15 (即，在服务器侧）来执 行，而相机定位可在移动设备19上（即，在客户端侧）执行。虚拟对象可包括与真实世界 对象相关联的文本描述。
[0034] 在一些实施例中，移动设备（诸如移动设备19)可与云中的服务器（诸如服务器 15)通信，并可提供与移动设备相关联的服务器位置信息（例如，经由GPS坐标的移动设备 的位置）和/或图像信息（例如，与在移动设备的视野内检测到的对象有关的信息）。作为 响应，服务器可基于提供给该服务器的位置信息和/或图像信息向移动设备传送一个或多 个虚拟对象。在一个实施例中，该一个或多个虚拟对象可由移动设备的最终用户使用手和 /或手指姿势来操纵或控制。
[0035] 在一些实施例中，移动设备的最终用户可使用手和/或手指姿势来控制移动设备 的各个方面（例如，文件传输、环境内的真实和/或虚拟对象的选择、或与另一用户的电子 通信的发起）。手和/或手指姿势可被移动设备识别。移动设备（例如，HMD)可在使用附 接于HMD或作为HMD的一部分的IR光源来照射环境时捕捉该环境的第一图像。该IR光源 可将光投射（或发射）到该环境中以使得第一范围被照射。由于光强度在距光源的距离上 的指数衰减，仅第一范围可出于检测由环境内的对象所带来的所投射的IR光的反射的目 的而被充分照射。在一些情况下，可通过调制从该光源投射的IR光的初始光强度来调整第 一范围。例如，如果用于对移动设备供电的电池的能量等级低于特定阈值、如果第一设备处 于低电力状态、或如果该环境内的环境IR光高于特定阈值，则可减小第一范围。该光源可 包括IR激光器、激光二极管和/或IR LED。移动设备可在不照射该环境的情况下捕捉该环 境的第二图像。该移动设备可基于第一图像和第二图像生成差异图像以便消除由该环境内 的其他IR光源（例如，由于日光或人工光源）带来的背景噪声。在一些情况下，可向该差 异图像应用对象和姿势识别技术以便检测该移动设备的近场环境内该移动设备的最终用 户的手和/或手指姿势的执行。
[0036] 图2A描绘了与第二移动设备5通信的移动设备19的一个实施例。移动设备19 可包括透视HMD。如所描绘的，移动设备19经由有线连接6与移动设备5通信。然而，移动 设备19还可经由无线连接与移动设备5通信。在一个示例中，HMD的最终用户佩戴的HMD 可与该最终用户邻近区域内的第二移动设备（例如，最终用户所使用的移动电话）（例如， 第二移动设备可位于外套口袋中）无线地通信。移动设备5可由移动设备19使用以便卸 载计算密集的处理任务（例如，虚拟对象的渲染和/或姿势的识别）且存储可被用来在移 动设备19 (例如，由最终设备用来控制在移动设备上运行的应用）上提供增强现实环境的 信息（例如，虚拟对象的模型）。移动设备19还可向移动设备5提供与移动设备19相关联 的运动和/或定向信息。在一个示例中，运动信息可包括与移动设备19相关联的速度或加 速度，并且朝向信息可包括欧拉角，其提供围绕特定坐标系统或参照系的转动信息。在一些 情况中，移动设备19可包括运动和朝向传感器，诸如惯性测量单元（MU)，以便获得与移动 设备19相关联的运动和/或朝向信息。
[0037] 图2B描绘了 HMD(诸如图1的移动设备19)的一部分的一个实施例。仅示出了 HMD 200的右侧。HMD 200包括右镜腿202、鼻梁204、镜片216、以及眼镜框214。右镜腿202包 括与处理单元236通信的捕捉设备213 (例如，前置相机和/或话筒）。捕捉设备213可包 括用于记录数字图像和/或视频的一个或多个相机，并可将视觉记录传送到处理单元236。 一个或多个相机可捕捉色彩信息、IR信息、和/或深度信息。该一个或多个相机可包括一 个或多个图像传感器（例如，CCD图像传感器或CMOS图像传感器）。捕捉设备213还可包 括用于记录声音的一个或多个话筒，并可将音频记录传送到处理单元236。
[0038] 右镜腿202还包括生物测定传感器220、眼睛跟踪系统221、耳机230、运动和定向 传感器238、GPS接收器232、电源239、以及无线接口 237，所有这些都与处理单元236通信。 生物测定传感器220可包括用于确定与HMD 200的最终用户的脉搏或心率相关联的一个或 多个电极，以及用于确定与HMD 200的最终用户相关联的体温的温度传感器。在一个实施 例中，生物测定传感器220包括压着最终用户太阳穴的脉搏速率测量传感器。运动和定向 传感器238可以包括三轴磁力计、三轴陀螺仪、和/或三轴加速度计。在一个实施例中，运 动和定向传感器238可包括惯性测量单元aMU)。GPS接收器可确定与HMD 200相关联的 GPS位置。处理单元236可以包括一个或多个处理器和用于存储将要在所述一个或多个处 理器上执行的计算机可读指令。存储器还可存储要在一个或多个处理器上执行的其它类型 的数据。
[0039] 在一个实施例中，眼睛跟踪系统221可包括面向内的相机。在另一实施例中，眼睛 跟踪系统221可包括眼睛跟踪照明源和相关联的眼睛跟踪IR传感器。在一个实施例中，眼 睛跟踪照明源可包括以大约预定IR波长或一定范围的波长发射的一个或多个红外（IR)发 射器（诸如红外发光二极管（LED)或激光器（例如，VCSEL))。在一些实施例中，眼睛跟踪传 感器可包括用于跟踪闪光位置的IR相机或IR位置敏感检测器（PSD)。关于眼睛跟踪系统 的更多信息可在2008年7月22提交的标题为"Head Mounted Eye Tracking and Display System(头戴式眼睛跟踪和显示系统）"的美国专利7, 401，920,以及2011年9月26日提交 的标题为"Integrated Eye Tracking and Display System(集成眼睛跟踪和显示系统）" 的美国专利申请13/245, 700中找到。
[0040] 在一个实施例中，镜片216可包括透视显示器，处理单元236生成的图像由此可被 投影和/或显示在透视显示器上。捕捉设备213可被校准，使得捕捉设备213所捕捉的视 野对应于HMD 200的最终用户所看到的视野。耳机230可用于输出与虚拟对象的投影图像 相关联的声音。在一些实施例中，HMD 200可包括两个或更多个前置相机（例如，每个镜腿 上一个相机），以便从与前置相机所捕捉的视野相关联的立体信息中获得深度。两个或更多 个前置相机还可包括3D、IR、和/或RGB相机。也可从利用来自运动技术的深度的单个相 机中获取深度信息。例如，可从单个相机获取两个图像，这两个图像与在不同的时间点的、 两个不同的空间点相关联。然后，给定与两个不同空间点有关的位置信息的情况下，可执行 视差计算。
[0041] 在一些实施例中，HMD 200可使用凝视检测元件和与一个或多个人类眼睛元素 (诸如角膜中心、眼球旋转的中心、或瞳孔中心）有关的三维坐标系，来为最终用户眼睛中 的每只眼睛执行凝视检测。凝视检测可被用来标识最终用户正在关注视野内的何处。凝视 检测元件的示例可包括生成闪光的照明器和用于捕捉表示所生成的闪光的数据的传感器。 在一些情况中，角膜中心可以基于两次闪光使用平面几何来确定。角膜中心链接瞳孔中心 和眼球的旋转中心，这可被当作用于确定处于某种凝视或观看角度的最终用户的眼睛的光 轴的固定位置。
[0042] 图2C描绘了图像传感器的一部分的一个实施例，该图像传感器可包括图2B中的 捕捉设备213的部分。如图所示，图像传感器的该部分包括在光电传感器（例如，光电二极 管）的阵列上布置的颜色过滤器。所述颜色过滤器包括蓝光过滤器281、绿光过滤器282、以 及红光过滤器283。颜色过滤器的布置可以类似于与Bayer过滤器一起使用的布置。所描 绘的图像传感器的该部分还包括IR光过滤器284。尽管描绘了颜色像素与IR像素的1:16 的比值，然而也可使用其他颜色像素与IR像素比值（例如，1:8或1:32)。IR光过滤器284 可包括IR带通过滤器。IR光过滤器284可仅允许IR光穿过到达在IR光过滤器284下方 布置的光电传感器。从而，图像传感器的该部分集成了颜色过滤器和IR光过滤器两者，以 使得与图像传感器的该部分相关联的光电传感