变化。
[0047]应用可以正在计算机系统12上执行，其与在近眼显示器设备系统8中的一个或多个处理器上执行的应用进行交互或为其执行处理。例如，3D映射应用可以在一个或多个计算机系统12和用户的近眼显示器设备系统8上执行。在一些实施例中，应用实例可以以主机和客户端角色来执行，其中客户端副本在近眼显示器设备系统8内的一个或多个处理器上执行并且执行其显示器视野的3D映射；从计算机系统12接收3D映射的更新，该更新包括其视野内的对象来自主机3D映射应用的更新；以及将图像数据、以及深度和对象标识数据(如果可用的话)发送回主机副本。附加地，在一些实施例中，在处于相同环境中的不同的近眼显示器设备系统8上执行的3D映射应用实例以对等配置在系统8之间实时地共享数据更新，例如现实对象标识。
[0048]术语“显示器视野”指的是NED设备系统的显示器的视野。换言之，显示器视野近似于从用户角度看的用户视野。然而，虽然自然人类视域的视野可以以用户两眼之间为中心延伸超过180度并且包括外围视力，但NED的显示器视野通常更为受限。例如，NED设备显示器视野可以近似于人类视野的中心部分的60度。在许多实施例中，每一类型的显示器的显示器视野可以由视野相关的坐标系来映射，该坐标系具有正交的X、Y和Z轴，其中Z轴表示离一个或多个参考点的深度位置。例如，显示器可以使用针对每一显示器141、14r的参考点，诸如每一显示器的光轴(参见下文图1B中的142)的相交点。另外，显示器视野还可以用环境的视野无关的坐标来映射，这有用于标识对象和检索相关图像数据，该相关图像数据接着被定向以用视野相关的坐标来显示以近似图像数据的用户视角。
[0049]在图1的所解说的实施例中，一个或多个计算机系统12和便携式近眼显示器设备系统8还具有对一个或多个3D图像捕捉设备20的网络接入，该3D图像捕捉设备20例如可以是一个或多个相机，该相机在视觉上监视一个或多个用户和周围空间，使得由一个或多个用户执行的姿势和移动以及包括表面和对象的周围空间的结构可以被捕捉、分析和跟踪。图像数据以及在由一个或多个3D图像捕捉设备20捕捉的情况下的深度数据可以补充由一个或多个近眼显示器设备系统8的一个或多个捕捉设备113在一位置中所捕捉的数据。一个或多个捕捉设备20可以是定位在用户环境中的一个或多个深度相机。
[0050]图1C是描绘没有伴随处理模块4的NED设备系统的另一实施例的示例组件的框图，其中NED设备系统8被合并到近眼显示器设备2上。在该实施例中，显示器设备2的控制电路系统136合并了图1A中提供的伴随处理模块4所提供的功能，并且通过通信网络50经由通信模块(参见图2A中的通信模块137)无线地与一个或多个计算机系统12(无论是位于附近还是远程位置处)、处于某位置或环境中的其他NED系统8、该环境中的3D图像捕捉设备20 (如果可用的话)进行通信。
[0051 ] 图2A是具有光学透视AR显示器的NED设备的一实施例中的框架的眼镜镜腿的侧视图，该NED设备被具体化为提供对硬件和软件组件的支持的眼镜。在框架115的前部描绘的是例如相机的至少两个面向物理环境的图像捕捉设备113之一，该图像捕捉设备可以捕捉现实世界的诸如视频和静止图像(通常为彩色)之类的图像数据，以映射该透视显示器的显示器视野中、以及因此进入用户的视野中的现实对象。在一些实施例中，捕捉设备可以对红外(IR)光或可见光频谱之外的其他类型的光(例如紫外线)敏感。图像可以基于捕捉到的数据来生成以供由类似于夜视应用之类的应用显示。
[0052]捕捉设备113也被称为面朝外的捕捉设备，意思是从用户的头部面朝外。可任选地，可能存在面朝外的侧面捕捉设备，它们也捕捉用户环境中现实对象的图像数据，该图像数据可用于3D映射。捕捉设备113也被称为面朝外的捕捉设备，意思是从用户的头部面朝夕卜。所示捕捉设备是面向前方的捕捉设备，其相对于其相应的显示器光学系统14的参考点被校准。这样的参考点的一个不例是其相应显不器光学系统14的光轴(参见图2B中的142)。该校准允许从捕捉设备113捕捉的数据中确定显示器光学系统14的显示器视野。
[0053]在一些示例中，图像捕捉设备113也可以是深度敏感的，例如它们可以是传送和检测红外光的深度敏感相机，深度数据可从所述红外光中被确定。在其他示例中，框架115的前部或者在其侧面(如果使用侧面捕捉设备的话)的单独深度传感器(未示出)还可以捕捉和提供离显示器视野中的对象和其他表面的深度数据。深度数据和图像数据形成图像捕捉设备113的所捕捉的视野中的深度图，所述捕捉设备被校准以包括显示器视野。可以基于深度图生成显示器视野的三维(3D)映射。
[0054]在一些实施例中，面向物理环境的捕捉设备113提供交叠的图像数据，从该图像数据中可以基于立体视觉确定图像数据中的对象的深度信息。还可以使用视差和诸如颜色之类的对比度特征来解析现实对象的相对位置。
[0055]控制电路系统136提供支撑头戴式显示器设备2的其他组件的各种电子装置。在该示例中，右侧臂102包括用于显示器设备2的控制电路系统136，该控制电路系统136包括处理单元210、处理单元210可访问来存储处理器可读指令和数据的存储器244、通信地耦合到处理单元210的通信模块137、以及电源239，该电源239为控制电路系统136的各组件以及显示器设备2的其他组件(如捕捉设备113、话筒110和下面讨论的传感器单元)提供电力。处理单元210可以包括一个或多个处理器，包括中央处理单元(CPU)和图形处理单元(GPU)，并且尤其在没有单独的伴随处理模块4的实施例中包括至少一个图形处理单元(GPU)。
[0056]在侧臂102内部或安装在其上的是作为音频输出设备的示例的一组耳机130的一个耳机、包括一个或多个惯性传感器的惯性感测单元132、以及包括一个或多个位置或邻近度传感器的位置感测单元144，位置感测单元144的一些示例是GPS收发器、红外(IR)收发器、或用于处理RFID数据的射频收发器。在一个实施例中，惯性感测单元132包括三轴磁力计、三轴陀螺仪、以及三轴加速度计作为惯性传感器。惯性传感器用于感测头戴式显示器设备2的位置、朝向、以及突然加速。从这些感测的移动中还可以确定头位置以及由此显示器设备的定向，其指示用户视角和显示器视野的改变，由此来更新图像数据以跟踪用户视野。在该实施例中，在其操作中处理模拟信号的每个单元或设备都包括与数字处理单元210和存储器244数字对接，并且为其相应设备产生或转换模拟信号或者既产生又转换模拟信号的控制电路。处理模拟信号的设备的一些示例是用于每只眼睛的显示器光学系统141、14r的位置和惯性感测单元、耳机130以及话筒110、捕捉设备113和相应的IR照明源134A、以及相应的IR检测器134B。
[0057]对用户头部位置的追踪以及至少显示器视野的3D映射被用来确定向不同体验中的用户表示什么图像数据，不同体验例如通过NED设备系统8或者网络可访问的计算机系统12的一个或多个处理器进行的扩增现实、虚拟现实和夜视，或者这些的组合。
[0058]在这一实施例中，图像生成单元120可将虚拟物体显示为出现在显示器视野中的指定深度位置来提供虚拟物体的真实的、聚焦的三维显示，该虚拟物体可以与一个或多个现实物体交互。在一些示例中，多个图像的快速显示或虚拟特征的图像的聚焦部分的合成图像可被用于使得所显示的虚拟数据出现在不同聚焦点区域中。
[0059]在图2A所解说的实施例中，图像生成单元120包括微型显示器和耦合光学组件，如透镜系统。在这一示例中，微型显示器输出的图像数据被定向到反射表面或元件124。反射表面或元件124在光学上将来自图像生成单元120的光耦合到显示器单元112中(参见图2B)，当设备2由用户佩戴时将表示图像的光定向到用户的眼睛。
[0060]图2B是NED设备的显示器光学系统的实施例的俯视图。为了示出显示器光学系统14(在该情况下是右眼系统14r)的各个组件，在显示器光学系统周围的框架115的一部分未被描绘。在这一实施例中，显示器141和14r是光学透视显示器，而显示器包括显示器单元112，显示器单元112被解说为位于两个光学透视透镜116和118之间并且包括表示一个或多个光学元件(如半反射镜、光栅)的代表性反射元件134E以及可被用于将光从图像生成单元120朝向用户眼睛140引导的其他光学元件。箭头142表示显示器光学系统14r的光轴。光学透视NED的显示器单元112的示例包括光导光学元件。光导光学元件的示例是平面波导。
[0061]在光学透视扩增现实的实施例中，显示器单元112也是透视的，从而它可以允许光从近眼显示器(NED)设备2的前部被眼睛140接收，从而允许除了看见来自图像生成单元120的虚拟特征的图像之外用户对NED设备2前部空间具有实际直接视图。使用术语“实际直接视图”来指直接用人眼看到真实世界对象，而非看到所创建的对象的图像表示的能力。例如，通过眼镜看房间将允许用户得到该房间的实际直接视图，而在电视机上查看房间的视频不是该房间的实际直接视图。
[0062]在一些实施例中，每一显示器单元112还可任选地包括集成眼睛跟踪系统。例如，红外(IR)照明源可以在光学上耦合至每一显示器单元112中。将光朝向眼睛引导的一个或多个光学元件还可将IR照明朝向眼睛引导，并且在能够将来自眼睛的IR反射引导至IR传感器(诸如IR相机)方面是双向的。可以从所捕捉的相应IR传感器数据以及基于眼睛模型(例如Gullstrand眼睛模型)来标识每一眼睛瞳孔位置，并且可以由从近似小凹位置延伸的软件来确定每一眼睛的瞳孔位置、注视线。可以标识显示器视野中的注视点。注视点处的对象可以被标识为聚焦对象。可以基于人类视域参数或基于先前基于人类视域参数而确定的预定距离来标识注视点周围的用户聚焦区域。
[0063]在这一实施例中，显示器单元112包括平面波导，该平面波导充当显示器的一部分并且也集成了眼睛跟踪。代表性反射元件134E表示一个或多个光学元件，比如镜、光栅以及将表示图像的可见光从平面波导引导向用户眼睛140的其他光学元件。在这一实施例中，代表性反射元件134E还作为眼睛跟踪系统的一部分来执红外光的双向反射。红外照明和反射也穿越平面波导供眼睛跟踪系统134跟踪用户的眼睛(通常为用户的瞳孔)的位置和移动。眼睛移动也可包括眨眼。眼睛跟踪系统134包括眼睛跟踪IR照明源134A(红外发光二极管(LED)或激光器(例如VCSEL))和眼睛跟踪IR传感器134B (例如IR相机、IR光电检测器的布置)。具有代表性反射元件134E的波长选择性滤波器134C和134D实现双向红外(IR)滤波，其将IR照明朝向眼睛140引导(优选地以光轴142左右为中心)并从用户眼睛140接收IR反射(优选地包括在光轴142周围所捕捉的反射)，该IR反射从波导引导至IR传感器134B。
[0064]在其他集成眼睛跟踪显示器的实施例中，棱镜(例如自由形式棱镜)形成显示器单元112的一部分。表示来自图像生成单元120和眼睛跟踪IR照明源134A的光在光学上耦合至棱镜中。棱镜的一个示例是楔形光学器件。来自眼睛的反射经由棱镜被捕捉并且在光学上耦合至眼睛跟踪IR传感器134B。
[0065]在其他实施例中，眼睛跟踪单元光学器件未与显示光学器件集成。关于HMD设备的眼睛跟踪系统的更多示例，参见于2008年7月22日颁发给Kranz等人的名称为“HeadMounted Eye Tracking and Display System(头戴式眼睛跟踪和显示系统)”的美国专利7，401，920 ;参见Lewis等人于2011年8月30日提交的名称为“Gaze Detect1n in aSee-Through, Near-Eye, Mixed Reality Display (透视、近眼、混合扩增现实显示器中的注视检测)”的美国专利申请号13/221,739 ;以及参见Bohn于2011年9月26日提交的名称为“Integrated Eye Tracking and Display System(集成眼睛跟踪和显示系统)”的美国专利申请号13/245，700。
[0066](与光导光学元件112对齐的)不透明滤光器114通过选择性地阻塞自然光不通过显示器单元112来增强图像数据与现实世界视图的对比度。不透明滤光器帮助使虚拟物体的图像表现得更真实并表示全范围的颜色和强度。在该实施例中，用于不透明滤光器的电控制电路(未示出)通过路经框架的电连接从控制电路136接收指令。于2010年9月21 日提交的“Opacity Filter For See-Through Mounted Display(用于透视安装显不器的不透明滤光器)”的美国专利申请号12/887426中提供了不透明滤光器的更多细节。
[0067]再者，图2A和2B仅示出头戴式显示器设备2的一半。针对所示实施例，完整的头戴式显示器设备2可以包括具有另一组任选的透视透镜116和118、另一不透明滤光器114、另一光导光学元件112的另一显示器光学系统14，并包括另一图像生成单元120、另一面朝外的捕捉设备113、眼睛跟踪系统134、以及另一耳机130。在一些实施例中，可能存在由两只眼睛来查看的连续显示、而不是针对每只眼睛的显示光学系统。在一些实施例中，单个图像生成单元120可以在光学上耦合至两个眼睛查看的连续显示或者在光学上耦合至各个眼睛的单独显示。在2010年10月15日提交的题为“Fusing Virtual Content IntoReal Content”(将虚拟内容融合到现实内容中)的美国专利申请号12/905952中示出头戴式个人A/V装置的附加细节。
[0068]图2C是可用于接收NED系统的数据或传送另一计算机系统给NED系统的数据的通信模块的一实施例的框图。取决于通信介质是有线的还是无线的，通信模块250可以被具体化为用于处理有线通信或无线通信，并且在一些情形中取决于所包括的天线和接口电路系统，被被具体化为用于处理有线通信和无线通信两者。通信模块250提供用于通信地耦合以及传输去往和来自NED系统的计算机系统(诸如控制电路系统136中具体化的计算机系统或伴随处理模块4中具体化的计算机系统)的数据的功能。例如，通信模块137可以具体化通信模块250的实施例的功能。类似另一 NED系统8或网络可访问的计算机系统12的计算机系统也可包括通信模块，如在图2C中的实施例中。此类功能的一些示例包括例如根据一个或多个标准或协议和纠错技术来编码数据以供传输以及解码收到数据，将数据调制到信号上以及从信号上解调数据的的通信技术，以及例如协商信道和解决冲突的通信管理活动。
[0069]所解说的通信模块实施例包括通信管理器模块123、一个或多个天线119、以及包括用于传入和传出数据的一个或多个数据缓冲器的存储器121。通信管理器模块123与NED系统8的一个或多个处理器通信以标识对图像数据的接收和传输。无损传输准则可以被存储在通信模块250的存储器121中或者从通信地耦合的处理器下载。通信管理器模块123可包括一个或多个编码器和一个或多个解码器，并且基于图像数据正被处理以用于无损传输还是允许损耗的传输来向编码器和解码器提供指令。例如，这些指令可以指示是否要设置纠错技术的某些头部比特(例如前向纠错(FEC)码)以及是否包括冗余数据。因为比特密度可以基于图像数据与聚焦点的距离而变化，通信管理器模块123向调制器和解调器提供指令。例如，对于