[0031]在一些实施例中，伴随处理模块4是便携式计算机系统比如移动设备(例如智能电话、平板、膝上型计算机等等)。NED设备和伴随处理模块4两者中一个或全部可在一个或多个通信网络50上与一个或多个网络可访问的计算机系统12通信，无论计算机系统是位于附近的还是在远程位置处。
[0032]应用可以正在计算机系统12上执行，其与在近眼显示器系统8中的一个或多个处理器上执行的应用进行交互或为其执行处理。例如，3D映射应用可在一个或多个计算系统12上执行，用户的近眼显示器系统8传达来自图像传感器的图像和深度数据或其他传感器数据(如惯性传感器数据)，这些数据被一个或多个计算机系统12用来建立用户环境的详细3D映射。NED系统8可随后下载详细3D映射以标识用户在看什么以及将表示虚拟对象的图像数据显示在显示器视野的何处。术语“显示器视野”指的是NED系统的显示器的视野。换言之，显示器视野近似于从用户角度看的用户视野。
[0033]图2A是具有光学透视AR显示器的NED设备的实施例中的框架的眼镜腿102的侧视图。在框架115前描述了至少两个深度图像捕捉设备113(例如，深度相机)中的一个，其可捕捉现实世界的图像数据(如视频和静止图像，通常是彩色的)以及深度传感器数据。深度传感器数据可被对应于深度相机113的图像传感器上像素的深度敏感像素所捕捉。捕捉设备113也被称为面朝外的捕捉设备，意思是从用户的头部面朝外。
[0034]所例示的捕捉设备是面向前方的捕捉设备，其相对于其相应的显示器光学系统14的参考点被校准。这样的参考点的一个示例是其相应显示器光学系统14的光轴(参见图2B中的142)。校准允许从捕捉设备113捕捉的深度图像数据中确定显示器光学系统14的显示器视野。深度数据和图像数据形成显示器视野的深度图。显示器视野的三维(3D)映射可基于深度图来生成，3D映射被用来标识用户头部视角以及将表示虚拟对象的图像数据显示在何处以供佩戴NED设备的用户观看。
[0035]控制电路系统136提供支撑头戴式显示器设备2的其他组件的各种电子装置。在此示例中，右侧臂102示出显示器设备2的控制电路136的示例性组件。示例性组件包括图像生成单元120的显示器驱动器246。例如，显示器驱动器246可提供微显示器电路的控制信号以及微显示器的照明源的驱动电流。其他示例性组件包括:控制显示器驱动器246的处理单元210、可被处理单元210访问的用来存储处理器可读指令和数据的存储器244、通信地耦合到处理单元210的通信模块137、传感器/扬声器接口电路231、以及为控制电路系统136的各组件以及显示器设备2的其他组件(如捕捉设备113、话筒110和下面讨论的传感器单元)提供电力的电源239。如有必要，接口电路231对传感器读数诸如从惯性感测单元132到位置感测单元144执行模数转换，以及对输出至耳机130的音频执行数模转换。接口电路231也可将传感器读数直接缓存至存储器244或将传感器读数传输至处理单元 210。
[0036]尤其在没有包含至少一个图形处理单元(GPU)的单独的伴随处理模块4的各实施例中，处理单元210可包括一个或多个处理器，包括中央处理单元(CPU)和图形处理单元(GPU)ο
[0037]在侧臂102内部或安装在其上的是:作为音频输出设备的示例的一组耳机130的一个耳机、包括一个或多个惯性传感器的惯性感测单元132、以及包括一个或多个位置或邻近度传感器的位置感测单元144，位置感测单元144的一些示例是GPS收发器、红外(IR)收发器、或用于处理RFID数据的射频收发器。在一个实施例中，惯性感测单元132包括三轴磁力计、三轴陀螺仪、以及三轴加速度计作为惯性传感器。惯性感测单元132感测NED设备2的位置、方向、速度和加速度。通过这些感测的移动、头部位置(也称为头部朝向)，因此显示器设备的朝向也可被确定。头部位置的改变指示显示器视野的改变，图像数据可被相应地更新。
[0038]在此实施例中，图像生成单元120可将虚拟对象显示为出现在显示器视野中的指定深度位置来提供虚拟对象的真实的、聚焦的三维显示，该虚拟对象可以与一个或多个现实对象交互。在一些示例中，多个图像的快速显示或虚拟特征的图像的聚焦部分的合成图像可被用于使得所显示的虚拟数据出现在不同聚焦点区域中。在其他示例中，可使用Z缓冲。
[0039]在图2A所例示的实施例中，图像生成单元120包括微型显示器和耦合光学组件，如透镜系统。在此示例中，微型显示器输出的图像数据被定向到反射表面124。反射表面124在光学上将来自图像生成单元120的光耦合到显示器单元112中(参见图2B)，当设备2由用户佩戴时将表示图像的光定向到用户的眼睛。
[0040]图2B是NED设备的实施例的显示光学系统的实施例的俯视图。为了示出显示器光学系统14(在该情况下是右眼系统14r)的各个组件，在显示器光学系统周围的框架115的一部分未被描绘。在此实施例中，显示器141与14r是光学透视显示器，每个显示器包括在两个光学保护透视镜片116和118之间例示出的显示器单元112。代表性的反射元件134E在显示器单元中示出，且代表一个或多个光学元件(如半反射镜、光栅、波导和其他可被用来将来自图像生成单元120的光定向至用户眼睛区域140的光学元件，光学元件同时也允许来自现实世界的光经过而至用户眼睛区域140，诸如例示出的沿着表示显示器光学系统14r的光轴的箭头142)。光学透视NED的显示器单元112的示例包括光导光学元件。光导光学元件的示例是平面波导。
[0041]在此实施例中，NED显示器14r是光学透视增强现实显示器，从而它可允许光从近眼显示器(NED)设备2的前部被用户的眼睛接收，从而允许除了看见来自图像生成单元120的虚拟对象的图像之外用户对NED设备2前部空间具有实际直接视图。然而，本技术也与视频观看显示器一起工作。
[0042]再者，图2A和2B仅示出头戴式显示器设备2的一半。对所例示的实施例，完整的头戴式显示器设备2可包括另一个显示器光学系统14和另一个图像生成单元120，另一个面朝外的捕捉设备113，以及另一个耳机130。
[0043]图3是从软件角度看基于穿过一个或多个佩戴近眼显示器(NED)系统用户的用户环境的移动而对用户环境进行3D映射的系统的实施例的框图。图3示出了从软件角度来看的计算环境54的实施例，该计算环境可由诸如NED系统8等系统、与一个或多个NED系统通信的一个或多个远程计算机系统12或这些的组合来实现。此外，NED系统可与其他NED系统通信以共享数据和处理资源。
[0044]在此实施例中，应用162可正在NED系统8的一个或多个处理器上执行，并且与操作系统190和图像和音频处理引擎191通信。在所例示的实施例中，远程计算机系统12以及其他NED系统8也可正在执行该应用的版本162N，远程计算机系统12与其他NED系统8通信以增强体验。
[0045]—个或多个应用的应用数据329也可被存储在一个或多个网络可访问的位置中。应用数据329的一些示例可以是针对以下各项的一个或多个规则的数据存储:将动作响应链接到用户输入数据的规则、用于确定响应于用户输入数据要显示哪些图像数据的规则、可向姿势识别引擎193注册的自然用户输入(如与应用相关联的一个或多个姿势)的参考数据、一个或多个姿势的执行准则、可向声音识别引擎194注册的语音用户输入命令、可向图像和音频处理引擎191的可选物理引擎(未示出)注册的与应用相关的虚拟对象的物理模型、以及场景中的虚拟对象和虚拟图像的对象属性(如色彩、形状、面部特征、着装等)。
[0046]如图3中的实施例所示，计算环境54的软件组件包括与操作系统190通信的图像和音频处理引擎191。图像和音频处理引擎191的所例示的实施例包括对象识别引擎192、姿势识别引擎193、显示数据引擎195、声音识别引擎194、以及场景映射引擎306(包括空间雕刻引擎304和3D表面重构模块302)。附加功能可被添加为由“…”所示。各个体引擎和数据存储通过发送标识要处理的数据的请求以及接收数据更新的通知来提供对应用162可利用来实现其一个或多个功能的数据和任务的支持平台。操作系统190促进各个引擎和应用之间的通信。操作系统190使得以下对各个应用可用:对象识别引擎192已标识的对象、姿势识别引擎193已标识的姿势、声音识别引擎194已标识的语言或声音、以及来自场景映射引擎306的对象(现实对象或虚拟对象)的位置。
[0047]计算环境54还将数据存储在(诸)图像、音频和传感器数据缓冲区199中，图像、音频和传感器数据缓冲区199提供用于可从各种源捕捉或接收的图像数据和音频数据的存储器以及用于要被显示的图像数据和要被输出的音频数据的存储器空间。缓冲区也提供用于缓冲传感器的读数，诸如来自传感器(如可被包含在惯性感测单元132中的3轴加速度计、3轴陀螺仪和3轴磁力计)的读数。缓冲区可存在于NED (例