如，作为总存储器244的一部分)上并且还可以存在于伴随处理模块4上。
[0048]在许多应用中，将显示与现实环境中的现实对象相关的虚拟数据。图像和音频处理引擎191的对象识别引擎192基于来自面向外的图像捕捉设备113的捕捉到的图像数据以及捕捉到的深度数据(如果可用)、或根据由捕捉设备113捕捉到的现实环境的图像数据通过立体观测确定的深度位置，来检测和标识出显示器视野中的现实对象、它们的朝向以及它们的位置。对象识别引擎192通过标记对象边界(例如使用边缘检测)并且将对象边界与结构化数据200进行比较来将现实对象彼此区分开。除了标识出对象的类型以外，可以基于与所存储的结构数据200的比较来检测所标识出的对象的朝向。可通过一个或多个通信网络50访问的结构数据200可以存储要比较的结构化信息(诸如结构化模式)以及作为模式识别的基准的图像数据。基准图像数据和结构化模式也可在存储在基于云的存储322本地或可在基于云的存储322中访问的用户简档数据197中得到。
[0049]场景映射引擎306基于与对象识别引擎192以及使得图像数据要被显示的一个或多个执行中的应用(如应用162)的通信，来跟踪现实和虚拟对象在其中要显示图像数据的显示器视野的3D映射中或用户周围的体空间的3D映射中的位置、朝向和移动。在此实施例中的场景映射引擎306包括空间雕刻引擎304和可被基于人类空间雕刻数据更新的3D表面重构模块302。存储在网络(或本地)可访问的3D映射库305的空间雕刻引擎304，基于数据和规则，确定用户环境的3D空间雕刻模型，3D空间雕刻模型可被存储在库305中以进一步由用户或其他后来的用户更新。在NED系统8的一个或多个处理器上执行的空间雕刻引擎304、网络可访问计算机系统12、或两者都可基于存储在它的可访问库305中的数据和规则来执行下文讨论的方法实施例。
[0050]在一些实施例中，在网络可访问计算机系统12上运行的3D表面重构模块302可执行用户环境的密集3D表面网格映射并将映射存储至3D映射库305中以供NED系统8的模块302检索。各种级别的详细映射可由本地或远程执行的场景映射引擎306生成并存储。
[0051]表示来自面朝外的捕捉设备113的所捕捉的图像数据和深度数据的深度图可以用作近眼显示器的显示器视野的3D映射。深度图对于近似用户视角的显示器视野具有依赖于视图的坐标系。所捕捉的数据可以是基于跟踪现实对象的运动的捕捉时间而跟踪的时间。虚拟对象的位置可以在深度图中配准。
[0052]可以用传感器数据来帮助对用户的环境中围绕用户的事物进行映射。来自惯性感测单元132的数据(例如三轴加速度计，三轴陀螺仪和三轴磁力计)可标识用户头部的位置变化以及来自面朝外捕捉设备113的图像和深度数据与那些头部位置变化之间的相关性。对象相对于另一个对象的位置以及用户正在看环境的什么子集和位置被确定。
[0053]场景映射引擎306还可将不依赖于视图的坐标系用于3D映射，并且场景映射引擎306的副本可以与在其他系统(例如12、20和8)中执行的其他场景映射引擎306通信，从而映射处理可以被共享或者由与其他系统共享更新映射的一个计算机系统集中地控制。从多个视角拍摄的深度图像中的重叠主题可以基于不依赖于视图的坐标系和时间被相关，并且图像内容被组合以用于创建位置或环境(例如房间、商店空间或地理围栏区域)的体映射或3D映射(X、y、z表示或3D网格表面重构模型)。因此，可以追踪光照、阴影和对象位置的改变。不依赖于视图的映射可被存储在可通过远程计算机系统12访问的网络可访问位置。
[0054]应用(诸如用户空间应用162)针对由图像数据所表示的且由应用控制的对象来标识显示器视野的3D映射中的目标3D空间位置。显示数据引擎195执行转换、旋转和缩放操作以用于以正确的大小和视角显示图像数据。显示数据引擎195将显示器视野中的目标3D空间位置与显示器单元112的显示坐标进行相关。例如，显示数据引擎可将可分开寻址的每一显示位置或区域的图像数据(例如像素)存储在Z缓冲区和分开的色彩缓冲区中。显示器驱动器246将每一显示区域的图像数据转换成数字控制数据指令以控制图像生成单元120。
[0055]本技术可以用其他具体形式来实施而不背离其精神或实质特性。同样，对于模块、例程、应用、特征、属性、方法和其他方面的特定命名和划分并非是强制性的，且实现本技术或其特征的机制可具有不同的名称、划分和/或格式。
[0056]出于说明性目的，下面的方法实施例是在上述系统和装置实施例的上下文中描述的。下文引用的一个或多个处理器的示例是NED系统8 (有或没有伴随处理模块4)的一个或多个处理器或一个或多个远程计算机系统12或两者。然而，该方法实施例不限于在上述系统实施例中操作，而是可以在其他系统实施例中实现。此外，方法实施例可以在NED系统处于操作中并且适用的应用正在执行的同时连续执行。
[0057]图4是基于穿过一个或多个佩戴近眼显示器(NED)系统用户的用户环境的移动而对用户环境进行三维(3D)空间雕刻的方法的实施例的流程图。在步骤402中，一个或多个可导航路径由用户环境中的一个或多个处理器基于来自在近眼显示器(NED)系统上的一个或多个传感器的传感器数据来标识。传感器数据是加时戳的，且一个或多个处理器可基于加时戳的传感器数据来跟踪用户随时间移动的距离和方向。在一些实施例中，用户身体特征(诸如用户身高数据和用户宽度数据)可被用来表示用户正在通过路径的空间尺寸。基于用户特征标识可导航路径的示例是图8B中的体积645，其表示用户29已经走过的空间，其由来自传感器的数据(包括来自惯性感测单元132的惯性感测单元数据)确定。在步骤404中，由一个或多个用户通过的一个或多个可导航路径的重叠部分被合并，且在步骤406中，一个或多个可导航路径的位置和空间尺寸被存储为用户环境的3D空间雕刻模型中的人类空间雕刻数据中的雕刻出的空间。图11示出在客厅里的雕刻出的空间700的示例。路径随时间的合并已标识了在椅子和视听系统10之间的走廊。
[0058]可用于场所(如用户的客厅)的映射的量可变化。附加地，对于应用，基于空间雕刻可更快地完成生成映射，且在一些示例中可完全由NED系统执行。对于一些应用，基于空间雕刻的3D映射可对游戏元素(例如，游戏角色)的放置和穿过空间的移动提供充分的分辨率。因此在可选步骤408中，用户环境的经3D空间雕刻的映射可以可选地被生成。以下图5中讨论生成经3D雕刻的映射的过程的示例。
[0059]在其他示例中，存储的用户环境的3D映射可已从存储(本地或网络可访问)中被检索，来自人类空间雕刻数据的雕刻出的空间的位置与现有的检索到的3D映射的坐标相关。现有的映射可为空间雕刻映射但也可为更详细的映射诸如用户环境的3D表面重构模型(例如，显示所有表面的用户环境的网格版本)。在可选步骤410中，用户环境的3D表面重构模型可基于标识的雕刻出的空间被更新。以下图6中讨论更新3D表面重构模型的过程的示例。
[0060]在可选步骤412中，空间雕刻引擎304可导致NED可选地显示用户环境的空间雕刻状态的视觉表示。这提供给用户所做雕刻进展的反馈。图9和图10分别示出向用户显示未雕刻空间和雕刻出的空间的示例。在可选步骤414中，空间雕刻引擎304可与一个或多个应用交互以可选地在步骤414中向用户提供基于游戏的激励以在用户环境中接近对象边界(如为墙附近的空间更可靠建模的墙)。
[0061]图5是生成用户环境的经3D空间雕刻的映射的过程的实施例的流程图。在一些实施例中，人类空间雕刻数据可被存储为显示在可导航路径的不同位置的雕刻和未雕刻的空间的位图图像。特别地，对于容易通过的空间，随时间推移，未雕刻空间的边界可近似为对象边界。在步骤502中，由一个或多个处理器在人类空间雕刻数据中通过区分标识的雕刻出的空间和未雕刻的空间来检测一个或多个对象边界。在步骤504中，在一个多个对象边界和路径位置之间的位置关系被确定。在步骤506中，基于每个路径位置和基于人类空间雕刻数据来确定的相应的对象边界之间的相应的位置关系，一个或多个处理器生成将雕刻出的空间与用户环境中的一个或多个对象边界进行相关的经3D空间雕刻的映射。
[0062]图6是更新用户环境的3D表面重构模型的过程的实施例的流程图。例如，NED系统8的场景映射引擎306的3D表面重构模块可正在更新在与NED系统8 (可正在更新用户环境的表面重构模型的全局副本)通信耦合的网络可访问计算机系统12上执行的3D表面重构模型的本地副本或实例。
[0063]在步骤512中，将雕刻出的空间的位置数据与3D表面重构模型中的位置数据进行相关。在一些示例中，NED系统可将3D表面重构模型的一个版本用作基础使得路径位置在图像捕捉的短时间内被跟踪至3D模型以进行空间雕刻。在一些示例中，当对环境进行空间雕刻时，全球定位系统(GPS)数据可被用来跟踪NED系统。GPS数据可随后被用来将雕刻出的区域