示例是Gullstrand模型，眼睛的旋转中心、角膜的中心、和瞳孔的中心沿着眼睛的光轴对齐。光轴具有应用于其的小角度纠正，从而它被建模为以小角度(例如1.2度)从小凹延伸离开旋转中心的视觉轴。在一些示例中，诸如在Lewis等人的美国专利申请N0.13/221739中所述的示例中，生成在空间上将旋转中心、角膜中心和瞳孔中心与NED设备的IR传感器捕捉点进行相关的注视检测坐标系，NED设备的IR传感器捕捉点例如IR和可视反射元件134E以及用于生成闪光的IR照明器。在集成眼睛跟踪的示例中，IR照明器位置也可以在反射元件134E上。例如，参见Bohn的美国专利申请N0.13/245700。可以例如通过检测虹膜周界大小的变化来标识空间关系的变化，这触发了重新确定眼睛和显示器之间的空间关系。在其他实施例中，如上所讨论的，例如基于NED设备的头部大小来使用对视网膜和小凹位置的预定近似。
[0124]在确定空间关系的情况下，根据眼睛的图像数据来确定瞳孔在眼眶内的位置。在一个或多个处理器上执行的用户聚焦区域引擎196标识各个眼睛的多个图像数据样本中的黑色瞳孔区域，各个眼睛的图像数据样本可以被取平均以针对摇头进行调整。可以作出瞳孔是圆形的并且当从某一角度查看时是椭圆形的假定。椭圆的一个轴(主轴)保持不变，因为它表示不会改变的瞳孔直径，这是在假定光照不会改变的情况下，因为瞳孔大小随光照改变而改变。
[0125]在瞳孔正在透过显示器看向正前方时，假定瞳孔沿着显示器光轴142看，瞳孔在诸如其检测区域以该显示器的光轴为中心的相机的图像帧等图像格式中显得是圆形。当瞳孔改变其注视并且从图像帧的中心移动时，瞳孔显得是椭圆形，因为从某一角度来查看的圆形表现为椭圆形。椭圆副轴的宽度随着注视改变而改变，并且宽度改变可以被测量以指示瞳孔与其中瞳孔近似于图像数据中的圆形的笔直向前位置的查看角度的改变。在图像帧中心左侧的窄椭圆指示用户正看向右侧远处。离图像帧中心的右侧较小距离的较宽椭圆指示用户正看向左侧但不是左侧远处。
[0126]瞳孔中心是椭圆中心。从图像中的检测到的边缘点来拟合椭圆。因为这样的边缘点是带噪声的并且并非它们全部都在椭圆上，所以在所有边缘点的随机选择的子集上将椭圆拟合过程重复多次。与所有边缘点最一致的子集被用来获得最终椭圆。在标识了旋转中心、角膜中心、以及瞳孔中心的情况下，可以将光线从旋转中心延伸穿过角膜和瞳孔中心来获得眼睛的光轴。在确定光轴之后，可以应用默认偏移角度以使得光轴近似视觉轴并且被选为注视向Μ。
[0127]在一些实施例中，用户聚焦区域引擎196将经拟合的椭圆或IR捕捉的眼睛的图像数据与先前获得的训练图像数据作比较。训练图像可能已经在眼睛跟踪系统134的初始化期间作为操作NED设备的初始化过程的一部分来获得。每一训练图像具有与其相关联的预定注视角度，根据该预定注视角度可以生成注视线或注视向量。
[0128]为了确定注视点，用户聚焦区域引擎196确定用户前方的3D空间中的注视向量的相交点并且确定该相交点、作为聚焦点的示例的注视点、以及与注视点相关联的任何对象(无论是现实的还是虚拟的)是否在显示器视野的3D映射内。用户聚焦区域和次要区域的边界可以如上所述地来确定。
[0129]在一些实施例中，用户聚焦区域引擎196可以简单地标识显示引擎195或应用162用来确定图像数据与聚焦点的距离的聚焦点和聚焦对象。
[0130]在一些实施例中，场景映射引擎306检查用户聚焦区域引擎196提供的聚焦点的更新，并且确定显示器视野中从聚焦点到根据正在执行的应用要被显示的图像数据的距离向量。该距离向量被发送给用户聚焦区域引擎196以确定向其反射图像数据的每一视网膜上的角距离。基于角距离和低感知准则209，用户聚焦区域引擎196确定图像数据中的哪一个有资格成为允许损失数据并且向场景映射引擎309通知确定结果。
[0131]在其他实施例中，场景映射引擎306基于低感知准则209来标识要被显示的图像数据是否是允许损失数据，以及图像数据是落入由用户聚焦区域引擎196在显示器视野中标识的用户聚焦区域还是其他次要区域中。
[0132]场景映射引擎306向通信模块250的通信管理器123通知哪些图像数据有资格成为允许损失数据。通信管理器123访问所存储的无损传输准则以确定如何传送没有资格成为允许损失数据的数据并且访问有损传输准则213以标识有损传输的边界或限制。有损传输准则可包括用于与无损传输准则中的相同类型的通信特性和服务质量指示符的准则。
[0133]3D音频引擎304是位置3D音频引擎。要播放的虚拟对象的声音可以由应用162上传到声音库312，应用162基于应用的执行规则来指令3D音频引擎304何时播放声音。3D音频引擎根据3D图来标识虚拟对象的3D位置并且生成声音以使得在由耳机130或其他实施例中类似扬声器的其他音频输出设备播放时声音感觉上来自所表示的3D位置。另外，基于如可被存储在声音库312中的音频数据以及存储在用户简档数据197或用户简档322中的语音数据文件，声音识别引擎194标识经由麦克风110从现实世界接收的音频数据以用于经由语音命令的应用控制以及用于位置和对象识别。
[0134]姿势识别引擎193标识一个或多个姿势。姿势是由用户执行的向执行中的应用指示控制或命令的动作。该动作可以由用户的身体部位(例如手或手指)来执行，但是眼睛的眼睛眨眼序列也可以是姿势。在一个实施例中，姿势识别引擎193将骨架模型和从所捕捉的图像数据中导出的与其相关联的移动与姿势过滤器库313中的所存储的姿势过滤器进行比较以标识出用户(由骨架模型所表示)何时执行了一个或多个姿势。在一些示例中，在姿势训练会话期间将图像数据与用户的手或手指的图像模型进行匹配，而非进行骨架追踪来识别姿势。关于姿势识别引擎193的更多信息可以在2009年4月13日提交的名为“Gesture Recognit1n System Architecture (姿势识别器系统架构)”的美国专利申请12/422，661中找到。关于识别姿势的更多信息可在2009年2月23日提交的美国专利申请12/391，150 “Standard Gestures (标准姿势)”；以及2009年5月29日提交的美国专利申请12/474，655 “Gesture Tool (姿势工具)”中找到。
[0135]NED设备系统8的一个或多个实施例中的自然用户界面(NUI)的实施例可以包括朝向外的捕捉设备113和用于标识姿势的姿势识别引擎193，其中姿势是至少一个身体部位的至少一个用户身体动作的示例。在用户聚焦区域引擎196的实施例中执行的用于基于由系统134捕捉的数据解释眼睛移动的眼睛跟踪系统134和眼睛跟踪软件196还可以是NED设备系统8的自然用户界面的另一实施例中的组件。基于眼睛的动作，诸如指示命令的眨眼序列、注视点、注视模式、注视历时、或眼睛移动也是作为至少一个身体部位的一个或多个用户身体动作的自然用户输入的一些示例。自然用户输入用自然用户输入数据来表示，诸如由眼睛跟踪软件标识并且用眼睛跟踪数据来表示的图像数据。话筒和声音识别引擎194还可以处理语音命令的自然用户输入，该自然用户输入也可以补充诸如姿势和眼睛注视之类的其他所识别的身体动作。在一些实施例中，用户聚焦区域引擎196可以在通信地耦合的计算机系统(例如4或8)上执行，并且来自眼睛跟踪系统134和面朝外的捕捉设备113的图像数据经由来自NED设备的后向信道来发送，从而将与注视有关的以及姿势识别处理从NED设备的控制电路系统136卸载。
[0136]应用162针对由图像数据所表示的且由应用控制的对象来标识显示器视野的3D映射中的目标3D空间位置。例如，直升机应用基于射击虚拟直升机的用户动作来标识直升机202a、202b和202c的位置和对象属性的改变。显示数据引擎195将显示器视野中的目标3D空间位置与显示器单元112的显示坐标进行相关。显示数据引擎195执行转换、旋转和缩放操作以用于以正确的大小和视角显示图像数据。应用或显示数据引擎195可以向场景映射引擎更新关于图像数据对象的位置。在许多实施例中，接收自通信地耦合的伴随处理模块4或其他计算机系统12的供显示的图像数据，在其被传送之前，基于其在显示器视野中相对于用户聚焦区域的位置来调整其图像分辨率。
[0137]下面的讨论描述了一些示例性处理，其用于更新光学透视扩增现实(AR)显示器以定位虚拟对象，从而使得它们更逼真地出现在显示器中为它们确定的3D位置处。在一个示例实现中，Z缓冲器存储每一个可单独寻址的显示位置或区域(例如像素)的数据。显示数据引擎195在Z缓冲器中用显示对象边界和虚拟对象边界来渲染显示器视野的3D映射。因为在这一示例中NED设备是光学透视显示器设备，当图像生成单元120显示图像数据对象而非现实对象时，Z缓冲器中的现实对象边界充当图像数据对象要在显示器中被三维定位在何处的基准。图像数据的颜色信息被写入对应的颜色缓冲器中。
[0138]为每个显示位置或显示位置子集(例如为每个像素(或者为像素的子集)存储深度值。在这一实施例中，基于Z缓冲器和颜色缓冲器两者的深度值结果对图像数据分层得到合成图像，图像生成单元120被控制显示该合成图像。显示更新过程可以每秒执行多次(例如刷新率)。
[0139]对于视频观看扩增现实显示器或透视显示器在视频观看模式中的操作，现实对象的图像数据还被写入到具有虚拟对象或其他增强对象的图像数据的Z缓冲器和对应的色彩缓存器中。在视频观看模式中，每个透视显示器14的不透明滤光器可以被调谐为使得从眼镜前方反射的光不抵达用户的眼睛140，并且现实和虚拟或增强对象二者的3D图像数据在显示器上播放。
[0140]设备数据198可包括个人装置8的标识符、网络地址(例如IP地址)、型号、配置参数(诸如所安装的设备)、操作系统的标识、什么应用在NED系统8中可用并且在NED系统8中执行，并且还可包括来自传感器或感测单元的数据，或者根据传感器或感测单元确定的数据，传感器或感测单元例如惯性感测单元132中的定向传感器以及位置感测单元144中的一个或多个位置和邻近度收发机。此外，例如显示器单元、不透明滤光器、处理单元、存储器、通信模块、图像生成单元、和电源之类的硬件组件的特性也可被存储在设备数据中。这些特性的一些示例是显示器分辨率、处理器速度、存储器大小和类型、电源上的瓦特、图像生成单元的照明输出、通信模块中的发射机和接收机或者收发机的类型、天线功率、所支持的通信协议(如IEEE 802.11族成员、蜂窝、红外)、可用的有线或无线接口的类型(例如USB)、所支持的调制方案的类型(例如扩频和星座编码方案)、所支持的载波频带频率、所支持的纠错和压缩技术。
[0141]本文中的技术可以其他具体形式来实施而不背离其精神或实质特性。同样，对于模块、例程、应用、特征、属性、方法和其他方面的特定命名和划分并非是强制性的，且实现本技术或其特征的机制可具有不同的名称、划分和/或格式。
[0142]出于说明性目的，下面的方法实施例是在上述系统和装置实施例的上下文中描述的。然而，该方法实施例不限于在上述系统实施例中操作，而是可以在其他系统实施例中实现。此外，方法实施例可以在NED系统处于操作中并且适用的应用正在执的同时连续执行。
[0143]图6是一种用于标识用于在近眼显示器(NED)的显示器视野中显示图像数据的区域的方法的一实施例的流程图。在图5的解说性上下文中，在步骤422，场景映射引擎306基于NED设备检测到的传感器数据来持续地更新包括显示器视野的3D映射。图5的讨论提供了传感器数据的示例，例如基于感性感测单元132和面朝外的相机113捕捉的图像数据的头部位置数据。在步骤424，例如由用户聚焦区域软件196如上所讨论的来标识聚焦点，并且在步骤426，在包括被成为用户聚焦区域的聚焦点的第一区域的显示器视野的3D映射中标识坐标。在步骤428，基于用户聚焦区域和人类视力准则，还标识用户聚焦区域以外的一个或多个次要区域的3D映射中的坐标。如图4A、4B和4C的示例中所解说的，根据对人眼的研究而预先确定的角距离是人类示例准则的一个示例。另外，如在该示例中所解说的，不同的图像分辨率可以被应用在用户聚焦区域以内和以外。
[0144]图7是一种用于确定显示器视野中的次要区域以及与其相关联的图像分辨率的方法的另一实施例的流程图。在一些示例中，图7的方法实施例可以由NED设备系统8的伴随处理模块4或与伴随处理模块4的通信模块、NED设备2或两者通信的网络可访问的计算机系统12来执行，因为映射数据可以跨系统共享，并且各个应用可能跨计算机系统来执行。在步骤502，在第二区域的3D映射中标识坐标，第二区域从用户聚焦区域的边界到离聚焦点的第二角距离。在步骤504，在第三区域的3D映射中标识坐标，第三区域从第二区域的边界到离聚焦点的第三角距离。在步骤506，基于一个或多个正在执行的应用，标识第二区域中供显示的图像数据，并且在步骤508，标识第三区域中供显示的图像数据。为了进一步缩减用于发送图像数据的带宽并且由此缩减显示更新时间，可以缩减第二和第三区域的次要图像数据的图像分辨率。缩减图像数据的一个示例是通过对图像数据降采样。在步骤510，第二区域图像数据的至少一部分可以被降采样成中等分辨率水平，并且在步骤512，第三区域图像数据的至少一部分可以被降采样成分辨率低于用户聚焦区域和第二区域两者的图像分辨率的分辨率水平。经降采样的数据随后可以被传送以用于次要区域。
[0145]一些实施例还可包括对用户聚焦区域图像数据使用一个或多个无损压缩技术而对次要图像数据使用有损压缩技术。不要将压缩与传输混淆。以有损压缩来压缩的数据在被传送之前降低了其数据完整性，并且所得的经压缩数据可以为了满足无损传输准则而被传送。传输中的损失或无损性独立于压缩中的损失或无损性。
[0146]图8A和8B解说了各实施例，其中在聚焦点周围的区域中标识离聚焦点的距离。图8A是从传送方计算机系统的角度的一种用于缩减NED设备的显示更新时间的方法的一实施例的流程图。通信地耦合到NED设备的计算机系统的一个示例是具体化在伴随处理模块4中的计算机系统。在另一示例中，传送方计算机系统可以远离NED设备系统8，诸如所解说的网络可访问的计算机系统12。在步骤602，通信地耦合到NED设备的计算机系统基于一个或多个正在执行的应用来标识用户聚焦区域图像数据，并且在步骤604，使用用于满足无损传输准则的一个或多个通信技术来传送用户聚焦区域图像数据。在这一实施例中，用户聚焦区域图像数据作为无损优先级数据来对待。在步骤606，计算机系统基于一个或多个正在执行的应用来标识用户聚焦区域以外的供显示的次要图像数据，并且在步骤608中，使用允许有损传输的一个或多个通信技术来传送用户聚焦区域以外的供显示的图像数据中的至少一些。在这一实施例中，次要图像数据中的至少一些作为允许损失数据来对待。
[0147]一些实施例可以针对某些类型的图像数据(例如基于内容类型)使用无损传输技术，而不管区域。内容类型的一些示例是文本和图片。另一基础可以是趋于停留在场景中的对象的结构核使用用于满足无损传输的通信技术来发送，而细节和颜色的覆盖层可以允许有损传输来传送。在另一示例中，图像分辨率被应用于作为整体的对象，而不像图4B和4C的示例中那样。整个对象的图像数据根据该对象的至少一部分落入最优优先级区域来对待。例如，对于部分在用户聚焦区域中而部分在用户聚焦区域以外的对象，该对象在用户聚焦区域以外的图像数据就