本申请根据35u.s.c.§119(e)要求以下申请的优先权的权益：2016年2月11日提交的序列号为62/294,147，名称为“augmentedrealitysystemsandmethodsutilizingviewerreflections(利用观看者映像的增强现实系统和方法)”的美国临时申请；2016年7月25日提交的序列号为62/366,533，名称为“augmentedrealitysystemsandmethodsutilizingreflections(利用映像的增强现实系统和方法)”的美国临时申请；2016年12月29日提交的序列号为62/440,336，名称为“augmentedrealitysystemsandmethodsutilizingreflections利用映像的增强现实系统和方法”的美国临时申请；2017年1月12日提交的序列号为62/445,630，名称为“augmentedrealitysystemsandmethodsutilizingreflections(利用映像的增强现实系统和方法)”的美国临时申请；2016年7月25日提交的序列号为62/366,599，名称为“imagingmodification,displayandvisualizationusingaugmentedandvirtualrealityeyewear(使用增强和虚拟现实眼镜的成像修改、显示及可视化)”的美国临时申请；2016年9月16日提交的序列号为62/396,071，名称为“imagingmodification,displayandvisualizationusingaugmentedandvirtualrealityeyewear(使用增强和虚拟现实眼镜的成像修改、显示及可视化)”的美国临时申请；2016年12月29日提交的序列号为62/440,332，名称为“imagingmodification,displayandvisualizationusingaugmentedandvirtualrealityeyewear(使用增强和虚拟现实眼镜的成像修改、显示及可视化)”的美国临时申请，为了所有目的，上述专利申请中的每一个的全部内容通过引用并入此文。
另外，本申请通过引用包含以下专利申请中的每一个的全部内容：2014年11月27日提交的序列号为14/555,585的美国申请；2015年4月18日提交的序列号为14/690,401的美国申请；2014年3月14日提交的序列号为14/212,961的美国申请；以及2014年7月14日提交的序列号为14/331,218的美国申请。
本公开涉及显示系统，包括增强现实成像和可视化系统。
背景技术
相关技术的描述
现代计算和显示技术促进了用于所谓的“虚拟现实”或“增强现实”体验的系统的开发，其中，数字再现的图像或其部分以它们看起来是真实的或感觉为真实的方式呈现给用户。虚拟现实或“vr”场景通常涉及以对其它实际的真实世界视觉输入不透明的方式呈现数字或虚拟图像信息；增强现实或“ar”场景通常涉及将数字或虚拟图像信息呈现为对用户周围的真实世界的可视化的增强。混合现实或“mr”场景是“ar”类型的场景，并且通常涉及被整合到自然世界中且响应于自然世界的虚拟对象。例如，mr场景可以包括看起来被真实世界中的对象阻挡或者被感知为与真实世界中的对象交互的ar图像内容。
参考图1，描绘了增强现实场景10。ar技术的用户看到以人、树木、背景中的建筑物和混凝土平台30为特征的真实世界的公园状设置20。用户还感知他/她“看到”站在真实世界平台30上的机器人雕像40，以及看起来是大黄蜂的化身的正在飞行的卡通式的化身角色50。这些元素50、40是虚拟的，因为它们在真实世界中不存在。因为人类的视觉感知系统是复杂的，所以产生促进除其他虚拟或真实世界图像元素之外的虚拟图像元素的舒适的、感觉自然的、丰富的呈现的ar技术是具有挑战性的。
本文公开的系统和方法解决了关于ar和vr技术的各种挑战。
技术实现要素：
一些非限制性实施例包括一种系统，该系统包括一个或多个处理器和存储指令的一个或多个计算机存储介质，当所述指令被所述一个或多个处理器执行时，所述指令使得所述一个或多个处理器执行操作。所述操作包括确定用户眼睛的注视点，其中，所述注视点是所述用户的视野中的三维位置；获得与要呈现给所述用户的第一虚拟对象相关联的位置信息，其中，所述第一虚拟对象具有距所述用户的相关深度；调整所述第一虚拟对象的一个或多个深度线索，以减小所述第一虚拟对象的深度线索与用于所述注视点的深度线索之间的差异；以及使得具有调整后的一个或多个深度线索的所述第一虚拟对象经由显示设备呈现给所述用户。
在一些其他实施例中，提供了一种显示系统。该显示系统包括：显示设备，该显示设备被配置为向用户呈现虚拟对象，每个虚拟对象在多个深度平面中的一个或多个深度平面上；一个或多个处理器；存储指令的一个或多个计算机存储介质，当所述指令由所述显示系统执行时，所述指令使得所述显示系统执行操作。所述操作包括监视与用户的眼睛运动相关联的信息；基于所监视到的信息，确定所述用户的眼睛的注视点，每个注视点指示随时间追踪的被所述用户的眼睛注视的三维位置；以及基于所确定的注视点，调整至少一个虚拟对象，使得对于大于阈值度量，所述至少一个虚拟对象被显示在与所确定的注视点所落入的深度平面区域相对应的同一深度平面上。在调整至少一个虚拟对象之前，对于大于阈值度量，确定所确定的注视点落入深度平面区域内。
描述了一种方法的实施例。该方法由包括一个或多个处理器的系统执行。该方法包括确定用户的眼睛的注视点，其中，所述注视点是所述用户的视野中的三维位置；获得与要呈现给所述用户的第一虚拟对象相关联的位置信息，其中，所述第一虚拟对象具有距所述用户的相关深度；调整所述第一虚拟对象的一个或多个深度线索，以减小所述第一虚拟对象的深度线索与用于所述注视点的深度线索之间的差异；以及使得具有调整后的一个或多个深度线索的所述第一虚拟对象经由显示设备呈现给所述用户。
附图说明
图1示出了用户通过ar设备的增强现实(ar)视图；
图2示出了可穿戴显示系统的示例；
图3示出了用于为用户模拟三维图像的常规显示系统；
图4示出了使用多个深度平面模拟三维图像的方法的各方面；
图5a至图5c示出了曲率半径与焦半径之间的关系；
图6示出了用于向用户输出图像信息的波导堆叠的示例；
图7示出了由波导输出的出射光束的示例；
图8示出了堆叠波导组件的示例，其中，每个深度平面包括使用多种不同组分颜色形成的图像；
图9a示出了堆叠波导组的示例的横截面侧视图，每个堆叠波导包括耦入(incoupling)光学元件；
图9b示出了图9a的多个堆叠波导的示例的透视图；
图9c示出了图9a和图9b的多个堆叠波导的示例的俯视平面图；
图10a示出了由显示系统呈现的用户观看内容的表示的示例；
图10b示出了用户观看内容的表示的另一示例；
图11示出了显示系统的用户的视野的表示；
图12示出了用于调整与虚拟对象相关联的感知深度平面的示例过程的流程图；
图13示出了用于调整与虚拟对象相关联的感知深度平面的另一示例过程的流程图；
图14示出了用于调整与虚拟对象相关联的调节线索和双目线索的示例过程的流程图。
具体实施方式
增强现实显示系统可以向用户(或观看者)呈现虚拟内容，其中，虚拟内容看起来位于用户视野中的空间中的三维位置处。虚拟内容还可以被称为虚拟对象，虚拟对象可以包括可以由显示系统呈现给用户的图像、图形和其他可视内容。显示系统可以在距用户不同的深度或距离处呈现不同的虚拟对象，使得从用户的角度来看，每个虚拟对象可以与三维位置相关联。三维位置可以与水平轴上的位置、竖直轴上的位置、以及向离开用户的方向的深度轴上的位置对应。例如，当用户从观看近虚拟对象切换到观看较远的虚拟对象时，或当用户从观看较远的虚拟对象切换到观看较近的虚拟对象时，可能发生聚散度(vergence)和/或调节(accommodation)的变化。如下面将更详细描述的，聚散度涉及用户眼睛的定向运动，调节涉及眼睛的晶状体和瞳孔的变化(其可以用于将光聚焦在眼睛的视网膜上)。
在一些实施例中，提供了用于调整虚拟对象的呈现以限制用户的视觉系统在用户观看不同虚拟对象或者虚拟对象与真实对象的组合时改变调节和/或改变聚散度的程度的技术。例如，可以调整虚拟对象的呈现，使得虚拟对象的一个或多个深度线索与其他虚拟对象或真实对象的对应深度线索之间的差异减小。例如，可以将用户正在观看的虚拟对象的一个或多个深度线索调整为与用户正在其间观看的其他虚拟对象或真实对象的对应深度线索类似。深度线索可以包括调节线索和/或双目线索。如将描述的，调整虚拟对象的调节线索可以包括调整由显示系统向用户输出的光的波前发散，并且调整双目线索可以包括调整正向用户的每只眼睛提供的虚拟对象的视图(例如，调整双目视差)。调整虚拟对象的视图包括调整虚拟对象的离眼呈现(dichopticpresentation)。在一些实施例中，用户可以在观看在不同深度处呈现的两个虚拟对象之间切换，并且可以舒适地观看每个虚拟对象，而无需在切换之后改变其针对每个虚拟对象的调节响应。
使用此处描述的技术，可以改善虚拟内容的感知呈现质量。例如，可以减少由在不同深度平面之间切换内容引起的可感知的诸如闪烁的视觉伪像，特别是当某些增强现实显示系统被用作例如变焦显示系统时，如在此进一步描述的。作为另一示例，可以通过减少用户改变在那些对象之间的调节的需要来促进在一虚拟对象与另一虚拟或真实对象之间的注视的快速切换。例如，当用户的眼睛聚焦时，调节的改变可能消耗可感知的时间量，并且该可感知的时间量可能降低用户体验，例如，当用户在两个对象之间反复切换他们的注意力的时候，减慢用户理解信息的能力。这种减慢可能是不期望的，例如，在诸如其中快速用户反应为竞技性游戏的基础的游戏背景中。其他背景的示例包括需要多任务处理和/或高注意力水平的快节奏环境，例如手术室。
关于变焦显示系统，应当理解，这样的系统可以在离散的深度平面处呈现虚拟内容，其中，对于呈现给用户的每个帧，全部虚拟内容在同一深度平面处呈现(例如，一次仅一个深度平面是工作的(active)或输出图像信息)。如将描述的，变焦显示系统可以确定用户正在注视的三维注视点，并且可以基于注视点选择深度平面以呈现全部虚拟内容。作为确定注视点的示例，显示系统可以监视用户眼睛的取向和/或形状，并确定两眼各自的确定的注视相交处的三维位置。显示系统可以确定用户正在观看在特定三维位置处呈现的特定虚拟对象，并且显示系统可以在与该三维位置对应的深度平面处呈现全部虚拟内容。以这种方式，显示系统可以确保特定虚拟对象以及可选地其他虚拟内容处于对于用户而言的焦点中。作为示例，当在随后选择的深度平面处呈现虚拟内容时，可以在显示系统切换到在随后选择的深度平面处呈现虚拟内容并且再次返回到先前的深度平面时引入可感知的闪烁。例如，当用户修改他/她的眼睛以注视在随后的注视点上时，显示系统可以选择随后的深度平面以在随后呈现的帧中呈现虚拟内容。在该注视点和/或深度平面之间的界面附近的注视点的确定中的误差可能导致在深度平面之间来回的不期望的和/或随机的切换。如将在下面参考图11所描述的，每个深度平面可以包含距用户的特定深度范围，使得可以根据用户的眼睛正注视的三维位置来选择深度平面。
为了在离散的深度平面处呈现虚拟内容，显示系统可包括一个或多个波导，该一个或多个波导被配置为输出具有与不同深度平面对应的不同波前发散的光。使用不同的波前发散，可以向用户提供不同的调节线索，并且显示系统可以使第一虚拟对象看起来位于用户的视野中的第一深度处，同时使第二虚拟对象(使用具有不同的波前发散的光)看起来位于用户视野中的第二深度处。另外，显示系统可以向用户的每只眼睛呈现不同的图像；例如，显示系统可以是双目显示器，该双目显示器向每只眼睛呈现虚拟对象的略微不同的视图，其中，每个视图与给定深度平面处的每个相应眼睛对虚拟对象的视图对应。也就是说，显示系统可以向眼睛提供虚拟对象的离眼呈现，使得深度可以部分地通过双目视差来表示。因此，基于输出波前发散和向每只眼睛提供的虚拟对象的不同视图，用户可以将虚拟对象感知为存在于不同深度处。
因此，如上所述的变焦显示系统可以使用针对每帧的特定波前发散(对应于特定深度平面)来呈现全部虚拟内容。当用户修改他/她的注视点时，可以选择具有不同波前发散的光以在其他深度平面上呈现其他虚拟内容。应当理解，在不同深度平面上的两个对象之间切换注视的用户可以使得在深度平面之间快速和重复切换，当不同深度平面在不同时间工作时，深度平面之间的切换可以被用户感知为闪烁。另外，如此处所指出的，当用户眼睛的调节改变时，用户观看内容可能存在短暂的滞后。
本文描述的技术可以有利地被用于减少由深度平面切换和/或显示系统发起的用户调节变化引起的观看内容中的闪烁和/或滞后的发生。应当理解，显示系统可以访问地图或数据库，该地图或数据库指示各种虚拟对象可以被放置在三维空间中的位置。在一些实施例中，显示系统可以确定用户正在观看的第一虚拟对象与位于距第一个虚拟对象不同的深度平面(例如，较远或较近)处的(1)第二虚拟对象或(2)真实世界对象之间进行切换。然后，显示系统可以使对象呈现在同一深度平面处。例如，显示系统可以使得第一虚拟对象和第二虚拟对象以相同或相似的波前发散(例如，经由相同波导呈现)输出，而不管该用户正在注视第一虚拟对象还是第二个虚拟对象。另外，显示系统可以使第一虚拟对象以与真实世界对象的深度相关联的波前发散被输出。在一些其他实施例中，显示系统可以在输出虚拟内容之前首先确定用户正注视的深度平面并修改由显示系统的地图指示的深度平面。
在一些实施例中，显示系统可以通过调整输出波前发散来减少用户的调节响应中的切换，使得虚拟对象以与另一虚拟对象或真实对象相同的波前发散(对应于相同的深度平面)呈现，同时保持(例如，不调整)向每只眼睛提供的虚拟对象的视图。不受理论的限制，由于虚拟对象的视图未被修改，因此可以基于双目线索(例如，双目视差)来维持三维空间中的感知位置。结果，可以保持感知的三维位置，同时避免调节的变化。然而，如将要描述的，由于与修改后的波前发散相关联的感知深度和与双眼视差相关联的感知深度之间的失配，修改虚拟对象的波前发散同时保持向每只眼睛呈现的虚拟对象的相同视图可能导致负面的生理反应(例如，头痛、眼疲劳、疲劳等)。与特定波前发散相关联的感知深度(例如，以屈光度为单位)和与双目视差相关联的感知深度(例如，以屈光度为单位)可以由显示系统确定，并且可以计算这两个值之间的失配以确定调节聚散度失配。在一些实施例中，如果失配大于阈值(例如，0.33屈光度)，则显示系统可以执行附加动作(除了修改输出波前发散以外)。作为示例，显示系统可以调整双目视差，例如，修改向每只眼睛提供的虚拟对象的视图以对应于与波前发散相关联的深度平面。
可选地，显示系统可以调整虚拟对象的双目视差，而不修改虚拟对象的波前发散。也就是说，与调整波前发散以限制用户适应虚拟对象的频率的显示系统相比，该显示系统可以调整双目视差，使得虚拟对象被感知为处于与其他对象相同或相似的深度平面处。
虽然在上面的部分中描述了变焦显示系统，但是可以使用在此称为多焦显示系统的其他显示系统。多焦显示系统可以同时输出具有与多个不同深度平面相关联的波前发散的光，使得向用户呈现的每个帧的内容同时被显示在多个深度平面上。由于多焦显示系统可以在同一帧中在不同深度平面处呈现虚拟对象，因此当用户将他/她的视图切换到不同的虚拟对象时，多焦显示系统可以避免引入某些视觉伪像(例如，闪烁)。然而，利用在此描述的技术，例如调整待呈现虚拟对象的深度平面，可以根据上面的描述减少改变调节的需要。
应当理解，显示系统可以是增强现实显示系统或虚拟现实显示系统的一部分。作为一个示例，显示系统可以是透射性的并且可以允许用户观看真实世界，同时向该用户提供图像、视频、交互等形式的虚拟内容。作为另一示例，显示系统可以阻挡用户对真实世界的观看，并且可以向用户呈现虚拟现实图像、视频、交互等。
还应当理解，本文描述的各种实施例可以有利地应被用于各种背景中。作为示例，本文公开的技术和系统可以被应用于医疗保健背景，其中，可以结合真实对象观看虚拟对象。例如，外科医生可以在佩戴显示系统的同时对现实患者进行手术。显示系统可以有利地向外科医生呈现医疗信息，诸如心率信息。显示系统可以使医疗信息呈现在最靠近患者的深度平面上，使得外科医生可以避免在外科医生执行他/她的职责时必须在患者和医疗信息之间切换调节。作为另一个例子，用户可以在佩戴显示系统的同时玩赛车驾驶游戏。显示系统可以呈现虚拟内容，诸如用户汽车的内部和汽车的外部(例如，道路、竞技者汽车)。显示系统可以调整特定虚拟内容，诸如速度表，以在与汽车外部或竞技者的汽车(例如，穿过汽车挡风玻璃的视野)相同的深度平面上呈现。以这种方式，用户可以容易且快速地观看他/她的速度，同时避免每当他/她看着汽车的仪表板和查看速度表时必须改变对速度表的适应。另外，当用户观看速度表时可以消除闪烁，否则可能对游戏产生负面影响。
现在将参考附图。
图2示出了可穿戴显示系统60的示例。显示系统60包括显示器70，以及支持该显示器70的功能的各种机械和电子模块和系统。显示器70可以被耦接到框架80，该框架80是可由显示系统用户或观看者90佩戴的，并且该框架80被配置为将显示器70定位在用户90的眼睛的前方。在一些实施例中，显示器70可以被视为是眼镜。在一些实施例中，扬声器100被耦接到框架80并且被配置为位于邻近用户90的耳道(在一些实施例中，另一个扬声器(未示出)可以可选地位于邻近用户的另一个耳道，以提供立体/可塑形声音控制)。显示系统还可以包括一个或多个麦克风110或其他设备以检测声音。在一些实施例中，麦克风被配置为允许用户向系统60提供输入或命令(例如，语音菜单命令的选择、自然语言问题等)，和/或可以允许与其他人(例如，与类似的显示系统的其他用户)的音频通信。麦克风可以进一步被配置为外围传感器以收集音频数据(例如，来自用户和/或环境的声音)。在一些实施例中，显示系统还可以包括外围传感器120a，该传感器120a可以与框架80分离，并且被附接到用户90的身体(例如，在用户90的头部、躯干、四肢等上)。在一些实施例中，外围传感器120a可以被配置为获取表征用户90的生理状态的数据。例如，传感器120a可以是电极。
继续参考图2，显示器70通过通信链路130(诸如，通过有线引线或无线连接)可操作地耦接到本地数据处理模块140，本地数据处理模块140可以以各种配置来安装，诸如固定地附接到框架80，固定地附接到由用户佩戴的头盔或帽子，嵌入耳机中，或以其他方式(例如，以背包式配置、以腰带耦接式配置)可移除地附接到用户90。类似地，传感器120a可以通过通信链路120b(例如，有线引线或无线连接)可操作地耦接到本地处理和数据模块140。本地处理和数据模块140可以包括硬件处理器以及数字存储器，诸如非易失性存储器(例如，闪存或硬盘驱动器)，两者都可被用于辅助数据的处理、缓存和存储。可选地，本地处理和数据模块140可以包括一个或多个中央处理单元(cpu)、图形处理单元(gpu)、专用处理硬件等。数据可包括a)从传感器(其可以例如可操作地耦接到框架80或以其他方式附接到用户90)捕获的数据，传感器诸如为图像捕获设备(诸如相机)、麦克风、惯性测量单元、加速计、指南针、gps单元，无线电设备、陀螺仪和/或本文公开的其他传感器；和/或b)使用远程处理模块150和/或远程数据储存库160(包括与虚拟内容有关的数据)获取和/或处理的数据，可能用于在这样的处理或检索之后向显示器70传送。本地处理和数据模块140可以通过通信链路170、180诸如经由有线或无线通信链路可操作地耦接到远程处理模块150和远程数据储存库160，使得这些远程模块150、160可操作地彼此耦接，并且可用作本地处理和数据模块140的资源。在一些实施例中，本地处理和数据模块140可以包括图像捕获设备、麦克风、惯性测量单元、加速计、指南针、gps单元、无线电设备和/或陀螺仪中的一者或多者。在一些其他实施例中，这些传感器中的一者或多者可以被附接到框架80，或者可以是通过有线或无线通信路径与本地处理和数据模块140通信的独立结构。
继续参考图2，在一些实施例中，远程处理模块150可以包括被配置为分析和处理数据和/或图像信息的一个或多个处理器，例如包括一个或多个中央处理单元(cpu)、图形处理单元(gpu)、专用处理硬件等。在一些实施例中，远程数据储存库160可以包括数字数据存储设施，其可以通过因特网或“云”资源配置中的其他网络配置获得。在一些实施例中，远程数据储存库160可以包括一个或多个远程服务器，所述远程服务器向本地处理和数据模块140和/或远程处理模块150提供信息，例如，用于生成增强现实内容的信息。在一些实施例中，在本地处理和数据模块中存储所有数据，并且执行所有计算，允许从远程模块完全自主地使用。可选地，包括cpu、gpu等的外部系统(例如，一个或多个处理器的系统、一个或多个计算机)可以执行处理的至少一部分(例如，生成图像信息，处理数据)，并且例如经由无线或有线连接向模块140、150、160提供信息和从模块140、150、160接收信息。
现在参考图3，可以通过向观看者的每只眼睛提供略微不同的图像呈现来实现将图像感知为“三维”或“3-d”。图3示出了为用户模拟三维图像的常规显示系统。将两个不同图像190、200——每只眼睛210、220一个图像——输出给用户以提供用户视觉系统可以解释的双目线索以得出深度感。图像190、200与眼睛210、220沿着与观看者的视线平行的光轴或z轴间隔距离230。图像190、200是平坦的，并且眼睛210、220可以通过假设单个调节状态而聚焦在图像上。这种3-d显示系统依赖于人类视觉系统来组合图像190、200，以提供组合图像的深度感和/或比例感。
然而，应当理解，人类视觉系统更复杂，并且提供对逼真的深度感更具挑战性。例如，常规的“3-d”显示系统的许多观看者发现这样的系统不舒服或者根本不能感觉到深度感。不受理论的限制，据信对象的观看者可由于聚散度和调节的组合而将对象感知为“三维的”。两只眼睛相对于彼此的聚散运动(例如，眼睛的转动使得瞳孔朝向彼此或远离彼此运动以使眼睛的视线会聚以注视在对象上)与眼睛的晶状体和瞳孔的聚焦(或者调节)密切相关。在正常情况下，改变眼睛的晶状体的焦点或调节眼睛，将焦点从一个对象改变到不同距离处的另一对象将根据被称为“调节-聚散反射”的关系以及瞳孔扩张或收缩而自动导致与同一距离匹配的聚散度变化。同样，在正常条件下，聚散度的变化将触发晶状体形状和瞳孔大小的匹配的调节变化。如本文所指出的，许多立体或“3-d”显示系统使用略微不同的呈现(以及，因此略微不同的图像)向每只眼睛显示场景，使得人类视觉系统感知到三维透视。然而，这样的系统对于许多观看者来说是不舒服的，因为它们除了其余内容之外简单地提供场景的不同呈现，而眼睛在单个调节状态下观看所有图像信息，并且违反“调节-聚散反射”起作用。在调节和聚散之间提供更好匹配的显示系统可以形成更逼真和舒适的三维图像模拟。
图4示出了使用多个深度平面模拟三维图像的方法的各方面。参考图4，由眼睛210、220适应在z轴上距眼睛210、220各种距离处的对象，使得那些对象处于聚焦状态。眼睛210、220呈现特定的调节状态，以使对象沿z轴在不同距离处聚焦。因此，可以说，特定的调节状态与深度平面240中的特定的一个深度平面相关联，该深度平面具有关联的焦距，使得当眼睛处于用于一特定深度平面的调节状态时，该深度平面中的对象或对象的部分对焦。在一些实施例中，可以通过为每只眼睛210、220提供图像的不同呈现，并且还通过提供与每个深度平面对应的图像的不同呈现，来模拟三维图像。虽然为了清楚说明而示出是分开的，但是应当理解，眼睛210、220的视野可以重叠，例如，随着沿z轴的距离增加而重叠。另外，虽然为了便于说明而示出为平坦的，但是应当理解，深度平面的轮廓可以在物理空间中弯曲，使得深度平面中的全部特征在眼睛处于特定的调节状态时对焦。
对象与眼睛210或220之间的距离也可以改变来自该眼睛所观看到的该对象的光的发散量。图5a至图5c示出了距离和光线发散之间的关系。对象与眼睛210之间的距离以逐渐减小的距离r1、r2和r3的顺序表示。如图5a至图5c所示，随着到对象的距离减小，光线变得更加发散。随着距离的增加，光线变得更加准直。换句话说，可以说，由点(对象或对象的部分)产生的光场具有球面波前曲率，球面的波前曲率是该点离用户眼睛多远的函数。曲率随着对象与眼睛210之间的距离的减小而增加。因此，在不同的深度平面处，光线的发散程度也不同，发散程度随着深度平面与观看者眼睛210之间的距离的减小而增加。虽然为了清楚说明而在图5a至图5c和本文的其他图中仅示出了单只眼睛210，但是应当理解，关于眼睛210的讨论可以适用于观看者的双眼210和220。
不受理论的限制，据信人眼通常可以解释有限数量的深度平面以提供深度感知。因此，通过向眼睛提供与这些有限数量的深度平面中的每一个相对应的图像的不同呈现，可以实现高度可信的感知深度模拟。不同的呈现可以由观看者的眼睛分别聚焦，从而有助于基于将位于不同深度平面上的场景的不同图像特征聚焦所需的眼睛的调节和/或基于观察离焦的不同深度平面上的不同图像特征来为用户提供深度线索。
图6示出了用于向用户输出图像信息的波导堆叠的示例。显示系统250包括波导堆叠或堆叠的波导组件260，波导组件260可被用于使用多个波导270、280、290、300、310向眼睛/大脑提供三维感知。在一些实施例中，显示系统250是图2的系统60，图6更详细地示意性地示出了该系统60的一些部分。例如，波导组件260可以是图2的显示器70的部分。应当理解，在一些实施例中，显示系统250可以被视为是光场显示器。
继续参考图6，波导组件260还可以包括波导之间的多个特征320、330、340、350。在一些实施例中，特征320、330、340、350可以是一个或多个透镜。波导270、280、290、300、310和/或多个透镜320、330、340、350可以被配置为以各种级别的波前曲率或光线发散度向眼睛发送图像信息。每个波导级别可以与特定深度平面相关联，并且可以被配置为输出与该深度平面相对应的图像信息。图像注入装置360、370、380、390、400可以用作波导的光源，并且可以被用于将图像信息注入到波导270、280、290、300、310中，如本文所述，每个波导可以被配置为使入射光分布跨过每个相应的波导，以朝向眼睛210输出。光从图像注入装置360、370、380、390、400的输出表面410、420、430、440、450出射，并且被注入到波导270、280、290、300、310的对应的输入表面460、470、480、490、500中。在一些实施例中，输入表面460、470、480、490、500中的每一者可以是对应波导的边缘，或者可以是对应波导的主表面的部分(即，直接面向世界510或观看者眼睛210的波导表面中的一者)。在一些实施例中，可以将单个光束(例如，准直光束)注入到每个波导中以输出克隆的准直光束的整个场，所述克隆的准直光束以特定角度(和发散量)被导向眼睛210，所述特定角度(和发散量)对应于与特定波导相关联的深度平面。在一些实施例中，图像注入装置360、370、380、390、400中的单个可与波导270、280、290、300、310中的多个(例如，三个)相关联并将光注入其中。
在一些实施例中，图像注入装置360、370、380、390、400是离散显示器，每个离散显示器分别产生用于注入对应的波导270、280、290、300、310的图像信息。在一些其他实施例中，图像注入装置360、370、380、390、400是单个多路复用显示器的输出端，例如，多路复用显示器可以经由一个或多个光学导管(例如，光纤光缆)将图像信息通过管道传输到图像注入装置360、370、380、390、400中的每一者。应当理解，由图像注入装置360、370、380、390、400提供的图像信息可以包括不同波长或颜色的光(例如，如本文所讨论的不同的组分颜色)。
在一些实施例中，注入到波导270、280、290、300、310中的光由光投射器系统520提供，光投射器系统520包括光模块530，光模块530可包括光发射器，例如发光二极管(led)。来自光模块530的光可以经由分束器550被光调制器540(例如，空间光调制器)引导和修改。光调制器540可以被配置为改变注入到波导270、280、290、300、310中的光的感知强度。空间光调制器的示例包括液晶显示器(lcd)，包括硅上液晶(lcos)显示器。
在一些实施例中，显示系统250可以是扫描光纤显示器，扫描光纤显示器包括一个或多个扫描光纤，一个或多个扫描光纤被配置为以各种图案(例如，光栅扫描、螺旋扫描、利萨如(lissajous)图案等)将光投射到一个或多个波导270、280、290、300、310中，并且最终投射到观看者的眼睛210。在一些实施例中，所示的图像注入装置360、370、380、390、400可示意性地表示单个扫描光纤或扫描光纤束，单个扫描光纤或扫描光纤束被配置为将光注入一个或多个波导270、280、290、300、310中。在一些其他实施例中，所示的图像注入装置360、370、380、390、400可以示意性地表示多个扫描光纤或多个扫描光纤束，多个扫描光纤或多个扫描光纤束中的每一者被配置为将光注入波导270、280、290、300、310中的关联波导中。应当理解，一个或多个光纤可以被配置为将光从光模块530传输到一个或多个波导270、280、290、300、310。应当理解，可以在一个或多个扫描光纤与一个或多个波导270、280、290、300、310之间提供一个或多个居间光学结构，以例如将从扫描光纤出射的光重定向到一个或多个波导270、280、290、300、310中。
控制器560控制堆叠波导组件260中的一个或多个的操作，包括图像注入装置360、370、380、390、400、光源530和光调制器540的操作。在一些实施例中，控制器560是本地数据处理模块140的部分。控制器560包括编程(例如，非暂时性介质中的指令)，该编程根据例如本文公开的各种方案中的任何方案，调节定时和向波导270、280、290、300、310提供图像信息。在一些实施例中，控制器可以是单个整体设备，或者是通过有线或无线通信信道连接的分布式系统。在一些实施例中，控制器560可以是处理模块140或150(图2)的部分。
继续参考图6，波导270、280、290、300、310可以被配置为通过全内反射(tir)在每个相应的波导内传播光。波导270、280、290、300、310可以各自是平面的或具有另一种形状(例如，弯曲的)，具有顶部主表面和底部主表面以及在这些顶部主表面和底部主表面之间延伸的边缘。在所示的配置中，波导270、280、290、300、310可各自包括耦出(out-coupling)光学元件570、580、590、600、610，耦出光学元件570、580、590、600、610被配置为通过重定向光来从波导中提取光，在各自对应的波导内部传播，从波导出射以将图像信息输出到眼睛210。所提取的光也可以被称为耦出光，而耦出光学元件光也可以被称为光提取光学元件。所提取的光束可以在波导中传播的光照射到光提取光学元件的位置处由波导输出。如本文进一步讨论的，耦出光学元件570、580、590、600、610可以例如是光栅，光栅包括衍射光学特征。虽然被示出为设置在波导270、280、290、300、310的底部主表面处，但是为了便于描述和绘制清楚，在一些实施例中，如本文进一步讨论的，耦出光学元件570、580、590、600、610可以被设置在顶部和/或底部主表面处，和/或可以被直接设置在波导270、280、290、300、310的体积内。在一些实施例中，耦出光学元件570、580、590、600、610可以被形成在附接到透明基板的材料层中，以形成波导270、280、290、300、310。在一些其他实施例中，波导270、280、290、300、310可以是单片材料，并且耦出光学元件570、580、590、600、610可以被形成在该片材料的表面上和/或内部中。
继续参考图6，如本文所讨论的，每个波导270、280、290、300、310被配置为输出光以形成与特定深度平面对应的图像。例如，最靠近眼睛的波导270可以被配置为将准直光(其被注入到这样的波导270中)传递到眼睛210。该准直光可以代表光学无限远焦平面。下一上行波导280可以被配置为发出准直光，该准直光在可以到达眼睛210之前传输通过第一透镜350(例如，负透镜)；这样的第一透镜350可以被配置为产生轻微凸起的波前曲率，使得眼睛/大脑将来自该下一上行波导280的光解释为来自从光学无限远向内更靠近眼睛210的第一焦平面。类似地，第三上行波导290使其输出光在到达眼睛210之前传输通过第一透镜350和第二透镜340两者；第一透镜350和第二透镜340的组合光焦度(opticalpower)可以被配置为产生波前曲率的另一增量，使得眼睛/大脑将来自第三波导290的光解释为来自从光学无限远向内进一步更靠近人的第二焦平面，而不是来自向下一上行波导280的光。
其他波导层300、310和透镜330、320被类似地配置，其中堆叠中的最高波导310将其输出发送通过其与眼睛之间的全部透镜，以获得代表距人最近焦平面的总光焦度。为了在观看/解释来自堆叠波导组件260的另一侧的世界510的光时补偿透镜320、330、340、350的堆叠，可以在堆叠的顶部设置补偿透镜层620，以补偿下面的透镜堆叠320、330、340、350的总光焦度。这种配置提供与可用的波导/透镜配对一样多的感知焦平面。波导的耦出光学元件和透镜的聚焦方面都可以是静态的(即，不是动态的或电活性的)。在一些替代实施例中，使用电活性特征，波导的耦出光学元件和透镜的聚焦方面中的一者或两者可以是动态的。
在一些实施例中，波导270、280、290、300、310中的两个或更多个可具有相同的关联深度平面。例如，多个波导270、280、290、300、310可以被配置为将图像集输出到相同深度平面，或者波导270、280、290、300、310中的多个子集可以被配置为将图像集输出到相同的多个深度平面，每个深度平面一个集。这可以为形成平铺图像提供优势，以在那些深度平面处提供扩展的视野。
继续参考图6，耦出光学元件570、580、590、600、610可以被配置为既将光重定向到它们相应的波导之外，也为与波导相关联的特定深度平面输出具有适当的发散量或准直量的该光。结果，具有不同的关联深度平面的波导可以具有不同配置的耦出光学元件570、580、590、600、610，不同配置的耦出光学元件570、580、590、600、610根据关联的深度平面输出具有不同发散量的光。在一些实施例中，光提取光学元件570、580、590、600、610可以是体积特征或表面特征，其可以被配置为以特定角度输出光。例如，光提取光学元件570、580、590、600、610可以是体积全息、表面全息和/或衍射光栅。在一些实施例中，特征320、330、340、350可以不是透镜；相反，它们可以简单地是间隔物(例如，包层和/或用于形成气隙的结构)。
在一些实施例中，耦出光学元件570、580、590、600、610是形成衍射图案的衍射特征，或“衍射光学元件”(在本文中也称为“doe”)。优选地，doe具有足够低的衍射效率，使得只有一部分光束借助doe的每个交叉点向眼睛210偏转，而其余部分经由tir继续前进通过波导。因此，携带图像信息的光被分成多个相关的出射光束，这些出射光束在多个位置处从波导出射，并且对于在波导内弹跳的此特定准直光束，结果是向眼睛210出射的相当均匀的图案。
在一些实施例中，一个或多个doe可以在它们活跃地衍射的“开启”状态和它们不显著衍射的“关闭”状态之间可切换。例如，可切换的doe可以包括聚合物分散液晶层，其中，微滴包括处于主体介质中的衍射图案，并且微滴的折射率可以被切换为基本匹配主体材料的折射率(在这种情况下，图案不会显著地衍射入射光)或者微滴可以被切换为与主体介质的折射率失配的折射率(在这种情况下，图案活跃地衍射入射光)。
在一些实施例中，可提供相机组件630(例如，数码相机，包括可见光相机和红外光相机)以捕获眼睛210和/或眼睛210周围的组织的图像，以例如检测用户输入和/或监视用户的生理状态。如此处所使用的，相机可以是任何图像捕获设备。在一些实施例中，相机组件630可以包括图像捕获设备和光源，以将光(例如，红外光)投射到眼睛，然后光可以被眼睛反射并被图像捕获设备检测。在一些实施例中，相机组件630可以被附接到框架80(图2)并且可以与处理模块140和/或处理模块150电连通，处理模块140和/或处理模块150可以处理来自相机组件630的图像信息。在一些实施例中，每个眼睛可以使用一个摄像机组件630，以分别监视每只眼睛。
在一些实施例中，面向内的相机还可以被配置为检测用户眼睛的调节响应或调节状态，以向用户显示内容，而无需用户改变该调节响应。可选地，面向内的相机可以被配置为检测用户的每只眼睛的调节响应或调节状态。所显示的内容可以包括警报、菜单项或其他内容，警报、菜单项或其他内容可以有利于用户看清，而与他们的眼睛聚焦的深度无关。在一些实施例中，显示系统80可以被配置为检测用户眼睛中的晶状体的形状变化，以确定用户的眼睛聚焦在什么上，并且反过来，显示系统80可以以对应且适当的深度线索(例如，以特定深度平面的适当的分辨率、细节、颜色饱和度、对比度等)在适当的深度平面上呈现显示的图像。
现在参考图7，示出了由波导输出的出射光束的示例。示出了一个波导，但应当理解，波导组件260(图6)中的其他波导可以类似地起作用，其中，波导组件260包括多个波导。光640在波导270的输入表面460处被注入波导270，并通过tir在波导270内传播。在光640照射在doe570上的点处，一部分光作为出射光束650从波导出射。出射光束650被示为基本平行，但是如本文所讨论的，它们也可以被重定向以一角度(例如，形成发散的出射光束)传播到眼睛210，该角度取决于与波导270相关联的深度平面。应当理解，基本上平行的出射光束可以指示具有耦出光学元件的波导，耦出光学元件耦出光以形成看起来设置在距离眼睛210的远距离处(例如，光学无穷远)的深度平面上的图像。其他波导或耦出光学元件的其他集合可以输出更加发散的出射光束图案，这将要求眼睛210适应更近的距离以使更加发散的出射光束图案聚焦在视网膜上并且将被大脑解释为来自比光学无限远更靠近眼睛210的距离处的光。
在一些实施例中，可以通过在组分颜色(例如，三种或更多种组分颜色)中的每一者中叠加图像来在每个深度平面处形成全色图像。图8示出了堆叠波导组件的示例，其中，每个深度平面包括使用多种不同组分颜色形成的图像。所示的实施例示出了深度平面240a-240f，但也可以预期更多或更少的深度。每个深度平面可以具有与其相关联的三个或更多个组分颜色图像，包括：第一颜色g的第一图像；第二颜色r的第二图像；以及第三颜色b的第三图像。对于字母g，r和b之后的屈光度(dpt)，在图中通过不同的数字表示不同的深度平面。仅作为示例，这些字母中的每一者后面的数字表示屈光度(1/m)，或该深度平面距观看者的距离倒数，并且图中的每个框表示单独的组分颜色图像。在一些实施例中，为了考虑眼睛对不同波长的光的聚焦的差异，不同组分颜色的深度平面的精确放置可以变化。例如，给定深度平面的不同组分颜色图像可以被放置在与距用户不同距离相对应的深度平面上。这样的布置可以增加视敏度和用户舒适度，和/或可以减少色差。
在一些实施例中，每种组分颜色的光可以由单个专用波导输出，因此，每个深度平面可以具有与其相关联的多个波导。在这样的实施例中，图中包括字母g、r或b的每个框可以被理解为表示单独的波导，并且每个深度平面可以提供三个波导，其中，每个深度平面提供三个组分颜色图像。尽管为了便于描述，在此图中与每个深度平面相关联的波导被示出为邻近彼此，但应当理解，在物理设备中，波导可以全部布置为每层一个波导的堆叠形式。在一些其他实施例中，多个组分颜色可以由相同的波导输出，使得例如每个深度平面可以仅提供单个波导。
继续参考图8，在一些实施例中，g是绿色，r是红色，b是蓝色。在一些其他实施例中，除了红色、绿色或蓝色之外，可以使用与其他波长的光(包括品红色和青色)相关联的其他颜色，或者这些其他颜色可以替代红色，绿色或蓝色中的一种或多种。
应当理解，贯穿本公开对给定颜色的光的提及将被理解为包括在被观看者感知为具有该给定颜色的光的波长范围内的一个或多个波长的光。例如，红光可以包括在约620-780nm范围内的一个或多个波长的光，绿光可以包括在约492-577nm范围内的一个或多个波长的光，并且蓝光可以包括在约435-493nm范围内的一个或多个波长的光。
在一些实施例中，光源530(图6)可以被配置为发射观看者的视觉感知范围之外的一个或多个波长的光，例如红外和/或紫外波长的光。此外，显示器250的波导的耦入、耦出和其他光重定向结构可以被配置为引导此光并使此光从显示器出射朝向用户的眼睛210，例如，用于成像和/或用户刺激应用。
现在参考图9a，在一些实施例中，可能需要将照射在波导上的光重定向以将该光耦入到波导中。可以使用耦入光学元件将光重定向并且耦入到其对应的波导中。图9a示出了多个堆叠波导或堆叠波导组660的示例的横截面侧视图，每个堆叠波导包括耦入光学元件。波导可以被各自配置为输出一个或多个不同波长的光，或一个或多个不同波长范围的光。应当理解，堆叠660可以对应于堆叠260(图6)，并且除了来自一个或多个图像注入装置360、370、380、390、400的光从需要光被重定向以耦入的位置被注入波导中之外，堆叠660的所示波导可以与多个波导270、280、290、300、310中的部分对应。
图示的堆叠波导组660包括波导670、680和690。每个波导包括关联的耦入光学元件(其也可以被称为波导上的光输入区域)，其中例如耦入光学元件700被设置在波导670的主表面(例如，顶部主表面)上，耦入光学元件710被设置在波导680的主表面(例如，顶部主表面)上，耦入光学元件720被设置在波导690的主表面(例如，顶部主表面)上。在一些实施例中，耦入光学元件700、710、720中的一个或多个可以被设置在相应波导670、680、690的底部主表面上(特别是在一个或多个耦入光学元件是反射性的偏转光学元件的情况下)。如图所示，耦入光学元件700、710、720可以被设置在它们相应的波导670、680、690(或下一下行波导的顶部)的顶部主表面上，特别是在那些耦入光学元件的是透射性的偏转光学元件的情况下。在一些实施例中，耦入光学元件700、710、720可以被设置在相应的波导670、680、690的体中。在一些实施例中，如本文所讨论的，耦入光学元件700、710、720是波长选择性的，使得它们选择性地重定向一个或多个波长的光，同时透射其他波长的光。尽管在它们相应的波导670、680、690的一侧或角上示出，但是应当理解，在一些实施例中，耦入光学元件700、710、720可以被设置在它们相应的波导670、680、690的其他区域中。
如图所示，耦入光学元件700、710、720可以被彼此横向偏移。在一些实施例中，每个耦入光学元件可以被偏移，使得耦入光学元件接收光，而光无需传输通过另一耦入光学元件。例如，如图6所示，每个耦入光学元件700、710、720可以被配置为从不同的图像注入装置360、370、380、390和400接收光，并且可以从其他耦入光学元件700、710、720分开(例如，横向间隔开)，使得该耦入光学元件基本上不接收来自耦入光学元件700、710、720中的其他耦入光学元件的光。
每个波导还包括关联的光分布元件，其中，例如，光分布元件730被设置在波导670的主表面(例如，顶部主表面)上，光分布元件740被设置在波导680的主表面(例如，顶部主表面)上，光分布元件750被设置在波导690的主表面(例如，顶部主表面)上。在一些其他实施例中，光分布元件730、740、750可以被分别设置在关联的波导670、680、690的底部主表面上。在一些其他实施例中，光分布元件730、740、750可以被分别设置在关联的波导670、680、690的顶部主表面上和底部主表面上；或者光分布元件730、740、750可以被分别设置在不同的关联的波导670、680、690中的顶部主表面和底部主表面中的不同主表面上。
波导670、680、690可以被例如气体、液体和/或固体材料层间隔开并分隔开。例如，如图所示，层760a可以使波导670和波导680分隔开；并且层760b可以使波导680和波导690分隔开。在一些实施例中，层760a和760b由低折射率材料(即，具有比形成紧邻的波导670、680、690中的一个波导的材料的折射率低的材料)形成。优选地，形成层760a、760b的材料的折射率与形成波导670、680、690的材料的折射率相差0.05或更大，或0.10或更小。有利地，较低折射率层760a、760b可以作为包层，包层促进通过波导670、680、690的光的全内反射(tir)(例如，在每个波导的顶部主表面与底部主表面之间的tir)。在一些实施例中，层760a、760b由空气形成。尽管未示出，但应当理解，所示波导组660的顶部和底部可包括紧邻的包层。
优选地，为了便于制造和其他考虑，形成波导670、680、690的材料相似或相同，并且形成层760a、760b的材料相似或相同。在一些实施例中，形成波导670、680、690的材料在一个或多个波导之间可以是不同的，和/或形成层760a、760b的材料可以是不同的，同时仍然保持上述各种折射率关系。
继续参考图9a，光线770、780、790入射在波导组660上。应当理解，光线770、780、790可以通过一个或多个图像注入装置360、370、380、390、400(图6)注入到波导670、680、690中。
在一些实施例中，光线770、780、790具有不同的特性，例如，对应于不同的颜色的不同的波长或不同的波长范围。耦入光学元件700、710、720各自使入射光偏转，使得光通过tir传播通过波导670、680、690中的相应的一个。在一些实施例中，耦入光学元件700、710、720各自选择性地使一个或多个特定波长的光偏转，同时将其他波长透射到下面的波导和关联的耦入光学元件。
例如，耦入光学元件700可以被配置为使具有第一波长或第一波长范围的光线770偏转，同时分别透射具有不同的第二波长或第二波长范围的光线780和具有第三波长或第三波长范围的光线790。透射光线780照射在耦入光学元件710上并被耦入光学元件710偏转，该耦入光学元件710被配置为使第二波长或第二波长范围的光偏转。光线790被耦入光学元件720偏转，该耦入光学元件720被配置为选择性地使第三波长或第三波长范围的光偏转。
继续参考图9a，偏转的光线770、780、790被偏转为使得光线770、780、790传播通过对应的波导670、680、690；也就是说，每个波导的耦入光学元件700、710、720将光偏转到该对应的波导670、680、690中，以将光耦入到该对应的波导中。光线770、780、790以一定角度被偏转，该角度使光通过tir传播通过相应的波导670、680、690。光线770、780、790通过tir传播通过相应的波导670、680、690，直到照射到波导的对应的光分布元件730、740、750上。
现在参考图9b，示出了图9a的多个堆叠波导的示例的透视图。如上所述，耦入的光线770、780、790分别被耦入光学元件700、710、720偏转，然后分别在波导670、680、690内通过tir传播。然后，光线770、780、790分别照射在光分布元件730、740、750上。光分布元件730、740、750使光线770、780、790偏转，使得光线770、780、790分别朝向耦出光学元件800、810、820传播。
在一些实施例中，光分布元件730、740、750是正交光瞳扩展器(ope)。在一些实施例中，ope将光偏转或分布到耦出光学元件800、810、820，并且在一些实施例中，还可以在光向耦出光学元件传播时增加此光的光束或光斑尺寸。在一些实施例中，可以省略光分配元件730、740、750，并且耦入光学元件700、710、720可以被配置为将光直接偏转到耦出光学元件800、810、820。例如。参考图9a，光分布元件730、740、750可分别被耦出光学元件800、810、820代替。在一些实施例中，耦出光学元件800、810、820是出射光瞳(ep)或出射光瞳扩展器(epe)，其将光导入观看者的眼睛210(图7)。应当理解，ope可以被配置为在至少一个轴上增大眼框(eyebox)的尺寸，并且epe可以在与ope的轴相交(例如正交)的轴上增大眼框。例如，每个ope可以被配置为将到达ope的光的一部分重定向到同一波导的epe，同时允许光的剩余部分继续沿波导传播。在再次照射到ope上时，剩余光的另一部分被重定向到epe，并且该部分的剩余部分继续沿波导进一步传播，依此类推。类似地，在到达epe时，照射光的一部分被朝向用户导出波导，并且该光的剩余部分继续传播通过波导，直到它再次到达epe，此时照射光的另一部分被导出波导，依此类推。因此，每当单束耦入光的一部分被ope或epe重定向时，该光可以“被复制”，从而形成克隆光束的场，如图6所示。在一些实施例中，ope和/或epe可以被配置为修改光束的尺寸。
因此，参考图9a和图9b，在一些实施例中，波导组660包括：波导670、680、690；耦入光学元件700、710、720；光分布元件(例如，ope)730、740、750；以及耦出光学元件(例如，ep)800、810、820，用于每种组分颜色。波导670、680、690可以被堆叠有每个波导之间的气隙/包层。耦入光学元件700、710、720将入射光(其中不同耦入光学元件接收不同波长的光)重定向或偏转到其波导中。然后光以一角度传播，该角度将导致相应波导670、680、690内的tir。在所示的示例中，光线770(例如，蓝光)被第一耦入光学元件700偏转，然后继续沿波导反弹，以先前描述的方式与光分布元件(例如，ope)730和耦出光学元件(例如，ep)800相互作用。光线780和光线790(例如，分别为绿光和红光)将传输通过波导670，其中光线780照射在耦入光学元件710上并被其偏转。然后，光线780经由tir沿波导680反弹，前进到其光分配元件(例如，ope)740，然后前进到耦出光学元件(例如，ep)810。最后，光线790(例如，红光)传输通过波导690而照射在波导690的光耦入光学元件720上。光耦入光学元件720使光线790偏转为使得该光线通过tir传播到光分布元件(例如，ope)750，然后通过tir传播到耦出光学元件(例如，ep)820。然后，耦出光学元件820最终将光线790耦出到观看者，观看者还从其他波导670、680接收耦出光。
图9c示出了图9a和图9b的多个堆叠波导的示例的俯视平面图。如图所示，波导670、680、690以及每个波导的关联的光分配元件730、740、750和关联的耦出光学元件800、810、820可以垂直对准。然而，如本文所讨论的，耦入光学元件700、710、720不是垂直对准的；相反，耦入光学元件优选地是不重叠的(例如，当在俯视图中观看时横向间隔开)。如本文进一步讨论的，此不重叠的空间布置有助于将来自不同资源的光一对一地注入到不同波导中，从而允许特定光源被唯一地耦合到特定波导。在一些实施例中，包括不重叠的空间分离的耦入光学元件的布置可以被称为移位的光瞳系统，并且这些布置内的耦入光学元件可以与子光瞳对应。
如本文所述，根据各种实施例的显示系统(例如，诸如图2中的显示系统80的增强现实显示系统)可以调整虚拟对象将被呈现的深度。如上所述，可以调整将在第一深度处呈现的虚拟对象，以与第二深度对应，第二虚拟对象将在该第二深度处被呈现，或者真实对象存在于该第二深度处。应当理解，不同深度可以与显示系统被配置为将虚拟对象放置于的不同深度平面对应。在一些实施例中，显示系统的用户可以因此在观看第一虚拟对象与第二虚拟对象或真实对象之间切换，而无需改变调节和/或无需感知这两个对象在不同的深度平面上。调整深度可以包括调整调节线索(例如，调整波前发散)和双目线索(例如，调整提供给用户的每只眼睛的虚拟对象的相应视图)中的一者或两者。
显示系统可以基于确定用户的三维注视点来确定用户正在虚拟对象与真实对象之间切换焦点。例如，显示系统可以确定用户正在所确定的注视点处呈现的虚拟对象之间切换注视。注视点可以指示沿(1)x轴(例如，横轴)、(2)y轴(例如，竖轴)、以及(3)z轴(例如，点的深度，例如离开用户的深度)的空间中的点的位置。在一些实施例中，显示系统可以利用诸如相机(例如，图6的传感器630)之类的传感器来监视用户的眼睛(例如，每只眼睛的瞳孔和/或角膜等)，以确定每只眼睛的注视。每只眼睛的注视可以被理解为从中央凹延伸通过眼睛的晶状体的矢量。显示系统可以被配置为推断与眼睛相关联的矢量相交的位置，并且此交点可以被理解为眼睛的注视点。换一种说法，注视点可以是用户眼睛正趋向的三维空间中的位置。在一些实施例中，显示系统可以过滤用户眼睛的小运动，例如在快速运动(例如，扫视、微扫视)期间的小运动，并且可以在确定眼睛正注视在三维空间中的一位置时更新注视点。例如，显示系统可以被配置为忽略小于阈值持续时间的注视在一点上的眼睛的运动和/或忽略无意识的眼睛运动(例如，眨眼)。
现在参考图10a，示出了由显示系统(例如，图2中的显示系统80)呈现的用户观看内容(例如，在代表用户的视野1004的显示截头锥体中包括的内容)的表示的示例。该表示包括用户的眼睛1002，并且内容包括第一虚拟对象1006(例如，书)和第二虚拟对象1008(例如，树木)。作为示例，用户可能正在阅读关于如第一虚拟对象1006所述的树木(例如，书籍或文本的表示可能看起来被呈现给用户)，并且当用户阅读第一虚拟对象1006时，可以呈现树木的不同表示。另外，书1006可以可选地是真实世界对象(例如，实际的书籍)，并且当用户阅读书籍1006时，显示系统可以向用户呈现与书1006中描述的树木相对应的不同树木。第一虚拟对象1006或第一真实世界对象以及第二虚拟对象1008在下文中将分别被称为第一对象和第二对象。
如图所示，第一对象1006和第二对象1008可以与不同的深度平面相关联，深度平面可以是显示系统被配置为在其上呈现虚拟内容的深度平面。在一些实施例中，基于第一对象1006的感知深度来调整第二对象1008的感知深度，反之亦然。作为示例，如果确定用户正在注视第一对象1006，则可以在深度平面b处呈现虚拟内容。或者，如果确定用户正在注视第二对象1008，则可以在深度平面c处呈现虚拟内容。如上所述，显示系统(例如，变焦显示系统)可以针对正呈现给用户的每个帧在同一深度平面处呈现全部虚拟内容。例如，显示系统可以针对每个帧经由同一波导(例如，图6中的波导270、280、290、300、310中的一者)输出全部虚拟内容。如下面参考图11所述，每个深度平面可以与距用户的深度范围相关联。因此，显示系统可以确定用户的三维注视点，并且基于与该注视点相关联的深度来选择深度平面。例如，深度范围1009与深度平面c相关联，使得对于在深度范围1009中包括的一深度处呈现的虚拟对象，当由用户注视时，该虚拟对象被呈现在深度平面c处。尽管图10a示出了四个示例性深度平面(例如，深度平面a-d)，但是可以利用其他数量的深度平面(例如，2、3或4个或更多个深度平面)。
尽管图10a至图10b的图示将深度平面示出为具有平面边界，但是应当理解，深度平面的尺寸和形状可以与所例示的不同。例如，在此所述的深度平面可以是弯曲的。
继续参考图10a以及在1010a中表示的示例场景，用户观看第一对象1006。例如，用户可以将他/她的眼睛1002注视在该第一对象1006上。显示系统可以确定眼睛1002的注视点，并确定该注视点与第一对象1006的位置对应。在观看第一对象1006之后，用户然后可以注视在第二对象1008上，如在表示1010b中所示。在该示例中，显示系统可以继续在与第二对象1008相关联的深度平面不同的深度平面处呈现虚拟内容，例如第一对象1006。
如上所述，第一对象1006可以可选地是真实世界对象。在这种情况下，显示系统可以确定用户正在注视与深度平面b相关联的三维空间中的位置(例如，与真实世界对象对应，在此示例中可以由第一对象1006表示)。显示系统可以在与深度c相关联的深度平面处呈现虚拟内容作为第二对象1008(例如，可以在深度平面c处呈现第二对象1008)。
在两个对象都是虚拟对象的情况下，当用户在第一对象1006与第二对象1004之间交替注视时，通常可能需要显示系统根据正在注视第一对象1006还是第二对象1008来改变呈现虚拟内容的深度平面。类似地，当内容在深度平面b与深度平面c之间切换时，需要用户的眼睛1002改变调节。如本文所述，在一些情况下，由于用户的调节响应调整到不同的深度平面，深度平面之间的切换可能不期望地导致在感知内容时的闪烁和/或瞬间滞后。
有利地，在一些实施例中，显示系统可以修改呈现虚拟对象的深度平面，并且此修改可以减少显示系统在深度平面之间的切换和/或用户的调节响应的切换。图10b示出了用户观看内容的表示的另一示例。如图所示，第二对象1008已经被调整为与第一对象1006相同的深度平面相关联。例如，第一对象1006和第二对象1008都与深度平面b相关联或放置在深度平面b上。在一些实施例中，当向用户输出光以提供第一对象1006或第二对象1008的图像信息时，波前发散将是相同的。因此，当在虚拟对象1006、1008之间切换焦点时，用户的眼睛1002可以避免被要求改变调节。
尽管可以将与第二对象1008相关联的深度平面调整为与第一对象1006相对应，但是显示系统可以维持(例如，不调整)第二对象1008的视图(例如，如根据离眼呈现和立体视觉而确定的感知深度)，这些视图被呈现给用户的相应的眼睛1002。例如，如图10a所示，第二对象1008(例如，树木)被定位在比第一对象1006更远的深度。可以调整第二对象1008，使得表示第二对象1008的光的波前发散被修改(例如，调整调节线索)。然而，经由双目视差(例如，可以维持双目线索)，第二对象1008可以被感知为仍位于比第一对象1006更远的深度。如本文所使用的，应当理解，调整调节线索涉及改变光的波前发散，该光的波前发散提供用于形成用户的虚拟对象视图的图像信息，并且调整双目线索涉及改变呈现给观看者的一只或两只眼睛的虚拟对象的视图。在保持双目线索的同时调整调节线索可能导致调节-聚散失配，使得双目视差向用户指示第一深度，而波前发散向用户指示第二深度。如果该失配超过阈值(例如，0.33屈光度或更高、0.5屈光度或更高)，则用户可能遭受负面生理反应(例如，头痛)。
可选地，显示系统可以确定失配超过阈值，并且可以进一步调整用于第二对象1008和/或第一对象1006的双目线索。作为示例，由显示系统正向用户的每只眼睛提供的第二对象1008的视图可以被调整为对应于在与深度平面b相同或相似的深度处将被看到的第二对象1008的视图(可以调整双目线索)。也就是说，第二对象1008将被感知为位于与第一对象1006相同或相似的距用户的深度处。尽管这可能在第二对象1008的三维位置中引入可感知的修改，但是可以有利地减小负面生理反应。可选地，可以根据第二对象1008看起来已经移动的感知距离来调整第二对象1008的感知大小。例如，如图10a所示，第二对象1008最初被呈现为比第一对象1006更远(例如，至少部分地基于双目视差)。因此，如果调整双目线索，使得第二对象1008被感知为更靠近用户，则显示系统可以缩放第二虚拟对象1008，使得第二虚拟对象1008被感知为相似的大小。例如，显示系统可以缩放第二虚拟对象1008，使得它占用用户视野1004的相同量(例如，体积和/或面积)。作为另一示例，显示系统可缩放第二虚拟对象1008，使得其匹配用户眼睛的角分辨率。例如，对于被移动而离用户更远的书籍，可以增加文本的字体大小。
可选地，显示系统可以确定失配超过阈值，并且可以调整第二对象1008的双目线索，使得失配小于或等于阈值。也就是说，与修改双目线索(例如，对象1008的视图被提供给每只眼睛)以对应于与第一虚拟对象1006相同的深度相比，显示系统可以修改双目线索，使得失配仅仅低于阈值。这可以具有如下效果：第二对象1008被感知为在深度上更靠近用户，但是不会突然被感知为与第一对象1006处于相同的深度。
在确定用户正大于阈值度量(例如，大于阈值次数，大于阈值频率，和/或大于阈值持续时间)地在第一对象1006与第二对象1008之间切换时，显示系统可以可选地调整第二对象1008的深度。例如，如果用户常规地注视第一对象1006，并且很少注视或偶尔注视第二对象1008，则显示系统可以确定不调整与第二对象1008相关联的深度平面。另一方面，作为示例，如果用户在数秒或数分钟的时间段内在第一对象1006与第二对象1008之间来回注视，则显示系统可以将第一和第二对象放置在共同的深度处。
可以基于各种标准来选择此共同的深度。例如，如果第一对象1006是真实对象(例如，书)并且第二对象1008是虚拟对象，则显示系统可以可选地调整与第二对象1008相关联的深度平面(例如，调整后的深度平面可以是深度平面b)。在一些实施例中，第一对象1006和第二对象1008都可以是虚拟对象，并且可以基于用户主要注视的深度平面来做出关于在哪个深度平面上放置两个对象的确定。例如，该确定可以基于用户注视每个虚拟对象的时间量。例如，如果用户花费更多时间注视第一对象1006，则显示系统可以调整与第二对象1008相关联的深度平面，使得第二对象被放置在深度平面b上。在一些实施例中，显示系统可以获得指示用户偏好的信息。例如，用户可以指示他/她将第二对象1008视为主虚拟对象，因此，可以将与第一对象1006相关联的深度平面调整为与第二对象1008的深度平面相对应。可选地，可以将特定类型的虚拟对象识别为不可用于深度调整。作为示例，在调整其他虚拟对象的同时，包含文本或精细细节的虚拟对象可以维持其当前深度平面。
可选地，除了调整深度线索之外，显示系统可以调整第二虚拟对象1008的位置，例如，使得第二虚拟对象1008在位置上被移位。在一些实施例中，用户可以指示第二虚拟对象1008待定位的位置。例如，作为外科医生的用户可能更喜欢医疗信息形式的虚拟内容被显示在相对于患者的特定位置处。外科医生可以使用输入(例如，手势、语音输入、图腾等)来指示该特定位置。例如，显示系统可以将手势识别为指示特定位置，并且显示系统可以调整第二虚拟对象1008的位置，使得第二虚拟对象1008被感知为位于该特定位置。
图11示出了显示系统的用户视野1100的表示，以进一步示出各种深度平面的组织。视场1100包括第一深度平面1102和第二深度平面1104的表示。如图所示，深度范围(例如，与每个深度平面相关联的体积)被示出为对应于每个深度平面。例如，深度平面2的近端范围从深度1106a延伸至深度1106b。要在范围1106a-1106b内的深度处呈现的虚拟对象可以在深度平面2(也标识为附图标记1104)处呈现。作为示例，可以经由与深度平面2相关联的波导输出虚拟对象。另外，要在范围1106a-1106b内的深度处呈现的任何虚拟对象的波前发散可以是相同的，因此波前发散与深度平面2相关联。如上所述，对于图10a，深度平面的尺寸和形状可以与图11中所示的不同。例如，限定深度平面的体积可以具有弯曲的形状。
如上所述，显示系统可以确定用户的注视点。如果注视点落入范围1106a-1106b内，则显示系统可用与深度平面2相关联的波前发散来呈现虚拟内容。然后，如果用户注视落入与深度平面1相关联的范围内的位置，则显示系统可以用与深度平面1相关联的波前发散来呈现虚拟内容。如上所述，显示系统可以是变焦显示系统，使得对于呈现给用户的任何帧，使用单个深度平面。例如，可以利用一个波导来输出每帧的全部虚拟内容。
在一些实施例中，并且如本文所述，显示系统可以调整呈现特定虚拟对象的深度平面。以这种方式，显示系统可以限制被选择用来呈现虚拟内容的深度平面需要被修改的程度。作为示例，第一对象可以在深度平面1体积1108中呈现，并且第二对象可以在深度平面2体积1109中呈现。在不利用本文所述的技术的情况下，当用户注视第一对象时，显示系统可以在深度平面21104上(例如，经由与深度平面21104相关联的相同波导)呈现第一对象和第二对象。随后，当用户将注视切换为第二对象时，显示器可以经由深度平面11102呈现第一对象和第二对象。相比而言，在一些实施例中，当用户在第一对象与第二对象之间改变注视时，两个对象可以都被放置在同一个深度平面上。也就是说，可以调整与第一对象或第二对象相关联的深度平面，使得深度平面21104或深度平面11102可以与两个对象都相关联。
图12示出了用于调整与虚拟对象相关联的深度平面的示例过程1200的流程图。为了方便起见，过程1200可以被描述为由显示系统(例如，可穿戴显示系统60，该显示系统可以包括处理硬件和软件，并且可选地可以向一个或多个计算机的外部系统提供信息或者其他处理，例如，将处理卸载到外部系统，以及从外部系统接收信息)执行。
在框1202处，显示系统监视用户眼睛的三维注视点。如上所述，显示系统可以包括传感器以监视与用户眼睛相关联的信息(例如，眼睛的取向)。传感器非穷举的名单包括红外传感器、紫外传感器和可见波长光传感器。传感器可以可选地将红外光、紫外光、可见光和/或偏振光输出到用户的眼睛上，并确定来自用户的眼睛的输出光的反射。作为示例，红外光可以由红外光发射器和红外光传感器输出。应当理解，传感器可以包括光发射器，可以对应于图6的成像装置630。
显示系统可以利用传感器以通过确定与每只眼睛相关联的注视(例如，从用户的眼睛延伸的矢量，诸如从中央凹延伸通过眼睛的晶状体)来跟踪用户的注视，以及每只眼睛的注视的交叉点。例如，显示系统可以在用户的眼睛上输出红外光，并且可以监视来自眼睛的反射(例如，角膜反射)。在眼睛的瞳孔中心之间的矢量(例如，显示系统例如通过红外成像可以确定瞳孔的形心)和来自眼睛的反射可以被用于确定眼睛的注视。因此，注视的交叉点可以被指定为三维注视点。可选地，当确定注视点时，显示系统可以利用与显示系统相关联的取向信息(例如，描述显示系统在三维空间中的取向的信息)。
显示系统可以监视所确定的注视点以跟踪用户正在观看的对象。例如，显示系统可以基于所确定的与第一虚拟对象被呈现于的三维位置相对应的三维注视点来确定用户正在观看第一虚拟对象。另外，显示系统可以确定用户正在注视不与虚拟对象对应的位置，并且可以确定真实世界对象可能位于该注视点处。
在框1204处，显示系统获得与呈现给用户的虚拟对象相关联的位置。在渲染向用户呈现的虚拟对象(例如，如上所述，经由波导的输出)之前，显示系统可以获得与虚拟对象相关联的三维位置信息。例如，如上所述，可以向用户呈现虚拟对象，使得内容看起来位于真实世界中(例如，内容可以位于用户的视野内的不同深度平面处)。应当理解，显示系统可以包括或可以访问周围环境的三维地图，该地图包括任何虚拟内容在该周围环境中的预期位置。参考该地图，显示系统可以访问并提供指定用户视野内的虚拟内容的三维位置的信息(例如，如图10a-10b所示，显示截头锥体内的位置)。
如上所述，虚拟对象的位置信息可以包括三维位置。基于三维位置，虚拟对象可以与特定深度平面相关联(例如，如图11中所示和所述)，使得如果用户注视虚拟对象，则可以利用该特定深度平面来呈现每帧的全部虚拟内容，直到用户切换注视为止。
在框1206处，显示系统调整与虚拟对象相关联的深度平面。如上所述，对于图10a-10b，显示系统可以确定用户正大于阈值度量地在两个或更多个注视点之间切换，例如，大于阈值次数或大于阈值频率。例如，用户可能每30秒一次、每分钟一次、每数分钟一次，依此类推，在第一注视点与第二注视点之间切换。如果第一注视点和第二注视点与不同的深度平面相关联，例如如图11所示，如果注视点位于不同的深度平面体积中，则每次用户在注视点之间切换时，可能需要显示系统呈现用于不同深度平面的内容(例如，不使用本文所述的技术)。
因此，显示系统可以调整与虚拟对象相关联的深度平面。如本文所述，这可以包括将虚拟对象与用户也正注视的另一个对象(例如，虚拟对象、真实世界对象)的深度平面相关联。也就是说，可以将与虚拟对象相关联的调节线索(例如，波前发散)调整为与不同的深度平面相对应。显示系统可以利用所获得的位置信息来确定虚拟对象的三维位置，并且可以用调整后的深度平面更新位置信息。如上所述，显示系统可以根据虚拟对象被注视的频率来选择虚拟对象以进行调整。例如，如果与第二虚拟对象相比，用户更加注视第一虚拟对象，则显示系统可以调整第二虚拟对象，使得其呈现在第一虚拟对象已被呈现于的深度平面上。
另外，在一些实施例中，显示系统可以获得要被调整的虚拟对象的指示。作为示例，用户可以指示关于调整给予特定虚拟对象优先权，使得其他虚拟对象被调整，并且该特定虚拟对象保持在其关联的深度平面处。作为另一示例，可以给予正在移动(例如，移动快于阈值速率)的虚拟对象优先权，例如，以减少由非注视对象引起的注意力分散。可选地，显示系统可以获得不被调整的虚拟对象的指示。此外，显示系统可以可选地获得将保持链接并且对于用户而言对焦的虚拟对象的指示，使得无论做出什么调整，它们都呈现在相同的深度平面上。例如，显示系统可以呈现五个虚拟对象，并且可以确保五个虚拟对象中的两个保持对焦(例如，两个虚拟对象可以被呈现在相同的深度平面处)。
在框1208处，显示系统将调整后的内容呈现给用户。例如，可以以调整后的波前发散将调整后的虚拟对象输出给用户。也就是说，如果用户注视虚拟对象，则可以以与调整后的深度平面而不是其原始深度平面(如显示系统的周围环境地图所指示的深度平面)相对应的波前发散将虚拟对象输出给用户。调整波前发散的示例是调整这样的特定波导：从该特定波导，虚拟对象将被显示，其中不同的波导输出具有不同波前发散量的光。
图13示出了用于调整与虚拟对象相关联的深度平面的另一示例过程1300的流程图。为了方便起见，过程1300可以被描述为由显示系统(例如，可穿戴显示系统60，该显示系统可以包括处理硬件和软件，并且可选地可以向一个或多个计算机的外部系统提供信息或者其他处理，例如，将处理卸载到外部系统，以及从外部系统接收信息)执行。
在框1302，显示系统监视三维注视点，并且在框1304中显示系统获得与所呈现的内容相关联的位置信息，这与框1202、1204(图12)分别类似。在框1306处，显示系统调整与虚拟对象相关联的深度平面。如上所述，关于图12(例如，框1206)，显示系统可以将虚拟对象与不同的深度平面相关联，从而调整与虚拟对象相关联的调节线索。相比而言，在框1306，显示系统可以调整双目线索以调整虚拟对象的感知深度。也就是说，显示系统可以调整提供给用户的每只眼睛的虚拟对象的视图，这种调整可以涉及通过离眼呈现来调整虚拟内容的双目视差。以这种方式，虚拟对象可以看起来在与其他虚拟内容相同或相似的深度处呈现，或者在与虚拟对象的原始深度不同的深度处呈现。然后，如上面参考图12的框1208所述，在框1308，显示系统将调整后的内容呈现给用户。
图14示出了用于调整与虚拟对象相关联的调节线索和双目线索的示例过程的流程图。为了方便起见，过程1300可以被描述为由显示系统(例如，可穿戴显示系统60，该显示系统可以包括处理硬件和软件，并且可选地可以向一个或多个计算机的外部系统提供信息或者其他处理，例如，将处理卸载到外部系统，以及从外部系统接收信息)执行。
在框1402，如上面针对框1202、1204(图12)所讨论的，显示系统获得要调整的虚拟对象的指示。如上所述，可以相对于关联深度平面调整特定虚拟对象或者一个或多个虚拟对象的呈现。
在框1404，调整与虚拟对象相关联的调节线索。如本文所述，可以相对于由显示系统的地图指示的深度平面调整与虚拟对象相关联的深度平面。在一些实施例中，可以调整虚拟对象的波前发散，使得其与用户还正注视的一个或多个其他虚拟对象相同。由于调整深度平面调整波前发散，因此通过利用双目视差，用户可以将虚拟对象感知为处于相同的未调整的三维位置。例如，显示系统可以例如通过保持相同的离眼呈现，向用户的每只眼睛呈现虚拟对象的相同视图，就像未调整虚拟对象的波前发散而呈现的那样。因此，即使调整输出光的波前发散，用户也将虚拟对象感知为位于空间中的相同三维位置处(例如，由于双目视差)。如上所述，调整波前发散而不调整双目线索(例如，提供给用户的虚拟对象的视图)可以向用户引入可察觉的失配。
有利地，在一些实施例中，显示系统在框1406处调整与虚拟对象相关联的双目线索，使得那些双目线索与上述调节线索的变化相一致。例如，为了减少聚散度与调节之间的失配，显示系统可以调整呈现给用户的每只眼睛的虚拟对象的视图。例如，如果调整与虚拟对象相关联的调节线索以使得深度被感知为更靠近用户，则显示系统可以类似地调整双目线索以与该更靠近的深度相对应。如上面参考图10a至图10b所述，显示系统可以在确定用户正大于阈值度量地(例如，大于阈值次数或大于阈值频率)在两个或更多个的注视点之间切换之后实施双目线索的调整。
在框1408，将调整后的虚拟内容呈现给用户。由于调节线索和双目线索都被调整，因此虚拟内容将被感知为位于与更新后的深度相对应的三维空间中的新位置处。由于虚拟内容将被感知为位于新位置处，因此可选地，显示系统可以更新与虚拟内容相关联的位置信息以与新位置相对应。
应当理解，本文中描述和/或在附图中示出的过程、方法和算法中的每一者可以体现在由一个或多个物理计算系统、硬件计算机处理器、应用专用电路和/或被配置为执行特定和特殊的计算机指令的电子硬件所执行的代码模块中并且完全或部分地由该代码模块自动化。例如，计算系统可以包括用特定计算机指令编程的通用计算机(例如，服务器)或专用计算机、专用电路等等。代码模块可以被编译并链接到可执行程序中，安装在动态链接库中，或者可以用解释的编程语言编写。在一些实施例中，特定操作和方法可以由专用于给定功能的电路来执行。
此外，本公开的功能的某些实施例在数学上、计算上或技术上是足够复杂的，使得应用专用硬件或一个或多个物理计算设备(利用适当的专用可执行指令)对于执行功能可能是必需的，例如由于所涉及的计算的数量或复杂性或为了基本上实时提供结果。例如，视频可以包括许多帧，每帧具有数百万个像素，并且具体地编程的计算机硬件对于处理视频数据是必需的以在商业上合理的时间量内提供期望的图像处理任务或应用。
代码模块或任何类型的数据可以存储在任何类型的非暂时性计算机可读介质上，诸如物理计算机存储器，包括硬盘驱动器、固态存储器、随机存取存储器(ram)、只读存储器(rom)、光盘、易失性或非易失性存储器、其组合和/或类似物。在一些实施例中，非暂时性计算机可读介质可以是本地处理和数据模块(140)、远程处理模块(150)和远程数据储存库(160)中的一者或多者的一部分。方法和模块(或数据)也可以在各种计算机可读传输介质上作为生成的数据信号(例如，作为载波或其他模拟或数字传播信号的一部分)传输，所述传输介质包括基于无线的和有线/基于线缆的介质，并且可以采取多种形式(例如，作为单个或多路复用模拟信号的一部分，或者作为多个离散数字分组或帧)。所公开的方法或方法步骤的结果可以持久地或以其他方式存储在任何类型的非暂时性有形计算机存储器中，或者可以经由计算机可读传输介质来通信。
本文描述的和/或在附图中描绘的流程图中的任何过程、框、状态、步骤或功能应当被理解为潜在地表示代码模块、代码段或代码部分，代码包括一个或多个可执行指令以实现特定功能(例如，逻辑或算术)或方法中的步骤。各种方法、框、状态、步骤或功能可以与本文提供的说明性示例相组合，重新排列，添加，删除，修改或以其他方式改变。在一些实施例中，附加的或不同的计算系统或代码模块可以执行本文描述的功能中的一些或全部。这里描述的方法和过程也不限于任何特定的序列，并且与其相关的块、步骤或状态可以以适当的其他序列来执行，例如串行、并行或以某种其他方式。可以向所公开的示例性实施例添加任务或事件或者从中移除任务或事件。此外，这里描述的实现中的各种系统组件的分离是出于说明的目的，并且不应该被理解为在所有实施例中都需要这种分离。应该理解，所描述的程序组件、方法和系统通常可以一起集成在单个计算机产品中或者封装到多个计算机产品中。
在前面的说明书中，已经参考其具体实施例描述了本发明。然而，显而易见的是，在不脱离本发明的更广泛的精神和范围的情况下，可以对本发明进行各种修改和改变。因此，说明书和附图应被视为说明性的而非限制性的。
实际上，应当理解，本公开的系统和方法各自具有若干创新性方面，其中没有单独一个对于本文公开的期望属性完全负责或需要。上述各种特征和过程可以彼此独立地使用，或者可以以各种方式组合。所有可能的组合和子组合均旨在落入本公开的范围内。
在本说明书中在分开的实施例的上下文中描述的某些特征也可以在单个实施例中组合实施。相反，在单个实施例的上下文中描述的各种特征也可以分开或者以任何合适的子组合在多个实施例中实施。此外，尽管上文可以将特征描述为以某些组合起作用并且甚至最初如此要求，但是来自所要求保护的组合的一个或多个特征可以在一些情况下从组合中删除，并且所要求保护的组合可以针对子组合或变体的子组合。没有单个特征或特征组对于每个实施例是必要或是必不可少的。
应当理解，除非另有明确说明，否则本文中使用的条件语言，诸如“能够”、“可能”“应该”、“可以”、“例如”等等，或者在上下文中以其他方式理解的，为一般地意在表达某些实施例包括，而其他实施例不包括某些特征、元件和/或步骤。因此，这样的条件语言通常不旨在暗示特征、元素和/或步骤以任何方式对于一个或多个实施例是必需的，或者一个或多个实施例必然包括用于在有或者没有作者输入或提示的情况下决定是否这些特征、元件和/或步骤包括在任何特定实施例中或将在任何特定实施例中执行。术语“包括”、“包含”、“具有”等是同义词，并且以开放式的方式包含性地使用，并且不排除附加的元件、特征、动作、操作等等。此外，术语“或”以其包含性含义(而不是其专有含义)使用，因此当用于例如连接元素列表时，术语“或”表示一个、一些或全部列表中的元素。另外，除非另有说明，否则本申请和所附权利要求中使用的冠词“一”、“一个”和“所述”应被解释为表示“一个或多个”或“至少一个”。类似地，尽管可以在特定顺序中在附图中描绘操作，但应认识到，这些操作不需要以所示出的特定顺序或按顺序执行，或者所有所示操作都要执行，以实现理想的结果。此外，附图可以以流程图的形式示意性地描绘一个或多个示例过程。然而，未示出的其他操作可以并入示意性说明的示例性方法和过程中。例如，可以在任何所示操作之前、之后、同时或之间执行一个或多个附加操作。另外，在其他实施例中，操作可以重新安排或重新排序。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施例中的各种系统组件的分离不应该被理解为在所有实施例中都需要这种分离，并且应该理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中或者封装到多个软件产品。另外，其他实施例在以下权利要求的范围内。在一些情况下，权利要求中列举的动作可以以不同的顺序执行并且仍然实现期望的结果。
因此，权利要求不旨在限于本文所示的实施例，而是与符合本公开、本文所公开的原理和新颖特征的最宽范围相一致。