用于在虚拟和增强现实中产生焦平面的方法和系统与流程
本申请是申请日为2015年05月29日、申请号为201580041033.3、名称为"用于在虚拟和增强现实中产生焦平面的方法和系统"的专利申请的分案申请。
相关申请的交叉引用
本申请要求以代理人案号ml30017.00于2014年5月30日提交的名为“用于在虚拟和增强现实中产生焦平面的方法和系统(methodsandsystemsforcreatingfocalplanesinvirtualandaugmentedreality)”的美国临时专利申请序列号62/005，834的优先权。本申请与以代理人案号ml30016.00于2014年5月30日提交的名为“用于虚拟和增强现实的方法和系统(methodsandsystemsforvirtualandaugmentedreality)”的美国专利申请序列号62/005，807，以及以代理人案号ml30018.00也于2014年5月30日提交的名为“利用具有用于虚拟和增强现实的可寻址聚焦的自由形态光学系统来显示立体视觉的方法和系统(methodsandsystemsfordisplayingstereoscopywithafreeformopticalsystemwithaddressablefocusforvirtualandaugmentedreality)”的美国临时专利申请序列号62/005，865交叉相关。本申请还与以代理人案号ml20011.00于2014年11月27日提交的名为“虚拟和增强现实方法和系统(virtualandaugmentedrealitysystemsandmethods)”的美国专利申请序列号14/555，585，和以代理人案号ml20012.00于2015年1月30日提交的名为“多焦点显示系统和方法(multi-focaldisplaysystemandmethod)”的美国专利申请序列号14/611，154，以及以代理人案号ml20013.00于2015年1月30日提交的名为“多焦点显示系统和方法(multi-focaldisplaysystemandmethod)”的美国专利申请序列号14/611，162交叉相关。
背景技术：
现代计算技术和显示技术已经促进了用于所谓“虚拟现实”或者“增强现实”体验的系统的发展，其中，数字再现的图像或者其部分以看起来是真实或者可感知为真实的方式呈现给用户。虚拟现实或“vr”场景通常涉及数字或虚拟图像信息的呈现，而对于其它实际的真实世界视觉输入并不透明；增强现实或“ar”场景通常涉及数字或虚拟图像信息的呈现，作为对用户周围的实际世界的可视化的增强。例如，参考图1，描绘了增强的现实场景(4)，其中，ar技术的用户看见了以在背景中的人、树、建筑为特征的真实世界公园状的设置(6)和实体平台(1120)。
除了这些项以外，ar技术的使用者还感知到他“看到”站在真实世界的平台(1120)上的机器人雕像(1110)，以及正在飞行的卡通式的头像角色(2)，通过其看起来是大黄蜂的拟人化，即使这些元素(2，1110)在真实世界中不存在。事实证明，人类视觉感知系统很复杂，产生一种促进虚拟图像元素在其他虚拟或现实世界图像元素中的舒适的、感觉自然的、丰富的呈现的vr或ar技术具有挑战。
参考图2a，已经开发了立体可穿戴眼镜式配置，其通常以两个显示器(10，12)为特征，两个显示器被配置为显示具有轻微不同的元素呈现的图像，以使得三维透视图被人类视觉系统感知。已经发现这种配置由于聚散和调节之间的不匹配令很多使用者不舒服，必须克服该不匹配以在三维中感知图像。实际上，一些使用者不能够忍受立体配置。图2b示出了以两个朝前取向的照相机(16,18)为特征的另一副立体可穿戴眼镜(14)式配置，该两个朝前取向的照相机(16,18)被配置为捕获用于通过立体显示器向用户呈现增强现实的图像。当眼镜(14)在用户的头上安装时，通常照相机(16，18)和显示器的位置阻挡用户的固有视场。
参考图2c，示出了增强现实配置(20)，其以耦合到眼镜框架(24)的可视化模块(26)为特征，该眼镜框架(24)还保持传统眼镜透镜(22)。采用这种系统用户能够看到至少部分畅通无阻的真实世界的视图，并且具有小显示器(28)，采用该显示器(28)可在ar配置中向一只眼睛呈现数字图像-用于单眼ar呈现。图2d以具有耦合到帽子或头盔(30)的可视化模块(32)的配置为特征。该可视化模块可被配置为通过小显示器(34)向用户呈现单眼增强数字图像。图2e示出了另一类似的配置，包括以与眼镜耦合类似的方式能够耦合到用户的头部的框架(36)，使得可视化模块(38)可用于捕获图像并且也通过小显示器(40)向用户呈现单眼增强数字图像。这种配置例如可从福尼亚州山景城的的谷歌公司以商品名为googleglass(rtm)得到。
这些配置中没有一种以对用户舒适且最大的有用的方式，最佳地适用于呈现丰富的、双眼的、三维增强现实体验，部分地因为之前的系统不能解决人类感知系统的一些基本方面，包括视网膜的光感受器以及它们与大脑的交互以向用户产生可视化感知。
参考图3，描绘了人眼的简化截面视图(58)，其以角膜(42)、虹膜(44)、晶状体(lens)-或“晶状体”(“crystallinelens”)(46)、巩膜(48)、脉络膜层(50)、黄斑(52)、视网膜(54)、以及通向大脑的视神经路径(56)为特征。黄斑是视网膜的中心，其用于看见适度的细节。在黄斑的中心是称为“中心凹”的视网膜的一部分，其用于观察场景的最细微的细节，并且其含有比视网膜的任何其它部分更多的光感受器(每视度大约120个视锥)。
人类视觉系统不是被动传感式系统；它被配置为主动地扫描环境。以某种类似于使用平板扫描仪捕获图像或使用手指从纸上读取盲文的方式，眼睛的光感受器响应于刺激的变化而激发，而不是不断地响应于刺激的恒定状态。因此，需要运动来向大脑呈现光感受器信息(正如线性扫描仪阵列跨过在平板扫描仪中的一张纸的运动，或手指跨过印在纸中的盲文的运动。
实际上，采用已经用于麻痹眼睛的肌肉的物质(诸如眼镜蛇毒)的实验已经表明，在眼睛的毒液诱导麻痹的下观看静态场景，人类受试者如果在他的眼睛睁开的情况下定位将经历失明。换言之，没有刺激的变化，光感受器不会向大脑提供输入并经历失明。认为这是至少一个原因：已经观察到普通人的眼睛在所谓的左右运动中来回移动，或抖动。
如上所述，视网膜的中心凹包含最大密度的光感受器。虽然通常认为人类在他们的整个视场具有高分辨率可视化能力，但是他们一般实际上只具有较小的高分辨率中心，该高分辨率中心几乎不断地机械扫描，伴随由中心凹最近捕获的高分辨率信息的持久存储。以某种类似的方式，眼睛的焦距控制机制(睫状肌以如下方式可操作地耦合到晶状体，其中睫状肌松弛引起紧绷的睫状肌结缔纤维将晶状体变平，以获得更远的焦距；睫状肌收缩引起睫状肌结缔纤维放松，其允许晶状体呈现更圆的几何形状，以获得更近的焦距)以大约1/4到1/2的屈光度来回抖动，以周期性地在目标焦距的近端和远端引起少量的所谓“屈光模糊”。这被大脑的调节控制回路用作周期性的负反馈，其有助于不断地纠正过程并保持注视对象的视网膜图像近似对焦。
大脑的可视化中心同样根据眼睛和其组件相对于彼此的运动来获得有价值的感知信息。两只眼睛相对于彼此的聚散运动(即，瞳孔朝向或远离彼此的滚动运动，以汇聚眼睛视线来注视到对象上)与眼睛的晶状体的聚焦(或“调节”)紧密相关。在正常情况下，为了聚焦在不同距离处的对象而改变眼睛的晶状体的焦点，或者调节眼睛，将在已知的“调节-聚散反射”关系下自动地引起对相同距离的聚散中的匹配变化。同样，在正常情况下，聚散中的变化将引起调节中的匹配变化。已知与该反射相背的操作(如大多数传统的立体ar或vr配置)将在用户中产生眼疲劳、头痛、或其它形式的不适。
容纳眼睛的头部的运动也对对象的可视化具有重要的影响。人类移动他们的头部来可视化周围的世界；他们通常处于相对于感兴趣的对象重定位以及重定向头部的相当固定的状态。进一步地，当大多数人的眼睛注视需要移动离中心超过20度时，他们喜欢移动他们的头部以聚焦特定的对象(即，人们通常不喜欢“从眼睛的角部”看东西)。人类相对于声音也通常扫描或移动他们的头部-以提高声音信号的捕获，并利用与头部相关联的耳朵的几何形状。人类视觉系统从所谓的“头部运动视差”获得强大的深度线索，“头部运动视差”与作为头部运动和眼睛聚散距离的函数的不同距离处的对象的相对运动有关。换言之，如果一个人从一侧到另一侧移动他的头部并保持注视对象，则更远离那个对象的物品将在与头部相同的方向上移动；在那个对象前方的物品将与头部运动相反地移动。这些对于物体在相对于人的环境中在空间上位于哪里是十分显著的线索-或许与立体视觉一样强力。当然，头部运动也用于环视对象。
进一步地，头部和眼睛的运动与“前庭眼球反射”协调，“前庭眼球反射”在头部转动期间稳定相对于视网膜的图像信息，因此保持对象图像信息近似居中在视网膜上。响应于头部转动，眼睛在相反的方向上反射地并成比例地转动以保持对对象的稳定注视。这种补偿关系的结果是，许多人可以在前后摇头时读书。有趣的是，如果书以相同的速度前后摇动而头部近似静止时，则通常不是同样的情况，人们不太可能能够阅读移动的书。前庭眼球反射是头部和眼睛运动的协调中的一种，通常不发展于手部的运动。该范例对于增强现实系统很重要，因为用户的头部运动可相对直接地与眼睛的运动相关联，并且系统将优选地易于通过这种关系来工作。
实际上，考虑到这些各种关系，当放置数字内容时(例如，用于增强房间的真实世界视野而呈现的诸如虚拟枝形吊灯对象的3-d内容，或者用于增强房间的真实世界视野而呈现的诸如平面的/平的虚拟油画对象的2-d内容)，可做出设计选择以控制对象的行为。例如，2d油画对象可以头部为中心，在这种情况下对象会围绕着用户的头部移动(例如在
当将虚拟内容放置到采用增强现实系统所呈现的增强现实世界中时，做出这样的选择：对象是否应当被呈现为以世界为中心、以身体为中心、以头部为中心或以眼睛为中心。在头部为中心的方法中，虚拟对象停留在真实世界的位置中，使得用户可围绕着它移动他的身体、头部、眼睛而不用改变它相对于围绕着它的真实世界的对象的位置，诸如真实世界的墙。在身体为中心的方法中，虚拟元素可相对于用户的躯干固定，使得用户可移动他的头部或眼睛而不用移动该对象，但其从属于躯干移动。在头部为中心的方法中，显示的对象(和/或显示器自身)可与头部的移动一起移动，如以上参考
对于世界为中心配置，期望具有以下输入：诸如，准确的头部姿势测量、围绕用户的真实世界对象和几何形状的准确表示和/或测量，在增强现实显示中的作为头部姿势的函数的低延时动态渲染，以及通常的低延时显示。
上面列出的美国专利申请提出了与典型人类的视觉配置一起工作以解决虚拟现实和增强现实应用中的各种挑战的系统和技术。这些虚拟现实和/或增强现实系统的设计存在许多挑战，包括系统在递送虚拟内容中的速度、虚拟内容的质量、用户的适眼距、系统的大小和便携性、以及其它系统和光学挑战。
在此所描述的系统和技术被配置为与典型人类的视觉配置一起工作以解决这些挑战。
技术实现要素：
本发明的实施例涉及一种用于促进针对一个或多个用户的虚拟现实和/或增强现实交互的设备、系统和方法。在一个方面中，公开了一种用于显示虚拟内容的系统。
在一个或多个实施例中，增强现实显示系统包括：空间光调制器，其操作地耦合到用于投射与一帧或多帧图像数据相关联的光的图像源；以及可变焦元件(vfe)，其用于改变投射光的焦点，使得第一帧图像数据在第一个深度平面处聚焦，并且第二帧图像数据在第二深度平面处聚焦，并且其中，第一深度平面和第二深度平面之间的距离是固定的。
在一个或多个实施例中，第一深度平面不同于第二深度平面。在一个或多个实施例中，空间光调制器包括dlp。在一个或多个实施例中，dlp以360hz的功率操作。在一个或多个实施例中，vfe是可变形镜膜。
在一个或多个实施例中，vfe在逐帧的基础上改变焦点。在一个或多个实施例中，空间光调制器是高刷新速率显示器。在一个或多个实施例中，同时感知第一深度平面和第二深度平面。在一个或多个实施例中，系统还包括一组光学元件以将聚焦的光递送到用户的眼睛。
在一个或多个实施例中，一帧或多帧图像数据包括三维场景的切片。在一个或多个实施例中，以时间顺序的方式提供一帧或多帧图像数据。在一个或多个实施例中，增强现实显示系统还包括用于投射与一帧或多帧图像数据相关联的光的另一空间光调制器。
在一个或多个实施例中，其它空间光调制器包括lcd。在一个或多个实施例中，增强现实系统还包括调节跟踪模块，以跟踪用户的眼睛的聚散度，其中，vfe至少部分地基于跟踪的聚散度来改变投射光的焦点。在一个或多个实施例中，第一深度平面对应于光学无穷远，并且第二深度平面对应于比光学无穷远更近的深度平面。
在另一方面中，一种显示增强现实的方法包括：投射与第一帧图像数据相关联的光；将与第一帧图像数据相关联的光聚焦在第一深度平面处；投射与第二帧图像数据相关联的光；以及将与第二帧图像数据相关联的光聚焦在第二深度平面处，其中，第一深度平面不同于第二深度平面，并且其中，在被用户观看时，第一深度平面和所述第二深度平面被同时感知。
在一个或多个实施例中，ar系统还包括跟踪用户眼睛的聚散度，其中，所述光至少部分地基于所跟踪的聚散度来聚焦。在一个或多个实施例中，第一深度平面对应于在z方向上距离用户的第一距离，并且第二深度平面对应于在z方向上距离用户的第二距离，并且其中，第一深度平面和第二深度平面之间的间隔随时间保持不变。在一个或多个实施例中，该方法还包括：投射与第三帧图像数据相关联的光；将与第三帧图像数据相关联的光聚焦在第一深度平面处。
在一个或多个实施例中，第一深度平面对应于光学无穷远。在一个或多个实施例中，第一帧图像数据和第二帧图像数据是连续的帧。在一个或多个实施例中，第一和第二帧图像数据的焦点在逐帧的基础上变化。在一个或多个实施例中，该方法还包括将聚焦的光递送到用户的眼睛。
在一个或多个实施例中，第一和第二帧图像数据包括三维场景的切片。在一个或多个实施例中，以时间顺序方式提供第一和第二帧图像数据。在一个或多个实施例中，第一深度平面对应于光学无穷远，以及第二深度平面对应于比光学无穷远更近的深度平面。
在一个或多个实施例中，投射光通过可变焦元件来聚焦。在一个或多个实施例中，可变焦元件是可变形膜镜。
在另一方面中，增强现实显示系统包括：空间光调制器，其可操作地耦合到用于投射与一帧或多帧图像数据相关联的光的图像源；眼睛跟踪系统，用于确定用户的眼睛的焦点；以及可变焦元件(vfe)，其耦合到一组光学件，其用于至少部分地基于用户的眼睛的焦点将一帧或多帧图像数据中的至少一帧聚焦在深度平面上。
在一个或多个实施例中，增强现实显示系统还包括模糊模块，用于至少部分地基于深度平面被投射的距离，可变地模糊对应于一帧或多帧图像数据的一个或多个虚拟对象，并且其中一个或多个虚拟对象对应于与深度平面相比的不同深度。在一个或多个实施例中，空间光调制器包括dlp。
在一个或多个实施例中，dlp以大约120hz的功率操作。在一个或多个实施例中，多帧图像数据被投射在深度平面处，并且其中，多帧图像数据中的一帧的至少一部分被模糊。在一个或多个实施例中，vfe包括光折射膜透镜。
在一个或多个实施例中，空间光调制器是高刷新速率显示器。在一个或多个实施例中，增强现实显示系统还包括一组光学元件以将聚焦的光递送到用户的眼睛。在一个或多个实施例中，一帧或多帧图像数据包括三维场景的切片。
在一个或多个实施例中，以时间顺序的方式提供一帧或多帧图像数据。在一个或多个实施例中，至少部分地基于所确定的调节在z方向上的范围内移动深度平面。
在另一方面中，一种显示增强现实的方法包括：确定用户的眼睛的焦点；投射与图像数据的帧相关联的光；至少部分地基于所确定的用户的眼睛的焦点来聚焦与图像数据的帧相关联的光以生成深度平面；以及至少部分地基于用户的眼睛的焦点的变化在z方向上的范围内移动深度平面。
在一个或多个实施例中，该方法还包括至少部分地基于深度平面被生成的距离来模糊在第一帧图像数据中的一个或多个虚拟对象，并且其中，一个或多个虚拟对象对应于与深度平面相比的不同深度。在一个或多个实施例中，光通过空间光调制器来投射。
在一个或多个实施例中，空间光调制器包括dlp。在一个或多个实施例中，dlp以大约120hz的功率操作。在一个或多个实施例中，多帧图像数据被投射在深度平面处，并且其中，多帧图像数据中的一帧的至少一部分被模糊。
在一个或多个实施例中，深度平面至少部分地通过可变焦元件(vfe)来生成。在一个或多个实施例中，vfe包括光折射膜透镜。在一个或多个实施例中，空间光调制器是高刷新速率显示器。
在一个或多个实施例中，该方法还包括通过一组光学元件将光递送到用户的眼睛。在一个或多个实施例中，图像数据的帧包括三维场景的至少一个切片。在一个或多个实施例中，以时间顺序方式提供一帧或多帧图像数据。
在另一方面中，一种增强现实显示系统包括：至少一个空间光调制器，其可操作地耦合到用于投射与一帧或多帧图像数据相关联的光的图像源；以及波导的堆叠，该波导的堆叠中的第一波导具有第一衍射光学元件，该第一光学衍射元件被配置为接收与一帧或多帧图像数据相关联的光，并修改所接收的光的至少一个特性，使得其在第一深度平面处被感知，并且波导的堆叠中的第二波导具有第二衍射光学元件，该第二衍射光学元件被配置为接收与一帧或多帧图像数据相关联的光，并修改所接收的光的至少一个特性，使得它在第二深度平面处被感知，其中，第一深度平面不同于第二深度平面。
在一个或多个实施例中，增强现实显示系统还包括眼睛跟踪模块，以确定用户的眼睛的调节，其中，至少部分地基于所确定的用户的眼睛的调节来选择波导的堆叠中的波导。
在一个或多个实施例中，空间光调制器包括光纤扫描设备(fsd)。在一个或多个实施例中，波导的堆叠包括六个波导。在一个或多个实施例中，增强现实显示系统还包括至少一个空间光调制器中的第一空间光调制器，以及至少一个空间光调制器中的第二空间光调制器，其中第一波导接收来自第一空间光调制器的光，以及第二波导接收来自第二空间光调制器的光。
在一个或多个实施例中，第一深度平面和第二深度平面被用户同时感知。在一个或多个实施例中，至少一个特性包括光线撞击用户的眼睛的角度。在一个或多个实施例中，特性对应于准直光线，该准直的光线被感知为光学无穷远。
在一个或多个实施例中，特性对应于递送发散光线，该发散光线在比光学无穷远更近的距离处被感知。在一个或多个实施例中，至少一个空间光调制器在逐帧的基础上改变光投射在其上的波导的堆叠中的波导。在一个或多个实施例中，增强现实显示系统还包括一组光学元件以将聚焦的光递送到用户的眼睛。在一个或多个实施例中，一帧或多帧图像数据包括三维场景的切片。在一个或多个实施例中，以时间顺序方式提供一帧或多帧图像数据。
在另一方面中，一种显示增强现实的方法包括：投射与第一帧图像数据相关联的光；在波导的堆叠的第一波导处接收与第一帧图像数据相关联的投射光，第一波导包括第一衍射光学元件；修改与第一帧图像数据相关联的投射光；以及将修改的光递送到用户的眼睛，其中，与第一帧图像数据相关联的修改的光在第一深度平面处被感知。
在一个或多个实施例中，该方法还包括：投射与第二帧图像数据相关联的光；在波导的堆叠的第二波导处接收与第二帧图像数据相关联的投射光，第二波导包括第二衍射光学元件；修改与第二帧图像数据相关联的投射光；以及将修改的光递送到用户的眼睛，其中，与第二帧图像数据相关联的修改的光在第二深度平面处被感知。
在一个或多个实施例中，第一深度平面不同于第二深度平面。在一个或多个实施例中，第一深度平面和第二深度平面被同时感知。在一个或多个实施例中，该方法还包括跟踪用户的眼睛的聚散度，以及基于跟踪的聚散度确定用户的眼睛的调节。
在一个或多个实施例中，至少部分地基于所确定的调节来选择波导的堆叠中的第一波导。在一个或多个实施例中，波导的堆叠包括六个波导。在一个或多个实施例中，投射光的修改包括改变光线撞击用户的眼睛的角度。在一个或多个实施例中，投射光的修改包括准直光线，准直的光线被感知为光学无穷远。
在一个或多个实施例中，投射光的修改包括传送发散光线，发散光线在比光学无穷远更近的距离处被感知。在一个或多个实施例中，该方法还包括在逐帧的基础上选择波导的堆叠中的波导。在一个或多个实施例中，一帧或多帧图像数据包括三维场景的切片。在一个或多个实施例中，以时间顺序方式提供一帧或多帧图像数据。
在又一方面中，一种可变焦元件(vfe)包括密封的透镜室，其包括由部分屏障限定的两个半部，两个半部中的第一半部容纳具有第一折射率的第一不混溶液体，以及两个半部中的第二半部容纳具有第二折射率的第二不混溶液体，其中第一半部的第一不混溶液体和第二半部的第二不混溶液体在密封透镜室的中间处形成光学界面，第一压电环位于密封透镜室的第一半部中，使得在第一压电环上施加压力来修改光学界面，并且第二压电环位于密封透镜室的第二半部中，使得在第二压电环上施加压力来修改光学界面。
在一个或多个实施例中，光学界面用作透镜，并且其中，光学界面被可变地修改以改变透镜的焦点。在一个或多个实施例中，密封的透镜室没有空气。在一个或多个实施例中，所施加的压力改变光学界面的曲率。
在一个或多个实施例中，第一光学界面对应于第一焦点。在一个或多个实施例中，第二光学界面对应于第二焦点。在一个或多个实施例中，第一焦点产生第一深度平面。在一个或多个实施例中，第二焦点产生第二深度平面。在一个或多个实施例中，第一不混溶液体的体积保持恒定。在一个或多个实施例中，第二不混溶液体的体积保持恒定。在一个或多个实施例中，通过机械装置施加压力。
在又一方面中，一种可变焦元件(vfe)包括密封的透镜室，其包括由环形结合部限定的两个半部，两个半部中的第一半部容纳具有第一折射率的第一不混溶液体，并且两个半部中的第二半部容纳具有第二折射率的第二不混溶液体，其中，环形结合部在第一和第二不混溶液体之间部分地形成物理屏障，其中第一半部的第一不混溶液体和第二半部的第二不混溶液体在环形结合部的中心处形成在密封的透镜室的中间的光学界面，使得在环形结合部上施加压力来修改光学界面的曲率。
在一个或多个实施例中，光学界面用作透镜，并且其中，光学界面被可变地修改以改变透镜的焦点。在一个或多个实施例中，密封的透镜室没有空气。在一个或多个实施例中，所施加的压力改变光学界面的曲率。在一个或多个实施例中，第一光学界面对应于第一焦点。
在一个或多个实施例中，第二光学界面对应于第二焦点。在一个或多个实施例中，第一焦点产生第一深度平面。在一个或多个实施例中，第二焦点产生第二深度平面。在一个或多个实施例中，第一不混溶液体的体积保持恒定。在一个或多个实施例中，第二不混溶液体的体积保持恒定。在一个或多个实施例中，通过机械装置施加压力。
在又一方面中，一种方法包括：提供密封透镜室，该密封透镜室包括具有第一折射率的第一不混溶液体，以及具有第二折射率的第二不混溶液体；在第一不混溶液体和第二不混溶液体之间形成光学界面；以及修改第一不混溶液体和所述第二不混溶液体之间的光学界面的曲率。
在一个或多个实施例中，光学界面用作透镜，并且其中，光学界面被可变地修改以改变透镜的焦点。在一个或多个实施例中，通过在密封的透镜室的一个半部上施加压力来修改曲率，该半部容纳第一不混溶液体或第二不混溶液体。在一个或多个实施例中，通过在形成在第一和第二不混溶液体之间的部分屏障的环形结合部上施加压力来修改曲率。
在一个或多个实施例中，密封的透镜室没有空气。在一个或多个实施例中，第一光学界面对应于第一焦点。在一个或多个实施例中，第二光学界面对应于第二焦点。在一个或多个实施例中，第一焦点产生第一深度平面。
在一个或多个实施例中，第二焦点产生第二深度平面。在一个或多个实施例中，第一不混溶液体的体积保持恒定。在一个或多个实施例中，第二不混溶液体的体积保持恒定。在一个或多个实施例中，通过机械装置在密封的透镜室的一个半部上施加压力来修改曲率，该半部容纳第一不混溶液体或第二不混溶液体。
在详细的说明书、附图和权利要求中描述了本发明的附加的和其它的目的、特征和优点。
附图说明
附图示出了本发明的各种实施例的设计和使用。应当注意，附图没有按照比例进行绘制，并且相似结构或功能的元件在全部附图中用相似的参考标记表示。为了更好的理解如何获得本发明的各种实施例的上述和其它优点以及目的，以上简要描述的本发明的更详细描述将通过参考其具体实施例来显现，所述具体实施例在附图中示出。需要理解，这些附图仅描绘了本发明的典型实施例，因此并不能认为限制它的范围，本发明将通过使用附图用附加特征和细节来描述和解释，在附图中：
图1示出了在一个示出的实施例中通过可穿戴ar用户设备的增强现实(ar)的用户的视图。
图2a-2e示出了可穿戴ar设备的各种实施例。
图3示出了在一个示出的实施例中人眼的截面视图。
图4a-4d示出了可穿戴ar设备的各种内部处理组件的一个或多个实施例。
图5示出了被配置为多平面聚焦系统的增强现实(ar)系统的一个实施例的平面视图。
图6示出了图5的ar系统的一个示例性配置的平面视图。
图7示出了在图5的ar系统中的多个深度平面的生成的示例性实施例。
图8示出了被配置为可变平面聚焦系统的ar系统的一个实施例的平面视图。
图9示出了图8的ar系统的一个示例性配置的平面图。
图10示出了当改变到三个不同深度平面的聚焦时图8的ar系统的平面视图。
图11示出了在图8的ar系统中的单个深度平面的生成的示例性实施例。
图12示出了混合ar系统的示例性配置的平面视图
图13示出了在图11的ar系统中的两个深度平面的生成的示例性实施例。
图14示出了波导的堆叠的一个实施例的平面视图。
图15示出了包括波导的堆叠以产生多个深度平面的ar系统的一个实施例的平面视图。
图16示出了包括堆叠的pdlc扩散器布置以产生单个或多个深度平面的ar系统的一个实施例的平面视图。
图17示出了通过图15的堆叠的pdlc扩散器布置来增加光束的数值孔径的示例性实施例。
图18示出了机械润湿透镜vfe的示例性实施例。
图19示出了该机械润湿透镜vfe的另一示例性实施例。
具体实施方式
现将参考附图详细描述各种实施例，其作为本发明的示例性示例而提供，以使得本领域技术人员能够实现本发明。值得注意的是，以下附图和示例并不意味着限制本发明的范围。在使用已知的组件(或方法或过程)可以部分或全部实现本发明的特定元件的情况下，将仅描述对理解本发明所需要的这种已知组件(或方法或过程)的那些部分，并且这种已知组件的其它部分的详细描述将被省略以便不会混淆本发明。进一步地，各种实施例通过说明的方式包含与在此涉及的组件等同的现在和未来已知的等同物。
所公开的是用于生成虚拟和/或增强现实的方法和系统。为了提供逼真的和充满乐趣的虚拟现实(vr)或增强现实(ar)体验，虚拟内容必须以距离用户不同的深度呈现，以使得虚拟内容被感知为逼真地放置或源自真实世界深度(与传统的2d显示相反)。该方法接近地模仿了景象的真实世界体验，其中，眼睛不断地改变焦点以便观看在不同深度处的不同对象。例如，人眼的肌肉“绷紧”以便聚焦在附近的对象上，以及人眼的肌肉“放松”以便聚焦在更远处的对象上。
通过以接近地模拟真实对象的方式放置虚拟内容，用户的自然生理响应(例如，对于不同对象的不同聚焦)基本上保持原样，因此提供更逼真和舒适的观看体验。这与传统的vr或ar系统相反，传统的vr或ar系统强迫用户在固定深度平面(例如，像
参考图4a-4d，阐明了一些一般的组件选项。在跟随图4a-4d的讨论的详细描述的部分中，描述了各种系统、子系统、以及组件，用于解决提供用于人类vr和/或ar的高质量、舒适感知的显示系统的目标。
如图4a所示，描述了佩戴耦合到显示系统(62)的框架(64)结构的ar系统用户(60)，该显示系统位于用户的眼睛前面。在所描绘的配置中扬声器(66)耦合到框架(64)，并定位于邻近用户的耳道(在一个实施例中，另个没示出的扬声器定位于用户的另一耳道，以提供立体的/可成形的声音控制)。显示器(62)诸如通过导线或无线连接操作地耦合(68)到本地处理和数据模块(70)，本地处理和数据模块(70)可以各种配置安装，诸如固定地附接到框架(64)，如图4b的实施例中所示的固定地附接到头盔或帽子(80)，嵌入头戴式耳机中，在如图4c的实施例所示的配置中可拆卸地附接到用户(60)的躯干(82)(例如，放置在背包中(未示出))，或在如图4d的实施例所示的皮带耦接式配置中可拆卸地附接到用户(60)的臀部(84)。
本地处理和数据模块(70)可包括低功耗处理器或控制器，以及数字存储器，诸如闪速存储器，两者都可用于辅助以下数据的处理、缓存以及储存：(a)从可操作地耦合到框架(64)的传感器捕获的数据，该传感器诸如图像捕获设备(诸如照相机)、麦克风、惯性测量单元、加速器、指南针、gps单元、无线电设备、和/或陀螺仪；(b)使用远程处理模块(72)和/或远程数据仓库(74)来获得和/或处理的数据，在这样的处理或检索之后可能用于传递到显示器(62)。本地处理和数据模块(70)可诸如通过有线或无线通信链路操作地耦合(76，78)到远程处理模块(72)和远程数据仓库(74)，使得这些远程模块(72，74)彼此操作地耦合并作为对于本地处理和数据模块(70)的可用资源。
在一个实施例中，远程处理模块(72)可包括被配置为分析和处理数据和/或图像信息的一个或多个相对强大的处理器或控制器。在一个实施例中，远程数据仓库(74)可包括相对大规模的数字数据存储设施，其可通过因特网或在“云”资源配置中的其它网络配置来获得。在一个实施例中，在本地处理和数据模块中储存所有数据并执行所有计算，允许从任何远程模块完全自主的使用。
如上所述讨论，为了向用户呈现3d虚拟内容，增强现实(ar)系统在z方向上的不同深度处投射虚拟内容。换言之，向用户呈现的虚拟内容不仅在x和y方向上变化(如大多数2d内容的情况)，也可在z方向上变化，给出一种3d深度的感知。因此，用户可感知虚拟位于非常近(例如，放置在真实桌子的虚拟的书)或位于无穷远距离(例如，在距离用户的很远距离的虚拟的树)或在其之间的任何距离的对象。或者，用户可在不同深度平面处同时感知多个对象。例如，用户可看到出现在无穷远并朝向用户奔跑的虚拟的龙。在另一实施例中，用户可同时看到在距离用户1米的距离处的虚拟的鸟以及在距离用户胳膊长的距离处虚拟的咖啡杯。
可存在产生不同深度的感知的两种主要方法：多平面聚焦系统以及可变平面聚焦系统。在多平面聚焦系统中，系统被配置为在z方向上距离用户固定深度平面上投射虚拟内容。在可变平面聚焦系统中，系统投射一个或多个深度平面，但在z方向上移动深度平面以产生3d感知。在一个或多个实施例中，可变聚焦元件(vfe)可用于改变与虚拟内容相关联的光的焦点，使得光看起来正来自特定的深度。在其他实施例中，与不同焦点对应的硬件组件可战略上用于产生多深度平面的感知，如在下面将进一步详细讨论的。vfe可逐帧地改变光的焦点。
下面的公开内容将经历系统的各种实施例，该系统使用多平面聚焦和/或可变平面聚焦光学元件来产生3d感知。应当理解，其它方法可结合多平面聚焦系统和可变平面聚焦系统的方面。
首先参见图5，示出了具有多平面聚焦元件的ar系统的示例性实施例。如图5所示，ar系统(500)包括多个空间光调制器(504)(例如，在示出的示例中，两个空间光调制器，每个用于一只眼睛)、两个可变焦元件(vfe)(510)、多个光学元件(506)、两个分束器(520)、两个目镜光学元件(508)、图像生成处理器(502)、图形处理单元(“gpu”)(514)、中央处理单元(“cpu”)(516)、以及存储器(512)。应当理解，其的实施例可包括更多或更少的组件，以上列出的组件只是用于说明性目的，不应理解为限制意义。
在一个或多个实施例中，处理器(502)负责生成最终向用户显示的虚拟内容。图像生成处理器(502)可将与虚拟内容相关联的图像或视频转变为能够以3d形式投射给用户的格式。例如，在生成3d内容中，虚拟内容需要被格式化，使得特定图像的一部分在特定深度平面上显示，而其它部分在其它深度平面处显示。处理器(502)可被配置为切割图像，以提供特定图像的3d切片。
例如，交涉要呈现给用户的图像是具有在背景中的一些树的房子的图像。图像可被分割为至少两个深度平面(例如，包括房子的图像的第一切片，其将投射在第一深度平面处；以及包括背景的图像的第二切片，其将投射在第二深度平面处)。在一个或多个实施例中，处理器(502)可编程为向右眼和左眼馈送轻微不同的图像，使得当一起观看时，虚拟内容对用户的眼睛看起来是连贯且舒适的。类似地，可执行许多其它图像处理，以向用户提供最优观看体验。
在一个或多个实施例中，处理器(502)可将图像切割为3d切片或帧切片，或在其它实施例中，图像可被预切割并储存在与处理器(502)相关联的一个或多个数据库中。应当理解，术语“切片”用于指代特定虚拟场景的图像平面或帧切片。换言之，单个虚拟场景可包括多个帧切片或平面。处理器(502)可被配置为与cpu(516)一起执行一组任务。处理器(502)还可包括一组标准计算组件，诸如存储器(512)、一个或多个数据库(未显示)，图形处理单元(gpu)、电池(未显示)等。gpu(514)是专用电子电路，其设计为快速操控并改变存储器以加速打算输出到显示器的在帧缓冲器中的图像的产生。同时，处理器(502)的各种组件使ar系统(500)能够执行所需的各种计算任务。
处理器(502)可包括一组附加的电子组件，诸如微处理器/微控制器、电池、遥测电路、监测电路，以及本领域技术人员所知的其它合适的组件。处理器(502)可执行存储在存储器(512)中的合适的程序，用于引导和控制图像、光学器件、和/或空间光调制器(504)。
应当理解，在一些实施例中，处理器(502)可容纳在可穿戴ar系统的框架(例如，图4a中的框架(62))中。在其它实施例中，图像生成处理器和其它电路可容纳在耦合到可穿戴光学器件的另一组件(例如，图4d中的带包)中。
如图5所示，处理器(502)操作地耦合到空间光调制器(504)，该空间光调制器(504)投射与期望的虚拟内容相关联的光。虽然示出的实施例示出了两个空间光调制器，每个用于用户的一只眼睛，但是可设想其它实施例包括多于两个空间光调制器。在又一实施例中，单个空间光调制器可用于两只眼睛。如上文所讨论的，在一些实施例中，可将特定虚拟图像的轻微不同视图馈送给空间光调制器(504)中的每一个。在一个或多个实施例中，空间光调制器(504)可连接到光源，并可包括调制与图像相关联的光的电路。空间光调制器(504)或显示器可指任何类型的光显示设备。示例可包括数字光处理系统(“dlp”)、数字微镜器件(“dmd”)、液晶显示器(“lcd”)、有机发光二极管(“oled”)、硅基液晶(“lcos”)、或光纤扫描显示器(fsd)。应当理解，ar系统的各种实施例可具体地指用于说明性目的的空间光调制器(例如，dlp、fsd等)的类型，但任何类型的空间光调制器可用在下面的实施例中，并且所描述的实施例不应理解为限制性意义。
空间光调制器的各种方面(例如，速度、尺寸、功率等)可影响系统如何实现3d投射。在一个或多个实施例中，空间光调制器可是dlp。在一个或多个实施例中，可使用空间光调制器的组合(例如，dlp和lcd)。类似地，其它实施例可使用fsd、lcd、oled、lcos等作为空间光调制器。
在示出的实施例中，空间光调制器(504)可是dlp和/或lcd。标准的dlp配置使用mem器件和微镜阵列，其在将光朝向显示器或用户反射的模式和将光远离显示器或用户反射(诸如反射到光阱中)的模式之间触发。因此，dlp本质上是二元的(binary)。dlp通常使用脉冲宽度调制方案来生成灰度图像，其中，为了产生更亮的像素或中间亮度的像素，对于可变占空比，镜(mirror)保持在“开启”状态一个可变的时间量。
因此，为了以适度的帧速率产生灰度图像，dlp以高得多的二元速率运行。在以上所描述的配置中，这种设置对于创建灰度掩膜很有效。然而，如果dlp驱动方案被适配成使得它是在二元模式中闪烁的子图像，那么帧速率可显著地增加-以每秒数千帧。这允许以60帧每秒的速率刷新成百上千的深度平面。
用于德州仪器(texasinstruments)dlp系统的典型的脉冲宽度调制方案具有8比特指令信号(第一比特是镜的第一长脉冲；第二比特是第一比特一半长度的脉冲；第三比特的长度再次减半；等等)，使得该配置可产生第二到第八功率不同的照明等级。在一个实施例中，来自dlp的背光可具有其随dmd的不同脉冲而同步改变的强度，以均衡所产生的子图像的亮度，其是使现存的dmd驱动电子器件能够生成显著更高的帧速率的一种实用方法。
在另一实施例中，可利用对dmd驱动电子器件和软件的直接控制的改变来使镜子始终具有相等的接通持续时间，而不是传统的可变接通持续时间配置，这将有利于更高的帧速率。在另一实施例中，dmd驱动电子器件可被配置为以超过高比特深度图像的帧速率但低于二元帧速率的帧速率来呈现低比特深度图像，使一些灰度级能够在聚焦平面之间混合，同时适度地增加聚焦平面的数量，如下面将进一步描述的。
在一个实施方式中，高帧速率和较低持久性显示器可与较低帧速率和较高持久性显示器结合，以包括相对高频帧顺序体显示器。在一个实施例中，高帧速率显示器具有较低比特深度，并且较低帧速率显示器具有较高比特深度。这些可进行结合，以包括有效的高帧速率且高比特深度显示器，其非常适用于以帧顺序方式来呈现图像切片。采用这种方法，期望地呈现的三维体积功能上被划分成一系列二维切片。
或者，背光的铁电面板显示器也可用在另一实施例中。替代以传统的方式照明lcd面板的背面(即，采用全尺寸荧光灯或led阵列)，传统的照明配置可被移除以适应使用dlp投射仪来在lcd的背面上投射掩模图案(在一个实施例中，掩模图案可是二元的，其中，dlp或者投射照明或者不投射照明；在下面描述的另一实施例中，dlp可用于投射灰度掩膜图像)。
如图5所示，ar系统(500)还包括被配置为改变由空间光调制器(504)生成的光的焦点的vfe(510)。如图5所示，从空间光调制器发射的光被引导到被配置为改变光的焦点的vfe(510)，使得它可在多个深度平面处被用户观看。
在一个或多个实施例中，vfe(510)将投射的光聚焦在期望的深度平面上。vfe(510)可在逐帧的基础上改变投射的光线的焦点。深度平面对应于距离用户的深度(例如，在z方向上的距离)。应当理解，vfe用于多平面聚焦和可变平面聚焦系统中。因此，与多个透镜和镜(例如，506、508和520，如将在下面描述的)结合的vfe被配置用于在期望的深度平面上投射与一个或多个虚拟对象相关联的光，使得它被用户的眼睛感知为3d。
在一个或多个实施例中，vfe(510)可以是折射元件，诸如液晶透镜、电活性透镜、传统的具有可移动元件的折射透镜、基于机械形变的透镜(诸如流体填充的膜透镜，或类似于人类晶状体的透镜，其中柔性元件通过驱动器来弯曲或松弛)、电润湿透镜、或具有不同折射率的多种流体。vfe还可包括可切换衍射光学元件(诸如以聚合物分散液晶方法为特色的一个元件，其中诸如聚合物材料的主介质具有分散在材料内的液晶微滴；当施加电压时，分子重取向，使得它们的折射率不再与主介质的折射率匹配，从而产生高频可切换衍射图案。
一个实施例包括主介质，其中，基于克尔效应的电活性材料(诸如铌酸锂)的微滴分散在主介质内。当与光扫描显示器(诸如光纤扫描显示器或基于扫描镜的显示器)进行耦合时，能够在逐像素或逐行的基础上重新聚焦图像信息。在液晶、铌酸锂、或其它技术用于呈现图案的vfe配置中，该图案间隔可被调制为不仅改变可变焦透镜元件的光焦度，还改变整体光学系统的光焦度-用于变焦透镜类型的功能。
在一个实施例中，多个透镜可以是远心的，因为可改变显示图像的焦点而保持放大率恒定--这与拍摄变焦透镜可配置为将焦点从变焦位置去耦的方式相同。在另一实施例中，透镜可以是非远心的，使得焦点的变化也将从属变焦的变化。采用这种配置，可在软件中采用来自于图形系统的输出与焦点变化同步地动态缩放来补偿这种放大率的变化。
如图5所示，来自vfe(510)的聚焦光穿过将光朝向用户的眼睛引导的多个光学元件(506)。在一些实施例中，可使用分束器(520)。分束器(520)是将入射光束分离或引导为两束或多束的光学器件。在一个或多个实施例中，分束器(520)可被配置为使得入射光的一半被反射，另一半由于全内反射而被透射。在示出的实施例中，分束器(520)可用于(取决于ar系统的设计)分离光束使得它被朝向目镜(508)引导。目镜(508)接收来自分束器(520)的反射光，并将光引导到用户的眼睛中，如图5所示。
已简单描述了整体系统配置，现在将描述各种光学系统的具体配置。现在参考图6，将描述ar系统(600)的示例性实施例。在一个或多个实施例中，ar系统(600)包括dlp(602)、lcd(604)、多个消色差透镜(606)、分束器(608)和vfe(610)。尽管没有示出，图像生成处理器可顺序地将一组虚拟内容的二维切片馈送(例如，帧顺序或时间顺序地)到如图6所示的光学配置。
在图6所示的示例性配置中，dlp(602)和lcd(604)的结合用于产生高刷新速率及高持久性显示。应当理解，ar系统(600)的其它实施例可使用其它空间光调制器，并且下面的描述仅用于提供说明目的。有利的是，该方法允许系统具有高帧速率以及高持久性(其允许用户同时感知多深度平面)。在本实施例中，dlp(602)和lcd(604)的结合以360hz的处理功率来操作，从而生成每秒60帧(例如，生成6个深度平面，如下文将进一步详细描述的)。
如下文将进一步详细描述的，dlp/lcd系统的高帧速率以及高持久性允许被用户同时感知的多深度平面的产生。尽管示出的实施例使用了lcd(604)，应当理解，替代的实施例可没有类似地使用与dlp(602)结合的lcd(604)。应当理解，可以类似地使用其它形式的空间调制器，诸如oled、lcos、fsd等。
应当理解，在一些实施例中，dlp(602)提供灰度图像(如以上所讨论的)。lcd(604)提供色彩图，使得与各种颜色相关联的光通过另一组消色差透镜来投射。
在示出的实施例中，来自dlp(602)的光朝向一组消色差透镜(606)投射。类似地，lcd(604)投射与相同或不同的虚拟内容相关联的光，并且该光穿过另一组消色差透镜(606)。
消色差透镜(606)是被设计用于限制色差和球差的影响的光学元件。换言之，消色差透镜(606)类似地对波长的宽光谱起作用。例如，消色差透镜(606)提供校正来使两个波长在相同平面上聚焦。消色差透镜通常由两种不同类型的材料制成，并被设计为对于不同波长具有恒定焦点(或焦点中的小变化)。由于dlp(602)和lcd(604)投射具有多个波长的光(例如，红、绿、蓝等)，使用消色差透镜(606)以便确保不同波长的光被带到基本上相同的焦点。如图6所示，在光学构造(600)的各种部分处使用消色差透镜，以确保光被带到相同的焦点(例如，从dlp(602)发射的光、从lcd(604)发射的光，来自vfe(610)的光，来自中间像平面(614)的光等)。
如图6所示，来自lcd(604)的光穿过另一组消色差透镜(606)，并靠近分束器(608)。在示出的实施例中，分束器(608)分离光束以使得它被引导到vfe(610)。应当理解，dlp(602)与vfe(610)同步工作以提供期望的帧速率(例如，每秒60帧)。vfe(610)被配置为改变帧的焦点以生成多个固定的深度平面。在本实施例中，vfe(610)是可变形镜膜vfe，其能够快速改变焦点以适应由dlp(602)和lcd(604)产生的帧的速度。在一个实施例中，可变形膜透镜可由非常薄(例如，膜的厚度可是几个微米量级)的反射材料制成，诸如可变形镜膜vfe(610)(例如，由
来自vfe(610)的聚焦光行进穿过两个或多个消色差透镜(606)，并产生中间像平面(614)。中间像平面(614)是具有适当焦点的光，但它不能被用户观看。应当理解，生成中间像平面(614)的位置在基于vfe(610)的聚焦的范围内变化。
来自中间像平面(614)的光可进一步穿过一组消色差透镜和/或放大元件，使得它能够被用户的眼睛观看。例如，中间像平面可不是虚拟图像的真实图像，并需要被反转和/或修改以被眼睛处理。如图6所示，来自中间像平面(614)的光在递送到眼睛之前穿过另一组消色差透镜和/或目镜。
在本示例中，应当理解，离眼睛最近的两组消色差透镜(606)被配置为在中间图像形成后准直从vfe接收的光。因此，在该特定的实施例中，当图像被眼睛观看到时，图像将看起来好像来自无穷远。准直的光(即，互相平行的光束)生成被感知为好像来自无穷远的图像。在其它示例(未显示)中，当vfe聚焦在其它深度平面(非光学无穷远平面)上时，光线将通常发散，使得用户在z方向上的固定深度平面处(例如，比光学无穷远更近)观看深度平面。
在示出的实施例中，ar系统(600)是多平面聚焦系统，该多平面聚焦系统使用以360hz的高处理功率操作的dlp(602)和lcd(604)，这允许以60帧/秒来产生6个深度平面。在当前的技术景观中，这种强大的dlp可在稳定的ar系统配置中良好地工作，但应当理解，技术的进步可允许相同的ar配置相应地变换为便携或可穿戴的ar系统。
假定dlp(602)以360hz(60帧/秒)操作，可每2.8毫秒可生成不同的帧。将其与快速且精确的vfe(610)(诸如以上所讨论的可变形镜膜vfe)耦合，允许多深度平面的快速生成。因此，可以理解，vfe(610)的速度必须足够快以快速改变焦点(在该实施例中，在2.8毫秒内)，使得期望的图像/虚拟内容在正确的深度平面处显示。
图7示出了ar系统(诸如关于图6所讨论的配置)如何生成相对于用户的多个固定的深度平面。图7示出了ar系统(704)和如被ar系统(704)的用户观看到的六个深度平面(702)的配置。在示出的实施例中，六个深度平面(702)在z方向上以距离用户不同的距离间隔开。在一些实施例中，所有六个深度平面可在深度平面(例如，ar系统(600))的固定距离处被用户同时观看。在其它实施例中，仅深度平面的子集可在每帧被用户观看到，但是深度平面可始终在距离用户的相同固定距离处生成。
应当理解，ar系统(704)(例如，诸如ar系统(600))、以及其它多平面聚焦系统通常在固定深度平面(702)(例如，如图7所示的六个深度平面)处显示帧。尽管可类似地使用任何数量的深度平面，以下公开将讨论如在z方向上具有六个固定深度平面(702)的多平面聚焦系统。在六个深度平面中的一个或多个上生成虚拟内容时，产生3d感知，使得用户在距离他的/她的眼睛(例如，在z方向上)的不同距离处感知一个或多个虚拟对象。考虑到人类眼睛对于距离更近的对象比看起来距离更远的对象更敏感，在距离眼睛更近处生成更多深度平面(702)，如图7所示。在其他实施例中，深度平面(702)可以在距离彼此的相等距离处放置。
深度平面(702)通常以屈光度测量，其是焦距的单位。例如，在一个实施例中，深度平面1可是1/3屈光度远，深度平面2可是1/2屈光度远，深度平面3可是1屈光度远，深度平面4可是1.5屈光度远，深度平面5可是3屈光度远，以及深度平面6可表示无穷远。应当理解，其他实施例可在其它距离/屈光度处生成深度平面。因此，在战略上放置的深度平面处生成虚拟内容中，用户能够感知3d中的虚拟对象。
例如，第一虚拟对象可在深度平面1上被感知，而另一虚拟对象可被感知为在深度平面6上源自无穷远处。或者，虚拟对象可首先在深度平面6处显示，然后深度平面5等等，直到虚拟对象看起来距离用户非常近(例如，虚拟怪物朝向用户跑来)。在另一实施例中，所有六个深度平面可集中在距离用户特定焦距上。例如，如果将要显示的虚拟内容是距离用户半米远的咖啡杯，则所有六个深度平面可在咖啡杯的各种截面处生成，给用户咖啡杯的高度粒化的3d视图。应当理解，以上示例用于说明性目的而被高度简化，并且可类似地预见许多其它深度平面的配置。
在图6的ar系统(600)的情况中，dlp(602)和lcd(604)的高处理能力与可变形镜膜vfe(610)的能力结合以快速地改变焦点，这允许在距离用户的不同距离处的深度平面的快速生成。这与显示的持久性结合给出多个深度平面的同时感知。例如，可在第一2.8毫秒产生深度平面1(例如，以1/3屈光度聚焦)，可在下一个2.8毫秒(5.6毫秒)产生深度平面2(例如，以1/2屈光度聚焦)等，直到在16毫秒产生第六深度平面(例如，在无穷远处聚焦)。
换言之，空间光调制器(例如，dlp(602))操作的高速度(允许虚拟内容的快速生成)与可变形镜膜vfe610(允许在期望深度平面上聚焦图像的快速变化)耦合运行，提供能够向用户快速地投射多个深度平面的多平面聚焦系统。假定以该高速度生成深度平面(在第一个16毫秒内生成所有六个像平面)，那么人类眼睛将它们感知为同时的深度平面。换言之，由于眼睛的持久性，基本上一起观看到所有六个深度平面。
由于尺寸和便携性的限制，这种高处理能力(360hz)的dlp不容易用在可穿戴版本的ar系统中。另外，用在ar系统(600)中的可变形镜膜vfe可能极薄，因此对外部环境的变化高度敏感，其难于在可穿戴ar系统模型中使用。然而，应当理解，系统(600)可利用其它vfe或其它空间光调制器并可与以上的描述起相似的作用。
现在参考图8，现在将描述可穿戴ar系统(800)的一个版本的示例性实施例。与ar系统(500)类似，ar系统(800)也包括图像生成处理器(802)(例如，具有附加的组件：gpu(814)、cpu(816)、以及存储器(812))、空间光调制器(例如，dlp、lcd、oled、lcos、fsd等)(804)、多个透镜/光学元件和镜(806)、vfe(810)、弯月透镜或目镜(808)、以及眼睛跟踪子系统(820)。应当理解，ar系统(800)可用在各种配置中。一个配置可以是“鸟盆(birdbath)”的配置，其是指在ar设备的顶部容纳一组光学元件和空间光调制器(例如，与图4b类似的ar设备的头盔形状因子)的头盔配置，使得光向下行进过空间光调制器和一组光学器件并被馈送到目镜的顶部。在其它配置中，该组光学器件和空间光调制器被容纳在侧边上，使得光横向行进通过空间光调制器和该组光学元件，并被馈送到目镜的侧部(例如，与图4c类似的形状因子)。
ar系统(800)的多个组件与以上所描述的ar系统(500)类似，因此将不再重复。如上所讨论，处理器(802)向空间光调制器(804)提供一个或多个图像切片或帧。在一个或多个实施例中，空间光调制器(804)可包括dlp、lcd、lcos、oled或fsd。如上所讨论，ar系统的便携版本不能适应大的且强大的空间光调制器，诸如在ar系统中使用的一个空间光调制器(例如，图6)；因此可使用较小和/或不强大的空间光调制器(例如，dlp)来替代。在示出的实施例中，dlp可以大约120hz来操作，产生60帧/秒。
来自空间光调制器(804)的光然后通过vfe(810)来聚焦，使得图像在期望的深度平面处被用户观看。如上所讨论，在可穿戴配置中使用的vfe(810)更耐用，但是也比在ar系统(600)中使用的vfe更慢。类似地，在本实施例中使用的vfe(810)可不是如在ar系统(600)中所使用的可变形镜膜，而可以是光折射膜透镜，诸如由像
在本实施例中，假定仅以20帧/秒生成帧，那么vfe仅以20帧/秒切换焦点。为此，不是一次同时地显示所有六个深度平面，而是生成单个深度平面以与用户的焦点一致，如下面将进一步描述的。与图5类似，来自vfe的光穿过一组光学元件(806和808)并传输到用户的眼睛。
如上所讨论的，ar系统(800)是可变焦平面系统。不是生成六个(或更多)深度平面，而是系统被配置为产生在z方向上可移动的单个深度平面，使得产生的深度平面与用户的焦点一致。
为此，除了以上所描述的元件(也在前面实施例中呈现的元件)之外，本实施例还包括被配置为跟踪眼睛的焦点的眼睛跟踪子系统(820)。每只眼睛相对于彼此可单独且独立地跟踪。在一个或多个实施例中，每一只眼睛可由专用的眼睛跟踪系统来跟踪。在其它实施例中，两只眼睛都可由单眼跟踪系统来跟踪。在另一实施例中，单眼跟踪系统可具有两个跟踪器，每一个跟踪器被配置为用于每一只眼睛。眼睛跟踪子系统(820)可以是物理地或通信地耦合到图像生成处理器(802)以及其它电路，使得vfe(810)在与用户的眼睛的焦点一致的平面上聚焦图像。
在一个或多个实施例中，眼睛跟踪子系统(820)测量两只眼睛汇聚的距离。例如，如果用户的眼睛彼此平行，则眼睛跟踪子系统(820)可确定用户的焦点是在光学无穷远处。眼睛跟踪子系统(820)的其它实施例可使用其它方法来估计或确定用户的眼睛的焦点。应当理解，眼睛跟踪子系统(820)可包括处理/控制电路等，并进一步地被配置为与图像生成处理器以及系统的其他组件进行通信。系统的其余组件与之前以上所描述的前面系统(500)类似。
现在参考图9，现在将描述可变平面聚焦系统(例如，ar系统(800))的具体配置(900)。在本实施例中，可变平面聚焦系统(900)包括dlp(902)、一组消色差透镜(904)、vfe(906)、分束器(908)、中间像平面(940)、以及弯月透镜(910)。
如图9所示，与各种虚拟图像切片/帧切片相关联的光(例如，由处理器(未示出)馈送)从dlp(902)被投射。来自dlp(902)的光行进通过一组消色差透镜(904)(例如，其修改不同波长的光的焦点以基本上具有相同的焦点，如上所讨论的)并被馈送到vfe(906)。
如上所讨论的，vfe(906)将光聚焦，使得光看起来来自期望的平面。尽管在图9中没有示出眼睛跟踪子系统，应当理解，图像通常基于来自眼睛跟踪子系统的输入来产生。换言之，来自眼睛跟踪系统的数据与vfe通信，并且vfe相应地产生最接近用户的当前聚焦状态的深度平面。
一旦vfe(906)已经相应地聚焦了光，然后光行进穿过另一组消色差透镜(906)，使得中间像平面(940)被产生。如上所讨论的，与中间像平面(940)对应的光在它被眼睛观看到之前必须被修改，并且因此，在一些实施例中，可穿过将光引导到用户的眼睛的分束器(908)和弯月透镜或目镜(910)。
分束器(908)将光束分离并并将光朝向弯月透镜(910)反射。然后弯月透镜(910)将光引导到用户的眼睛中。
在示出的实施例中，到达用户的眼睛的光被准直(例如，用户感知光束是来自光学无穷远)。当然，当在不同的深度平面上聚焦时，光束可替代为发散，仿佛来自比光学无穷远更近的深度平面。
现在参考图10，示出了可变平面聚焦系统的示例性的一系列配置。各种配置包括与关于图9所讨论的相同的组件，并且因此将不再重复。
在示出的实施例中，在(1002)中，vfe(1014c)将来自dlp(1012c)的光聚焦到距离用户0.33米的深度平面。如图10右边所示，中间像平面(1016c)基于vfe(1014c)的焦点的变化来生成。在(1004)中，vfe(1014b)将来自dlp(1012b)的光聚焦到距离用户0.67米的深度平面。如图10中间所示，中间像平面(1016b)基于vfe(1014b)的焦点的变化来生成。类似地，在(1006)中，vfe(1014a)将来自dlp(1012a)的光聚焦到光学无穷远处的深度平面。如图10中间所示，中间像平面(1016b)基于vfe(1014b)的焦点的变化来生成。在示出的实施例中，中间像平面(例如，1016a、1016b和1016c)还随着vfe将光的焦点变化到不同的深度平面而变化。
图11示出了可变平面ar系统(诸如关于图8-10所讨论的配置)如何生成可相对于用户横向平移的单个深度平面。图11示出了ar系统(1104)和由ar系统(1104)的用户观看的单个深度平面(1106)。在示出的实施例中，生成了单个深度平面，但是单个深度平面(1102)(对于每一帧)可在z方向上的范围(1106)内移动。
换言之，可变平面聚焦系统(例如，图8-10)可基于用户当前的聚焦状态在z方向上的范围内横向平移单个深度平面。如果用户的眼睛聚焦在邻近用户的物理对象上，则移动单个深度平面使得它与焦距一致，并且虚拟对象显示在该深度平面上。例如，如果用户的眼睛放松并且正看向空间(眼睛彼此平行)，深度平面可进一步地向外移动，使得虚拟对象看起来来自无穷远。如图11所示，ar系统(1104)将图像聚焦在与用户的焦点一致的单个深度平面(1102)上。单个深度平面(1102)可以在范围(1106)内移动到z方向上距离用户的任何距离(例如，非常接近用户到光学无穷远)，如图11所示。
为了补偿仅投射一个深度平面(例如，以60帧/秒)的事实，可利用模糊软件技术来提供多深度平面的感知。假设不止一个虚拟对象意在投射给用户，并假设虚拟对象打算在不同的深度平面处，则系统可以使不在投射深度平面中的虚拟对象模糊。换言之，两个虚拟对象在单个深度平面上渲染，但是一个(或它们的多个)虚拟对象(与用户的焦点相比意在看起来更近/更远的那个)将对用户显得模糊。
例如，如果虚拟内容包括虚拟咖啡杯和在背景中飞行的龙，如果用户的眼睛聚焦在桌子上，则单个深度平面将在用户的焦点处生成，并且该单个深度平面将包括焦点中的虚拟咖啡杯，但是将附加地还显示在背景中飞行的模糊版本的龙。或者如果用户的眼睛朝向无穷远处聚焦，则单个深度平面将在无穷远处生成，但是龙可以在焦点中出现，而咖啡杯通过软件模糊而被模糊。
或者，继续相同的示例，如果用户的眼睛转向龙，眼睛跟踪系统(820)可以检测焦点的偏移(例如，眼睛跟踪子系统可检测用户眼睛的会聚的变化)，然后在焦点中渲染龙并模糊咖啡杯，但此时，单个深度平面在无穷远处生成。应当理解，人眼花费200-300毫秒的秒数数量级来将其焦点从近的对象改变到远的对象或反之亦然。然而，ar系统被配置为以每秒大约60帧快速地生成帧。因此，由于与人眼相比时，ar系统以更快的速度操作，用户眼睛能够舒适地适应焦平面的变化。
因此，从上述示例可以理解，为了产生3d感知，可变平面聚焦系统产生一个(或多个)有限的深度平面，该一个(或多个)有限深度平面被投射在与用户的眼睛的焦距一致的深度平面处。通过使用眼睛跟踪子系统(820)，ar系统(800)能够使用较小处理能力的空间光调制器和较慢的vfe，如上所讨论的。
应当理解，可变平面聚焦系统的精度与眼睛跟踪子系统的精度和效率以及vfe元件的速度直接相关。眼睛跟踪子系统(820)必须能够快速测量和确定用户的眼睛的焦距，并且vfe元件必须在该距离处精确地聚焦深度平面。这花费大量的处理能力和速度，其通常是可穿戴ar系统的限制，如上面详细讨论的。为此，在ar系统的又一实施例中，混合系统可用于生成3d虚拟内容。
现在参考图12，将更详细地描述类似于图9和图10的ar系统的混合配置。混合ar系统(1200)包括与图9的ar系统(900)基本相同的元件。为了简洁的目的，将仅描述混合ar系统(1200)的关键组件，并且应当认识，其余组件将类似于图9的配置进行工作。
如图12所示，来自dlp(1206)的光可投射与虚拟内容的2d切片相关联的光。然后，光可以穿过一组消色差透镜(1208)，该组消色差透镜被配置为确保不同波长的光被带到基本上相同的焦点，如上所讨论的。来自消色差透镜(1208)的光然后撞击具有长范围vfe元件(1202)和两个状态聚焦元件(1204)的vfe部件。
在混合ar系统(1200)中，系统不是使用单个vfe，而是使用长范围vfe元件(1202)和两个状态聚焦元件(1204)两者。长范围vfe(1202)被配置为沿着深度平面的大范围(类似于图11的可变平面系统)起作用，而两个状态聚焦元件(1204)被配置为在彼此的小范围(类似于图7的多平面系统)内生成两个深度平面。
长范围vfe元件(1202)可以例如能够具有相对大的聚焦范围，诸如0-3屈光度。为了说明的目的，这种vfe(1202)可以在其瞬态响应时间上受到限制。如果单独使用，这种长范围vfe(1202)可以在来自可操作地耦合的图像源的多个显示帧的过程中调节焦点，但是不能以可操作地耦合的显示器的刷新率在逐帧的基础上在期望聚焦状态之间足够快地调制。例如，长范围vfe(1202)可以响应于人类调节或聚散的变化或响应于在所显示的立体场景内的元素的移动来调节显示焦点。
标记为(1204)的两个状态聚焦vfe可以包括可以在聚焦状态之间比vfe(1202)更快地切换的vfe，但是受限于它的总聚焦范围(例如，0至0.3屈光度)和/或可以产生的聚焦状态的数量(例如，两个聚焦状态)。通过将长范围vfe(1202)和两个状态vfe1204串联放置，它们的总光功率被结合，使得每个vfe的聚焦状态影响可操作地耦合的显示器的焦点。
例如，如果需要在1屈光度的距离处产生两个深度平面，则长范围vfe(1202)可以被配置为在大约1屈光度距离处聚焦两个深度平面，而两个状态聚焦元件(1204)可以被配置为在彼此的短距离内(例如，距离彼此的0.3屈光度的固定距离)生成两个深度平面。换言之，长范围vfe(1202)在z方向上距离用户大约正确的距离处聚焦两个深度平面，而两个状态聚焦元件(1204)相对于彼此放置两个深度平面。在一个或多个实施例中，在两个深度平面之间的距离可以是固定的。从组合的vfe(1202和1204)出射的光在撞击用户的眼睛之前，可然后穿过另一组消色差透镜(1208)以及与图9的组件类似的剩余组件(未示出)。
混合系统(1200)结合了多平面聚焦系统和可变平面聚焦系统两者的元件。为了解决眼睛跟踪子系统和/或vfe中的缺陷，不是生成基于跟踪用户的眼睛而生成的单个深度平面，而是混合系统(1200)在由眼睛跟踪系统确定的焦距处生成两个彼此靠近的深度平面。因此，可以理解的是，混合系统(1200)在眼睛跟踪子系统中建立了误差允许，并且通过将虚拟内容不仅投射在一个深度上而且投射到邻近彼此的两个深度上来解决缺陷。应当理解，在此所描述的两个深度平面系统仅是示例，并且其它实施例可包括全部投射的三个或多个深度平面，以便与用户的焦点一致。
例如，如果确定(例如，通过眼睛跟踪子系统)用户的眼睛在1屈光度的距离处聚焦，而不是在该距离处生成单个深度平面，则混合系统(1200)可替代地生成两个深度平面，其两者接近1屈光度，并且分离虚拟内容，使得它的一半出现在一个深度平面上而另一半出现在另一深度平面上。因此，两个深度平面被用户同时感知(例如，在8ms时在深度平面1处生成的一帧以及在16ms时在深度平面2处生成的另一帧)。这为用户创建了更舒适的观看，并且不严重依赖于眼睛跟踪子系统。假设使用以120hz操作的dlp，则混合ar系统(1200)可以被配置为以60帧/秒来生成两个深度平面。
图13示出了混合ar系统(诸如关于图12所讨论的配置)如何生成相对于彼此的可以相对于用户横向平移的两个深度平面。图13示出了ar系统(1302)和如由ar系统(1302)的用户所观看到两个深度平面(1304)。在所示出的实施例中，在彼此的固定距离内生成两个深度平面(1304)，并且两个深度平面(1304)可以在z方向上的范围(1306)内横向平移。
如上所述，生成两个深度平面(1304)而不是单个深度平面可以弥补在生成单个深度平面时眼睛跟踪子系统(820)中的误差或vfe的精度。在此，一旦已经通过眼睛跟踪系统(820)确定了期望的深度平面的近似位置，则两个深度平面邻近彼此(例如，相对于彼此为固定距离)而被产生。
在又一实施例中，替代使用vfe与一个或多个透镜结合来生成多个深度平面，可通过使用嵌入有深度平面信息的体相全息图或波导类似地生成深度平面。换言之，衍射图案或衍射光学元件(doe)可以嵌入在平面波导内，使得当准直光束沿着平面波导全内反射时，它在多个位置与衍射图案相交。
现在参考图14，将更详细地描述波导(1450)的堆叠，每个波导具有嵌入在各自波导内的不同doe。波导(1450)的堆叠包括六个波导，每个波导具有用于每个波导的单独的doe(1460a-1460f)和内耦合(in-coupling)光栅(1452)。每个波导包括将光衍射到不同深度平面的不同doe图案。
内耦合光栅是指在波导(例如，1460a-1460f)中的开口，来自空间光调制器的光通过该开口被注入。如图14所示，注入的光通过全内反射行进通过每个波导，并且以不同的角度和在不同的位置与每个波导中的嵌入的衍射图案相交。然后，该光中的一些传输通过波导并进入用户的眼睛，如图15所示。
应当理解，每个波导可基于嵌入的衍射图案来不同地衍射光。例如，具有第一doe(1460a)的波导可以准直与任何图像相关联的光，其通过内耦合光栅(1452)注入到波导(1460a)中。具有第二doe(1460f)的另一波导可以被配置为将光发散到与1个屈光度对应的深度平面。具有又一doe(1460e)的又一波导可以被配置为将光发散到与2个屈光度对应的深度平面等。如图14所示，离开波导(1460f)的光与离开波导(1460e)的光相比对应于不同的角度。因此，嵌入在波导内的各种doe以变化的角度发射光，其然后被用户感知为来自不同深度平面。
应当理解，与之前的系统相比，图14的ar系统(1400)之间的关键差异是每个波导中的doe用作vfe，从而消除对单独的vfe的需要。因此，有利地，可以将图像切片(或平面)可被馈送到适当的波导，以便生成期望的深度平面。
例如，波导的堆叠的第一波导可具有被配置为将准直光递送到眼睛的第一衍射图案，其可以表示光学无穷远深度平面。另一波导可被配置为递送注入的光，使得它看起来正来自1米的距离处。又一波导可被配置为递送注入的光，使得它看起来正来自2米的距离处。通过使用堆叠的波导组件，可以理解，可以产生多个深度平面，其中每个波导被配置为在特定深度平面处显示图像。应当理解，尽管可以使用任何数量的波导/全息图，但是以下讨论将集中于被配置为生成六个深度平面的六个堆叠的全息图。换言之，不是使用在不同深度平面状态之间快速切换焦点的vfe，而是波导本身用作vfe，并且根据期望的焦深将光注入到一个(或多个波导)中。
应当理解，堆叠的波导可以进一步被配置为动态的，使得一个或多个波导可以被开启或关闭。在一个实施例中，具有衍射光学元件的一个或多个波导在“开启”状态和“关闭”状态之间是可切换的，在“开启”状态中，衍射光学元件主动衍射，在“关闭”状态中，衍射光学元件不显著衍射的。例如，可切换doe波导可以包括聚合物分散液晶层，其中微滴在主介质中包括衍射图案，并且微滴的折射率可以被切换为基本上匹配主体材料的折射率(在这种情况下，图案不明显地衍射入射光)。在另一实施例中，可以将微滴切换为与主介质的折射率不匹配的折射率(在这种情况下，图案主动地衍射入射光)。关于具有衍射光学元件的波导的更多细节在于2014年11月27日提交的代理人案号为ml20011.00名为“虚拟和增强现实系统和方法(virtualandaugmentedrealitysystemsandmethods)”的美国专利申请no.14/555,585中进行描述。
现在参考图15，现在将描述使用嵌入的衍射引导元件的堆叠的ar系统(1400)的示例性实施例。ar系统(1400)通常包括处理器(1402)(例如，还包括附加组件：存储器(1412)、gpu(1412)、cpu(1416)等)、至少一个fsd(1420)、fsd电路(1410)、耦合光学器件(1422)以及具有衍射元件的至少一组堆叠的波导(1430)。系统(1400)可以(可选地)包括眼睛跟踪子系统(1450)。
ar系统(1400)的许多组件类似于上述的ar系统(500)和(800)，并且因此将不再重复。如上所讨论的，处理器(1402)向可以是fsd电路(1420)的空间光调制器提供一个或多个图像平面，如图15所示。在示出的实施例中，每个眼睛使用一个fsd(1420)。fsd(1420)对应于促进fsd(1420)的功能的fsd电路(1410)。
应当理解，其他实施例可以具有每个眼睛多个fsd(例如，每个波导一个)，但是下面的公开将集中于图15的示例性实施例。虽然所示的实施例使用fsd作为空间光调制器，但是可以类似地使用任何其它空间光调制器(例如，dlp、oled、lcd、lcos等)。
应当理解，当与许多其它空间光调制器相比时，fsd(1420)是紧凑的并且具有高分辨率。因此，它可以在ar系统的可穿戴版本中具有显著效用。在其芯处，fsd(1420)包括一个或多个光纤，其快速振动以产生各种图案以便递送图像。
在一个或多个实施例中，fsd(1420)可以包括单个光纤，或者在其他实施例中，可以包括可以将光分裂成多个通道的多个光纤。在这种实施方式中，光纤可以具有交错的尖端或倾斜或抛光的尖端以弯曲光，从而减少通道之间的光学跨度。光纤可以方便地封装为带状光缆。合适的光学器件可以产生由每个通道产生的各个图像的共轭。fsd(1420)还包括(在以上描述的fsd电路(1410)中)压电换能器(1438)和围绕压电换能器径向布置的一组电极(未示出)。
例如经由帧缓冲器将控制信号施加到与压电换能器相关联的各个电极可以引起光纤的前端或近端振荡或振动。可以通过施加的驱动信号控制振动的大小，以获得任何或各种至少双轴的图案。所产生的图案可以是光栅扫描图案、螺旋扫描图案、蜗形扫描图案、或利萨如(lissajous)或图8的扫描图案。
多芯光纤可以被配置为在显示分辨率增强(即，较高分辨率)中起作用。例如，在一个实施例中，如果单独的像素数据被下发到多芯光纤中的19个芯的紧束，并且该簇以稀疏螺旋图案扫描，其中螺旋的间距近似等于多芯的直径，然后扫描将有效地产生大约是类似地扫描的单芯光纤的分辨率的19倍的显示分辨率。
实际上，使光纤相对于彼此更稀疏地定位可能更实际，因为它是有效的平铺/六边形图案；可以使用其他图案或数量；例如，一簇19个；每个容纳在导管内的3个光纤的配置是可升级或降级的。采用稀疏配置，多芯的扫描通过其自身的局部区域来扫描每个芯，这与其中芯全部紧密地封装在一起并被扫描相反(其中，芯最终与扫描重叠；如果芯与彼此太近，那么芯的数值孔径(“na”)不够大，并且非常紧密封装的芯在某种程度上最终模糊在一起并且不会产生用于显示的可辨别的光斑)。因此，为了分辨率增加，可优选具有稀疏平铺而不是高度密集平铺。关于fsd的功能的更多细节在美国专利申请序列号14/555,585中描述。
因此，fsd(1420)和fsd电路(1410)可以用作具有高分辨率和亮度的紧凑空间光调制。应当理解，由于小的光斑尺寸，fsd通常耦合到光瞳扩展器，例如入射光瞳扩展器或正交光瞳扩展器(未示出)。虽然本实施例将空间光调制器描述为fsd，但应理解，其它实施例可类似地使用任何其它空间光调制器(例如，dlp、lcd、oled、lcos等)。
如图15所示，ar系统(1400)还包括耦合光学器件(1422)，以将来自fsd(1420)的光引导到波导组件(1430)。耦合光学部件(1422)可以指用于将光引导到波导组件(1430)中的一个多个传统透镜。在一个或多个实施例中，可以包括开关元件(未示出)，其可切换地将光引导到波导组件(1430)的特定波导。
波导组件(1430)然后被配置为在期望的深度平面处投射图像，如图14所示。ar系统(1400)还可以包括眼睛跟踪子系统(1450)，其被配置为跟踪用户的眼睛并确定用户的焦点。
在一个实施例中，基于来自眼睛跟踪子系统(1450)的输入，可以仅开启具有特定doe光栅的一个波导。在其他实施例中，可以同时开启具有各自的doe光栅的多个波导，如下面将讨论的。
在一个实施例中，ar系统(1400)可以工作为多平面聚焦系统，像上述的ar系统(600)。换言之，可以同时开启所有六个doe元件(例如，波导组件(1430)的所有六个波导)，使得快速连续地生成六个固定深度平面，其中fsd(1420)快速地将图像信息传送到波导1，然后到波导2，然后到波导3等等。
例如，可以在时间1注入包括在光学无穷远处的天空的期望图像的一部分，并且可以利用保持光的准直的衍射光栅；然后可以在时间2注入更近的树枝的图像，并且可以利用被配置为产生10米远的深度平面的doe；然后可以在时间3注入笔的图像，并且可以利用被配置为产生1米远的深度平面的doe。这种范例可以以快速时间顺序方式重复，使得眼睛/大脑将输入感知为相同图像的所有部分，并且使得多个图像平面/切片被用户几乎同时感知。
如上所述，堆叠的配置(1430)可以利用动态波导(而不是静态波导和透镜)来提供多平面同时聚焦。例如，采用三个同时的焦平面，可以向用户呈现主聚焦平面(例如，基于测量的眼睛调节)，并且+余量和-余量(即，一个对于焦平面更近，一个更远出)可以被用于提供大的聚焦范围，在该聚焦范围中，用户可以在需要更新平面之前进行调节。如果用户切换到更近或更远的聚焦(即，如由调节测量确定)，则这个增加的聚焦范围可以提供时间优点。然后，可以使新的聚焦平面成为中间聚焦深度，其中+余量和-余量切换到任一个，而ar系统校正调节的改变。
然而，这种情况假设fsd(1420)能够足够快地操作以快速生成要注入到多个波导中的不同/图像的不同部分。在另一实施例(未示出)中，具有各自衍射元件的每个波导可以通过单独的fsd(例如，六个不同的fsd，每个将光注入到与特定深度平面对应的各个波导上)来接收光。
换言之，每个fsd以合理的速度操作，使得doe1被注入来自fsd1的携带天空的图像的光，doe2被注入来自fsd2的携带树枝的图像的光，doe3被注入来自fsd3的携带笔的图像的光，等等。因此，通过具有多个fsd，而不是快速生成要馈送到所有六个波导中(并且切换或引导到各个波导)的所有图像的单个fsd，每个fsd仅需要以合理速度操作，该合理速度足以仅将与其图像相关联的光注入到其各自的波导。然而，这种方法虽然从光学的角度来看是理想的，但可能被证明在紧凑的可穿戴ar系统上难以实现。
为此，可以利用眼睛跟踪系统(1450)，使得期望的深度平面(或多个平面)与用户的焦深一致。该实施例的功能在某种程度上类似于上面讨论的可变平面聚焦系统(例如，图11)。在ar系统(1400)的上下文中，基于来自眼睛跟踪系统(1450)的输入，可以开启特定波导，使得在与用户的焦点一致的期望深度平面处生成图像。
例如，如果确定用户的眼睛彼此平行(即，在无穷远处聚焦)，则ar系统可以开启具有被配置为向用户的眼睛递送准直光的doe的波导，使得虚拟图像在光学无穷远处出现，与用户的当前焦点状态一致。在另一示例中，如果眼睛跟踪子系统(1450)确定用户的眼睛发散到在1米距离处的焦点，则替代地可以开启具有被配置为近似地在该范围内聚焦的另一doe的另一波导。应当理解，在该特定实施例中，在任何给定时间(例如，每帧)仅开启一个波导，而关闭其余的doe。
或者，在另一实施例中，类似于上述混合ar系统(1200)，可以同时开启具有其对应深度平面位置靠近在一起的doe的两个波导。
在又一实施例中，为了增加用户的光学器件的视场，可以采用平铺方法使得两组(或多组)堆叠的doe波导被使用，每组具有对应的fsd(或任何其他类型的空间光调制器)。因此，一组堆叠的波导和对应的fsd可以用于将虚拟内容递送到用户的眼睛的中心，而另一组堆叠的波导和另一对应的fsd可以用于将虚拟内容递送到用户眼睛的周边。
类似于上文，每个波导堆叠可以包括具有不同doe的6个波导，每个doe用于6个深度平面中的每一个。将两个堆叠一起使用，用户的视场显著增加。进一步地，具有两个不同的doe和fsd的堆叠提供了更多的灵活性，使得当与投射到用户的眼睛的中心的虚拟内容相比时，可以在用户的眼睛的周边中投射稍微不同的虚拟内容。关于平铺方法的更多细节在同时提交的代理人案号为ml30018名为“用于利用具有可寻址聚焦的自由形态光学系统来显示用于虚拟和增强现实的立体视觉的方法和系统(methodsandsystemsfordisplayingstereoscopywithafreeformopticalsystemwithaddressablefocusforvirtualandaugmentedreality)”的美国临时专利申请序列号62/005,865中描述。
应当理解，堆叠的doe/波导附加地用作入射光瞳扩展器(epe)以增加fsd的数值孔径。由于fsd产生小直径/光斑尺寸的光，所以epe扩展在波导内的光，使得其到达用户的眼睛。在ar系统(1400)的其它实施例中，除了epe之外，系统还可包括正交光瞳扩展器，以在x和y方向上扩展光。关于epe和ope的更多细节在上述引用的美国临时专利申请序列号61/909,174和美国临时专利申请序列号62/005,807中描述。
其他类型的光瞳扩展器可以类似地用于采用fsd的系统中。虽然fsd提供高分辨率、高亮度、并且是紧凑的，但是fsd倾向于具有小的数值孔径(即，小的光斑尺寸)。因此，使用fsd作为空间光调制器的系统通常采用某种类型的光瞳扩展器，其基本上用于增加所生成的光的数值孔径。虽然一些系统可以使用用作epe和/或ope的波导来扩展由fsd生成的窄光束，但是其它实施例可以使用扩散器来扩展窄光束。
在一个或多个实施例中，可以通过蚀刻光纤的端部以产生散射光的小形貌来产生扩散器；在另一变型中，可以利用焊道或喷砂技术，或者直接的砂磨/划伤技术来创建散射形貌。在另一变型中，可以产生类似于衍射元件的工程扩散器，以保持具有期望na的清洁光斑尺寸，该na与使用衍射透镜的概念相关。在其它变型中，pdlc扩散器的堆叠可以用于增加通过fsd生成的光的数值孔径。
在ar系统的又一实施例中，fsd可以用在与上述ar系统(500)或ar系统(800)类似的系统中。然而，为了适应fsd的小光斑尺寸，系统还包括一组pdlc扩散器，其扩展通过fsd生成的光。
转向图16，现在将描述使用该组pdlc扩散器的ar系统(1500)(例如，使用fsd的ar系统(800))的示例实施例。ar系统的该特定实施例包括上述可变平面聚焦系统(例如，ar系统(800))的所有组件：图像生成处理器(1502)(例如，包括附加组件：gpu(1524)、存储器(1522)、cpu(1526)等)、一个或多个vfe(1510)、多个透镜/光学元件和镜(1506)、弯月透镜或目镜(1508)、以及眼睛跟踪子系统(1514)。该系统还包括fsd(1504)，并且该系统还包括堆叠的pdlc扩散器布置(1520)。尽管未示出，但fsd(1504)还可以包括标准fsd电路(未示出)和与图像生成处理器(1502)通信的其它电路，类似于图15所示的。
堆叠的pdlc扩散器(1520)包括一层或多层pdlc扩散器。pdlc扩散器(1520)的堆叠中的每个pdlc扩散器被配置为扩散从vfe(1510)生成的聚焦光并增加所产生的光束的数值孔径。然而，可能难以预测vfe(1520)可在何处聚焦束。因此，不是使用单个pdlc扩散器，而是系统包括一组堆叠的pdlc扩散器(1520)，以在vfe可能聚焦的范围内扩展图像。应当理解，pdlc扩散器(1520)的堆叠可以动态地开启和关闭，使得在任何给定时间点(例如，每帧)仅开启pdlc的堆叠中的一层。ar系统(1500)的其余组件的功能类似于上述关于先前描述的系统所描述的组件，并且为了简洁的目的将不再描述。
更具体地，现在参考图17，具有小na的光束(1602)由fsd(1504)输出，并且由vfe(1510)根据需要进行聚焦。聚焦的光撞击如图17所示的特定pdlc扩散层(1520)(在所示出的实施例中，光撞击第五pdlc层)，然后其用作扩展器(例如，epe)以增加聚焦的光束的数值孔径。然后，聚焦和扩展的光束穿过一组光学透镜/镜(1506)，以在期望的焦平面上生成图像。每个pdlc层具有扩散模式和透明模式，其可以通过向特定pdlc层施加电压来调制。在一个或多个实施例中，仅单个pdlc层每帧处于扩散模式，而其余层处于透明模式。其它实施例可以同时(例如，每帧)激活两个或多个pdlc层。
如上的情况，堆叠的pdlc层的数量对应于期望的深度平面的数量(例如，如图17所示的六个)。光学系统的其余部分(透镜、分束器等)以类似于上述的其它系统(例如，ar系统(800))的方式工作，为了简洁的目的将不再描述。
在一个实施例中，ar系统(1500)可以作为类似于ar系统(500)的多平面聚焦系统，使得vfe产生固定的深度平面，每个深度平面通过相应的pdlc层适当地扩展。这需要被配置为以高帧速率(例如，类似于图1的360hzdlp)生成图像信息的fsd以及能够快速切换焦点以使得快速连续地产生不同焦平面的vfe(例如，类似于ar系统(500)的可变形镜膜vfe)。假设满足上述两个要求，那么该系统可以用作多平面聚焦系统，使得生成深度平面1，随后是深度平面2，之后是深度平面3，等等。当然，这也假设pdlc堆叠能够快速地切换各种层的开启和关闭以跟上快速的vfe。与ar系统(500)中的情况一样，固定深度平面被快速产生，使得用户将其感知为同时生成的多个焦平面。
然而，回来参考图16，在另一实施例中，系统可以使用眼睛跟踪子系统(1514)来确定用户的焦点，并且仅开启与用户的焦点一致的pdlc层。因此，诸如此的系统可以用作可变平面聚焦系统，类似于上述ar系统(800)，使得在任何给定时间点仅产生单个深度平面。例如，假设眼睛跟踪子系统(1514)确定用户的眼睛聚焦在光学无穷远处，则vfe(1510)可以相应地聚焦由fsd生成的图像光束。
然后，该聚焦的光束撞击堆叠的pdlc(1520)的特定层以产生扩展的光束，然后其在到达用户的眼睛之前穿过其余光学件。因此，当以可变聚焦平面方式操作时，眼睛跟踪子系统用于确定应开启pdlc层的哪一层，以相应地扩展来自vfe的聚焦光束。
在所描述的所有各种ar系统中，显然的是，vfe的速度和功能与生成一个或多个深度平面的效率直接相关，使得用户可以感知3d中的虚拟对象。尽管在ar系统(500)中使用的vfe(例如，可变形镜膜vfe)是快速的并且能够以快速的速度改变聚焦平面，但是如上所述它非常薄且脆，因此当用在可穿戴版本的ar系统中时具有挑战性。在ar系统(800)中使用的vfe虽然不太脆，但不能像膜透镜vfe一样快速改变焦点，因此导致生成单个深度平面而不是六个深度平面，并且需要使用眼动跟踪系统。
此外，采用当前vfe，通常存在在vfe改变焦点时导致滞后的稳定时间。这可能部分是因为vfe倾向于本质上是弹性的，并且当以快速的速度改变焦点时，在空气/自然环境的存在下可能自然地移动或摇动(例如，1毫秒的稳定时间)。该稳定时间可以对vfe的速度和效率具有直接影响。因此，能够快速变化但不过度脆弱的vfe在ar系统中是有用的。
为此，可以产生由压电材料驱动的机械润湿透镜vfe，以减少稳定时间并提高vfe的效率。参考图18，机械润湿透镜vfe(1700)包括密封的透镜室(1702)、包含不同折射率n1和n2的两种不混溶液体(1704)和(1706)、第一压电环(1708)和第二压电环(1710)。
密封的透镜室(1702)保持不混溶液体(1704)和(1706)以及压电环(1708)和(1710)。在一个或多个实施例中，密封的透镜室(1702)没有任何空气，使得机械润湿透镜(1700)受到外部环境的影响最小。不混溶液体(1704)和(1706)可以基于它们的不混溶性和它们各自的折射率n1和n2来选择。所选择的液体的类型可以基于vfe(1700)的应用而变化。
如图18所示，液体(具有折射率n1和n2)之间的界面用作可根据需要聚焦的光学表面或光学界面(vfe)(1720)。换言之，光学界面(1720)本身用作vfe，并且可以用于通过由压电环施加不同程度的压力来快速地切换焦点。
如所示出的，光学表面(1720)的形状可以通过由一对压电环(1708)和(1710)施加压力而变化。假定不混溶液体的体积保持恒定，当压电环的尺寸改变时，光学界面(1720)的形状(例如，曲率)必然改变。改变压电环(1708)和(1710)的尺寸改变了液体n1和n2的分布，从而改变了液体界面的曲率。因此，通过控制压电环(1708)和(1710)，可以根据需要改变光学表面(1720)的曲率。
例如，如图18所示，在左侧，压电环(1710)的尺寸大于压电环(1708)的尺寸。因此，液体n2被向上推，在光学表面(1720)中产生曲率。类似地，在右侧，压电环(1708)的尺寸增加，而(1710)保持较小。因此，液体n1向下推动，产生光学表面(1720)的相反曲率。
在又一实施例中，不是使用两个压电环(例如，图18)，机械润湿透镜vfe的另一实施例(1800)而是可以替代使用如图19所示的单个环形弯曲器(1840)。参考图19，不混溶液体n1和n2通过环形弯曲器(1840)类似地分离。然而，不是增加压电环的尺寸，而是可以将环形弯曲器弯曲到各种程度以改变光学表面(1820)的曲率。例如，在左侧，环形弯曲器(1840)被弯曲，使得环的内部被向下推。这导致液体n2在光学表面(1820)上向上推，产生如图19左侧所示的曲率。类似地，在右侧，当环形弯曲器(1840)被弯曲，使得环的外部被向下推，液体n1在光学表面上向下推，产生如图19右侧所示的不同曲率。可以预期，机械润湿透镜vfe(1700或1800)可以用在上述任何ar系统中，而不是标准vfe(例如，ar系统(500)、ar系统(800)、混合系统(1200)或ar系统(1500))。
在前述说明书中，已经参照本发明的具体实施例描述了本发明。然而，将显而易见的是，在不脱离本发明的更广泛的精神和范围的情况下可以对其进行各种修改和改变。例如，参考过程动作的特定顺序来描述上述过程流。然而，在不影响本发明的范围或操作的情况下可以改变许多所描述的过程动作的顺序。因此，说明书和附图被认为是说明性的而不是限制性意义。
在此描述了本发明的各种示例性实施例。在非限制性的意义上参考这些示例。它们被提供是为了示出本发明的更广泛的应用方面。在不脱离本发明的实际精神和范围的情况下，可对所描述的本发明进行各种改变并可用等同物来替换。此外，可以进行很多修改以适应针对本发明的目的、精神或范围的特定情况、材料、物质的组合物、过程、过程动作或步骤。进一步地，如本领域的技术人员可以理解的，在不脱离本发明的范围和精神的情况下，在此描述和示出的每个单独的变形具有独立的组件和特征，其可容易地与其他若干实施例的任意一个的特征分离或组合。所有这些修改意在处于与本公开相关的权利要求的范围之内。
本发明包括可使用主体装置执行的方法。该方法可包括提供这种合适的装置的动作。这种提供可由终端用户执行。换言之，“提供”动作仅需要终端用户的获得、访问、处理、定位、设置、激活、通电或其它动作，以在该方法中提供必要的装置。在此所述的方法可按逻辑上可能的所述事件的任何顺序以及以事件的所述顺序来执行。
以上已经描述了本发明的示例性方面以及关于材料选择和制造的细节。对于本发明的其它细节，可结合以上参考的专利和出版物以及本领域的技术人员通常知道或理解的来理解。就通常或逻辑上采用的附加动作而言，关于本发明的基于方法的方面同样成立。
此外，虽然已经参考可选地包括各种特征的若干示例描述了本发明，但是本发明并不限于被描述或表示为针对本发明的每个变形所预期的。在不脱离本发明的实际精神和范围的情况下，可以对所描述的本发明进行各种变化，并且可用等同物(无论是本文所陈述的还是为了简洁的目的而未被包括的)来代替。此外，如果提供值的范围，则应当理解，在该范围的上限和下限之间的每个中间值和或者在该陈述的范围中的任何其它陈述的或中间值被包括在本发明之内。
此外，可预期的是，所描述的发明变形的任何可选特征可独立或结合在此描述的任何一个或多个特征来陈述和要求权利。提及单数项，包括存在多个相同项的可能性。更具体地，如在此和在相关的权利要求中所使用的，除非另有具体说明，单数形式“一”、“一个”、“所述”和“该”包括复数指代。换言之，在以上描述以及与本公开相关的权利要求中，冠词的使用允许目标项的“至少一个”。还需要注意的是，可起草这种权利要求以排除任何可选要素。因此，该声明意在结合权利要求要素的表述而用作如“单独”、“仅”等这种排他性术语的的使用或者“否定”限制的使用的先行基础。
在不使用这种排他性术语的情况下，在与本公开相关的权利要求中的术语“包括”应允许包括任何附加要素，而不考虑给定数量的要素是否列举在这种权利要求中，或者特征的添加是否被视为变换在权利要求中所陈述的要素的性质。除了在此具体定义之外，在此所使用的全部科技术语应在维持权利要求有效的同时被提供尽可能宽的通常理解的含义。
本发明的宽度并不限于所提供的示例和/或本说明书，而仅由与本公开相关的权利要求语言的范围限定。
所示实施例的上述描述并不旨在穷举或将实施例限制到所公开的精确形式。尽管本文中为了说明的目的描述了具体实施例和示例，但是如相关领域的技术人员将认识到的，可以进行各种等同的修改而不脱离本公开的精神和范围。本文提供的各种实施例的教导可以应用于实现虚拟或ar或混合系统和/或采用用户接口(不一定是上面一般性描述的示例性ar系统)的其它设备。
例如，前面的详细描述通过使用框图、示意图和示例阐述了设备和/或过程的各种实施例。在这些框图、示意图和示例包含一个或多个功能和/或操作的范围内，本领域技术人员将理解，这些框图、流程图或示例内的每个功能和/或操作可以通过大范围的硬件、软件、固件或实际上其任何组合来单独地和/或共同地实现。
在一个实施例中，本主题可以通过专用集成电路(asic)来实现。然而，本领域技术人员将认识到，本文公开的实施例(整体或部分)可以等效地在标准集成电路中实现，作为由一个或多个计算机执行的一个或多个计算机程序(例如，作为在一个或多个计算机系统上运行的一个或多个程序)，作为由一个或多个控制器(例如，微控制器)执行的一个或多个程序，作为由一个或多个处理器(例如，微处理器)执行的一个或多个程序，作为固件，或实际上其任何组合，并且根据本公开的教导，设计电路和/或写入用于软件和/或固件的代码将在本领域普通技术人员的技术范围内。
当逻辑被实现为软件并存储在存储器中时，逻辑或信息可以存储在任何计算机可读介质上，以供任何处理器相关的系统或方法使用或与任何处理器相关的系统或方法结合来使用。在本公开的上下文中，存储器是计算机可读介质，其是包含或存储计算机和/或处理器程序的电子、磁、光或其它物理设备或装置。逻辑和/或信息可以体现在任何计算机可读介质中，以供指令执行系统、装置或设备使用或与其结合来使用，指令执行系统、装置或设备诸如基于计算机的系统、包含处理器的系统或其他系统，其能够从指令执行系统、装置或设备提取指令并执行与逻辑和/或信息相关联的指令。
在本说明书的上下文中，“计算机可读介质”可以是可以存储与逻辑和/或信息相关联的程序以供指令执行系统、装置和/或设备使用或与其结合来使用的任何元件。计算机可读介质可以是例如但不限于电子、磁、光、电磁、红外或半导体系统、装置或设备。计算机可读介质的更具体的示例(非穷尽列举)将包括以下：便携式计算机磁盘(磁的、紧凑型闪存卡、安全数字等)、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom、eeprom或闪存)、便携式光盘只读存储器(cdrom)、数字磁带和其它非临时性介质。
本文所述的许多方法可以用变化的形式来执行。例如，许多方法可以包括附加动作，省略一些动作，和/或以与所示出或所描述的顺序不同的顺序来执行动作。
可以组合上述各种实施例以提供另外的实施例。在不与本文的具体教导和定义不一致的范围内，在本说明书引用的和/或列在申请数据表中的所有美国专利、美国专利申请公开、美国专利申请、外国专利、外国专利申请和非专利出版物。如果需要，可以修改实施例的方面以使用各种专利、申请和出版物的系统、电路和概念来提供另外的实施例。
根据上述详细描述，可以对这些实施例进行这些和其它改变。一般来说，在下面的权利要求中，所使用的术语不应被解释为将权利要求限制于说明书和权利要求中公开的具体实施例，而是应被解释为包括所有可能的实施例以及与要求的权利要求等同的全部范围。因此，权利要求不受本公开限制。
此外，可以组合上述各种实施例以提供另外的实施例。如果需要，可以修改实施例的方面以使用各种专利、申请和出版物的概念来以提供另外的实施例。
根据上述详细描述，可以对这些实施例进行这些和其他改变。一般来说，在下面的权利要求中，所使用的术语不应被解释为将权利要求限制于说明书和权利要求中公开的具体实施例，而是应被解释为包括所有可能的实施例以及与要求的权利要求等同的全部范围。因此，权利要求不受本公开限制。
- 还没有人留言评论。精彩留言会获得点赞！