本发明一般而言涉及眼镜(eyewear)设备，尤其涉及调焦-转向(accommodation-vergence)解决方案中具有焦点可调(tunable)透镜的眼睛设备。
背景技术：
视网膜是指(例如，人的、观看者的，等等)眼睛的内表面的、与眼睛瞳孔相对的、具有视觉传感器的大部分(substantialpart)。中央凹(fovea)是指视网膜的相对小的中间部分，该部分集结(host)眼睛中能够获得最敏锐视觉和最灵敏颜色接收的众多视觉传感器。
人类大脑使用转向过程来控制眼外肌，以同时朝着情景中的任何可见物体会聚(converge)或发散(diverge)(人类)观看者的两只眼睛，以便支持将物体感知为3d物体。同时，人类大脑使用调焦过程来控制睫状肌，来使位于两只眼睛中瞳孔后面的每个眼睛透镜适应于某些焦距(或焦度(power))，以便支持物体的清晰视觉或中央凹视觉。
当在现实世界环境(或情景)中观看现实世界物体时，人类大脑使用自然的相互依赖的调焦和转向过程来同时控制睫状肌和眼外肌，以适应观看者的单独眼睛透镜的两个焦距，以便支持位于某个空间位置的现实世界物体的清晰视觉(或中央凹视觉)，同时朝着某个空间位置处的现实世界物体会聚和发散两只眼睛，以便支持对包括该现实世界物体的现实世界环境的感知。
相比之下，当用近眼显示器(near-eyedisplay)观看3d图像时，人类大脑必须经过重新学习过程，以使用冲突的调焦和转向过程来控制睫状肌和眼外肌。在观看3d图像时这些冲突的调焦和转向过程与在观看现实世界环境中的现实世界物体时调焦和转向过程如何控制睫状肌和眼外肌截然不同地控制睫状肌和眼外肌。
更具体而言，人类大脑需要控制睫状肌，以将观看者的眼睛的眼睛透镜设置为恒定的焦距，以便支持在位于离眼睛固定距离处的近眼显示器上渲染的图像的清晰视觉(或中央凹视觉)，而不管正在被观看者观看的图像中的物体应该位于哪里。同时，当睫状肌固定眼睛透镜的焦距以便在近眼显示器处清晰地观看时，人类大脑仍然需要控制眼外肌，以使眼睛朝着远离近眼显示器一定距离处的、图像中描绘的物体同时会聚或发散，以便支持物体被感知为3d物体。
这被称为调焦-转向冲突。即，在观看3d图像时大脑必须与在观看现实世界物体时非常不同地控制睫状肌和眼外肌。不幸的是，在3d图像观看中的调焦-转向冲突会在观看3d图像期间和之后造成频繁和严重的生理不适/疾病(诸如恶心、头痛、定向障碍等)。
本节中描述的方法是可以追求的方法，但不一定是先前已经设想或追求的方法。因此，除非另有指示，否则不应当假定本节中描述的任何方法仅仅因为它们包含在本节中而有资格作为现有技术。类似地，除非另有指示，否则关于一种或多种方法识别出的问题不应当基于这一节就假定已经在任何现有技术中被认识到。
附图说明
在附图的图中以示例的方式而非限制的方式示出了本发明，并且附图中相同的附图标记是指相似的元件，其中：
图1a示出了示例人类眼睛的横截面图；图1b示出了由左眼和右眼对位于物体平面中的现实世界物体的示例观看；
图2a、图2b和图2d示出了包括左图像和右图像的立体图像中所描绘的(一个或多个)虚拟物体的示例观看；图2c示出了在观看立体图像的时间序列时对观看者的转向角度的示例跟踪；图2e示出了示例模糊滤波器；
图3a直至图3c示出了示例视频流传输服务器和客户端；
图4a和图4b示出了示例处理流程；
图5示出了可以在其上实现如本文所述的计算机或计算设备的示例硬件平台；
图6a直至图6e示出了眼睛的示例视野；
图7a和图7b示出了示例焦点可调透镜；以及
图8a直至图8f示出了示例眼镜设备。
具体实施方式
本文描述涉及在调焦-转向解决方案中具有焦点可调透镜的眼镜设备的示例实施例。在以下描述中，为了解释的目的，阐述了众多具体细节以便提供对本发明的透彻理解。但是，将清楚的是，本发明可以在没有这些具体细节的情况下进行实践。在其它情况下，众所周知的结构和设备未详尽描述，以避免使本发明不必要地封闭、晦涩或模糊。
本文根据以下大纲描述示例实施例：
1.一般概述
2.调焦和转向
3.调焦和转向之间的冲突
4.解决调焦和转向之间的冲突
5.跟踪转向角度
6.视野
7.示例焦点可调透镜
8.示例眼镜设备
9.示例视频流传输服务器和客户端
10.示例处理流程
11.实现机制-硬件概述
12.等同、扩展、替代方案和其他
1.一般概述
本概述给出了本发明的示例实施例的一些方面的基本描述。应当注意的是，本概述不是示例实施例的各方面的广泛或详尽的总结。而且，应当注意的是，本概述不意图被理解为识别示例实施例的任何特别显著的方面或元素，也不划定特定示例实施例的任何范围，也不划定一般而言本发明的范围。本概述仅仅以浓缩和简化的格式给出了与示例实施例相关的一些概念，并且应当被理解为仅仅是下面对示例实施例的更详细描述的概念性前言。要注意的是，虽然在本文中讨论了单独的实施例，但是本文讨论的实施例和/或部分实施例的任何组合可以被组合，以形成其它实施例。
本文描述的示例性实施例涉及眼镜设备。眼镜设备包括左透镜组件和右透镜组件。左透镜组件包括左焦点可调透镜和左焦点固定透镜。右透镜组件包括右焦点可调透镜和右焦点固定透镜。眼镜设备可以用在3d显示应用、虚拟现实应用、增强现实应用、远程呈现应用等中。眼镜设备也可以被用作视觉校正眼镜。
在一些实施例中，视觉设备包括显示立体图像的左图像和右图像的一个或多个图像显示器；如本文所述的眼镜设备；眼镜设备将左图像和右图像投射(project)到依赖于观看者的转向角度的虚拟物体深度。在一些实施例中，视觉设备还包括一个或多个注视跟踪(gazetracking)设备，该注视跟踪设备在运行时跟踪并确定观看者的转向角度。
本文描述的示例实施例涉及解决在通过自动可调透镜渲染和观看3d图像(或多视图图像)时的调焦-转向冲突。一个或多个注视跟踪设备被用来跟踪观看者的左眼和观看者的右眼所指向(directed)的虚拟物体深度。在一个或多个图像显示器上渲染包括左图像和右图像的立体图像。利用眼镜设备的左透镜组件，将左图像投射到虚拟物体深度处的虚拟物体平面。利用眼镜设备的右透镜组件，将右图像投射到虚拟物体深度处的虚拟物体平面。左透镜组件包括左焦点可调透镜和左焦点固定透镜，而右透镜组件包括右焦点可调透镜和右焦点固定透镜。
在一些示例实施例中，如本文所述的机制形成媒体处理系统的一部分，包括但不限于以下任何一个：近眼显示器、基于云的服务器、移动设备、虚拟现实系统、增强现实系统、远程呈现系统、平视(headup)显示设备、头盔式显示设备、zspace显示器、cave型系统或壁挂式显示器、视频游戏设备、显示设备、媒体播放器、媒体服务器、媒体制作系统、相机系统、基于家庭的系统、通信设备、视频处理系统、视频编解码系统、工作室(studio)系统、流传输服务器、基于云的内容服务系统、手持设备、游戏机、电视机、影院显示器、膝上型计算机、上网本计算机、平板计算机、蜂窝无线电话机、电子书阅读器、销售点终端、台式计算机、计算机工作站、计算机服务器、计算机亭，或各种其它种类的终端和媒体处理单元。
本文所描述的优选实施例以及通用原理和特征的各种修改对于本领域技术人员将是清楚的。因此，本公开不意在限于所示的实施例，而是要被赋予与本文所描述的原理和特征一致的最广泛范围。
2.调焦和转向
图1a示出了从观看者头部的正上方观看的、观看者的示例人眼睛100的横截面图。如图所示，眼睛(100)具有穿过位于眼睛(100)的前部的瞳孔104的中心点和位于眼睛(100)的后部的视网膜110中的中央凹106的中心点的光轴102(垂直于横线112)。通过位于瞳孔(104)后面的眼睛透镜108收集的光可以由眼睛透镜(108)投射到中央凹(106)上。仅为了说明的目的，眼睛透镜(108)可以用眼睛焦距而光学地表征。由于眼睛透镜可以表示或可以不表示单个焦距的光学透镜，因此本文所描述的眼睛焦距可以是指以下中的一个：用于靠近(near)光轴(102)的光的焦距、眼睛透镜的中心部分的平均焦距、用于靠近光轴(102)的光的有效焦距、关于投射到中央凹上的光的焦距、相对于中央凹视觉的局部接近完美透镜的焦距等等。应当注意的是，在各种实施例中，眼睛透镜可以被建模为单个透镜或多个透镜，该单个透镜或多个透镜中的一个、一些或全部可以具有例如通过在眼睛(100)中或与眼睛(100)相关联的睫状肌可控制的可变焦点透镜。
图1b示出了由观看者的左眼100-1和右眼100-2对位于物体平面116中的现实世界物体114的示例观看。如图所示，现实世界物体(114)所位于的物体平面(116)垂直于观看者的正面观看方向118，并且平行于观看者的瞳孔间线120。
为了通过左眼(100-1)的左中央凹(106-1)和右眼(100-2)的右中央凹(106-2)两者实现现实世界物体(114)的清晰视觉，观看者的大脑使用转向过程(例如，发散过程、会聚过程等)来同时控制双眼中的眼外肌以朝着现实世界物体(114)定向左眼(100-1)和右眼(100-2)。如果观看者的光轴(102-1和102-2，分别垂直于横线112-1和112-2)先前指向(directedat)比现实世界物体(114)更近的空间点，那么观看者的大脑使用发散过程来控制双眼中的眼外肌以朝着现实世界物体(114)同时发散左眼(100-1)和右眼(100-2)。否则，如果观看者的光轴(102-1和102-2)先前指向比现实世界物体(114)更远的空间点，那么观看者的大脑使用会聚过程来控制双眼中的眼外肌以朝着现实世界物体(114)同时会聚左眼(100-1)和右眼(100-2)。
结果，左眼(100-1)的左光轴(102-1)和右眼(100-2)的右光轴(102-2)(例如，具有正常视觉)在现实世界物体(114)处重合，以使来自现实世界物体(114)的光被投射到左眼(100-1)的左中央凹(106-1)和右眼(100-2)的右中央凹(106-2)上。
在观看现实世界环境/情景中的现实世界物体时，调焦和转向过程/功能在观看者的大脑中不是独立的而是相互依赖的，以控制肌肉朝着物体转向(会聚/发散)并且并发地(例如，适应于)聚焦在同一个物体上。例如，在使用转向过程同时控制双眼中的眼外肌以朝着现实世界物体(114)定向左眼(100-1)和右眼(100-2)的同时，观看者的大脑使用调焦过程来同时控制双眼中的睫状肌以将左眼(100-1)和右眼(100-2)聚焦到现实世界物体(114)上。可以通过调焦过程来调节左眼(100-1)和右眼(100-2)的焦距，使得来自现实世界物体(114)的光(例如，发射的、反射的，等等)被聚焦于与左中央凹(106-1)和右中央凹(106-2)重合的图像平面(或视网膜)处。更具体而言，左眼(100-1)的焦距可以至少部分地基于现实世界物体(114)和左眼透镜(108-1)之间的(左)距离122-1而通过调焦过程来设置，以使来自现实世界物体(114)的光聚焦在与左中央凹(106-1)重合的左图像平面(或左视网膜)处，而右眼(100-2)的焦距可以至少部分地基于现实世界物体(114)和右眼透镜(108-2)之间的(右)距离122-2而通过调焦过程来设置，以使来自现实世界物体(114)的光聚焦在与右中央凹(106-2)重合的右图像平面(或右视网膜)处。在现实世界物体(114)位于离观看者的眼睛某一距离处、该距离远远(例如，十倍等)大于沿着瞳孔间线(120)的观看者的瞳孔间距离(观看者的两只眼睛之间的距离)的场景中，左眼(100-1)和右眼(100-2)的焦距可以由调焦过程调节到相同的焦距或近似相同的焦距。
3.调焦与转向之间的冲突
在一些实施例中，如本文所描述的立体图像或多视图图像可以利用部署在一个或多个空间环境中的一个或多个相机系统来捕获。示例空间环境可以包括但不仅限于仅以下中的任何一个：物理空间环境、模拟空间环境、电影工作室、室外情景、室内情景、隧道、街道、车辆、船舶、飞行器、外部空间等。示例相机系统可以包括但不仅限于以下中的任何一个：3d相机、多视图相机、光场相机、具有重叠和/或非重叠视野的多个相机、数字相机，模拟相机、网络摄像机等。
如本文所描述的立体图像或多视图图像的左图像、右图像、多个不同视图中的特定视图的图像等可以被记录或组装为用于图像帧的分布的像素的像素值。
图2a示出了对包括左图像202-1和右图像202-2的立体图像中描绘的虚拟物体214的示例观看。虚拟物体(214)可以在立体图像中表示为由观看者的左眼(100-1)和右眼(100-2)定位于虚拟物体平面216中。仅为了说明的目的，虚拟物体(214)(虚拟地)位于其中的虚拟物体平面(216)垂直于观看者的正面观看方向(118)，并且平行于观看者的瞳孔间线(120)。
为了通过左眼(100-1)的左中央凹(106-1)和右眼(100-2)的右中央凹(106-2)两者来实现虚拟物体(214)的清晰视觉，观看者的大脑使用转向过程(例如，发散过程、会聚过程等)来同时控制双眼中的眼外肌以朝着虚拟物体(214)定向左眼(100-1)和右眼(100-2)。如果观看者的光轴(102-1和102-2)先前指向比虚拟物体(214)更近的虚拟空间点(在立体图像中绘出)，那么观看者的大脑使用发散过程来控制双眼中的眼外肌以朝着虚拟物体(214)同时发散左眼(100-1)和右眼(100-2)。否则，如果观看者的光轴(102-1和102-2)先前被指向比虚拟物体(214)更远的虚拟空间点(在立体图像中绘出)，那么观看者的大脑使用会聚过程来控制双眼中的眼外肌以朝着虚拟物体(214)同时会聚左眼(100-1)和右眼(100-2)。
结果，左眼(100-1)的左光轴(102-1)和右眼(100-2)的右光轴(102-2)在虚拟物体(214)处重合，以使来自描绘虚拟物体(214)的(左图像(202-1)中的)左像素224-1和(右图像(202-2)中的)右像素224-2的光分别被投射到左眼(100-1)的左中央凹(106-1)和右眼(100-2)的右中央凹(106-2)上。
在转向过程被用来同时控制双眼中的眼外肌以朝着虚拟物体(214)定向左眼(100-1)和右眼(100-2)的同时，观看者的大脑使用调焦过程来同时控制双眼中的睫状肌，以分别将左眼(100-1)和右眼(100-2)聚焦到描绘虚拟物体(214)的左像素(224-1)和右像素(224-2)上。可以通过调焦过程来调节左眼(100-1)和右眼(100-2)的焦距，使得来自描绘虚拟物体(214)的左像素(224-1)和右像素(224-2)的光被聚焦在与左中央凹(106-1)和右中央凹(106-2)重合的相应图像平面(或视网膜)处。更具体而言，左眼(100-1)的焦距可以至少部分地基于左像素(224-1)和左眼透镜(108-1)之间的(左)距离222-1而由调焦过程来设置，使得来自左像素(224-1)的光被聚焦在与左中央凹(106-1)重合的左图像平面(或左视网膜)处，而右眼(100-2)的焦距可以至少部分地基于右像素(224-2)和右眼透镜(108-2)之间的(右)距离222-2而由调焦过程来设置，以使来自右像素(224-2)的光被聚焦在与右中央凹(106-2)重合的右图像平面(或右视网膜)处。在左图像和右图像(202-1和202-2)位于离观看者的眼睛某一距离处、该距离与沿着瞳孔间线(120)的观看者的瞳孔间距离(观看者的两只眼睛之间的距离)可比较(comparable)的场景中，左眼(100-1)和右眼(100-2)的焦距可以由调焦过程分别调节到不同的焦距。
图2a中由观看者的大脑使用的调焦和转向过程/功能与图1b中由观看者的大脑使用的调焦和转向过程/功能非常不同地操作。
例如，如先前所指出的，在观看如图1b中所示的现实世界物体时，观看者的大脑使用自然的调焦和转向过程来控制肌肉朝着物体转向(会聚/发散)并且并发地(例如，适应于)聚焦在相同的物体上。更具体而言，图1b中的调焦过程基于现实世界物体(114)和左右眼透镜(108-1和108-2)之间的距离来调节左眼透镜(108-1)和右眼透镜(108-2)的焦距。这些距离自洽地(self-consistently)重合或终止/结束于左眼(100-1)和右眼(100-2)的光轴(102-1和102-2)的交点。此外，在大多数情况下，由于这些距离是瞳孔间距离的许多倍，因此如由图1b中的调焦过程设置的左眼透镜(108-1)和右眼透镜(108-2)的焦距基本相同。
另一方面，在观看诸如图2a中所示的虚拟物体时，观看者的大脑必须使用新的且不自然的调焦和转向过程来控制肌肉朝着虚拟物体转向(会聚/发散)，并且并发地并冲突地聚焦在描绘虚拟物体的像素(在(一个或多个)显示器上)上，而不是虚拟空间位置的虚拟物体上。更具体而言，图2a中的调焦过程基于左像素(224-1)和左眼透镜(108-1)之间的距离以及右像素(224-2)和右眼透镜(108-2)之间的距离来调节左眼透镜(108-1)和右眼透镜(108-2)的焦距，以将最敏锐的视觉固定在左右像素(224-1和224-2)在其上被渲染的(一个或多个)显示器处。这些距离不重合并且不以左眼(100-1)和右眼(100-2)的光轴(102-1和102-2)的交点终止/结束。左眼透镜(108-1)和右眼透镜(108-2)以及左中央凹(106-1)和右中央凹(106)实质上被迫被指向分别位于两个不同的显示器(或位于同一显示器的不同空间定位)的两个不同的像素组。
此外，在将左图像和右图像(202-1和202-2)渲染成接近观看者的眼睛(100-1和100-2)的情况下，由于左像素(224-1)和左眼透镜(108-1)之间的距离以及右像素(224-2)和右眼透镜(108-2)之间的距离与瞳孔间距离可比较，因此如由图2a中的调焦过程设置的左眼透镜(108-1)和右眼透镜(108-2)的焦距可以充分地不同，以迫使观看者的大脑重新学习眼睛的附加新控制，以使用眼睛透镜的不同焦点透镜(focallens)作为克服调焦-转向冲突的一部分。
4.解决调焦与转向之间的冲突
图2b示出了通过一个或多个自动可调透镜228-1、228-2等对包括左图像(252-1)和右图像(252-2)的立体图像中描绘的虚拟物体(214)的示例观看，其中该一个或多个自动可调透镜部署在(a)左图像(252-1)和右图像(252-2)在其上被渲染的一个或多个图像显示器和(b)观看者的眼睛(100-1和100-2)之间。在一些实施例中，图像显示器中的一些或全部相对于观看者静止(例如，在到观看者的固定距离处等)并且与瞳孔间线(120)平行(或基本上平行)。仅为了说明的目的，自动可调透镜包括部署在左图像(252-1)和左眼(100-1)之间的左自动可调透镜228-1以及部署在右图像(252-2)和右眼(100-2)之间的右自动可调透镜228-2。如本文所描述的示例自动可调透镜可以包括但不一定仅限于以下中的任何一个：机械可控的自动可调透镜、电子可控的自动可调透镜、基于液体的自动可调透镜(或流体填充的透镜)、可变形的透镜、alvares透镜等。
如本文所描述的图像处理系统可以用在多种显示应用中的任何一种当中，包括但不限于：3d显示应用、多视图显示应用、球形图像显示应用、虚拟现实(vr)应用、增强现实(ar)应用、远程呈现应用等。图像处理系统可以被配置为实时地执行注视跟踪操作(和/或眼睛跟踪操作)，以便确定在渲染3d或多视图图像以供观看者观看的显示应用中，在任何给定时间，哪个特定的虚拟空间定位正在被观看者的眼睛看。为了说明的目的，基于注视/眼睛跟踪操作的结果，图像处理系统确定/推断虚拟物体(214)所位于的特定虚拟空间定位。注视/眼睛跟踪操作可以基于一种或多种(例如，实时)注视/眼睛跟踪方法的任何组合。例如，这些注视/眼睛跟踪方法可以通过以下中的一个或多个来操作：眼睛附件(eyeattachment)、光学传感器、眼睛图像获取和分析、电场测量、红外光等。
在各种实施例中，特定的虚拟空间定位可以在观看者所位于的图像渲染环境中表示的任何空间坐标系(例如，笛卡尔坐标系、极坐标系、世界坐标系、相对坐标系等)中表示。
基于在给定时间的特定虚拟空间定位，图像处理系统识别/确定特定虚拟空间定位(或虚拟物体(214))在给定时间所位于的虚拟物体平面216。例如，基于在给定时间的特定虚拟空间定位，图像处理系统可以计算在给定时间的虚拟物体平面(216)的单个深度236(或虚拟物体深度)。单个深度(236)可以但不一定限于由虚拟物体平面(216)与自动可调透镜(228-1和228-2)之间的距离表示。在图像渲染平面处渲染的左图像(252-1)和右图像(252-2)两者可以由左自动可调透镜(228-1)和右自动可调透镜(228-2)分别投射到虚拟物体平面(216)。
在一些实施例中，图像处理系统使用(一个或多个)透镜等式来确定左和右自动可调透镜(228-1和228-2)的(一个或多个)焦距。
在非限制性实现示例中，可以使用透镜等式来计算单个焦距；左和右自动可调透镜(228-1和228-2)两者可以被自动调整(tune)到相同的计算出的单个焦距。在计算这单个焦距时透镜等式的输入可以包括(a)由虚拟物体平面(216)和自动可调透镜(228-1和228-2)之间的距离表示的单个深度(236)和(b)由自动可调透镜(228-1和228-2)和左图像(252-1)和右图像(252-2)在其上被渲染的图像显示器之间的距离表示的图像显示深度(242)。单个深度(236)可以被用作透镜等式中的像距(imagedistance)(d2)，而图像显示深度(242)可以被用作透镜等式中的物距(objectdistance)(d1)。如本文所描述的计算自动可调透镜的焦距的透镜等式的示例如下提供：
自动可调透镜(228-1和228-2)的存在有效地将来自左图像(252-1)和右图像(252-2)在其处实际被渲染的图像显示器的图像移动到左图像(252-1)和右图像(252-2)被自动可调透镜(228-1和228-2)投射到其上的虚拟图像显示器(由虚拟物体平面(216)表示)。
为了通过左眼(100-1)的左中央凹(106-1)和右眼(100-2)的右中央凹(106-2)两者来实现虚拟物体(214)的清晰视觉，观看者的大脑使用转向过程(例如，发散过程、会聚过程等)来同时控制双眼中的眼外肌以朝着虚拟物体(214)定向左眼(100-1)和右眼(100-2)。
结果，左眼(100-1)的左光轴(102-1)和右眼(100-2)的右光轴(102-2)在虚拟物体(214)处重合，以使来自虚拟物体(214)的光被投射到左眼(100-1)的左中央凹(106-1)和右眼(100-2)的右中央凹(106-2)上。更具体而言，来自虚拟物体(214)的光包括(a)来自(左图像(252-1)中的)左像素234-1的、由左自动可调透镜(228-1)投射的左光部分和(b)来自(右图像(252-2)中的)右像素234-2的、由右自动可调透镜(228-2)投射的右光部分，其中左像素(234-1)和右像素(234-2)描绘虚拟物体(214)。与左像素(234-1)的虚拟图像部分对应的左光部分由左眼(100-1)的左中央凹(106-1)接收，而与右像素(234-2)的虚拟图像部分对应的右光部分由右眼(100-2)的右中央凹(106-2)接收。
在转向过程被用来同时控制双眼中的眼外肌朝着虚拟物体(214)定向左眼(100-1)和右眼(100-2)的同时，观看者的大脑使用调焦过程来同时控制双眼中的睫状肌，以将左眼(100-1)和右眼(100-2)分别聚焦到虚拟物体平面(216)处的虚拟物体(214)上。左眼(100-1)和右眼(100-2)的焦距可以通过调焦过程进行调节，使得来自虚拟物体(214)的光被聚焦在与左中央凹(106-1)和右中央凹(106-2)重合的相应图像平面处。更具体而言，左眼(100-1)的焦距可以至少部分地基于虚拟物体(214)所位于的虚拟空间定位与左眼透镜(108-1)之间的(左)距离而由调焦过程来设置，以使来自虚拟物体(214)的光的左光部分被聚焦在与左中央凹(106-1)重合的左图像平面处，而右眼(100-2)的焦距可以至少部分地基于虚拟物体(214)所位于的虚拟空间定位与右眼透镜(108-2)之间的(右)距离而由调焦过程来设置，以使来自虚拟物体(214)的光的右光部分被聚焦在与右中央凹(106-2)重合的右图像平面处。在虚拟物体(214)所位于的虚拟空间定位处于离观看者的眼睛某一距离处、该距离远远大于沿着瞳孔间线(120)的观看者的瞳孔间距离(观看者的两只眼睛之间的距离)的场景中，左眼(100-1)和右眼(100-2)的焦距可以相同或近似相同。
图2b中由观看者的大脑使用的调焦过程与图1b中由观看者的大脑使用的调焦过程相同或基本相同。例如，如图1b中那样，图2b中的调焦过程基于在观看者的中央凹视觉中的虚拟物体(214)与左右眼透镜(108-1和108-2)之间的距离来调节左眼透镜(108-1)和右眼透镜(108-2)的焦距。如图1b中那样，图2b中的这些距离自洽地重合或以左眼(100-1)和右眼(100-2)的光轴(102-1和102-2)的交点终止/结束。此外，如图1b中那样，在大多数情况下，由于这些距离是瞳孔间距离的许多倍，因此如由图1b中的调焦过程设置的左眼透镜(108-1)和右眼透镜(108-2)的焦距基本相同。
在一些方法下，对于单个立体图像，可以在多个深度处生成和显示多个经渲染的图像(例如，在六个不同深度处的6个经渲染的图像、在12个不同深度处的12个经渲染的图像、在连续可变深度处的经渲染的图像，等等)。立体图像中所描绘的物体可以基于所描绘的物体的深度相对于多个经渲染的图像的深度而在多个经渲染的图像之一中被显示。这导致一种显示系统，其中生成并显示众多经渲染的图像，并且其中在多个深度之间的所描绘的物体中的一些被不准确地表示和/或需要密集的计算来对具有与多个经渲染的图像的多个深度失配的深度的所描绘的物体进行插值。对于显示系统的给定帧刷新速率(例如，60帧/秒、120帧/秒等)，对于单个立体图像显示多个不同深度处的多个经渲染的图像容易生成可感知的图像抖动(judder)。
相比之下，如本文所描述的技术可以被用来基于观看者当前正在看哪里来确定单个立体图像或多视图图像应当被显示的单个深度。这允许实现如本文所描述的技术的显示系统例如通过使用一个或多个自动可调透镜而将左图像和右图像呈现/投射到单个深度或到非常低数量的深度。这些技术有效地解决了调焦-转向冲突，因为调焦和转向过程可以使观看者的眼睛适应于朝着相同空间定位，在该空间定位处例如描绘物体/人的立体图像的图像细节。此外，如本文所描述的技术可以部署在各种各样的显示系统中，包括但不一定仅限于以下中的任何一个：近眼显示器、头戴式显示器、zspace显示器、影院显示器、大型显示系统、医疗显示系统、高帧速率显示系统、相对低帧速率显示系统、3d眼镜、电视机等。
在一些实施例中，自动可调透镜(例如，228-1、228-2等)包括单个透镜元件；可以基于图像(例如，252-1,252-2)要由自动可调透镜投射到哪里来调节单个透镜元件的焦距。
在一些实施例中，自动可调透镜(例如，228-1、228-2等)包括多个透镜元件；可以基于图像(例如，252-1,252-2)要由自动可调透镜投射到哪里而调节多个透镜元件的焦距中的一些或全部。例如，自动可调透镜的一个或多个透镜元件可以由如本文所描述的图像处理系统来确定/选择，以将图像的一部分投射到虚拟物体平面(216)，其中图像的该部分包括处于观看者的中央凹视觉(例如，106-1、106-2等)内的特定虚拟空间定位(在虚拟物体平面(216)上)。可以基于虚拟物体平面(216)和自动可调透镜所位于的平面(例如，透镜元件的定位、自动可调透镜的定位等)之间的几何关系(例如，单个深度(236)等)来确定特定虚拟空间定位和透镜元件之间的距离(例如，232-1、232-2等)。至少部分地基于特定虚拟空间定位和透镜元件之间的距离，可以在一个或多个透镜等式中确定透镜元件的焦距。
在一些实施例中，单个自动可调透镜被用来在任何给定的时间点将一个或多个图像显示器上的左图像和右图像投射到单个深度处的虚拟物体平面。
不同的观看者可以具有不同的视觉特点，包括近视、远视、正常立体视觉、异常立体视觉、佩戴眼镜、不佩戴眼镜、佩戴隐形眼镜等。附加地、可选地或可替代地，不同的观看者可以具有不同的头部几何特点，包括瞳孔间距离、眼睛到自动可调透镜的距离等。在一些实施例中，图像处理系统可以能够特别地针对具有特定视觉特点和/或特定头部几何特点的特定观看者进行校准。例如，在图像处理系统被用于观看显示应用的3d或多视图图像之前，在校准会话中，测试立体图像可以由图像处理系统以不同深度向观看者呈现，这些不同深度分布在与具有完美/参考视觉的参考观看者对应的单个深度周围。可以在有或没有用户输入的情况下自动确定特定于观看者的经校正的深度。可以在与具有完美/参考视觉的参考观看者对应的多个深度中的每个深度上对观看者重复这个过程。可以在校准会话中确定曲线、查找表(lut)等。可以通过为具有完美/参考视觉的参考观看者调节运行时计算的深度来计算观看者的特定深度。附加地、可选地或可替代地，为了执行在不同时间点的图像要被图像处理系统的一个或多个自动可调透镜投射到其上的虚拟物体平面的准确放置以及准确的注视/眼睛跟踪的目的，观看者的特定头部几何特点可以被测量或输入到图像处理系统中。
应当注意的是，包括在左图像(252-1)和右图像(252-2)中描绘的虚拟物体(214)的物体/人可以被自动可调透镜(228-1和228-2)放大(magnify)。在一些实施例中，至少部分地基于单个深度(236)，图像处理系统确定放大因子。例如，可以将放大因子确定为单个深度(236)与图像显示深度(242)的比。图像处理系统可以基于结合虚拟物体平面(216)的单个深度(236)而确定的放大因子来执行纵横比(aspectratio)调节操作。例如，图像处理系统可以从输入视频信号接收或解码用来导出左图像(252-1)和右图像(252-2)的输入左图像和输入右图像。图像处理系统可以对输入左图像和输入右图像应用放大因子的倒数(inverse)，以生成左图像(252-1)和右图像(252-2)，使得如存在自动可调透镜(228-1和228-2)的情况下被感知的、在左图像(252-1)和右图像(252-2)中描绘的、可以或可以不位于虚拟物体平面(216)处的物体/人在纵横比、尺寸等方面与在不存在自动可调透镜(228-1和228-2)的情况下被感知的、在输入左图像和输入右图像中描绘的相同物体/人匹配。
在不存在自动可调透镜(228-1和228-2)的情况下在图像显示器处被感知的左图像(252-1)和右图像(252-2)中的深度信息可以被更改成在存在自动可调透镜(228-1和228-2)的情况下在虚拟物体平面(216)处被感知的投射图像中新的深度信息。
在一些实施例中，深度信息可以从与输入左图像和输入右图像相关的(一个或多个)视差(disparity)图像、获取/生成/产生输入左图像和输入右图像的(虚拟或真实)相机系统的相机几何信息等的组合中导出。在一些实施例中，深度信息可以从与输入左图像和输入右图像一起接收的(一个或多个)深度图直接读取。(一个或多个)视差图像、(一个或多个)深度图、相机几何信息等中的一些或全部可以与输入视频信号中的左图像和右图像一起被接收。
附加地，可选地或可替代地，在一些实施例中，图像处理系统在生成左图像(252-1)和右图像(252-2)时对输入左图像和输入右图像应用深度校正操作，使得在存在自动可调透镜(228-1和228-2)的情况下被感知的在左图像(252-1)和右图像(252-2)中描绘的、可以或可以不位于虚拟物体平面(216)处的物体/人的新深度信息与在不存在自动可调透镜(228-1和228-2)的情况下被感知的在输入左图像和输入右图像中描绘的相同物体/人的输入深度信息匹配。
附加地，可选地或可替代地，在一些实施例中，可以将具有可变空间分辨率的(例如，低强度等)模糊过滤器(filter)应用于生成左图像(252-1)和右图像(252-2)的图像处理操作以便以不同的程度从位于观看者的中央凹视觉外部的左图像(252-1)和右图像(252-2)抽取(decimate)高空间频率内容。模过滤器可以被用来模拟由观看者的视网膜执行的模糊功能。模糊过滤的强度可以随着在虚拟物体平面(例如，216-1等)处表示的图像细节相对于观看者的中央凹视觉的距离增加而增加。
在一些实施例中，模糊过滤器在涵盖观看者的中央凹视觉(例如，106-1、106-2等)的图像细节中不执行模糊或执行很少的模糊，并且在越来越远离观看者的中央凹视觉的图像细节中(例如，在观看者的中央凹视觉(例如，106-1、106-2等)外部的视网膜的区域(例如，110-1、110-2等)中)执行越来越强的模糊。
例如，如图2e中所示，可以使用第一模糊过滤器在被投射到虚拟物体平面(例如，216-1等)的左中央凹视觉部分256上的、左图像(252-1)中的图像细节中不执行模糊或执行很少的模糊。虚拟物体平面的左中央凹视觉部分(256)涵盖观看者的左中央凹视觉(106-1)。可以使用第一模糊过滤器在被投射到虚拟物体平面(例如，216-1等)的一个或多个左非中央凹视觉部分258上的、左图像(252-1)中的图像细节中执行较强的模糊。虚拟物体平面的左非中央凹视觉部分(258)不在观看者的左中央凹视觉(106-1)中。
同样，第二模糊过滤器可以被用来在被投射到虚拟物体平面(例如，216-1等)的右中央凹视觉部分(未示出)上的、右图像(252-2)中的图像细节中不执行模糊或执行很少的模糊。虚拟物体平面的右中央凹视觉部分涵盖观看者的右中央凹视觉(106-2)。第二模糊过滤器可以被用来在被投射到虚拟物体平面(例如，216-1等)的一个或多个右非中央凹视觉部分(未示出)上的、右图像(252-2)中的图像细节中执行较强的模糊。虚拟物体平面的右非中央凹视觉部分不在观看者的右中央凹视觉(106-2)中。
5.跟踪转向角度
图2c示出了在观看立体图像的时间序列时观看者的转向角度的示例跟踪。立体图像的时间序列可以描绘一个或多个情景、情景的子划分、一组图片(gop)等。立体图像中的每个可以由两个3d图像的组合或者两个或更多个多视图图像的组合表示。如本文中所使用的，转向角度是指观看者的单只眼睛(例如，左眼、右眼等)的视角。由本文描述的技术跟踪的示例转向角度可以包括但不一定仅限于以下中的任何一个：左转向角度(或左眼的转向角度)、右转向角度(或右眼的转向角度)、相对于参考方向(诸如观看者的瞳孔间线(120)、观看者的正面观看方向(118)等中的一个)的转向角度；相对于观看者的水平(level)观看平面或观看者的(垂直)面部中线的仰角；等等。
仅为了说明的目的，在第一时间点，如本文所描述的图像处理系统确定或测出观看者的眼睛正在看第一立体图像处的、位于虚拟物体平面(216)的虚拟物体(214)，该第一立体图像包括由图像处理系统的一个或多个自动可调透镜从图像显示器投射到虚拟物体平面(216)的第一左图像和第一右图像的组合，表示立体图像的时间序列的图像在该图像显示器处被渲染。
从第一时间点到第二时间点，观看者的眼睛会聚或发散到在立体图像的时间序列中描绘的、位于第二虚拟物体平面216-1的第二虚拟物体214-1。
第二时间点可以是作为以下中的一个的时间点：紧跟在第一时间点之后、跟在第一时间点之后一个或多个帧时间间隔(每个帧时间间隔与显示一个图像帧对应)、跟在第一时间点之后一部分(afractionof)帧时间间隔等等。
如图2c中所示，在第二时间点，观看者的左眼会聚(向内移动)到第二虚拟物体(214-1)，而观看者的右眼则发散(向外移动)到第二虚拟物体(214-1)。应当注意的是，在各种场景中，观看者的眼睛也可以都会聚或都发散。
在一些实施例中，图像处理系统可以测量/跟踪在第二时间点观看者的转向角度。基于在第二时间点观看者的转向角度，图像处理系统可以确定观看者正在看位于第二虚拟物体平面(216-1)处的第二虚拟物体(214-1)。
响应于确定观看者正在看位于第二虚拟物体平面(216-1)处的第二虚拟物体(214-1)，图像处理系统可以将由第二左图像和第二右图像的组合表示的第二立体图像投射到第二虚拟物体平面(216-1)。第二立体图像可以是作为以下中的一个的立体图像(立体图像的时间序列)：紧跟在第一立体图像之后、跟在第一立体图像之后一个或多个帧时间间隔(每个帧时间间隔与显示一个图像帧对应)、跟在第一立体图像之后(例如，严格地)固定的持续时间内，等等。
图2d示出通过一个或多个自动可调透镜228-1、228-2等对包括左图像(252-1)和右图像(252-2)的立体图像的示例观看，其中该一个或多个自动可调透镜部署在(a)在其上渲染左图像(252-1)和右图像(252-2)的一个或多个图像显示器和(b)观看者的眼睛(100-1和100-2)之间。如图所示，可以由单个显示屏幕254提供左图像(252-1)和右图像(252-2)在其上的图像显示器。在示例中，单个显示屏幕(254)可以是移动电话、个人数字助理(pda)、电子书阅读器、电视机等的显示屏幕。
在一些实施例中，如本文所描述的立体图像(例如，输入立体图像、从输入立体图像导出的经修改的立体图像，等等)的左图像(例如，252-1)和右图像(例如，252-2)可以在一个或多个图像显示器中并发地或按帧顺序地被渲染，该一个或多个图像显示器可以或可以不彼此重叠。附加地，可选地或可替代地，如本文所描述的用来渲染立体图像的多个图像显示器可以由单个显示屏幕或由多个显示屏幕提供。
在一些实施例中，两个图像显示器被用来渲染立体图像的左图像和右图像，并且分别由两个独特(distinct)的显示屏幕(例如，近眼显示设备中的两个显示屏幕等)提供。在这些实施例中，左图像和右图像可以并发地显示给观看者。附加地，可选地或可替代地，左图像和右图像可以按帧顺序地显示给观看者，其中左图像和右图像中的一个被首先显示，然后左图像和右图像中的另一个被显示。
在一些实施例中，两个图像显示器被用来渲染立体图像的左图像和右图像，并且分别由单个显示屏幕上的两个空间部分(例如，iphone屏幕上的两个空间部分等)提供。在一些实施例中，这两个空间部分可以不重叠。在一些实施例中，这两个空间部分可以至少部分重叠。在所有这些实施例中，左图像和右图像可以并发地显示给观看者。附加地，可选地或可替代地，左图像和右图像可以按帧顺序地显示给观看者，其中左图像和右图像中的一个首先被显示，然后左图像和右图像中的另一个被显示。
在一些实施例中，一个图像显示器被用来渲染立体图像的左图像和右图像，并且由单个显示屏幕(例如，tv等)提供。左图像和右图像可以并发地显示给观看者。并发显示的图像可以通过使用不同的光波长、不同的透镜(lenticular)视图、不同的光偏振等来区分。附加地，可选地或可替代地，左图像和右图像可以按帧顺序地显示给观看者，其中左图像和右图像中的一个首先被显示，然后左图像和右图像中的另一个被显示。
在各种实施例中，如本文所描述的立体图像(或多视图图像)的不同视图(例如，左图像和右图像等)可以在图像处理系统中通过以下中的一个或多个来彼此区分：不同的显示屏幕、单个显示屏幕的不同空间部分、在不同时间点的不同帧、分配给不同视图的不同(例如，非重叠)光波长、分配给不同视图的不同透镜视图、到不同视图的不同光偏振，等等。
6.视野
如本文所描述的技术可以被用来设计嵌有焦点可调透镜的眼镜设备(例如，用于3d显示应用、用于虚拟现实应用、用于增强现实应用，用于远程呈现应用等)的光学和/或物理架构。具有焦点可调透镜的眼镜设备可以与注视跟踪器一起操作，并提供了一种对在观看在各种各样的图像显示器(诸如近眼显示器、头戴式显示器、zspace显示器、影院显示器、大型显示系统、医疗显示系统、高帧速率显示系统、相对低帧速率显示系统、3d眼镜、电视机等)上渲染的物体时的调焦-转向冲突问题的解决方案。
如图2c中所示，本文所描述的注视跟踪器可以跟踪观看者的眼睛的转向方向。注视跟踪器可以被配置为使用采用眼睛附件、光学传感器、眼睛图像获取和分析、电场测量，红外光等的一种或多种注视跟踪方法。基于观看者的眼睛的转向角度和/或位于观看者眼睛的左右注视的交点处的物体的深度信息，可以确定该物体的虚拟物体深度。
眼镜设备中的焦点可调透镜可以被设置到可调焦距范围内的特定焦距(或屈光度(diopterpower))，以将描绘物体的3d或多视图图像的左图像和右图像(例如，图2b的252-1和252-2等)投射到与观看者眼睛的左和右注视的交点对应的虚拟物体深度，由此将图像显示器处不自然的眼睛调焦反转回到3d或多视图图像中物体应当被表示的虚拟物体深度处的自然调焦。
在一些情况下，构建覆盖眼睛的完整视野的焦点可调透镜可能是困难和毫无意义的。在本文所描述的技术下，观看者的左眼或右眼的视野并非全都需要可调焦点。在这些情况下，可以仅在眼睛的视野的特定区域中提供可调焦点(或可调焦距)。与视野的其它区域相比，眼睛的视野的该特定区域对于观看者的3d观看体验可能是重要的。在一些实施例中，在这些特定区域外部，仅提供不可调整的焦距。
在一些实施例中，在诸如以下中的一些或全部的(在眼睛的视野中的)特定区域中提供可调节的焦点：中心区域(例如，中央凹、中央凹加上安全余量(margin)等)、旁中心(paracentral)区域(例如，不含(exclude)中心区域并从中心区域延伸等)、近周边(near-peripheral)区域(例如，不含旁中心区域并从旁中心区域延伸等)、中部周边(mid-peripheral)区域(例如，不含近周边区域并从近周边区域延伸等)，等等。在非限制性实现中，在中心区域、旁中心区域和近周边区域中的全部中提供可调节的焦点。附加地，可选地或可替代地，可调节的焦点可以至少部分地(例如，30％、50％、80％等)在中部周边区域中提供。
图6a示出了眼睛的示例视野。同心圆中的每个(例如，标记为30°、60°、90°等)表示相对于观看者的左眼或右眼的光轴(例如，图2b的102-1或102-2等)具有相等(或相同)角度度数(angulardegree)的方向。光轴(例如，图2b的102-1或102-2等)表示中心区域(602)中横向(tranverse)方向(612)和垂直方向(614)的交点处从图6a的平面垂直指(pointed)出来的注视方向(图6a中未示出)。在这里，横向方向(612)和垂直方向(614)形成垂直于光轴(例如，图2b的102-1或102-2等)的平面。
如图6a中所示，眼睛的视野可以(例如，逻辑上等)被分区成由旁中心区域604直接围绕的中心区域602(最暗的填充图案)。在一些实施例中，中心区域(602)可以与观看者的中央凹视觉对应，并且相对于光轴从零(0)角度度数延伸到第一角度(例如，3-7角度度数、5-9角度度数等)。光轴(例如，图2b的102-1或102-2等)是在中心区域(602)的中心处从图6a的平面指出来并且垂直于该平面的方向(图6a中未示出)。在一些实施例中，旁中心区域(604)可以相对于光轴(例如，图2b的102-1或102-2等)从第一角度延伸到第二角度(例如，6-12角度度数等)。
旁中心区域(604)被近周边区域606直接围绕。近周边区域(606)紧邻中部周边区域(608)，中部周边区域(608)又紧邻视野的其余部分(远周边区域310)。在一些实施例中，近周边区域(606)可以相对于光轴(例如，图2b的102-1或102-2等)从第二角度延伸到第三角度(例如，25-35角度度数等)。在一些实施例中，中部周边区域(608)可以相对于光轴(例如，图2b的102-1或102-2等)从第三角度延伸到第四角度(例如，50-65角度度数等)。远周边区域610可以从第四角度延伸到视野的边缘。
在视野的这个示例逻辑分区中使用的第一、第二、第三和第四角度可以沿着横向方向(612)来限定或指定。当图6a的视野与正面水平观看方向处的视野对应时，横向方向(612)可以与观看者的瞳孔间线120相同或平行。
应当注意的是，除了基于图6a中所示的角度将观看者的视野在逻辑上分区成中心、旁中心、近周边、中部周边、远周边等区域的方案之外或代替该方案，还可以使用在逻辑上分区观看者的视野的不同方案。
例如，在一些实施例中，观看者的视野可以被分区成较多或较少的区域，诸如中心区域、近周边区域和远周边区域的组合等，而没有旁中心区域和/或中部周边区域。在观看者视野的这种逻辑分区中，焦点可调透镜可以被用来覆盖从中心区域直到一些或全部的近周边区域。
在一些实施例中，观看者的视野可以基于除如前所示的角度之外的其它量来分区。例如，在非限制性实现中，中心区域可以被限定为与观看者的中央凹视觉对应的视野部分。旁中心区域可以被限定为与观看者的以下视网膜部分对应的视野部分：在该视网膜部分中锥/杆密度超过相对高的锥/杆密度阈值。近周边区域可以被限定为与观看者的以下视网膜部分对应的视野部分：在该视网膜部分中锥/杆密度分别不超过相对高的锥/杆密度阈值，但是超过中等(intermediate)锥/杆密度阈值。中部周边区域可以被限定为与观看者的以下视网膜部分对应的视野部分：在该视网膜部分中锥/杆密度分别不超过中等锥/杆密度阈值，但是超过相对低的锥/杆密度阈值。焦点可调透镜可以被用来覆盖从观看者的中央凹视觉直到基于(一个或多个)阈值(例如，(一个或多个)锥/杆密度阈值等)的区域中的一些或全部，该(一个或多个)阈值不一定基于角度。
附加地，可选地或可替代地，可以使用在逻辑上分区观看者的视野和/或其它人类视觉因素的两种或更多种不同方案的组合来确定观看者的视野应当如何被焦点可调透镜覆盖。例如，不是使用焦点可调透镜在不同的角度方向上覆盖相同的角度值范围，而是焦点可调透镜可以沿着横向方向(612)覆盖比由相同的焦点可调透镜沿着垂直方向(614)覆盖的角度值范围大的角度值范围，因为人类视觉系统可能对于沿着横向方向(612)的图像细节比沿着垂直方向(614)的图像细节更灵敏。
图6b和图6c示出了示例(俯视图)角度范围618-1和618-2，在其中的一些或全部当中，可以由实现如本文所描述的技术的眼镜设备提供可调节的焦点。观看者的注视方向(或角度)以及观看者的中央凹视觉616可以不时地转动(swivel)或旋转，不一定仅水平(horizontally)或仅垂直地转动或旋转，例如在观看者的正面观看方向(118)左侧在左和右45角度度数之间的角度值范围内转动或旋转。
在一些实施例中，对于它们可以在其中转动或旋转的整个角度值范围，提供了可调节的焦点以覆盖以下中的一些或全部：中心区域(例如，中央凹、中央凹加上安全余量等)、旁中心区域(例如，不含中心区域并从中心区域延伸等)、近周边区域(例如，不含旁中心区域并从旁中心区域延伸等)、中部周边区域(例如，不含近周边区域并从近周边区域延伸等)，等等。
在一些实施例中，仅对于整个角度值范围中观看者的注视可以转动或旋转的一部分提供了可调节的焦点以覆盖以下中的一些或全部：中心区域(例如，中央凹、中央凹加上安全余量等)、旁中心区域(例如，不含中心区域并从中心区域延伸等)、近周边区域(例如，不含旁中心区域并从旁中心区域延伸等)、中部周边区域(例如，不含近周边区域并从近周边区域延伸等)，等等。
在如图6b中所示的一些实施例中，提供了可调节的焦点以覆盖表示宽角度范围的对称(关于正面观看方向(118)对称)部分的对称角度范围618-1。对称角度范围(618-1)的示例可以包括但不一定限于以下中的一个：相对于观看者的正面观看方向(118)的+/-15角度度数、+/-20角度度数、+/-25角度度数等。
在如图6c和图6d中所示的一些实施例中，提供了可调节的焦点以覆盖表示宽角度范围的不对称(关于正面观看方向(118)不对称)部分的不对称角度范围(例如，618-2、618-3等)。可以将一只眼睛的视野中的不对称角度范围限定或指定为覆盖从内部角度(朝着另一只/共轭眼睛而看)到外部角度(远离另一只/共轭眼睛而看)。
在图6c中所示的实施例中，不对称角度范围(618-2)优先朝着在观看者左眼和右眼的两个视野中重叠的内部方向偏置。朝着内部角度偏置的不对称角度范围(618-2)的内部角度的示例可以包括但不一定限于以下中的一个：相对于观看者的正面观看方向(118)的15角度度数、30角度度数、45角度度数等。朝着内部角度偏置的不对称角度范围(618-2)的外部角度的示例可以包括但不一定限于以下中的一个：相对于观看者的正面观看方向(118)的10角度度数、15角度度数、20角度度数等。
在图6d中所示的实施例中，不对称角度范围(618-3)优先朝着在观看者左眼和右眼的两个视野中可以或可以不重叠的外部方向偏置。朝着外部方向偏置的不对称角度范围(618-3)的外部角度的示例可以包括但不一定限于以下中的一个：相对于观看者的正面观看方向(118)的15角度度数、30角度度数、45角度度数等。朝着外部方向偏置的不对称角度范围(618-3)的内部角度的示例可以包括但不一定限于以下中的一个：相对于观看者的正面观看方向(118)的10角度度数、15角度度数、20角度度数等。
图6e示出了眼睛的另一示例性视野620。与图6a的示例视野相比，图6e的视野(620)考虑了视觉相关因素(诸如眼睛转动，来自鼻子、角膜、眼睑等的观看约束)。图6e中的同心圆中的每个(例如标记为15°、60°、90°等)表示相对于观看者的左眼或右眼的光轴(例如，图2b的102-1或102-2等)具有相等(或相同)角度度数的方向。光轴(例如，图2b的102-1或102-2等)表示在横向方向622和垂直方向624的交点处从图6e的平面垂直指出来的观看者的正面观看方向(例如，图2b的118)。在这里，横向方向(622)和垂直方向(624)形成垂直于正面观看方向(例如，图2b的118)的平面。
在一些实施例中，提供了可调节的焦点，以覆盖整个视野(620)。在一些实施例中，提供了可调节的焦点，以覆盖视野(620)中的特定区域626而不是整个视野(620)。特定区域(626)可以是规则形状或者不规则形状。特定区域(626)的示例可以包括但不一定限于以下当中一个或多个的任何组合：圆形(例如，如图8a至图8e中所示，等等)、椭圆形(oblongshape)、卵形(ovalshape)、心形、星形、环形(roundshape)、方形等。
7.示例焦点可调透镜
图7a示出了可以结合到如本文所描述的眼镜设备中的示例(横截面视图)基于液体的焦点可调透镜700-1。以示例而非限制的方式，基于液体的焦点可调透镜(700-1)可以包括一个或多个弯曲的膜702-1、702-2、702-3等。液体可以由致动器等填充到一个或多个体积(volume)704-1、704-2、704-3等中或从该一个或多个体积中排空，以维持或重塑弯曲的膜(702)中的每个的曲率。如本文所描述的示例膜可以包括但不限于透明膜、弹性可膨胀膜(elasticallyexpandablemembrane)等。如本文所描述的示例液体可以包括但不限于透明流体、光学上均匀的流体、具有相对高折射率和/或具有相对低粘度的高光学透明度流体、具有低光学变形或杂质的流体等。
在操作中任何给定的时间，结合基于液体的焦点可调透镜(700-1)的、本文所描述的眼镜设备可以确定基于液体的焦点可调透镜(700-1)要被调整到的(一个或多个)特定焦距(例如，为了将立体图像投射到通过注视跟踪确定的虚拟物体深度，等等)。基于(一个或多个)特定焦距，眼镜设备(通过机械设备、机电设备、压电设备、电-射流(electro-fluidic)设备、数字控制设备等中的一个或多个)控制填充到体积中或从体积中排空的液体的(一个或多个)量，以重塑弯曲膜(702)的曲率中的一个、一些或全部，以产生基于液体的焦点可调透镜(700-1)的特定区域中的(一个或多个)特定焦距(用于聚焦基本上从与观看方向708相对的方向传入的光)。例如，膜(702-1)的曲率可以通过在体积(704-1至704-3)内填充液体或从该体积中排空液体来控制；膜(702-2)的曲率可以通过在体积(704-2和704-3)中填充液体或从该体积中排空液体来控制；膜(702-3)的曲率可以通过在体积(704-3)中填充液体或从该体积中排空液体来控制。结果，基于液体的焦点可调透镜(700-1)中的第一空间区域706-1被设置为(一个或多个)特定焦距中的第一焦距；基于液体的焦点可调透镜(700-1)中的第二空间区域706-2被设置为(一个或多个)特定焦距中的第二焦距；基于液体的焦点可调透镜(700-1)中的第三空间区域706-3被设置为(一个或多个)特定焦距中的第三焦距。在一些实施例中，(一个或多个)特定焦距中的一个或多个(例如，第一空间区域(706-1)中的第一焦距)可以被用来将描绘物体的3d或多视图图像的图像投射到该物体在3d或多视图图像中要定位到的虚拟物体深度。
图7b示出了可以结合到如本文所描述的眼镜设备中的示例(前视图)基于液晶的焦点可调透镜700-2。基于液晶的焦点可调透镜(700-2)可以包括一个或多个液晶层、开关元件、电极、基板、偏振器、矩阵等。基于液晶的焦点可调透镜(700-2)或其中的液晶层可以被分区成多个单独可控的空间部分，诸如在弯曲或平面表面上分布(例如，二维阵列等)的列、行、单元格(cell)、像素化(pixelation)单元、条等，该弯曲或平面表面是诸如以下一种或多种的组合：圆形、椭圆形、卵形、心形、星形、环形、方形等。在如本文所描述的液晶层中使用的示例液晶材料可以包括但不限于双折射液晶材料、非双折射液晶材料等。
在一些实施例中，眼镜设备或者其中的焦点可调透镜和/或开关元件可以可操作地和/或通信地耦合到其它设备，诸如以下中的一个或多个：图像显示器、眼睛注视跟踪设备、视频流传输客户端、视频流传输服务器、自动可调透镜控制器等，以用于在运行时调节/调整眼镜设备的焦距的目的。
以示例而非限制的方式，基于液晶的焦点可调透镜(700-2)包括由分布在矩形表面上的多个液晶单元格表示的像素化单元。多个液晶单元格中的每个液晶单元格的折射率可以单独地(例如，逐渐地、协作地等)可控制，例如由通过利用电极和开关元件设置特定电压信号(电压电平和/或相位)而生成的电场。如本文所描述的用来生成电场的示例电极可以包括但不限于透明导电薄膜、导电条等。用于控制如本文所述的电极的驱动电压的示例开关元件可以包括但不限于晶体管等。
在操作中任何给定的时间，结合基于液晶的焦点可调透镜(700-2)的如本文所描述的眼镜设备可以确定基于液晶的焦点可调透镜(700-2)要被调整到的(一个或多个)特定焦距。基于(一个或多个)特定焦距，眼镜设备(通过电子设备、电-光设备、数字控制设备等)控制液晶单元格中的一些或全部的折射率，以产生与基于液晶的焦点可调透镜(700-2)的特定区域中的(一个或多个)特定焦距对应的聚焦效果(用于聚焦从与图7b的平面基本上垂直的观看方向相对的方向传入的光)。在示例中，基于液晶的焦点可调透镜(700-2)中的所有液晶单元格的(一个或多个)折射率可以(例如，单独地、可变地、共同地、协作地等)被控制，以产生与(一个或多个)特定焦距对应的光弯曲(lightbending)或光聚焦效果。在另一示例中，基于液晶的焦点可调透镜(700-2)中的液晶单元格的子集(例如，特定空间区域710等)中的液晶单元格的折射率可以(例如，单独地、可变地、共同地、协作地等)被控制，以产生与(一个或多个)特定焦距对应的光弯曲或光聚焦效果。在一些实施例中，可以使用(一个或多个)特定焦距中的一个或多个来将描绘物体的3d或多视图图像的图像投射到物体要在3d或多视图图像中被定位到的虚拟物体深度。
应当注意的是，除了基于液体的可调透镜和基于液晶的可调透镜之外，如本文所描述的焦点可调透镜还可以用其它技术实现。例如，焦点可调透镜可以在alvarez原理下用两个或更多个可移动的自调节透镜机械地实现。依赖于这些彼此重叠的可移动透镜，可以在可移动透镜的不同区域中生成不同的焦距。基于眼睛注视跟踪，这些透镜可以相对于彼此被移动，以将可移动透镜的一个或多个特定区域调整/调节为特定焦距。此外，具有特定焦距的一个或多个特定区域可以被放置成覆盖观看者的(一个或多个)视野的中心区域(例如，中央凹视觉加上安全余量等)。
8.示例眼镜设备
图8a示出了在如本文所描述的技术下实现光学和/或物理架构的眼镜设备(例如，图8b、图8c或图8e的800等)的示例左透镜组件802-1。图8b至图8f示出了眼镜设备(800)的示例透视图、前视图和俯视图。
眼镜设备(800)包括要放置在观看者(图8d或图8f的808)的左眼前面的左透镜组件(802-1)和观看者(808)的右眼前面的右透镜组件(例如，图8b、图8c或图8e的802-2等)。在一些实施例中，左透镜组件(802-1)具有左焦点可调透镜804和左焦点固定透镜806。类似地，右透镜组件(802-2)具有右焦点可调透镜和右焦点固定透镜。
在一些实施例中，如本文所描述的焦点可调透镜覆盖观看者(808)的左眼或右眼的视野中的所有近周边区域(例如，图6a的606等)。例如，左焦点可调透镜(804)可以完全覆盖观看者(808)的左眼的左视野中的左近周边区域。类似地，右焦点可调透镜可以完全覆盖观看者(808)的右眼的右视野中的右近周边区域。可以参考观看者(808)的特定正面观看方向(这可以是左眼或右眼的特定眼睛注视方向、左眼或右眼的特定转向角度等)来指定或限定如本文所描述的视野(例如，图6a、图6b、图6c等)。附加地，可选地或可替代地，可以参考特定正面观看方向范围(例如，眼睛转动的角度范围、眼睛转动的角度范围的中心部分等)来指定或限定视野。
在一些实施例中，左或右近周边区域(例如，图6a的606等)表示相对于以下中的一个的、沿着水平方向(例如，图6a的横向方向(612)等)的角度范围：观看者(808)的左眼或右眼的光轴、特定正面观看方向、特定正面观看方向范围中的中心方向等。近周边区域(606)的示例角度范围可以包括但不限于以下中的一个：至多15度、大于15度但不大于30度、大于30度但不大于60度、大于60度等。
在一些实施例中，左焦点可调透镜(804)至少部分地覆盖观看者(808)的左眼的左中部周边区域(例如，图6a的608等)。类似地，右焦点可调透镜至少部分地覆盖观看者(808)的右眼的右中部周边区域(例如，图6a的608等)。
在一些实施例中，左或右中部周边区域(例如，图6a的608等)表示相对于以下中的一个的、沿着水平方向(例如，图6a的横向方向(612)等)的角度范围：观看者(808)的左眼或右眼的光轴、特定正面观看方向、特定正面观看方向范围中的中心方向等。左或右中部周边区域(例如，图6a的608等)的角度范围可以大于并邻近左或右近周边区域(例如，图6a的606等)的角度范围。
在一些实施例中，眼镜设备(800)或与眼镜设备(800)一起操作的自动可调透镜控制器(例如，图3b的318等)控制左透镜组件(802-1)中的左焦点可调透镜(804)的一个或多个焦距，以将立体图像的左图像投射到虚拟物体深度处的虚拟物体平面。至少部分地基于虚拟物体深度来确定左焦点可调透镜(804)的一个或多个焦距(虚拟物体深度又可以通过眼睛注视跟踪由观看者(808)的左眼和右眼的转向角度来确定)。
类似地，眼镜设备(800)或自动可调透镜控制器(318)控制右透镜组件(802-2)中的右焦点可调透镜的一个或多个焦距，以将立体图像的右图像投射到虚拟物体深度处的虚拟物体平面。至少部分地基于虚拟物体深度来确定右焦点可调透镜的一个或多个焦距。
在一些实施例中，如本文所描述的焦点可调透镜可以支持单个可调焦距，例如在整个基于液体的焦点可调透镜中、在图7a的基于液体的焦点可调透镜(700-1)中的第一空间区域(706-1)中、在整个基于液晶的焦点可调透镜(例如，图7b的700-2)中、在基于液晶的焦点可调透镜(例如，图7b的700-2)的空间区域(710)中，等等。在一些其它实施例中，如本文所描述的焦点可调透镜可以支持多个可调焦距，例如在图7a的基于液体的焦点可调透镜(700-1)的不同空间区域(例如，706-1、706-2、706-3等)中、在基于液晶的焦点可调透镜(例如，图7b的700-2)的不同空间区域(例如，710、710外部等)中，等等。
以示例而非限制的方式，在一些实施例中，左焦点可调透镜(804)或右焦点可调透镜的一个或多个焦距可以包括以下中的一个或多个：(a)与左或右近周边区域(例如，图6a的606等)的中心区域(例如，图6a的602等)对应的第一焦距；(b)与左或右近周边区域的不含中心区域(例如，图6a的602等)的旁中心区域(例如，图6a的604等)对应的第二焦距；(c)与不含中心区域(例如，图6a的602等)和旁中心区域(例如，图6a的604等)的左或右近周边区域(例如，图6a的606等)对应的第三焦距；(d)与不含中心区域(例如，图6a的602等)、旁中心区域(例如，图6a的604等)和近周边区域(例如，图6a的606等)的中部周边区域(例如，图6a的608等)对应的第四焦距；等等。这多个焦距可以单独或共同控制。在一些实施例中，中心区域(例如，图6a的602等)与观看者的中央凹视觉对应。在一些实施例中，中心区域(例如，图6a的602等)覆盖观看者(808)的左眼或右眼的视野的至少非中央凹部分。
在一些实施例中，在投射立体图像的左图像或右图像时，多个可调焦距中的全部被设置为相同的焦距。
在一些实施例中，在投射立体图像的左图像或右图像时，多个可调焦距中的一些或全部被设置为至少两个不同的焦距。在一些实施例中，在观看者视野的中心区域中(例如，在运行时可调整或可调节，等等)的焦距(第一焦距)在比其它(一个或多个)焦距在其中被调节的焦距范围大的焦距范围内可调节。在前面的示例中，中心区域的第一焦距可以在比不含中心区域(例如，图6a的602等)、旁中心区域(例如，图6a的604等)和近周边区域(例如，图6a的606等)的中部周边区域(例如，图6a的608等)中的第四焦距在其中可调节的焦距范围大的焦距范围(例如，两倍、多20％、多30％，等等)内可调节。在一些实施例中，视野的区域越接旁中心区域，用于调整/调节该区域中的焦距的焦距范围就越大。
在一些实施例中，焦点可调透镜(诸如左焦点可调透镜(804)、右焦点可调透镜等)包括在焦点可调透镜(例如，804等)的多个空间区域中的一个或多个可调节的焦距。附加地，可选地或可替代地，焦点可调透镜(例如，804等)的多个空间区域中的一个或多个可调节的焦距形成焦距从多个空间区域中的中心空间区域到多个空间区域中的边界空间区域的相对平滑的、相对逐渐的、单调下降/上升等过渡。在一些实施例中，中心空间区域与观看者(808)的左眼或右眼的视野的近周边区域的中心区域对应，而边界空间区域在空间上紧邻焦点固定透镜(诸如左焦点固定透镜(806)、右焦点固定透镜等)
在一些实施例中，眼睛透镜组件(例如，802-1等)或者其中的焦点可调透镜(例如，804等)和焦点固定透镜(例如，806等)形成基本上围绕观看者(808)的左眼或右眼的弯曲结构。例如，由眼睛透镜组件(例如，802-1等)中的焦点可调透镜(例如，804等)和焦点固定透镜(例如，806等)形成的弯曲结构可以基本上(例如，80％、90％以上等)覆盖整个视野、完全覆盖整个视野、完全覆盖整个视野加上安全余量(例如，5％的安全余量，10％的安全余量等)。眼睛透镜组件中的透镜可以遵循(follow)观看者头部轮廓的一部分而共同地呈曲线(curvilinear)。观看者头部轮廓的该部分可以包括观看者的眼睛区域、观看者的眼睛区域周围的边缘面部区域、观看者的太阳穴区域(templearea)的部分等中的一些或全部。
为了说明的目的，已经描述了如本文所描述的眼镜设备(800)可以被用来与显示立体图像或多视图图像的图像显示器一起操作，使得观看者(例如，图8d或图8f的808)可以以真实的3d体验观看这些图像，而不会经历如在不实现如本文所描述的技术的其它方法下普遍或频繁发生的调焦-转向冲突。因此，眼镜设备(800)可以在动态操作模式下操作，诸如基于在3d显示应用、vr应用、ar应用等中在任何给定的时间立体图像或多视图图像中的哪些物体正在被观看者(808)看而将眼镜设备(800)中的焦点可调透镜动态地调整到不同的焦距。
应当注意的是，在各种实施例中，如本文所描述的眼镜设备(800)也可以用在非动态操作模式下，其中眼镜设备中的焦点可调透镜可以被设置为固定或相对缓慢改变的特定焦距。例如，眼镜设备(800)可以被用作验光眼镜(prescriptionglass)，其被设置为补偿观看者的特定近视、远视、渐进(progressive)(例如，对于远物体的近视和对于近物体的远视的组合)等等，例如，如由配镜师测量的、如由观看者(808)调节的，等等。因此，观看者(808)可以佩戴眼镜设备(800)，以在现实生活环境中而不是在立体图像或/多视图图像中描绘/渲染的人工环境中观看现实生活物体(例如，阅读书籍等)或现实生活情景。
附加地，可选地或可替代地，即使当如本文所描述的眼镜设备用于观看在立体图像或多视图图像中描绘的物体时，眼镜设备(800)或与眼镜设备(800)一起操作的自动可调透镜控制器(例如，图3a、图3b或图3c的318等)也可以考虑观看者(例如，图8d或图8f的808等)的个体视觉特点(例如，特定的近视、远视、渐进等)，并且以补偿观看者的个体视觉特点的方式将物体投射到它们相应的虚拟物体深度。例如，如本文所描述的焦点可调透镜的经调节/调整的焦距可以包括补偿观看者(808)的近视或远视的第一部分以及将物体投射到其相应虚拟物体深度的第二部分。
在一些实施例中，如果观看者(808)被确定为与标准视觉观看者相比具有较大或较小的清晰视野部分，那么，如本文所描述的焦点可调透镜(例如，图8a的804等)可以被配置为与这种标准视觉观看者相比覆盖较大或较小(例如，在+/-5角度度数内、+/-10角度度数内等)的视野部分。
观看者的视觉感知特点在观看者视野的不同部分中是不同的。例如，与观看者的中心视觉相比，观看者的周边视觉可能对颜色差异和图像分辨率不灵敏。在一些实施例中，覆盖由焦点可调透镜(例如，图8a的804等)覆盖的视野部分之外的观看者周边视觉的焦点固定透镜(例如，图8a的806等)可以被配置为提供对观看者的周边视觉灵敏的周边图像信息，诸如周边物体结构、周边物体移动、周边物体视觉特点改变(例如，闪烁、尺寸改变等)。在一些实施例中，焦点固定透镜(例如，图8a的806等)的不同部分可以被固定到单个固定焦距。在一些实施例中，焦点固定透镜(例如，图8a的806等)的不同部分可以被固定到多个固定焦距。在运行时(例如，在3d显示应用中、在vr应用中、在ar应用中等)，焦点固定透镜(例如，图8a的806等)的(一个或多个)固定焦距是固定的，独立于观看者(808)将眼睛注视指向的任何物体。在一些实施例中，通过不同的固定焦距，焦点固定透镜(例如，图8a的806等)可以被配置为在观看者的周边视觉中提供没有空间变形或有很少空间变形的直线(rectilinear)空间的感知。
在一些实施例中，焦点可调透镜(例如，图8a的804等)沿着不同的空间方向可以具有或可以不具有相同的空间维度/尺寸。在一些实施例中，如图8a中所示，焦点可调透镜(804)可以沿着垂直方向具有第一空间维度/尺寸(表示为“y”)，并且沿着水平方向具有第二空间维度/尺寸(表示为“x”)。在一些实施例中，第一和第二空间维度/尺寸可以相同或相似。在一些实施例中，第一和第二空间维度/尺寸可以是不同的。例如，根据实现细节，在到眼睛3-20毫米的距离处，第一空间维度/尺寸(“y”)可以具有30至45毫米的范围，而第二空间维度/尺寸(“x”)可以具有45至60毫米的范围。在到观看者的头部轮廓3-20毫米的距离处，焦点固定透镜(806)的水平空间维度/尺寸(表示为“c”)可以在10毫米和60毫米之间的范围内。
如本文所描述的眼镜设备中的焦点固定透镜(例如，图8a的806等)和焦点可调透镜(例如，图8a的804等)可以或可以不由相同的透镜技术实现。在一些实施例中，焦点可调透镜(例如，图8a的804等)和在焦点可调透镜(例如，图8a的804等)外部的焦点固定透镜(例如，图8a的806等)可以使用相同的透镜技术来实现。在一些实施例中，焦点可调透镜(例如，图8a的804等)可以使用第一透镜技术来实现，而在焦点可调透镜(例如，图8a的804等)外部的焦点固定透镜(例如，图8a的806等)可以使用不同的第二透镜技术来实现。
附加地，可选地或可替代地，焦点可调透镜(例如，图8a的804等)和在焦点可调透镜(例如，图8a的804等)外部的焦点固定透镜(例如，图8a的806等)可以实现焦距的平滑过渡，以避免焦距的急剧下降或突然改变。
焦点可调透镜(804)的示例形状可以包括但不一定限于以下中的一种或多种的任何组合：圆形、椭圆形、卵形、心形、星形、环形、方形等。
如本文所描述的焦点可调透镜(例如，图8a的804等)的空间配置(诸如空间定位、空间形状、空间维度等中的一个或多个)可以或可以不相对于眼镜设备(例如，800等)的其它部分(例如，焦点固定透镜等)变化。
在一些实施例中，焦点可调透镜(例如，图8a的804等)的空间配置相对于眼镜设备(例如，800等)的其它部分是固定的。焦点可调透镜(例如，图8a的804等)可以位于眼睛透镜组件(例如，802-1等)的固定部分中，相对于焦点可调透镜(例如，图8a的804)外部的焦点固定透镜(例如，图8a的806等)具有固定的空间形状，即使焦点可调透镜(例如，图8a的804等)的(一个或多个)焦距是(例如，自动等)可调节/可调整的。
在一些其它实施例中，焦点可调透镜(例如，图8a的804等)的空间配置相对于眼镜设备(例如，800等)的其它部分不是固定的。焦点可调透镜(例如，图8a的804等)在第一时间点可以位于眼睛透镜组件(例如，802-1等)的第一空间定位处。焦点可调透镜(例如，图8a的804等)在不同的第二时间点可以位于眼睛透镜组件(例如，802-1等)的不同的第二空间定位处。例如，基于注视跟踪，在第一时间，观看者(808)的左眼或右眼的中心区域可以处于或靠近第一空间定位；在第二时间，观看者(808)的左眼或右眼的中心区域可以处于或靠近第二空间定位。因此，在第一时间，可以通过可移动的流体填充透镜形成的、通过激活/控制基于液晶的焦点可调透镜的像素化单元的折射率形成的等等焦点可调透镜(例如，图8a的804等)可以被设置为覆盖第一空间定位。类似地，在第二时间，焦点可调透镜(例如，图8a的804等)可以被设置为覆盖第二空间定位。
9.示例视频流传输服务器和客户端
图3a示出了包括图像处理器302、基于深度的图像生成器312等的示例视频流传输服务器300。在一些实施例中，图像处理器(302)包括图像接收器306、数据仓库(repository)310等。视频流传输服务器(300)的部件中的一些或全部可以在软件、硬件、软件和硬件的组合等中由一个或多个设备、模块、单元等实现。
在一些实施例中，图像接收器(306)包括软件、硬件、软件和硬件的组合等，其被配置为从图像源(诸如与vr应用、ar应用、远程呈现应用、3d显示应用、多视图显示应用等相关联的(inconnectionwith)相机系统，基于云的图像源)接收输入图像流304；将输入图像流(304)解码为一个或多个输入立体图像(例如，输入立体图像的序列、输入多视图图像的序列等)；等等。在一些实施例中，输入图像流(304)可以携带可由图像接收器(306)从输入图像流(304)解码的图像元数据(例如，相机几何信息等)。
在一些实施例中，数据仓库(310)表示一个或多个数据库、一个或多个数据存储单元/模块/设备等，其被配置为关于输入立体图像、图像元数据等中的一些或全部支持诸如存储、更新、检索(retrieve)、删除等之类的操作。在一些实施例中，通过基于深度的图像生成器(308)而不是输入图像流(304)，从数据仓库(310)检索输入立体图像。
在一些实施例中，基于深度的图像生成器(308)包括软件、硬件、软件和硬件的组合等，其被配置为经由双向数据流314接收用户(或观看者)随时间的转向角度等；生成包括基于深度的立体图像和深度控制元数据的输出视频流；经由双向数据流314直接地或间接地(通过中间设备等)将输出视频流提供/发送到立体视频流传输客户端、显示设备、存储设备等。在各种实施例中，基于深度的立体图像可以指输入立体图像(例如，由视频流传输服务器(300)接收的等)或从输入立体图像导出的经修改的立体图像。
深度控制元数据可以表示单个深度随时间的函数。可以至少部分地基于用户的转向角度和与图像显示器相关的其它几何信息(例如，图像显示器与用户的眼睛之间的距离、图像显示器与自动可调透镜之间的距离等)等来确定/计算如在深度控制元数据中指示的任何给定时间点的单个深度，并且该单个深度可以被用来控制用户正在用来观看立体图像的图像渲染设备中的一个或多个自动可调透镜的一个或多个焦距以便投射对应的立体图像，其中该单个深度是针对该立体图像确定/计算的。
附加地，可选地或可替代地，图像处理操作(诸如纵横比调节操作、深度校正操作、模糊过滤、情景切割检测、坐标系之间的变换、时间阻尼(temperaldampening)、显示管理、内容映射、颜色映射、视野管理等)中的一些或全部可以由立体视频流传输服务器(300)执行，以用于生成被编码到输出视频流中的深度控制元数据和基于深度的立体图像的目的。
视频流传输服务器(300)可以被用来支持实时视觉应用、近实时视觉应用，非实时视觉应用、虚拟现实、增强现实、远程呈现、头盔安装式显示应用、平视显示应用、游戏、2d显示应用、3d显示应用、多视图显示应用等。
图3b示出了包括基于深度的图像接收器316、转向角度跟踪器326、自动可调透镜控制器318、一个或多个图像显示器320等的示例图像渲染系统324-1。图像渲染系统(324-1)的部件中的一些或全部可以在软件、硬件、软件和硬件的组合等中由一个或多个设备、模块、单元等实现。
用户(或观看者)可以在运行时的不同时间点将用户的转向角度分别移动到不同深度的图像细节(或立体图像中描绘的视觉物体/人)。在一些实施例中，转向角度跟踪器(326)包括软件、硬件、软件和硬件的组合等，其被配置为跟踪用户随时间的转向角度等。用户随时间的转向角度可以以相对精细的时间尺度(例如，每毫秒、每五毫秒，等等)被采样或测量。
在一些实施例中，基于深度的图像接收器(316)包括软件、硬件、软件和硬件的组合等，其被配置为经由双向数据流314发送用户的转向角度、其它几何信息(例如，图像显示器与用户眼睛之间的距离、图像显示器与自动可调透镜之间的距离等)等；接收包括基于深度的立体图像和与基于深度的立体图像对应的深度控制元数据的视频流(例如，由上游设备输出的等)；等等。
图像渲染系统(324-1)被配置为将接收到的视频流解码为基于深度的立体图像和深度控制元数据；在图像显示器(320)上渲染从接收到的视频流解码的基于深度的立体图像(例如，该立体图像中的每一个包括左图像和右图像)。
在一些实施例中，自动可调透镜控制器(318)包括软件、硬件、软件和硬件的组合等，其被配置为使用深度控制元数据来控制一个或多个自动可调透镜，以便将如在图像显示器(320)上渲染的立体图像投射成在不同时间点分别处于不同深度的虚拟图像(例如，经受一毫秒、10毫秒、帧时间的一部分等等的实时处理延迟)。
附加地，可选地或可替代地，图像渲染操作(诸如注视/眼睛跟踪、纵横比调节操作、深度校正操作、模糊过滤、情景切割检测、时变图像参数的时间阻尼、图像参数的任何其它时间操纵、显示管理、内容映射、色调(tone)映射、颜色映射、视野管理、预测、通过鼠标、轨迹球、键盘、脚踏跟踪器(foottracker)、实体运动等)中的一些或全部可以由图像渲染系统(324-1)执行。
图像渲染系统(324-1)可以被用来支持实时、近实时或非实时的视觉应用、近实时视觉应用、非实时视觉应用、虚拟现实、增强现实、远程呈现、头盔安装式显示应用、平视显示应用、游戏、2d显示应用、3d显示应用、多视图显示应用等。
本文所描述的技术可以在各种系统架构中实现。如本文所描述的一些或全部图像处理操作可以通过以下中的一个或多个的任何组合来实现：基于云的视频流传输服务器、与视频流传输客户端并置或结合到其中的视频流传输服务器、图像渲染系统、图像渲染系统、显示设备，等等。基于一个或多个因素(诸如视觉应用的类型、带宽/位速率预算(budget)、接收方设备的计算能力、资源负载等、视频流传输服务器和/或计算机网络的计算能力、资源、负载等，等等)，一些图像处理操作可以由视频流传输服务器执行，而一些其它图像处理操作可以由视频流传输客户端、图像渲染系统、显示设备等执行。
图3c示出了将基于深度的图像生成器(例如，312等)结合到边缘视频流传输服务器324-2中的示例配置。在一些实施例中，图3c的图像处理器302可以是基于云的。在一些实施例中，图像处理器(302)可以位于与边缘设备(诸如边缘视频流传输服务器(324-2))分离的核心网络中。如图3a中那样，图像处理器(302)可以包括图像接收器306、数据仓库310等。图像处理器(302)可以表示经相对高的位速率与边缘视频流传输服务器(324-2)进行通信的上游视频流传输服务器。图像处理器(302)和/或边缘视频流传输服务器(324-2)的部件中的一些或全部可以在软件、硬件、软件和硬件的组合等中由一个或多个设备、模块、单元等实现。
在一些实施例中，图像处理器(302)被配置为将数据流322中的输入立体图像发送到下游设备，该下游设备中的一个可以是边缘视频流传输服务器(324-2)。
在一些实施例中，边缘视频流传输服务器(324-2)或者其中的基于深度的图像生成器(312)包括软件、硬件、软件和硬件的组合等，其被配置为确定用户随时间的转向角度、其它几何信息等；生成包括基于深度的立体图像和深度控制元数据的输出视频流；经由双向数据流314直接或间接地(通过中间设备等)将输出视频流提供/发送到视频流传输客户端、显示设备、存储设备等。
10.示例处理流程
图4a示出了根据本发明的示例实施例的示例处理流程。在一些示例实施例中，一个或多个计算设备或部件可以执行这个处理流程。在方框402中，当观看者正在观看包括第一左图像和第一右图像的第一立体图像时，图像处理系统(例如，图3a至图3c的视频流传输服务器或视频流传输客户端的任何组合等)确定观看者的左眼的左转向角度和观看者的右眼的右转向角度。
在方框404中，图像处理系统至少部分地基于(i)观看者的左眼的左转向角度和(ii)观看者的右眼的右转向角度来确定虚拟物体深度。
在方框406中，图像处理系统在一个或多个图像显示器上为观看者渲染包括第二左图像和第二右图像的第二立体图像。第二立体图像在第一立体图像之后。
在方框408中，图像处理系统将第二立体图像从一个或多个图像显示器投射到虚拟物体深度处的虚拟物体平面。
图4b示出了根据本发明的示例实施例的另一示例处理流程。在一些示例实施例中，一个或多个计算设备或部件可以执行这个处理流程。在方框422中，图像处理系统(例如，图3a至图3c的眼镜设备、视频流传输服务器或视频流传输客户端的任何组合等)使用一个或多个注视跟踪设备来跟踪观看者的左眼和观看者的右眼所指向的虚拟物体深度。
在方框424中，图像处理系统在一个或多个图像显示器上渲染包括左图像和右图像的立体图像。
在方框426中，图像处理系统利用眼镜设备的左透镜组件将左图像投射到虚拟物体深度处的虚拟物体平面。
在方框428中，图像处理系统利用眼镜设备的右透镜组件将右图像投射到处于虚拟物体深度的虚拟物体平面。
在实施例中，左透镜组件包括左焦点可调透镜和左焦点固定透镜，而右透镜组件包括右焦点可调透镜和右焦点固定透镜。
在实施例中，第二左图像和第二右图像是通过应用一个或多个纵横比调节操作而从输入左图像和输入右图像生成的，其中纵横比调节操作将在输入左图像和输入右图像中描绘的视觉物体的纵横比调节成在被投射到虚拟物体深度处的虚拟物体平面的第二左图像和第二右图像中描绘的视觉物体的经修改的纵横比。
在实施例中，第二左图像和第二右图像是通过应用一个或多个深度校正操作而从输入左图像和输入右图像生成的，其中深度校正操作将在输入左图像和输入右图像中描绘的视觉物体的深度转换成在被投射到虚拟物体深度处的虚拟物体平面的第二左图像和第二右图像中描绘的视觉物体的经修改的深度。
在实施例中，第二左图像和第二右图像是通过应用一个或多个模糊过滤操作而从输入左图像和输入右图像生成的，其中模糊过滤操作相对于输入左图像和输入右图像模糊第二左图像和第二右图像的一个或多个空间区域；第二左图像和第二右图像的这一个或多个空间区域远离观看者的中央凹视觉。
在实施例中，第二立体图像的第二左图像和第二右图像被并发地渲染，以被观看者观看。
在实施例中，第二立体图像的第二左图像和第二右图像被按帧顺序地渲染，以被观看者观看。
在实施例中，第二立体图像在被渲染以被观看者观看的立体图像的序列中在时间上紧接在第一立体图像之后。
在实施例中，使用一个或多个自动可调透镜被用来将第二立体图像投射到虚拟物体深度处的虚拟物体平面；至少部分地基于虚拟物体深度来确定一个或多个自动可调透镜的一个或多个焦距。
在实施例中，从输入立体图像序列中的第二输入立体图像生成第二立体图像；从第二输入立体图像不生成除第二立体图像之外的其它立体图像；第二立体图像不被投射到除所述虚拟物体深度以外的其它虚拟物体深度。
在实施例中，第二立体图像的第二左图像和第二右图像分别在第一图像显示器和第二图像显示器上被渲染。
在实施例中，第二立体图像的第二左图像和第二右图像在单个图像显示器上被渲染。
在实施例中，基于包括单个透镜元件的自动可调透镜，将第二立体图像的第二左图像和第二右图像中的至少一个投射到虚拟物体平面。
在实施例中，基于包括多个透镜元件的自动可调透镜，将第二立体图像的第二左图像和第二右图像中的至少一个投射到虚拟物体平面。
在实施例中，第二立体图像的第二左图像仅观看者的左眼可观看，而第二立体图像的第二右图像仅观看者的右眼可观看。
在实施例中，图像处理系统还被配置为执行：当观看者正在观看包括第二左图像和第二右图像的第二立体图像时，确定观看者的左眼的第二左转向角度和观看者的右眼的第二右转向角度；至少部分地基于(i)观看者的左眼的第二左转向角度和(ii)观看者的右眼的第二右转向角度来确定第二虚拟物体深度；在一个或多个图像显示器上为观看者渲染包括第三左图像和第三右图像的第三立体图像，第三立体图像在第二立体图像之后；将第三立体图像从一个或多个图像显示器上投射到第二虚拟物体深度处的第二虚拟物体平面；等等。
在实施例中，至少部分地基于观看者的特定视觉特点来调节虚拟物体深度。
在各种示例实施例中，装置、系统、装置或一个或多个其它计算设备执行如所描述的前述方法的任何一个或一部分。在实施例中，非暂态计算机可读存储介质存储软件指令，当软件指令由一个或多个处理器执行时，使得如本文所描述的方法被执行。
要注意的是，虽然在本文中讨论了分开的实施例，但是本文讨论的实施例和/或部分实施例的任何组合可以被组合，以形成进一步的实施例。
11.实现机制–硬件概述
根据一个实施例，本文所描述的技术由一个或多个专用计算设备实现。专用计算设备可以是硬连线的以执行该技术，或者可以包括诸如被永久性地编程以执行该技术的一个或多个专用集成电路(asic)或现场可编程门阵列(fpga)之类的数字电子设备，或者可以包括被编程为按照固件、存储器、其它储存器或其组合中的程序指令执行该技术的一个或多个通用硬件处理器。这种专用计算设备还可以将定制的硬连线逻辑、asic或fpga与定制的编程组合来实现该技术。专用计算设备可以是台式计算机系统、便携式计算机系统、手持式设备、联网设备或者结合硬连线和/或程序逻辑来实现该技术的任何其它设备。
例如，图5是示出本发明的示例实施例可以在其上实现的计算机系统500的框图。计算机系统500包括总线502或者用于传送信息的其它通信机制，以及与总线502耦合以用于处理信息的硬件处理器504。硬件处理器504可以是例如通用微处理器。
计算机系统500还包括耦合到总线502以用于存储信息和要由处理器504执行的指令的主存储器506，诸如随机存取存储器(ram)或其它动态存储设备。主存储器506还可以用于存储在执行要由处理器504执行的指令期间的临时变量或其它中间信息。当存储在处理器504可访问的非暂态存储介质中时，这种指令使计算机系统500变成为执行指令中所指定的操作而定制的专用机器。
计算机系统500还包括只读存储器(rom)508或者耦合到总线502的其它静态存储设备，用于为处理器504存储静态信息和指令。
存储设备510(诸如磁盘、光盘或固态ram)被提供，并且耦合到总线502以用于存储信息和指令。
计算机系统500可以经由总线502耦合到显示器512(诸如液晶显示器)，以用于向计算机用户显示信息。输入设备514(包括字母数字和其它键)耦合到总线502，用于向处理器504传送信息和命令选择。另一种类型的用户输入设备是光标(cursor)控件516(诸如鼠标、轨迹球或者光标方向键)，用于向处理器504传送方向信息和命令选择并且用于控制显示器512上的光标移动。这种输入设备通常具有在两个轴(第一轴(例如，x)和第二轴(例如，y))中的两个自由度，这两个自由度允许设备指定平面中的位置。
计算机系统500可以使用定制的硬连线逻辑、一个或多个asic或fpga、固件和/或程序逻辑来实现本文所述的技术，这些与计算机系统相组合，使计算机系统500成为或把计算机系统500编程为专用机器。根据一种实施例，本文的技术由计算机系统500响应于处理器504执行被包含在主存储器506中的一条或多条指令的一个或多个序列而被执行。这种指令可以从另一存储介质(诸如存储设备510)读取到主存储器506中。被包含在主存储器506中的指令序列的执行使处理器504执行本文所述的处理步骤。在替代实施例中，硬连线的电路系统可以代替软件指令使用或者与软件指令组合使用。
如本文所使用的术语“存储介质”是指存储使机器以特定方式操作的数据和/或指令的任何非暂态介质。这种存储介质可以包括非易失性介质和/或易失性介质。非易失性介质包括例如光盘或磁盘，诸如存储设备510。易失性介质包括动态存储器，诸如主存储器506。存储介质的普遍形式包括例如软盘、柔性盘、硬盘、固态驱动器、磁带，或者任何其它磁性数据存储介质、cd-rom、任何其它光学数据存储介质、任何具有孔模式的物理介质、ram、prom和eprom、flash-eprom、nvram，任何其它存储器芯片或盒式磁带。
存储介质与传输介质截然不同但是可以与其结合使用。传输介质参与在存储介质之间传递信息。例如，传输介质包括同轴电缆、铜线和光纤，包括包含总线502的线。传输介质还可以采取声或光波的形式，诸如在无线电波和红外线数据通信中生成的那些声或光波。
各种形式的介质可以参与把一条或多条指令的一个或多个序列携带到处理器504以用于执行。例如，指令初始地可以在远程计算机的磁盘或固态驱动器上承载。远程计算机可以把指令加载到其动态存储器中并且使用调制解调器经电话线发送指令。位于计算机系统500本地的调制解调器可以接收电话线上的数据并且使用红外线发射器将数据变换成红外线信号。红外线检测器可以接收在红外线信号中承载的数据并且适当的电路系统可以把数据放到总线502上。总线502把数据携载到主存储器506，处理器504从该主存储器506检索并执行指令。由主存储器506接收到的指令可以可选地在被处理器504执行之前或之后存储在存储设备510上。
计算机系统500还包括耦合到总线502的通信接口518。通信接口518提供耦合到网络链路520的双向数据通信，其中网络链路520连接到本地网络522。例如，通信接口518可以是综合服务数字网络(isdn)卡、电缆调制解调器、卫星调制解调器，或者提供到对应类型的电话线的数据通信连接的调制解调器。作为另一个示例，通信接口518可以是提供到兼容的局域网(lan)的数据通信连接的lan卡。无线链路也可以被实现。在任何这种实现中，通信接口518发送和接收承载表示各种类型信息的数字数据流的电信号、电磁信号或光信号。
网络链路520通常通过一个或多个网络向其它数据设备提供数据通信。例如，网络链路520可以通过本地网络522提供到主机计算机524或者到由互联网服务提供商(isp)526运营的数据装备的连接。isp526又通过现在通常称为“互联网”528的全球分组数据通信网络来提供数据通信服务。本地网络522和互联网528两者使用承载数字数据流的电信号、电磁信号或光学信号。通过各种网络的信号以及在网络链路520上并通过通信接口518的信号是传输介质的示例形式，这些信号把数字数据携载到计算机系统500或者携载来自计算机系统500的数字数据。
计算机系统500可以通过(一个或多个)网络、网络链路520和通信接口518发送消息和接收数据(包括程序代码)。在互联网示例中，服务器530可以通过互联网528、isp526、本地网络522和通信接口518来传输对应用程序的请求代码。
接收到的代码可以在其被接收时由处理器504执行，和/或存储在存储设备510或其它非易失性储存器中，用于以后执行。
12.等同、扩展、替代方案和其他
在前述说明书中，已经参考许多具体细节描述了本发明的示例实施例，这些具体细节可以从实现到实现有所不同。因此，本发明的唯一且排他指示，以及申请人所期望作为本发明的是由本申请产生的一组权利要求，以这种权利要求产生的具体形式，包括任何后续校正。本文对这些权利要求中包含的术语的任何明确阐述的限定应该支配(govern)在权利要求中使用的这些术语的含义。因此，权利要求中没有明确记载的限制、元素、特性、特征、优点或属性都不应当以任何方式限制这些权利要求的范围。因而，说明书和附图被认为是说明性的而不是限制性的。