单一深度追踪调节-聚散解决方案的制作方法

本发明总体上涉及图像呈现(imagerendering)，具体地涉及对利用显示设备进行的三维(3d)和/或多视图(multi-view)图像呈现来应用单一深度追踪调节-聚散解决方案。

背景技术：

视网膜是指(例如，人类、观看者等的)眼睛内表面的重要部分，其具有与眼睛瞳孔相对的视觉传感器。中央凹是指视网膜的、容纳许多在眼睛中具有最清晰的视力和最灵敏的颜色接受能力的视觉传感器的相对微小的中间部分。

人类大脑利用聚散过程来控制眼外肌，使(人类)观看者的两只眼睛朝向场景中任何可见物体同时会聚或发散，以支持将物体感知为3d物体。同时，人类大脑利用调节过程(accommodationprocess)来控制睫状肌，使位于两只眼睛的瞳孔后方的每一个眼睛晶状体适应某些焦距(或光焦度)，以支持物体的清晰视觉或中央凹视野。

当观看真实世界环境(或场景)中的真实世界物体时，人类大脑利用自然的相互依赖的调节与聚散过程来同时控制睫状肌和眼外肌，适应性调节观看者的各单独眼睛晶状体的两个焦距以便支持对位于某个空间位置的真实世界物体的清晰视觉(或中央凹视野)，同时，使双眼朝向位于所述某个空间位置的真实世界物体会聚和发散以便支持对包括真实世界物体的真实世界环境的感知。

相比之下，当使用近眼显示器观看3d图像时，人类大脑必须经历重新学习的过程，以利用相冲突的调节和聚散过程来控制睫状肌和眼外肌。在观看3d图像时这些相冲突的调节和聚散过程控制睫状肌和眼外肌的方式与调节和聚散过程在观看真实世界环境中的真实世界物体时控制睫状肌和眼外肌的方式非常不同。

更特别地，人类大脑需要控制睫状肌以将观看者眼睛的眼睛晶状体设置为恒定的焦距，以便支持对位于距眼睛固定距离处的近眼显示器上呈现的图像的清晰视觉(或中央凹视野)，无论图像中的、观看者正在观看的所描绘物体应位于何处。在睫状肌固定眼睛晶状体的焦距以清晰地观看近眼显示器的同时，人类大脑仍然需要控制眼外肌以使双眼同时朝向图像中在距近眼显示器一定距离处所描绘的物体而会聚或发散，以便支持将物体感知为3d物体。

这被称为调节-聚散冲突。也就是说，在观看3d图像时和在观看真实世界物体时，大脑对睫状肌和眼外肌的控制必须非常不同。不幸的是，观看3d图像时的调节-聚散冲突可能导致在观看3d图像过程中以及之后引起频繁且严重的生理不适/疾病，比如恶心、头疼、迷失方向感等。在这一部分中描述的方法是可以采用的方法，但不一定是之前已经设想到或采用的方法。因此，除非另有指明，否则不应假设这一部分中所述的任何方法仅凭被包含在这一部分中就应被认定为现有技术。类似地，除非另有指明，否则关于一种或多种方法所确认的问题不应基于这一部分而假设为已在任何现有技术中被公认。

附图说明

在附图中以举例的方式而非限制的方式展示本发明，并且其中相同的附图标记指代相似的要素，并且在附图中：

图1a展示了示例性人眼的截面视图；图1b展示了左眼和右眼对位于物平面中的真实世界物体的示例性观看；

图2a、图2b和图2d展示了对在包括左侧图像和右侧图像的立体图像中所描绘的(多个)虚拟物体的示例性观看；图2c展示了在观看立体图像的时间序列时对观看者的聚散角的示例性追踪；图2e展示了示例性模糊过滤器；

图3a和图3b展示了示例性视频流服务器和客户端；

图4a和图4b展示了示例性过程流程；并且

图5展示了示例性硬件平台，在所述硬件平台上可以实施本文所描述的计算机或计算设备。

具体实施方式

本文描述了与对利用显示设备的3d和/或多视图图像呈现应用单一深度追踪调节-聚散解决方案相关的示例性实施例。在以下说明中，为了解释的目的，阐述了许多具体细节以便提供对本发明的透彻理解。然而清楚的是，可以在没有这些具体细节的情况下实施本发明。在其他情形中，为了避免不必要地掩盖、模糊或混淆本发明，没有详尽地描述众所周知的结构和设备。

在此根据以下概要对示例性实施例进行描述：

1.总体概述

2.调节与聚散

3.调节与聚散之间的冲突

4.解决调节与聚散之间的冲突

5.追踪聚散角

6.示例性视频流服务器和客户端

7.示例性过程流程

8.实施机构—硬件概述

9.等同方案、扩展、替代方案及其他

1.总体概述

此概述呈现了对本发明的示例性实施例的某些方面的基本说明。应当注意的是，此概述不是对示例性实施例的各方面的广泛或详尽概括。此外，应当注意的是，此概述不旨在被理解为确认示例性实施例的任何特别重要的方面或要素，也不旨在被理解为特别地刻画示例性实施例的任何范围，也不是概括地刻画本发明。此概述仅以压缩和简化的格式呈现与示例性实施例相关的一些概念，并且应该被理解为仅仅是以下示例性实施例的更详细说明的概念性序幕。注意，尽管本文讨论了各单独的实施例，但是本文讨论的实施例和/或部分实施例的任何组合都是可以的，其可以被组合以形成进一步实施例。

本文描述的示例性实施例涉及通过自动可调透镜在呈现和观看3d图像(或多视图图像)时解决调节-聚散冲突。当观看者在观看包括第一左侧图像和第一右侧图像的第一立体图像时，确定观看者的左眼的左聚散角和所述观看者的右眼的右聚散角。至少部分地基于(i)观看者的左眼的左聚散角和(ii)观看者的右眼的右聚散角来确定虚拟物体深度。在一个或多个图像显示器上为观看者呈现包括第二左侧图像和第二右侧图像的第二立体图像。第二立体图像跟随在第一立体图像之后。将第二立体图像从所述一个或多个图像显示器投射到所述虚拟物体深度处的虚拟物体平面。

在一些实施例中，第二左侧图像和第二右侧图像是通过应用一个或多个纵横比调整操作从输入的左侧图像和输入的右侧图像生成的，所述一个或多个纵横比调整操作将输入的左侧图像和输入的右侧图像中所描绘的视觉物体的纵横比调整为投射到所述虚拟物体深度处的虚拟物体平面的第二左侧图像和第二右侧图像中所描绘的视觉物体的修改后的纵横比。

在一些实施例中，所述第二左侧图像和所述第二右侧图像是通过应用一个或多个深度校正操作从输入的左侧图像和输入的右侧图像生成的，所述一个或多个深度校正操作将所述输入的左侧图像和所述输入的右侧图像中所描绘的视觉物体的深度转换为投射到所述虚拟物体深度处的所述虚拟物体平面的所述第二左侧图像和所述第二右侧图像中所描绘的视觉物体的修改后的深度。

在一些实施例中，所述第二左侧图像和所述第二右侧图像是通过应用一个或多个模糊过滤操作从输入的左侧图像和输入的右侧图像生成的，其中，所述一个或多个模糊过滤操作相对于所述输入的左侧图像和所述输入的右侧图像使所述第二左侧图像和所述第二右侧图像的一个或多个空间区域模糊，并且其中，所述第二左侧图像和所述第二右侧图像的所述一个或多个空间区域是离开所述观看者的中央凹视野的。

在一些示例性实施例中，本文描述的机构形成媒体处理系统的一部分，所述机构包括但不限于以下中的任何：近眼显示器、基于云的服务器、移动设备、虚拟现实系统、增强现实系统、抬头显示器设备、头盔式显示设备、zspace显示器、cave式系统或壁挂式显示器、视频游戏设备、显示设备、媒体播放器、媒体服务器、媒体制作系统、照相机系统、基于家庭的系统、通讯设备、视频处理系统、视频编解码器系统、演播室系统、流媒体服务器、基于云的内容服务系统、手持式设备、游戏机、电视机、影院显示器、膝上型计算机、上网本计算机、平板计算机、蜂窝无线电话、电子书阅读器、销售点终端、台式计算机、计算机工作站、计算机服务器、计算机亭、或各种其他类型的终端和媒体处理单元。

对在此描述的优选实施例和通用原理以及特征作出的各种变型对本领域的技术人员而言将是非常清楚的。因此，本公开内容不旨在受限于所示实施例，而旨在给予与本文描述的原理和特征一致的最宽范围。

2.调节与聚散

图1a展示了当从观看者头部正上方观看时观看者的示例性人眼100的横截面视图。如图所示，眼睛(100)具有光轴102(垂直于横向线112)，所述光轴穿过位于眼睛(100)前部的瞳孔104的中心点以及位于眼睛(100)后部的视网膜110中的中央凹106的中心点。通过位于瞳孔(104)后方的眼睛晶状体108收集的光可以由眼睛晶状体(108)投射到中央凹(106)上。仅出于说明的目的，眼睛晶状体(108)可以用眼睛焦距来光学地表征。由于眼睛晶状体可以表示或可以不表示单一焦距的光学透镜，因此本文所述的眼睛焦距可以指以下之一：针对光轴(102)附近的光的焦距、眼睛晶状体的中心部分的平均焦距、针对光轴(102)附近的光的有效焦距、关于投射到中央凹上的光的焦距、相对于中央凹视野局部近乎完美的透镜的焦距等。应当注意的是，在各种实施例中，眼睛晶状体可以被建模为单个透镜或多个透镜，其中一个、一些或全部可以具有变焦透镜，所述变焦透镜例如可通过眼睛(100)中或与眼睛相关联的睫状肌来控制。

图1b展示了观看者的左眼100-1和右眼100-2对位于物平面116中的真实世界物体114的示例性观看。如图所示，真实世界物体(114)所位于的物平面(116)垂直于观看者的正面观看方向118，并且平行于观看者的瞳孔间连线120。

为了通过左眼(100-1)的左中央凹(106-1)和右眼(100-2)的右中央凹(106-2)两者实现对真实世界物体(114)的清晰视觉，观看者的大脑利用聚散过程(例如，发散过程、会聚过程等)同时控制双眼的眼外肌，以使左眼(100-1)和右眼(100-2)朝向真实世界物体(114)定向。如果观看者的光轴(102-1和102-2，分别垂直于横向线112-1和112-2)先前指向比真实世界物体(114)更近的空间点，则观看者的大脑利用发散过程来控制双眼的眼外肌，以同时使左眼(100-1)和右眼(100-2)朝向真实世界物体(114)发散。否则，如果观看者的光轴(102-1和102-2)先前指向比真实世界物体(114)更远的空间点，则观看者的大脑利用会聚过程来控制双眼的眼外肌，以同时使左眼(100-1)和右眼(100-2)朝向真实世界物体(114)会聚。

结果，左眼(100-1)的左光轴(102-1)和右眼(100-2)的右光轴(102-2)(例如，具有正常视力)在真实世界物体(114)处相符，以使来自真实世界物体(114)的光投射到左眼(100-1)的左中央凹(106-1)和右眼(100-2)的右中央凹(106-2)两者上。

在观看真实世界环境/场景中的真实世界物体时，调节和聚散过程/功能不是独立的，而是在观看者的大脑中是相互依赖的，以控制肌肉朝向物体聚散(会聚/发散)并同时(例如，适应于)聚焦于同一物体。例如，在利用聚散过程来同时控制双眼的眼外肌以使左眼(100-1)和右眼(100-2)朝向真实世界物体(114)定向的同时，观看者的大脑利用调节过程来同时控制双眼的睫状肌，以使左眼(100-1)和右眼(100-2)聚焦到真实世界物体(114)上。可以通过调节过程来调整左眼(100-1)和右眼(100-2)的焦距，使得来自真实世界物体(114)的(例如，发射的、反射的等)光聚焦在与左中央凹(106-1)和右中央凹(106-2)相符的像平面(或视网膜)处。更特别地，左眼(100-1)的焦距可以至少部分地基于真实世界物体(114)与左眼晶状体(108-1)之间的(左)距离122-1通过调节过程来设定，以使来自真实世界物体(114)的光聚焦在与左中央凹(106-1)相符的左像平面(或左视网膜)处，而右眼(100-2)的焦距可以至少部分地基于真实世界物体(114)与右眼晶状体(108-2)之间的(右)距离122-2通过调节过程来设定，以使来自真实世界物体(114)的光聚焦在与右中央凹(106-2)相符的右像平面(或右视网膜)处。在真实世界物体(114)距观看者眼睛所位于的距离远大于(例如，十倍于等等)观看者的沿瞳孔间连线(120)的瞳孔间距(观看者的两只眼睛之间的距离)的情景中，左眼(100-1)和右眼(100-2)的焦距可以通过调节过程被调整为相同的焦距或大致相同的焦距。

3.调节与聚散之间的冲突

在一些实施例中，可以利用部署在一个或多个空间环境中的一个或多个照相机系统来捕获本文所述的立体图像或多视图图像。示例性空间环境可以包括但不仅限于以下中的任何：实际空间环境、模拟空间环境、电影摄影棚、室外场景、室内场景、隧道、街道、车辆、船舶、飞行器、外太空等。示例性相机系统可以包括但不仅限于以下中的任何：3d照相机、多视图照相机、光场照相机、视场重叠和/或非重叠的多个照相机、数码照相机、模拟照相机、摄像头等。

可以将本文所述的立体图像或多视图图像的左侧图像、右侧图像、多个不同视图中的特定视图的图像等记录或组合成为图像帧的像素值分布的像素。

图2a展示了对在包括左侧图像202-1和右侧图像202-2的立体图像中所描绘的虚拟物体214的示例性观看。通过观看者的左眼(100-1)和右眼(100-2)，虚拟物体(214)可以在立体图像中被表示为位于虚拟物体平面216中。仅出于说明的目的，虚拟物体(214)(虚拟地)位于的虚拟物体平面(216)垂直于观看者的正面观看方向(118)，并且平行于观看者的瞳孔间连线(120)。

为了通过左眼(100-1)的左中央凹(106-1)和右眼(100-2)的右中央凹(106-2)实现对虚拟物体(214)的清晰视觉，观看者的大脑利用聚散过程(例如，发散过程、会聚过程等)同时控制双眼的眼外肌，以使左眼(100-1)和右眼(100-2)朝向虚拟物体(214)定向。如果观看者的光轴(102-1和102-2)先前指向比虚拟物体(214)更近的(在立体图像中所描绘的)虚拟空间点，则观看者的大脑利用发散过程来控制双眼的眼外肌以同时使左眼(100-1)和右眼(100-2)朝向虚拟物体(214)发散。否则，如果观看者的光轴(102-1和102-2)先前指向比虚拟物体(214)更远的(在立体图像中描绘的)虚拟空间点，则观看者的大脑利用会聚过程来控制双眼的眼外肌以同时使左眼(100-1)和右眼(100-2)朝向虚拟物体(214)会聚。

结果，左眼(100-1)的左光轴(102-1)和右眼(100-2)的右光轴(102-2)在虚拟物体(214)处相符，使来自对虚拟物体(214)进行描绘的左像素224-1(在左侧图像(202-1)中)和右像素224-2(在右侧图像(202-2)中)的光分别投射到左眼(100-1)的左中央凹(106-1)和右眼(100-2)的右中央凹(106-2)上。

在利用聚散过程来同时控制双眼的眼外肌以使左眼(100-1)和右眼(100-2)朝向虚拟物体(214)定向的同时，观看者的大脑利用调节过程来同时控制双眼的睫状肌，以使左眼(100-1)和右眼(100-2)分别聚焦到描绘虚拟物体(214)的左像素(224-1)和右像素(224-2)上。可以通过调节过程来调整左眼(100-1)和右眼(100-2)的焦距，使得来自描绘虚拟物体(214)的左像素(224-1)和右像素(224-2)的光聚焦在与左中央凹(106-1)和右中央凹(106-2)相符的相应像平面(或视网膜)处。更特别地，左眼(100-1)的焦距可以至少部分地基于左像素(224-1)与左眼晶状体(108-1)之间的(左)距离222-1通过调节过程来设定，以使来自左像素(224-1)的光聚焦在与左中央凹(106-1)相符的左像平面(或左视网膜)处，而右眼(100-2)的焦距可以至少部分地基于右像素(224-2)与右眼晶状体(108-2)之间的(右)距离222-2通过调节过程来设定，以使来自右像素(224-2)的光聚焦在与右中央凹(106-2)相符的右像平面(或右视网膜)处。在左侧图像和右侧图像(202-1和202-2)距观看者眼睛所位于的距离与观看者的沿瞳孔间连线(120)的瞳孔间距(观看者的两只眼睛之间的距离)可比的情景中，左眼(100-1)和右眼(100-2)的焦距可以通过调节过程被调整为各自不同的焦距。

图2a中观看者的大脑所利用的调节和聚散过程/功能的操作与图1b中观看者的大脑所利用的调节和聚散过程/功能相当不同。

例如，如前所述，在观看诸如图1b中所展示的真实世界物体时，观看者的大脑利用自然调节和聚散过程来控制肌肉朝向物体聚散(会聚/发散)并同时(例如，适应于)聚焦于同一物体上。更特别地，图1b中的调节过程基于真实世界物体(114)与左眼晶状体和右眼晶状体(108-1和108-2)之间的距离来调整左眼晶状体(108-1)和右眼晶状体(108-2)的焦距。这些距离自洽地与左眼(100-1)和右眼(100-2)的光轴(102-1和102-2)的交叉点相符或终止/结束于所述交叉点。此外，在大多数情况下，由于这些距离是瞳孔间距的许多倍，因此通过图1b的调节过程设定的左眼晶状体(108-1)和右眼晶状体(108-2)的焦距是基本上相同的。

另一方面，在观看诸如图2a中所展示的虚拟物体时，观看者的大脑必须利用新的且非天然的调节和聚散过程来控制肌肉朝向虚拟物体聚散(会聚/发散)并且同时地且相冲突地聚焦在描绘虚拟物体的像素上(在(多个)显示器上)而不是在虚拟空间位置的虚拟物体上。更特别地，图2a中的调节过程基于左像素(224-1)与左眼晶状体(108-1)之间的距离以及右像素(224-2)与右眼晶状体(108-2)之间的距离来调整左眼晶状体(108-1)和右眼晶状体(108-2)的焦距，从而将最清晰的视觉固定于呈现左像素和右像素(224-1和224-2)的(多个)显示器处。这些距离与左眼(100-1)和右眼(100-2)的光轴(102-1和102-2)的交叉点不相符且不终止/结束于所述交叉点。左眼晶状体(108-1)和右眼晶状体(108-2)以及左中央凹(106-1)和右中央凹(106)实质上被迫指向分别位于两个不同显示器处(或位于同一显示器的不同空间位置处)的两个不同像素组。

此外，在左侧图像和右侧图像(202-1和202-2)靠近观看者的眼睛(100-1和100-2)被呈现的情况下，当左像素(224-1)与左眼晶状体(108-1)之间的距离以及右像素(224-2)与右眼晶状体(108-2)之间的距离与瞳孔间距可比时，通过图2a的调节过程设定的左眼晶状体(108-1)和右眼晶状体(108-2)的焦距会充分不同以迫使观看者的大脑重新学习额外的新的眼睛控制，以利用眼睛晶状体的不同聚焦透镜作为克服调节-聚散冲突的一部分。

4.解决调节与聚散之间的冲突

图2b展示了透过一个或多个自动可调透镜228-1、228-2等对在包括左侧图像(252-1)和右侧图像(252-2)的立体图像中所描绘的虚拟物体(214)的示例性观看，所述自动可调透镜设置在(a)呈现左侧图像(252-1)和右侧图像(252-2)的一个或多个图像显示器与(b)观看者的眼睛(100-1和100-2)之间。在一些实施例中，一些或全部图像显示器相对于观看者是静止的(例如，处于距观看者固定距离处等)，并且与瞳孔间连线(120)平行(或基本上平行)。仅出于说明的目的，自动可调透镜包括设置在左侧图像(252-1)与左眼(100-1)之间的左侧自动可调透镜228-1以及设置在右侧图像(252-2)与右眼(100-2)之间的右侧自动可调透镜228-2。本文所述的示例性自动可调透镜可以包括但不必仅限于以下中的任何：可机械控制的自动可调透镜、可电子控制的自动可调透镜、基于液体的自动可调透镜等。

本文所述的图像处理系统可以用于各种显示应用中的任何，所述显示应用包括但不限于：3d显示应用、多视图显示应用、球面图像显示应用、虚拟现实(vr)应用、增强现实(ar)应用、远程呈现应用等。图像处理系统可以被配置用于实时地执行注视追踪操作(和/或眼睛追踪操作)，以确定在呈现3d或多视图图像以供观看者观看的显示应用中在任何给定时间观看者的眼睛正在看哪个具体的虚拟空间位置。出于说明的目的，基于注视/眼睛追踪操作的结果，图像处理系统确定/推断虚拟物体(214)所位于的具体虚拟空间位置。注视/眼睛追踪操作可以基于一种或多种(例如，实时)注视/眼睛追踪方法的任何组合。例如，这些注视/眼睛追踪方法可以用以下中的一个或多个来操作：眼睛附件、光学传感器、眼睛图像获取和分析、电场测量、红外光等。

在各种实施例中，具体虚拟空间位置可以在观看者所位于的图像呈现环境中所表示的任何空间坐标系(例如，笛卡尔坐标系、极坐标系、世界坐标系、相对坐标系等)中表示。

基于在给定时间的具体虚拟空间位置，图像处理系统识别/确定具体虚拟空间位置(或虚拟物体(214))在给定时间所位于的虚拟物体平面216。例如，基于在给定时间的具体虚拟空间位置，图像处理系统可以计算用于给定时间的虚拟物体平面(216)的单一深度236(或虚拟物体深度)。所述单一深度(236)可以但不必限于由虚拟物体平面(216)与自动可调透镜(228-1和228-2)之间的距离表示。在图像呈现平面处呈现的左侧图像(252-1)和右侧图像(252-2)两者可以分别通过左侧自动可调透镜(228-1)和右侧自动可调透镜(228-2)投射到虚拟物体平面(216)。

在一些实施例中，图像处理系统利用(多个)透镜方程来确定左侧自动可调透镜和右侧自动可调透镜(228-1和228-2)的焦距。

在非限制性实施示例中，可以利用透镜方程来计算单一焦距；左侧自动可调透镜和右侧自动可调透镜(228-1和228-2)两者都可以自动调谐为同一计算出的单一焦距。在计算这个单一焦距时透镜方程的输入可以包括(a)由虚拟物体平面(216)与自动可调透镜(228-1和228-2)之间的距离表示的单一深度(236)、以及(b)由自动可调透镜(228-1和228-2)与呈现左侧图像(252-1)和右侧图像(252)的图像显示器之间的距离表示的图像显示深度(242)。单一深度(236)可以用作透镜方程中的像距(d2)，而图像显示深度(242)可以用作透镜方程中的物距(d1)。如下提供了用于计算本文所述的自动可调透镜的焦距的透镜方程的示例：

自动可调透镜(228-1和228-2)的存在有效地将图像从实际呈现左侧图像(252-1)和右侧图像(252-2)的图像显示器移至虚拟图像显示器(由虚拟物体平面(216)表示)，由自动可调透镜(228-1和228-2)将左侧图像(252-1)和右侧图像(252-2)投射到所述虚拟图像显示器上。

为了通过左眼(100-1)的左中央凹(106-1)和右眼(100-2)的右中央凹(106-2)实现对虚拟物体(214)的清晰视觉，观看者的大脑利用聚散过程(例如，发散过程、会聚过程等)同时控制双眼的眼外肌以使左眼(100-1)和右眼(100-2)朝向虚拟物体(214)定向。

结果，左眼(100-1)的左光轴(102-1)和右眼(100-2)的右光轴(102-2)在虚拟物体(214)处相符，使来自虚拟物体(214)的光投射到左眼(100-1)的左中央凹(106-1)和右眼(100-2)的右中央凹(106-2)上。更特别地，来自虚拟物体(214)的光包括(a)由左侧自动可调透镜(228-1)从左像素234-1(在左侧图像(252-1)中)投射的左侧光部分、以及(b)由右侧自动可调透镜(228-2)从右像素234-2(在右侧图像(252-2)中)投射的右侧光部分，其中左像素(234-1)和右像素(234-2)描绘了虚拟物体(214)。与左像素(234-1)的虚拟图像部分对应的左侧光部分由左眼(100-1)的左中央凹(106-1)接收，而与右像素(234-2)的虚拟图像部分对应的右侧光部分由右眼(100-2)的右中央凹(106-2)接收。

在利用聚散过程来同时控制双眼的眼外肌以使左眼(100-1)和右眼(100-2)朝向虚拟物体(214)定向的同时，观看者的大脑利用调节过程来同时控制双眼的睫状肌，以将左眼(100-1)和右眼(100-2)分别聚焦到位于虚拟物体平面(216)处的虚拟物体(214)上。左眼(100-1)和右眼(100-2)的焦距可以通过调节过程来调整，使得来自虚拟物体(214)的光聚焦在与左中央凹(106-1)和右中央凹(106-2)相符的相应像平面上。更特别地，左眼(100-1)的焦距可以至少部分地基于虚拟物体(214)所位于的虚拟空间位置与左眼晶状体(108-1)之间的(左)距离通过调节过程来设定，以使来自虚拟物体(214)的光的左侧光部分聚焦在与左中央凹(106-1)相符的左像平面，而右眼(100-2)的焦距可以至少部分地基于虚拟物体(214)所位于的虚拟空间位置与右眼晶状体(108-2)之间的(右)距离通过调节过程来设定，以使来自虚拟物体(214)的光的右侧光部分聚焦在与右中央凹(106-2)相符的右像平面。在虚拟物体(214)所位于的虚拟空间位置距观看者眼睛的距离远大于观看者的沿瞳孔间连线(120)的瞳孔间距(观看者的两只眼睛之间的距离)的情景中，左眼(100-1)和右眼(100-2)的焦距可以相同或大致相同。

图2b中观看者的大脑利用的调节过程与图1b中观看者的大脑利用的调节过程相同或基本上相同。例如，与图1b中一样，图2b中的调节过程基于观看者的中央凹视野中的虚拟物体(214)与左眼晶状体和右眼晶状体(108-1和108-2)之间的距离来调整左眼晶状体(108-1)和右眼晶状体(108-2)的焦距。如图1b中那样，图2b中的这些距离自洽地与左眼(100-1)和右眼(100-2)的光轴(102-1和102-2)的交叉点相符或终止/结束于所述交叉点。此外，如图1b中那样，在大多数情况下，由于这些距离是瞳孔间距的许多倍，因此通过图1b的调节过程设定的左眼晶状体(108-1)和右眼晶状体(108-2)的焦距是基本上相同的。

在一些方法下，对于单个立体图像，可以在多个深度处生成并显示多个呈现图像(例如，六个不同深度处的6个呈现图像，12个不同深度处的12个呈现图像，深度连续可变的呈现图像等)。基于所描绘物体的深度相对于多个呈现图像的深度，可以在多个呈现图像之一中显示立体图像中所描绘的物体。这产生了这样的显示系统：在所述显示系统中生成并显示很多呈现图像，并且在所述显示系统中，多个深度之间的一些所描绘物体被不精确地展现和/或需要密集计算以便对具有与所述多个呈现图像的多个深度不匹配的深度的所描绘物体进行内插。对于显示系统的给定帧刷新率(例如，每秒60帧、每秒120帧等)，针对单个立体图像在多个不同深度处显示多个呈现图像容易产生可感知的图像抖动。

相比之下，本文所述的技术可以用于基于观看者当前正看着的位置来确定应当显示单个立体图像或多视图图像的单一深度。这使得实施本文所述的技术的显示系统能够例如通过利用一个或多个自动可调透镜将左侧图像和右侧图像呈现/投射到单一深度或数量非常少的深度。所述技术有效地解决了调节-聚散冲突，因为调节和聚散过程可以将观看者的眼睛朝向立体图像的例如描绘物体/人的图像细节的相同空间位置进行适应性调整。此外，本文所述的技术可以部署在各种各样的显示系统中，所述显示系统包括但不必仅限于以下中的任何：近眼显示器、头戴式显示器、zspace显示器、电影院显示器、大型显示系统、医疗显示系统、高帧率显示系统、相对低帧率显示系统、3d眼镜、电视机等。

在一些实施例中，自动可调透镜(例如，228-1、228-2等)包括单个透镜元件；可以基于通过自动可调透镜要将图像(例如，252-1、252-2)投射到的位置来调整单个透镜元件的焦距。

在一些实施例中，自动可调透镜(例如，228-1、228-2等)包括多个透镜元件；可以基于通过自动可调透镜要将图像(例如，252-1、252-2)投射到的位置来调整多个透镜元件的一些或全部焦距。例如，自动可调透镜的一个或多个透镜元件可以由本文所述的图像处理系统确定/选择，以将图像的一部分投射到虚拟物体平面(216)，其中，图像的所述部分包括观看者的中央凹视野(例如，106-1，106-2等)内的具体虚拟空间位置(在虚拟物体平面(216)上)。可以基于虚拟物体平面(216)与自动可调透镜所位于的平面(例如，透镜元件的位置、自动可调透镜的位置等)之间的几何关系(例如，单一深度(236)等)来确定所述具体虚拟空间位置与透镜元件之间的距离(例如，232-1、232-2等)。至少部分地基于所述具体虚拟空间位置与透镜元件之间的距离，可以在一个或多个透镜方程中确定透镜元件的焦距。

在一些实施例中，单个自动可调透镜用于在任何给定时间点将一个或多个图像显示器上的左侧图像和右侧图像两者投射到单一深度处的虚拟物体平面。

不同的观看者可具有不同的视觉特征，包括近视、远视、正常立体视觉、异常立体视觉、佩戴眼镜、不佩戴眼镜、佩戴隐形眼镜等。此外，可选地或替代地，不同的观看者可能具有不同的头部几何特征，包括瞳孔间距、眼睛与自动可调透镜的距离等。在一些实施例中，图像处理系统可以能够针对具有特定视觉特征和/或特定头部几何特征的特定观看者进行特定校准。例如，在使用图像处理系统观看显示应用的3d或多视图图像之前，在校准阶段中，可以由图像处理系统以在单一深度周围分布的不同深度向观看者呈现测试立体图像，所述单一深度对应于具有完美/参考视觉的参考观看者。可以在具有或没有用户输入的情况下自动确定特定于观看者的校正后的深度。可以针对所述观看者在对应于具有完美/参考视觉的参考观看者的多个深度中的每个深度重复这个过程。可以在校准阶段中确定曲线、查找表(lut)等。可以通过调整针对具有完美/参考视觉的参考观看者的运行时计算的深度来计算观看者的特定深度。此外、可选地或替代地，可以测量观看者的特定头部几何特征或将其输入到图像处理系统中，以便执行精确的注视/眼睛追踪以及虚拟物体平面的精确布置，要由图像处理系统的一个或多个自动可调透镜将不同时间点的图像投射到所述虚拟物体平面上。

应当注意的是，包括左侧图像(252-1)和右侧图像(252-2)中描绘的虚拟物体(214)的物体/人可能被自动可调透镜(228-1和228-2)放大。在一些实施例中，至少部分地基于单一深度(236)，图像处理系统确定放大系数。例如，放大因数可以被确定为单一深度(236)与图像显示深度(242)之比。图像处理系统可以基于结合虚拟物体平面(216)的单一深度(236)确定的放大系数来执行纵横比调整操作。例如，图像处理系统可以从输入视频信号接收或解码输入的左侧图像和输入的右侧图像，所述输入的左侧图像和输入的右侧图像用于导出左侧图像(252-1)和右侧图像(252-2)。图像处理系统可以将放大系数的倒数应用于输入的左侧图像和输入的右侧图像以生成左侧图像(252-1)和右侧图像(252-2)，使得在存在自动可调透镜(228-1和228-2)的情况下所感知的左侧图像(252-1)和右侧图像(252-2)中描绘的物体/人(所述物体/人可以位于或可以不位于虚拟物体平面(216)处)与在不存在自动可调透镜(228-1和228-2)的情况下所感知的输入的左侧图像和输入的左侧图像中描绘的相同物体/人在纵横比、大小等方面相匹配。

在不存在自动可调透镜(228-1和228-2)的情况下在图像显示器处感知的左侧图像(252-1)和右侧图像(252-2)中的深度信息可以被改变为在存在自动可调透镜(228-1和228-2)的情况下在虚拟物体平面(216)处感知的投射图像中的新的深度信息。

在一些实施例中，深度信息可以根据与输入的左侧和右侧图像相关的(多个)视差图像、采集/生成/产生输入的左侧和右侧图像的(虚拟的或现实的)照相机系统的照相机几何信息等的组合而导出。在一些实施例中，可以从与输入的左侧和右侧图像一起接收到的(多个)深度图中直接读取深度信息。可以在输入的视频信号中与左侧图像和右侧图像一起接收(多个)视差图像、(多个)深度图、相机几何信息等中的一些或全部。

此外、可选地或替代地，在一些实施例中，图像处理系统在生成左侧图像(252-1)和右侧图像(252-2)时对输入的左侧图像和输入的右侧图像应用深度校正操作，使得在存在自动可调透镜(228-1和228-2)的情况下所感知的左侧图像(252-1)和右侧图像(252-2)中描绘的物体/人(所述物体/人可以位于或可以不位于虚拟物体平面(216)处)的新深度信息与在不存在自动可调透镜(228-1和228-2)的情况下所感知的输入的左侧图像和输入的右侧图像中描绘的相同物体/人的输入深度信息相匹配。

此外、可选地或替代地，在一些实施例中，空间分辨率可变的(例如，低强度等的)模糊过滤器可以应用于图像处理操作，所述图像处理操作生成左侧图像(252-1)和右侧图像(252-2)以从位于观看者的中央凹视野之外的左侧图像(252-1)和右侧图像(252-2)中不同程度地抽去(decimate)高空间频率内容。模糊过滤器可以用于模拟由观看者的视网膜执行的模糊功能。随着在虚拟物体平面(例如，216-1等)处展现的图像细节相对于观看者的中央凹视野的距离增加，模糊过滤的强度可以增大。

在一些实施例中，模糊过滤器对包含(encompass)观看者的中央凹视野(例如，106-1、106-2等)的图像细节不执行模糊或执行很少的模糊，而对离观看者的中央凹视野越远的、例如在观看者的中央凹视野(例如，106-1、106-2等)之外的视网膜区域(例如，110-1、110-2等)中的图像细节执行越强的模糊。

例如，如图2e中所展示的，第一模糊过滤器可以用于对左侧图像(252-1)中的被投射到虚拟物体平面(例如，216-1等)的左中央凹视野区段256上的图像细节不执行模糊或执行很少的模糊。虚拟物体平面的左中央凹视野区段(256)涉及观看者的左中央凹视野(106-1)。第一模糊过滤器可以用于对左侧图像(252-1)中的被投射到虚拟物体平面(例如，216-1等)的一个或多个左侧非中央凹视野区段258上的图像细节执行更强的模糊。虚拟物体平面的左侧非中央凹视野区段(258)不在观看者的左中央凹视野(106-1)中。

类似地，第二模糊过滤器可以用于对右侧图像(252-2)中的被投射到虚拟物体平面(例如，216-1等)的右中央凹视野区段(未示出)上的图像细节不执行模糊或执行很少的模糊。虚拟物体平面的右中央凹视野区段涉及观看者的右中央凹视野(106-2)。第二模糊过滤器可以用于对右侧图像(252-2)中的被投射到虚拟物体平面(例如，216-1等)的一个或多个右侧非中央凹视野区段(未示出)上的图像细节执行更强的模糊。虚拟物体平面的右侧非中央凹视野区段不在观看者的右中央凹视野(106-2)中。

5.追踪聚散角

图2c展示了在观看立体图像的时间序列时观看者的聚散角的示例性追踪。所述立体图像的时间序列可以描绘一个或多个场景、场景的细分、图片组(gop)等。每个立体图像可以由两个3d图像的组合或者两个或更多个多视图图像的组合来表示。如本文所使用的，聚散角指的是观看者的单只眼睛(例如，左眼、右眼等)的视角。要通过本文所述的技术追踪的示例性聚散角可以包括但不必仅限于以下中的任何：左聚散角(或左眼的聚散角)、右聚散角(或右眼的聚散角)、相对于参考方向(诸如观看者的瞳孔间连线(120)、观看者的正面观看方向(118)中的一个)的聚散角等；相对于观看者的水平观看平面或观看者脸部的(竖直)中线的仰角；等等。

仅出于说明的目的，在第一时间点，本文所述的图像处理系统确定或测得观看者的眼睛正在看着第一立体图像处的位于虚拟物体平面(216)处的虚拟物体(214)，所述第一立体图像包括由图像处理系统的一个或多个自动可调透镜从呈现表示立体图像的时间序列的图像的图像显示器投射到虚拟物体平面(216)上的第一左侧图像和第二右侧图像的组合。

从第一时间点到第二时间点，观看者的眼睛会聚或发散到在立体图像的时间序列中所描绘的、位于第二虚拟物体平面216-1处的第二虚拟物体214-1。

第二时间点可以是以下之一的时间点：紧跟在第一时间点之后、在第一时间点之后一个或多个帧时间间隔(每个帧时间间隔对应于显示一个图像帧)、在第一时间点之后帧时间间隔的一部分等。

如图2c中所展示的，在第二时间点，观看者的左眼会聚(向内移动)到第二虚拟物体(214-1)，而观看者的右眼发散(向外移动)到第二虚拟物体(214-1)。应当注意的是，在各种情景中，观看者的双眼也可以都会聚，或者都发散。

在一些实施例中，图像处理系统可以在第二时间点测量/追踪观看者的聚散角。基于在第二时间点时观看者的聚散角，图像处理系统可以确定观看者正在看着位于第二虚拟物体平面(216-1)处的第二虚拟物体(214-1)。

响应于确定观看者正在看着位于第二虚拟物体平面(216-1)处的第二虚拟物体(214-1)，图像处理系统可以将由第二左侧图像和第二右侧图像的组合所表示的第二立体图像投射到第二虚拟物体平面(216-1)。第二立体图像可以是以下之一的立体图像(在立体图像的时间序列中)：紧跟在第一立体图像之后、在第一立体图像之后一个或多个帧时间间隔(每个帧时间间隔对应于显示一个图像帧)、在第一立体图像之后(例如，严格地)固定的持续时间内，等等。

图2d展示了通过一个或多个自动可调透镜228-1、228-2等对包括左侧图像(252-1)和右侧图像(252-2)的立体图像的示例性观看，所述自动可调透镜设置在(a)呈现左侧图像(252-1)和右侧图像(252-2)的一个或多个图像显示器与(b)观看者的眼睛(100-1和100-2)之间。如图所示，可以由单个显示屏幕254提供呈现左侧图像(252-1)和右侧图像(252-2)的图像显示器。在示例中，单个显示屏幕(254)可以是移动电话、个人数字助理(pda)、电子书阅读器、电视机等的显示屏幕。

在一些实施例中，本文所述的立体图像(例如，输入的立体图像、从输入的立体图像导出的修改后的立体图像等)的左侧图像(例如，252-1)和右侧图像(例如，252-2)可以在一个或多个图像显示器中同时地或按帧顺序被呈现，所述图像显示器可以彼此重叠或可以不重叠。此外、可选地或替代地，本文所述的用于呈现立体图像的多个图像显示器可以由单个显示屏幕或由多个显示屏幕提供。

在一些实施例中，两个图像显示器用于呈现立体图像的左侧图像和右侧图像，并且分别由两个不同的显示屏幕(例如，近眼显示设备中的两个显示屏幕等)提供。在这些实施例中，左侧图像和右侧图像可以同时显示给观看者。此外、可选地或替代地，左侧图像和右侧图像可以按帧顺序显示给观看者，其中，首先显示左侧图像和右侧图像中的一个，然后显示左侧图像和右侧图像中的另一个。

在一些实施例中，两个图像显示器用于呈现立体图像的左侧图像和右侧图像，并且这两个图像显示器分别由单个显示屏幕上的两个空间区段(例如，iphone屏幕上的两个空间区段等)提供。在一些实施例中，这两个空间区段可以不重叠。在一些实施例中，这两个空间区段可以至少部分重叠。在所有这些实施例中，左侧图像和右侧图像可以同时显示给观看者。此外、可选地或替代地，左侧图像和右侧图像可以按帧顺序显示给观看者，其中，首先显示左侧图像和右侧图像中的一个，然后显示左侧图像和右侧图像中的另一个。

在一些实施例中，一个图像显示器用于呈现立体图像的左侧图像和右侧图像，并且该图像显示器由单个显示屏幕(例如，电视机等)提供。左侧图像和右侧图像可以同时显示给观看者。可以通过使用不同的光波长、不同的透镜视图、不同的光偏振等来区分同时显示的图像。此外、可选地或替代地，左侧图像和右侧图像可以按帧顺序显示给观看者，其中，首先显示左侧图像和右侧图像中的一个，然后显示左侧图像和右侧图像中的另一个。

在各种实施例中，本文所述的立体图像(或多视图图像)的不同视图(例如，左侧图像和右侧图像等)可以在图像处理系统中通过以下中的一个或多个来彼此区分：不同的显示屏幕、单个显示屏幕的不同空间区段、不同时间点的不同帧、分配给不同视图的不同(例如，不重叠)的光波长、分配给不同视图的不同透镜视图、到不同视图的不同光偏振等。

6.示例性视频流服务器和客户端

图3a展示了示例性视频流服务器300，所述服务器包括图像处理器302、基于深度的图像生成器312等。在一些实施例中，图像处理器(302)包括图像接收器306、数据储存库310等。视频流服务器(300)的一些或所有部件可以由一个或多个设备、模块、单元等以软件、硬件、软件和硬件的组合等方式实施。

在一些实施例中，图像接收器(306)包括被配置用于进行以下操作的软件、硬件、软件和硬件的组合等：从图像源接收输入图像流304，所述图像源诸如是与vr应用、ar应用、远程呈现应用、3d显示应用、多视图显示应用等结合的照相机系统、基于云的图像源，等等；将输入图像流(304)解码成一个或多个输入立体图像(例如，输入立体图像序列、输入多视图图像序列等)；等等。在一些实施例中，输入图像流(304)可以携带图像元数据(例如，照相机几何信息等)，所述图像元数据可以由图像接收器(306)从输入图像流(304)解码。

在一些实施例中，数据储存库(310)表示一个或多个数据库、一个或多个数据存储单元/模块/设备等，所述数据储存库被配置用于支持对输入立体图像、图像元数据等中的一些或全部进行的操作，诸如存储、更新、检索、删除等。在一些实施例中，通过基于深度的图像生成器(308)而不是输入图像流(304)从数据储存库(310)中检索出输入立体图像。

在一些实施例中，基于深度的图像生成器(308)包括被配置用于进行以下操作的软件、硬件、软件和硬件的组合等：经由双向数据流314接收随时间推移的用户(或观看者)的聚散角等；生成包括基于深度的立体图像和深度控制元数据的输出视频流；直接或通过中间设备等间接地经由双向数据流314来将输出视频流提供/传输到立体视频流客户端、显示设备、存储设备等。在各种实施例中，基于深度的立体图像可以指输入的立体图像(例如，由视频流服务器(300)等接收的)或者从输入的立体图像导出的修改后的立体图像。

深度控制元数据可以表示单一深度随时间推移的函数。可以至少部分地基于用户的聚散角以及与图像显示器相关的其他几何信息(例如，图像显示器与用户眼睛之间的距离、图像显示器与自动可调透镜之间的距离等)等来确定、计算在深度控制元数据中指示的在任何给定时间点的单一深度，并且所述单一深度可以用于控制用户正用来观看立体图像的图像呈现设备中的一个或多个自动可调透镜的一个或多个焦距，以投射针对其确定/计算所述单一深度的相应立体图像。

此外、可选地或替代地，图像处理操作中的一些或全部，诸如纵横比调整操作、深度校正操作、模糊过滤、场景切换检测、坐标系之间的变换、时间阻尼(temporaldampening)、显示管理、内容映射、颜色映射、视场管理等，可以由立体视频流服务器(300)执行，以便生成编码成输出视频流的基于深度的立体图像和深度控制元数据。

视频流服务器(300)可以用于支持实时视觉应用、近实时视觉应用、非实时视觉应用、虚拟现实、增强现实、头盔式显示应用、抬头显示应用、游戏、2d显示应用、3d显示应用、多视图显示应用等。

图3b展示了示例性图像呈现系统324-1，所述示例性图像呈现系统包括基于深度的图像接收器316、聚散角追踪器326、自动可调透镜控制器318、一个或多个图像显示器320等。图像呈现系统(324-1)中的一些或全部部件可以由一个或多个设备、模块、单元等以软件、硬件、软件和硬件的组合等方式实施。

用户(或观看者)可以在运行时分别在不同时间点将用户的聚散角移至不同深度的图像细节(或立体图像中所描绘的视觉物体/人)。在一些实施例中，聚散角追踪器(326)包括被配置用于追踪随时间推移的用户的聚散角等的软件、硬件、软件和硬件的组合等。可以以相对精细的时间尺度(例如，每毫秒、每五毫秒等)对随时间推移的用户的聚散角进行采样或测量。

在一些实施例中，基于深度的图像接收器(316)包括被配置用于进行以下操作的软件、硬件、软件和硬件的组合等：经由双向数据流314发送用户的聚散角、其他几何信息(例如，图像显示器与用户眼睛之间的距离、图像显示器与自动可调透镜之间的距离等)等；接收包括基于深度的立体图像和与基于深度的立体图像对应的深度控制元数据的视频流(例如，由上游设备等输出)；等等。

图像呈现系统(324-1)被配置用于将接收的视频流解码为基于深度的立体图像和深度控制元数据；在图像显示器(320)上呈现从接收的视频流解码所得的、基于深度的立体图像(例如，所述立体图像中的每一个包括左侧图像和右侧图像)。

在一些实施例中，自动可调透镜控制器(318)包括被配置用于进行以下操作的软件、硬件、软件和硬件的组合等：使用深度控制元数据来控制一个或多个自动可调透镜，以分别在不同时间点将图像显示器(320)上呈现的立体图像投射为不同深度处的虚拟图像(例如，经受一毫秒、10毫秒、一个帧时间的一部分等的实时处理延迟)。

此外、可选地或替代地，图像呈现操作中的一些或全部，诸如注视/眼睛追踪、纵横比调整操作、深度校正操作、模糊过滤、场景切换检测、时变图像参数的时间阻尼、对图像参数的任何其他时间操纵、显示管理、内容映射、色调映射、颜色映射、视场管理、预测、通过鼠标、轨迹球、键盘、脚追踪器、实际身体运动等进行的导航等，可以通过图像呈现系统(324-1)来执行。

图像呈现系统(324-1)可以用于支持实时、近实时或非实时视觉应用、近实时视觉应用、非实时视觉应用、虚拟现实、增强现实、头盔式显示应用、抬头显示应用、游戏、2d显示应用、3d显示应用、多视图显示应用等。

本文所述的技术可以在各种系统架构中实施。本文所述的一些或全部图像处理操作可以通过基于云的视频流服务器、与视频流客户端并置或并入视频流客户端的视频流服务器、图像呈现系统、图像呈现系统、显示设备等中的一个或多个的任何组合来实施。基于一个或多个因素，诸如接收者设备的视觉应用类型、带宽/比特率预算、计算能力、资源、负载等、视频流服务器和/或计算机网络等的计算能力、资源、负载等，一些图像处理操作可以由视频流服务器执行，而一些其他图像处理操作可以由视频流客户端、图像呈现系统、显示设备等执行。

图3c展示了示例性配置，其中基于深度的图像生成器(例如，312等)被并入到边缘视频流服务器324-2中。在一些实施例中，图3c的图像处理器302可以是基于云的。在一些实施例中，图像处理器(302)可以位于与诸如边缘视频流服务器(324-2)等边缘设备分开的核心网络中。与图3a中一样，图像处理器(302)可以包括图像接收器306、数据储存库310等。图像处理器(302)可以表示上游视频流服务器，所述上游视频流服务器通过相对较高的比特率与边缘视频流服务器(324-2)通信。图像处理器(302)和/或边缘视频流服务器(324-2)的一些或全部部件可以由一个或多个设备、模块、单元等以软件、硬件、软件和硬件的组合等方式实施。

在一些实施例中，图像处理器(302)被配置用于将数据流322中的输入立体图像发送到下游设备，其中一个下游设备可以是边缘视频流服务器(324-2)。

在一些实施例中，边缘视频流服务器(324-2)或其中的基于深度的图像生成器(312)包括被配置用于进行以下操作的软件、硬件、软件和硬件的组合等：确定随时间推移的用户的聚散角、其他几何信息等；生成包括基于深度的立体图像和深度控制元数据的输出视频流；直接或通过中间设备等间接地经由双向数据流314来将输出视频流提供/传输到视频流客户端、显示设备、存储设备等。

7.示例性过程流程

图4展示了根据本发明示例性实施例的示例性过程流程。在一些示例性实施例中，一个或多个计算设备或部件可以执行这个过程流程。在框402中，当观看者正在观看包括第一左侧图像和第一右侧图像的第一立体图像时，图像处理系统(例如，图3a至图3c的视频流服务器或视频流客户端等的任何组合)确定观看者的左眼的左聚散角和观看者的右眼的右聚散角。

在框404中，图像处理系统至少部分地基于(i)观看者的左眼的左聚散角和(ii)观看者的右眼的右聚散角来确定虚拟物体深度；

在框406中，图像处理系统在一个或多个图像显示器上为观看者呈现包括第二左侧图像和第二右侧图像的第二立体图像。第二立体图像跟随在第一立体图像之后。

在框408中，图像处理系统将第二立体图像从一个或多个图像显示器投射到虚拟物体深度处的虚拟物体平面。

在实施例中，第二左侧图像和第二右侧图像是通过应用一个或多个纵横比调整操作从输入的左侧图像和输入的右侧图像生成的，所述一个或多个纵横比调整操作将输入的左侧图像和输入的右侧图像中所描绘的视觉物体的纵横比调整为投射到所述虚拟物体深度处的虚拟物体平面的第二左侧图像和第二右侧图像中所描绘的视觉物体的修改后的纵横比。

在实施例中，第二左侧图像和第二右侧图像是通过应用一个或多个深度校正操作从输入的左侧图像和输入的右侧图像生成的，所述一个或多个深度校正操作将输入的左侧图像和输入的右侧图像中所描绘的视觉物体的深度转换为投射到所述虚拟物体深度处的虚拟物体平面的第二左侧图像和第二右侧图像中所描绘的视觉物体的修改后的深度。

在实施例中，第二左侧图像和第二右侧图像是通过应用一个或多个模糊过滤操作从输入的左侧图像和输入的右侧图像生成的，所述一个或多个模糊过滤操作相对于输入的左侧图像和输入的右侧图像使第二左侧图像和第二右侧图像的一个或多个空间区域模糊；第二左侧图像和第二右侧图像的一个或多个空间区域离开观看者的中央凹视野。

在实施例中，第二立体图像的第二左侧图像和第二右侧图像同时被呈现以供观看者观看。

在实施例中，第二立体图像的第二左侧图像和第二右侧图像按帧顺序被呈现以供观看者观看。

在实施例中，在被呈现以供观看者观看的立体图像序列中，第二立体图像在时间上紧跟在第一立体图像之后。

在实施例中，使用一个或多个自动可调透镜将第二立体图像投射到虚拟物体深度处的虚拟物体平面；至少部分地基于虚拟物体深度来确定一个或多个自动可调透镜的一个或多个焦距。

在实施例中，第二立体图像是从输入立体图像序列中的第二输入立体图像生成的；除了第二立体图像之外，不从第二输入立体图像生成其他立体图像；除了所述虚拟物体深度之外，第二立体图像不投射到其他的虚拟物体深度处。

在实施例中，第二立体图像的第二左侧图像和第二右侧图像分别呈现在第一图像显示器和第二图像显示器上。

在实施例中，第二立体图像的第二左侧图像和第二右侧图像呈现在单个图像显示器上。

在实施例中，第二立体图像的第二左侧图像和第二右侧图像中的至少一个基于包括单个透镜元件的自动可调透镜被投射到虚拟物体平面。

在实施例中，第二立体图像的第二左侧图像和第二右侧图像中的至少一个基于包括多个透镜元件的自动可调透镜被投射到虚拟物体平面上。

在实施例中，第二立体图像的第二左侧图像仅能由观看者的左眼观看，而第二立体图像的第二右侧图像仅能由观看者的右眼观看。

在实施例中，图像处理系统还被配置用于执行：当所述观看者正在观看包括所述第二左侧图像和所述第二右侧图像的所述第二立体图像时，确定所述观看者的左眼的第二左聚散角和所述观看者的右眼的第二右聚散角；至少部分地基于(i)所述观看者的左眼的第二左聚散角和(ii)所述观看者的右眼的第二右聚散角来确定第二虚拟物体深度；在一个或多个图像显示器上为所述观看者呈现包括第三左侧图像和第三右侧图像的第三立体图像，第三立体图像跟随在第二立体图像之后；将第三立体图像从一个或多个图像显示器投射到第二虚拟物体深度处的第二虚拟物体平面；等等。

在实施例中，至少部分地基于观看者的特定视觉特征来调整虚拟物体深度。

在各种示例性实施例中，装置、系统、装置、或者一个或多个其他计算设备执行所描述的前述方法中的任何方法或其一部分。在实施例中，一种非暂态计算机可读存储介质存储有软件指令，所述软件指令在由一个或多个处理器执行时使本文所述的方法得以执行。

注意，尽管本文讨论了各单独的实施例，但是本文讨论的实施例和/或部分实施例的任何组合都可以组合以形成进一步实施例。

8.实施机构—硬件概述

根据一个实施例，本文所述的技术由一个或多个专用计算设备实施。专用计算设备可以是硬接线的，以执行所述技术；或者可以包括被持久地编程以执行所述技术的数字电子设备，诸如一个或多个专用集成电路(asic)或现场可编程门阵列(fpga)；或者可以包括被编程为根据固件、存储器、其他存储装置或组合中的程序指令来执行所述技术的一个或多个通用硬件处理器。这种专用计算设备还可以将自定义硬接线逻辑、asic或fpga与自定义编程相结合以实现所述技术。专用计算设备可以是台式计算机系统、便携式计算机系统、手持式设备、联网设备、或合并硬接线和/或程序逻辑以实施所述技术的任何其他设备。

例如，图5是框图，展示了可以在其上实施本发明的示例性实施例的计算机系统500。计算机系统500包括总线502或用于传送信息的其他通信机构、以及与总线502耦合以处理信息的硬件处理器504。硬件处理器504可以是例如通用微处理器。

计算机系统500还包括耦合到总线502以用于存储信息和要由处理器504执行的指令的主存储器506，诸如随机存取存储器(ram)或其他动态存储设备。主存储器506还可以用于在执行要由处理器504执行的指令期间存储临时变量或其他中间信息。这些指令当存储在处理器504可访问的非暂态存储介质中时，使计算机系统500成为被定制为执行指令中指定的操作的专用机器。

计算机系统500还包括只读存储器(rom)508或耦合到总线502的用于存储处理器504的静态信息和指令的其他静态存储设备。

提供存储设备510(诸如磁盘或光盘、固态ram)，并将其耦合到总线502以用于存储信息和指令。

计算机系统500可以经由总线502耦合到显示器512(诸如液晶显示器)以用于向计算机用户显示信息。包括字母数字键和其他键的输入设备514耦合到总线502，以用于将信息和命令选择传送到处理器504。另一种类型的用户输入设备是光标控制装置516，诸如鼠标、轨迹球或光标方向键，用于将方向信息和命令选择传送到处理器504并用于控制在显示器512上的光标移动。典型地，这个输入设备具有在两条轴线(第一轴线(例如，x轴)和第二轴线(例如，y轴))上的两个自由度，允许设备在平面中指定位置。

计算机系统500可以使用定制的硬接线逻辑、一个或多个asic或fpga、固件和/或程序逻辑来实施本文所述的技术，所述固件和/或程序逻辑与计算机系统相结合使计算机系统500成为专用机器或将计算机系统500编程为专用机器。根据一个实施例，响应于处理器504执行包含在主存储器506中的一个或多个指令的一个或多个序列，计算机系统500执行本文中的技术。这样的指令可以从诸如存储设备510等另一存储介质读取到主存储器506中。包含在主存储器506中的指令序列的执行使处理器504执行本文所述的过程步骤。在替代性实施例中，可以使用硬接线电路系统代替软件指令或与软件指令组合。

本文中使用的术语“存储介质”是指存储使机器以特定方式操作的数据和/或指令的任何非暂态介质。这样的存储介质可以包括非易失性介质和/或易失性介质。非易失性介质包括例如光盘或磁盘，诸如存储设备510。易失性介质包括动态存储器，诸如主存储器506。常见形式的存储介质包括例如软盘、柔性盘、硬盘、固态驱动器、磁带或任何其他磁性数据存储介质、cd-rom、任何其他光学数据存储介质、具有孔图案的任何物理介质、ram、prom和eprom，闪速eprom、nvram、任何其他存储器芯片或存储盒。

存储介质不同于传输介质但可以与传输介质结合使用。传输介质参与存储介质之间的信息传递。例如，传输介质包括同轴电缆、铜线和光纤，包括包含总线502的导线。传输介质还可以采用声波或光波的形式，诸如在无线电波和红外数据通信期间生成的声波或光波。

将一个或多个指令的一个或多个序列运载到处理器504以供执行可涉及各种形式的介质。例如，指令最初可以承载在远程计算机的磁盘或固态驱动器上。远程计算机可以将指令加载到其动态存储器中，并使用调制解调器通过电话线发送指令。计算机系统500本地的调制解调器可以在电话线上接收数据并使用红外发射器将数据转换成红外信号。红外检测器可以接收红外信号中承载的数据，并且适当的电路系统可以将数据置于总线502上。总线502将数据运载到主存储器506，处理器504从所述主存储器检索并执行指令。主存储器506接收的指令可以可选地在由处理器504执行之前或之后存储在存储设备510上。

计算机系统500还包括耦合到总线502的通信接口518。通信接口518提供耦合到网络链路520的双向数据通信，所述网络链路连接到本地网络522。例如，通信接口518可以是综合业务数字网(isdn)卡、电缆调制解调器、卫星调制解调器、或用于提供与相应类型电话线的数据通信连接的调制解调器。作为另一个示例，通信接口518可以是局域网(lan)卡，用于提供与相容lan的数据通信连接。还可以实施无线链路。在任何这样的实施方式中，通信接口518发送和接收承载表示各种类型信息的数字数据流的电信号、电磁信号或光信号。

网络链路520通常通过一个或多个网络向其他数据设备提供数据通信。例如，网络链路520可以提供通过本地网络522到主计算机524或到由因特网服务提供商(isp)526操作的数据设备的连接。isp526进而通过现在通常称为“因特网”528的全球分组数据通信网络来提供数据通信服务。本地网络522和因特网528都使用承载数字数据流的电信号、电磁信号或光信号。通过各种网络的信号以及网络链路520上和通过通信接口518的信号(其将数字数据运载到计算机系统500和从所述计算机系统运载数字数据)是传输介质的示例性形式。

计算机系统500可以通过(多个)网络、网络链路520和通信接口518发送消息和接收数据，包括程序代码。在因特网示例中，服务器530可能通过因特网528、isp526、本地网络522和通信接口518传输应用程序的请求代码。

所接收的代码可以在被接收到时由处理器504执行，和/或存储在存储设备510、或其他非易失性存储器中以供之后执行。

9.等同方案、扩展、替代方案及其他

在前述说明书中，已经参考许多具体细节描述了本发明的示例性实施例，这些具体细节可以根据不同实施方式而变化。因此，本发明是什么、以及申请人意图本发明是什么，其唯一且排他的指示是根据本申请的、以授权时的具体形式为准(包括任何后续修改)的一套授权权利要求。针对这样的权利要求中包含的术语的、在本文中明确阐述的任何定义应当支配权利要求中使用的这些术语的含义。因此，权利要求中未明确记载的限制、要素、特性、特征、优点或属性不应以任何方式限制这些权利要求的范围。相应地，说明书和附图应被视为说明性的而非具有限制性意义。

可以从以下枚举的示例性实施例(eee)中理解本发明的各个方面：

eee1：一种方法，所述方法包括：

当观看者在观看包括第一左侧图像和第一右侧图像的第一立体图像时，确定观看者的左眼的左聚散角和所述观看者的右眼的右聚散角；

至少部分地基于(i)所述观看者的左眼的左聚散角和(ii)所述观看者的右眼的右聚散角来确定虚拟物体深度；

在一个或多个图像显示器上为所述观看者呈现包括第二左侧图像和第二右侧图像的第二立体图像，其中，所述第二立体图像跟随在所述第一立体图像之后；

将所述第二立体图像从所述一个或多个图像显示器投射到所述虚拟物体深度处的虚拟物体平面。

eee2：根据eee1所述的方法，其中，所述第二左侧图像和所述第二右侧图像是通过应用一个或多个纵横比调整操作从输入的左侧图像和输入的右侧图像生成的，所述一个或多个纵横比调整操作将所述输入的左侧图像和所述输入的右侧图像中所描绘的视觉物体的纵横比调整为投射到所述虚拟物体深度处的所述虚拟物体平面的所述第二左侧图像和所述第二右侧图像中所描绘的视觉物体的修改后的纵横比。

eee3：根据eee1所述的方法，其中，所述第二左侧图像和所述第二右侧图像是通过应用一个或多个深度校正操作从输入的左侧图像和输入的右侧图像生成的，所述一个或多个深度校正操作将所述输入的左侧图像和所述输入的右侧图像中所描绘的视觉物体的深度转换为投射到所述虚拟物体深度处的所述虚拟物体平面的所述第二左侧图像和所述第二右侧图像中所描绘的视觉物体的修改后的深度。

eee4：根据eee1所述的方法，其中，所述第二左侧图像和所述第二右侧图像是通过应用一个或多个模糊过滤操作从输入的左侧图像和输入的右侧图像生成的，所述一个或多个模糊过滤操作相对于所述输入的左侧图像和所述输入的右侧图像使所述第二左侧图像和所述第二右侧图像的一个或多个空间区域模糊，并且其中，所述第二左侧图像和所述第二右侧图像的所述一个或多个空间区域离开所述观看者的中央凹视野。

eee5：根据eee1所述的方法，其中，所述第二立体图像的所述第二左侧图像和所述第二右侧图像同时被呈现以供所述观看者观看。

eee6：根据eee1所述的方法，其中，所述第二立体图像的所述第二左侧图像和所述第二右侧图像按帧顺序被呈现以供所述观看者观看。

eee7：根据eee1所述的方法，其中，在被呈现以供所述观看者观看的立体图像序列中，所述第二立体图像在时间上紧跟在所述第一立体图像之后。

eee8：根据eee1所述的方法，其中，使用一个或多个自动可调透镜将所述第二立体图像投射到所述虚拟物体深度处的所述虚拟物体平面，并且其中，所述一个或多个自动可调透镜的一个或多个焦距是至少部分地基于所述虚拟物体深度确定的。

eee9：根据eee1所述的方法，其中，所述第二立体图像是从输入立体图像序列中的第二输入立体图像生成的，其中，除了所述第二立体图像之外，不从所述第二输入立体图像生成其他立体图像，并且其中，除了所述虚拟物体深度之外，所述第二立体图像不投射到其他虚拟物体深度处。

eee10：根据eee1所述的方法，其中，所述第二立体图像的所述第二左侧图像和所述第二右侧图像被分别呈现在第一图像显示器和第二图像显示器上。

eee11：根据eee1所述的方法，其中，所述第二立体图像的所述第二左侧图像和所述第二右侧图像被呈现在单个图像显示器上。

eee12：根据eee1所述的方法，其中，所述第二立体图像的所述第二左侧图像和所述第二右侧图像中的至少一个基于包括单个透镜元件的自动可调透镜被投射到所述虚拟物体平面。

eee13：根据eee1所述的方法，其中，所述第二立体图像的所述第二左侧图像和所述第二右侧图像中的至少一个基于包括多个透镜元件的自动可调透镜被投射到所述虚拟物体平面上。

eee14：根据eee1所述的方法，其中，所述第二立体图像的所述第二左侧图像仅能被所述观看者的左眼视觉地感知到，而所述第二立体图像的所述第二右侧图像仅能被所述观看者的右眼视觉地感知到。

eee15：根据eee1所述的方法，进一步包括：

当所述观看者在观看包括所述第二左侧图像和所述第二右侧图像的所述第二立体图像时，确定所述观看者的左眼的第二左聚散角和所述观看者的右眼的第二右聚散角；

至少部分地基于(i)所述观看者的左眼的第二左聚散角和(ii)所述观看者的右眼的第二右聚散角来确定第二虚拟物体深度；

在所述一个或多个图像显示器上为所述观看者呈现包括第三左侧图像和第三右侧图像的第三立体图像，其中，所述第三立体图像跟随在所述第二立体图像之后；

将所述第三立体图像从所述一个或多个图像显示器投射到所述第二虚拟物体深度处的第二虚拟物体平面。

eee16：根据eee1所述的方法，其中，至少部分地基于所述观看者的特定视觉特征来调整所述虚拟物体深度。

eee17：一种装置，所述装置执行根据eee1至16所述的方法中的任何方法。

eee18：一种系统，所述系统执行根据eee1至16所述的方法中的任何方法。

eee19：一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储有软件指令，所述软件指令在由一个或多个处理器执行时使根据eee1至16中任一项所述的方法得以执行。

eee20：一种计算设备，所述计算设备包括一个或多个处理器以及一个或多个存储介质，所述存储介质存储指令集，所述指令集在由一个或多个处理器执行时使根据eee1至16中任一项所述的方法得以执行。