使用眼睛位置的无三维眼镜光场显示的制作方法
本公开总体上涉及三维(3d)显示。
背景技术：
递送立体三维(3d)视频内容(诸如，3dtv、影院、游戏等)所需要的技术已经越来越多地进入大众市场产品(例如诸如，虚拟现实、3d影院、3d智能手机等)。诸如基于有源/无源眼镜的、多视图透镜的等之类的一些立体3d显示器向立体对中的每个眼睛递送不同的图像。这些独立的图像可以是例如在用户的大脑中实立体镜地(stereoscopically)融合，有效地重新创建3d视觉感知的双目体验。
在现实世界情形下，当人类正在观察特定主体时，例如，他们的眼睛会聚并聚焦(或调节)到主体的距离。然而，在许多立体三维显示中，用户可能不能会聚并聚焦(或调节)为主体的距离。
附图说明
参考所附附图可以更好地理解下列详细描述，所附附图包含所公开的主题众多特征的具体示例。
图1图示出现实世界观看环境；
图2图示出三维(3d)显示观看环境；
图3图示出三维(3d)显示系统；
图4图示出时域复用；
图5图示出眼睛格；
图6图示出眼睛格；
图7图示出眼睛格；
图8图示出显示器图像处理环境；
图9图示出计算设备；
图10图示出一个或多个处理器以及一个或多个有形的非瞬态计算机可读介质；
在一些情况下，贯穿公开和附图使用相同的标号以引用相似的组件和特征。在一些情况下，100系列的标号涉及在图1中最初可见的特征；200系列的标号涉及在图2中最初可见的特征；以此类推。
具体实施方式
一些实施例涉及三维(3d)显示。一些实施例涉及利用眼睛跟踪(和/或具有瞳孔跟踪)的3d显示器。一些实施例涉及解决会聚(convergence)和调节(accommodation)问题的3d显示器。
在三维显示中，用户可能不能会聚并聚焦(或调节)到主体的距离。这可以被称为可能在3d显示中发生的聚散调节冲突(vergence-accommodationconflict)，并且也可以被称为会聚调节冲突。该冲突涉及眼睛聚焦和会聚问题，并且可能导致眼睛疲劳、头晕、恶心等，尤其是在长期使用之后。张量显示器有时可以解决会聚和调节(聚焦)问题，但此类显示器的效率可能非常低。这些显示器可能遭受衍射、莫尔等，并且可能要求大量的计算以用于优化目的。体积显示器可能是体积庞大的，并且通常要求移动机械部分。许多体积显示器也不支持遮蔽，并且可能遭受降低的视觉质量，诸如无法渲染彩色图像。
在一些实施例中，可以实现明亮的、呈现完整的彩色图像并且允许正确的遮蔽的三维显示系统。在一些实施例中，三维显示可以是紧凑的但仍具有大的深度场。
图1图示出包括用户102(或观看者102)的环境100(例如，“现实世界”环境)。用户102具有眼睛104。用户的眼睛104沿着由图1中的虚线110所图示的视线朝向对象106(例如，现实世界对象106)向外看。虚线112图示出结束于对象106处的聚焦点的聚焦线。虚线110结束于会聚点处，该会聚点也在对象106处。在一些实施例中，环境100图示出物理空间中的现实三维(3d)视觉。图1中的会聚点和聚焦点在同一深度平面上。即，现实世界环境100中的会聚点和聚焦点相同(例如，在现实世界对象106处)。
图2图示出包括用户202(或观看者202)的环境200(例如，三维显示环境)。用户202具有眼睛204。用户的眼睛204沿着由图2中的虚线210所图示的视线朝向显示在三维(3d)显示屏208上的三维(3d)显示的对象206的表观位置向外看。虚线212图示出结束于3d显示屏208处的三维(3d)聚焦点(例如，聚焦点或调节点214)的聚焦线。虚线210结束于所显示的3d对象206的表观位置处的会聚点。在一些实施例中，环境200图示出由用户观看正在3d显示屏208上显示的表观对象206的三维(3d)视觉。在一些实施例中，迫使用户202的眼睛204将3d显示屏208上的聚焦点从3d对象206的表观位置处的会聚点分离。例如，这被称为聚散-调节冲突、会聚-调节冲突、和/或会聚与调节冲突问题。
在诸如例如图1的环境100之类的现实世界环境中，当人类用户正在观察特定主体时，例如，其中在用户的眼睛既会聚又聚焦(或调节)到该主体(例如，现实世界对象106)的距离。然而，在许多诸如例如图2的环境200之类的立体三维显示环境中，用户无法会聚和聚焦(或调节)为主体的表观位置(例如，会聚和聚焦(或调节)到三维地显示的对象的表观位置206)的距离。
在一些三维(3d)显示系统中，用户的眼睛必须调节到单个焦平面(例如，3d显示屏208的焦平面)，以便看到聚焦对准的场景。在诸如3d电视(tv)或3d电影之类的3d视频的情况下，例如，焦平面是物理显示屏本身。然而，用户的眼睛可会聚到正在显示的一个或多个3d对象的一个或多个表观位置。这些表观位置可以在屏幕的前面和/或后面。从用户的眼睛到显示屏的距离与从用户的眼睛到(多个)3d对象的显现在屏幕前面和/或后面的(多个)表观位置的距离在许多情形下将不匹配。从眼睛到显示屏处的聚焦点(或调节点)距离与从眼睛到所显示的3d对象的(多个)表观位置处的(多个)3d会聚点的距离的这种不匹配可以被称为会聚-调节冲突(或聚散-调节冲突、或会聚与调节冲突问题)。作为该冲突的结果，用户可能经历头痛、疲劳、视疲劳等。该问题可导致健康影响，尤其是在其视觉系统仍在发展中的儿童之间。
图3图示出三维(3d)显示系统观看环境300。环境300包括显示系统的用户302(或观看者302)。用户302具有包括瞳孔304的眼睛。显示系统观看环境300包括用于由用户302观看的显示器312。在一些实施例中，显示器312可以是任何类型的显示器。在一些实施例中，显示器312可以是和/或可以包括显示屏和/或显示面板。在一些实施例中，显示器312可以是具有任何像素密度的显示器、显示屏、和/或显示面板。在一些实施例中，显示器312可以是高像素密度显示器、每英寸高像素或高ppi显示器和/或4k显示器。在一些实施例中，显示器312是具有高于每英寸250像素的像素密度的显示器。在一些实施例中，显示器312是具有尽可能高的像素密度的显示器。在一些实施例中，显示器312可以是移动电话屏幕或平板屏幕等等。在一些实施例中，显示器312可以是液晶显示器、lcd显示器、液晶显示屏、lcd显示屏、液晶显示面板和/或lcd显示面板等。
在一些实施例中，可在显示器312后面提供显示器背光314。在显示器312前面在显示器312与用户302的眼睛之间提供微透镜阵列316(例如，长焦距微透镜阵列和/或具有大于8的f数的长焦距微透镜阵列)。在一些实施例中，微透镜阵列316是具有高焦距的长焦距微透镜阵列。例如，在一些实施例中，微透镜阵列316是具有高焦距并具有8与30之间的f数的长焦距微镜阵列。在一些实施例中，取决于观看距离和眼睛格(eyebox)尺寸(或观看区域尺寸)，微透镜阵列316具有高焦距，而f数在8与30之间变化。瞳孔跟踪设备318可以用于跟踪用户302的瞳孔304，并且向计算设备322和光场处理单元324发送任何(多个)结果。在一些实施例中，例如，瞳孔跟踪设备318可以是实时3d瞳孔跟踪系统。显示器312用于显示三维对象320的表观位置，该表观位置可以在显示器312处(例如，在显示器312的平面处)、在显示器312前面(在显示器312与用户302之间)和/或在显示器312后面显现给用户302。
计算设备322可以包括例如图形引擎。计算设备322可以根据用户的左和/或右瞳孔位置渲染彩色图像和/或颜色加深度图像(例如，可以渲染诸如红色、绿色、蓝色颜色分量之类的任何颜色分量具有或不具有深度，包括例如，rgb或rbg-d图像)，并且将所渲染的图像发送到光场处理单元324。注意，在一些实施例中，图像可以由计算设备322捕获而非渲染。在一些实施例中，计算设备322可以捕获或渲染立体颜色加深度图像或光场图像。光场处理单元324可以使用来自瞳孔跟踪设备318的瞳孔位置信息，以使用例如屏幕空间射线跟踪将从计算设备322接收的图像转化为立体积分图。虽然本文中描述了屏幕空间射线跟踪，但是存在可对图像进行转化的许多不同的方式。例如，根据一些实施例，可以以许多不同的方式实现渲染和后处理。根据一些实施例，可实现除屏幕空间射线跟踪之外的许多后处理技术。光场处理单元324可以向显示屏312提供光场图像流以供显示。在一些实施例中，背光314(例如，定向背光)可以将光引导(steer)到对应的瞳孔位置。
在一些实施例中，图3中所图示的显示系统是实现多种应用的柔性光引导装置。一些实施例实现单个观看者的无眼镜三维(3d)显示器，该显示器不遭受会聚与调节冲突问题。在一些实施例中，此类显示器相对于其他显示器是紧凑的、轻量化的以及计算上高效和高能效的，其他显示器诸如例如，要求数十千兆像素的暴力(bruteforce)积分显示器、张量显示器，其可由衍射限制约束，使得难以生成用于支持调节或者庞大的和不切实际的体积显示的足够的视图密度。在一些实施例中，可以实现定向背光装置以用于进一步的益处。
在一些实施例中，图3中的显示系统的光引导属性可以用于为穿过观看者的眼睛瞳孔的光线生成正确的光场。生成指向眼睛瞳孔位置的光场可以允许使用当前可用的商品显示器来创建具有有足够高的密度的光线的3d图像，以产生正确的调节(或聚焦)和会聚提示。
在一些实施例中，可以在小型的眼睛格内实现极高的视图密度。小型眼睛格的位置可以与观看者的瞳孔位置(例如，响应于诸如瞳孔跟踪设备318之类的瞳孔跟踪设备)对齐。小型眼睛格的尺寸可以对应于典型的人类眼睛瞳孔尺寸范围。可以通过将微透镜阵列(mla)(例如诸如，长焦距微透镜阵列和/或微透镜阵列316)放置在显示器(例如诸如，高像素密度显示器和/或显示器312)前面而在微透镜阵列与显示器之间具有特定空间来在小型眼睛格内实现高视图密度。可以通过响应于用户跟踪装置(例如，响应于诸如瞳孔跟踪设备318之类的瞳孔跟踪设备)而在显示器上对将要显示的图像进行移位来改变眼睛格的位置。
在一些实施例中，渲染过程(例如，由计算设备322实现的渲染过程)取决于观看者的眼睛的位置(例如，取决于由瞳孔跟踪设备318跟踪的用户302的瞳孔304的位置)。在一些实施例中，捕获过程(例如，由计算设备322实现的捕获过程)取决于观看者的眼睛的位置(例如，取决于由瞳孔跟踪设备318跟踪的用户302的瞳孔304的位置)。在一些实施例中，实时3d跟踪系统(例如，瞳孔跟踪设备318)可以用于跟踪观看者的瞳孔位置。所跟踪的瞳孔位置可以用于定位捕获或渲染相机投影中心，和/或用于数字地微调眼睛格对齐。
一些实施例涉及使用积分成像系统、3d瞳孔跟踪设备和光场处理单元的无眼镜3d显示器，该显示器可以为用户的左眼和右眼两者递送足够高的视图密度以克服聚散-调节冲突或会聚-调节冲突(即，会聚与调节冲突问题)。
在一些实施例中，3d瞳孔跟踪系统(诸如瞳孔跟踪设备318)跟踪显示器的观看者的瞳孔位置，并且将结果发送给计算机(例如诸如，计算设备322)并发送给光场处理单元(例如诸如，光场处理单元324)。计算设备根据观看者的左和/或右瞳孔位置来捕获和/或渲染立体图像(例如，rgb和/或rgb-d图像)。使用例如屏幕空间射线跟踪或其他视图内插/合成技术，光场处理单元使用瞳孔位置信息将所捕获和/或所渲染的图像转化为积分图。随后将该图像显示在高分辨率显示屏上(例如，在显示器312上)。同时，在一些实施例中，定向背光(例如，诸如背光314)将光引导至对应的瞳孔位置。
在一些实施例中，诸如例如微透镜阵列316之类的微透镜阵列(mla)被放置在诸如例如显示器312之类的高像素密度显示模块前面。显示模块和微透镜阵列在微透镜阵列的焦距处被间隔开，以使得来自显示器上的每个像素的光线穿过微透镜阵列上的每个微透镜以形成准直光束。考虑到微透镜阵列与该微透镜阵列前面的用户眼睛视点之间的距离dz，当积分图像间距尺寸wp为如下时发生最大眼睛格：
方程1
其中，f是微透镜阵列的焦距，pl是微透镜阵列的透镜间距，并且pp是显示器的像素间距。我们可以使用下列方程来计算眼睛格尺寸：
方程2
当观看者的眼睛完美地位于眼睛格中心时，眼睛能够观察到正确的光场图像。来自一个像素的光线穿过该像素上方的微透镜，并且还穿过相邻的微透镜，形成副本眼睛格。当观看者的眼睛移出主眼睛格时，它们将感知光场图像的变化，并且随后进入副本眼睛格。
在图3中所图示的一些实施例和/或其他实施例中，如果你采取具有显示在其上的某个图像图案的显示器并且在该显示器前面放置透镜阵列，则用户可以看到完整的三维图像。这可以在用户不佩戴眼镜的情况下完成，但仅观察显示器和透镜阵列的区域。取决于显示器和透镜阵列的参数，用户将看到3d图像的区域的尺寸可变化。用户看到该3d图像所在的区域可被称为主观看区(本文中所使用的观看区也被称为眼睛格)。然而，如果用户移动到主观看区(主眼睛格)之外，用户还可在可通过各用户观看区域(眼睛格)重复的一个或多个次观看区(次眼睛格)中看到相同的或类似的图像。可存在数个次观看区，次观看区的数量取决于透镜阵列可允许用户看到什么。
图像的分辨率(和/或3d图像质量)、图像的聚焦能力等可以取决于照射到观看区中的像素的总数量。观看区越小，光场越密集。观看区越宽，光场越稀疏。对于较稀疏的光场，聚焦将降级，并且3d图像质量将逐渐变得不可接受。
在其中透镜阵列被放置在显示器前面并且使观看区为小型的(例如，略微大于观看者的瞳孔的尺寸)的实现方式中，可以创建非常密集的光场。然而，一个瞳孔可以非常好地看到图像，但另一个瞳孔可能不再能良好地看到该图像(例如，另一个瞳孔可看到同一图像或损坏的图像，因为该瞳孔在观看区之间)。另外，如果用户对他们的眼睛进行移位，则他们的眼睛可离开一个观看区并进入另一观看区。如果观看区(眼睛格)被分为两个部分(例如，一个部分针对左眼并且另一部分针对右眼)，则左眼可看到观看区的左部分的一个重复，并且右眼可看到观看区的右部分的另一重复，随后该用户可以观看立体密度光场以利用用户的两个眼睛观看3d图像。另一方法将使用每个眼睛一个眼睛格。然而，如果使用常规背光而其中光在多个方向上进行，则所有的眼睛格(观看区)将利用观看区的所有重复而被点亮。
在一些实施例中，定向背光可以用于全部在某个方向上发射光。以此种方式，可以使用定向背光控制来在一个特定时刻仅点亮一个观看区，并且该观看区的重复不可见。例如，在一些实施例中，定向背光在一个特定时刻发射仅指向用户的眼睛(和/或瞳孔)的区域中的一个眼睛格(或观看区)的光。在一些实施例中，瞳孔位置被跟踪，所以可以控制定向背光在特定时刻向特定的所跟踪的瞳孔发送光。在一些实施例中，可以打开背光的特定的发光二极管(led)并且可以关闭背光的特定的其他led，以引导从背光发射的受控光从而在观看者的眼睛(和/或瞳孔)的区域中发射光。以此种方式，定向背光的所发射的光的方向可以根据眼睛的移动(和/或瞳孔的移动)而改变。可以在观看者的眼睛之间对此类定向背光进行时间复用(本文中也被称作时域复用)。在一些实施例中，多于一个用户的眼睛(和/或瞳孔)可以根据一些实施例进行时间复用。在一些实施例中，对于一个特定的用户，时间复用在用户的眼睛(和/或用户的瞳孔)之间以快速的频率发生，以使得图像对用户显现为连续的。例如，在一些实施例中，针对用户的两个眼睛，频率可以是120hz(针对每个眼睛60hz)。在一些实施例中，频率可以高于120hz(针对每个眼睛高于60hz)。
在一些实施例中，如以上所描述，由系统使用长焦距微透镜阵列和定向背光来生成集中在一个或多个观看者的眼睛瞳孔周围的高视图密度光场。此类系统将光场指引到具有许多视图(例如，20乘20个视图)的小型眼睛格(例如，在一些实施例中，小型10mm乘10mm眼睛格)中。在一些实施例中，使用可控制的定向背光系统来改变眼睛格位置。以此种方式，定向背光可以在任何时刻将光引导至仅一个眼睛中。时间复用可以通过以超过人类眼睛闪烁阈值的速度改变眼睛格位置和所显示的内容来将所要求的光场递送到两个眼睛中。
图4图示出时域复用400(和/或时间复用400)。在一些实施例中，图4图示出具有定向背光控制的时域复用(和/或时间复用)。例如，图4图示出在第一时间帧(帧1)、第二时间帧(帧2)、第三时间帧(帧3)以及第四时间帧(帧4)处具有左眼和右眼的用户402。在一些实施例中，时间帧的显示速率快于人类可以识别的速率。在一些示例中，例如，时间帧以120hz的显示速率。
图4还图示出显示器412(例如，显示屏和/或显示面板)、背光414(例如，可以定向控制的定向背光)以及微透镜阵列416。在一些实施例中，显示器412、背光414和/或微透镜阵列416可以与图3的显示器312、背光314和/或微透镜阵列316类似和/或相同。在帧1处，高视图密度光场432l从背光414、显示器412和微透镜阵列416集中到用户402的左眼(和/或左瞳孔)。在帧2处，高视图密度光场432r从背光414、显示器412和微透镜阵列416集中到用户402的右眼(和/或右瞳孔)。在帧3处，高视图密度光场432l从背光414、显示器412和微透镜阵列416集中到用户402的左眼(和/或左瞳孔)。在帧4处，高视图密度光场432r从背光414、显示器412和微透镜阵列416集中到用户402的右眼(和/或右瞳孔)。以此种方式，显示器背光414可以是定向背光，该定向背光可以引导光在用户402的左眼与右眼之间交替。对光的这种引导可以基于例如所跟踪的眼睛位置信息(例如，所跟踪的瞳孔位置信息)。所跟踪的眼睛位置信息可以是来自诸如例如瞳孔跟踪设备318之类的眼睛跟踪设备的所跟踪的眼睛位置信息。在一些实施例中，显示器背光414可以基于所跟踪的眼睛位置信息(和/或基于所跟踪的瞳孔位置信息)以高于人类可感知的刷新率的刷新率(例如，以120hz)来引导光在左眼与右眼之间交替。例如，可以以高于人类可感知的刷新率的刷新率(诸如120hz的刷新率)交替图4中的帧。
在一些实施例中，高视图密度光场(例如，高视图密度光场432l和/或高视图密度光场432r)可以被集中在观看者的一个或多个眼睛瞳孔周围(例如，可以被集中在观看者402的眼睛和/或眼睛瞳孔周围)。(多个)高视图密度光场可以由系统使用长焦距微透镜阵列(例如，微透镜阵列416)和定向背光(例如，背光414)来生成。此类系统将光场(例如，光场432l和/或光场432r)指引到具有许多视图(例如，20乘20个视图)的小型眼睛格(例如，在一些实施例中，小型10mm乘10mm眼睛格)中。在一些实施例中，使用可控制的定向背光系统(例如，包括背光414)来改变眼睛格位置。以此种方式，在任何特定时刻，如例如在图4中所图示，定向背光可以将光引导至仅一个眼睛中。时间复用可以用于通过以超过人类眼睛闪烁阈值的速度(例如，以120hz)改变眼睛格位置和所显示的内容来将所要求的光场递送到两个眼睛中。
图4在本文中已经被描述为单个用户的两个眼睛之间的时间复用。然而，在一些实施例中，图4中所图示的或者本文中所描述的时间复用不限于单个用户。在一些实施例中，可以在多于一个用户之间实现定向背光的时间复用(例如，在多个用户的眼睛之间以足够高的刷新率以使得其对任何一个用户不明显)。定向背光的引导不限于一个用户。如果显示频率足够高，则可以同时地处理两个或更多个用户。例如，在一些实施例中，在帧1中，第一用户的第一眼睛接收定向背光；在帧2中，第二用户的第一眼睛接收定向背光；在帧3中，第一用户的第二眼睛接收定向背光；并且在帧4中，第二用户的第二眼睛接收定向背光。在其他实施例中，可以实现用户的其他数量以及在特定时间接收定向背光的眼睛的其他次序。在一些实施例中，实现顺序的系统。例如，一些实施例涉及时间复用的系统，在该时间复用的系统中，可以将光以时间复用的方式(例如，从定向背光)引导至显示器附近的单独的位置或空间。
在一些实施例中，具有受控背光或不具有受控背光，在显示器上所显示的积分图像都可以定义眼睛格的尺寸和位置。通过对在显示器上所显示的积分图像进行移位，可以将眼睛格中心移位到与左瞳孔或右瞳孔位置对齐。
图5图示出被细分为左(l)部分和右(r)部分的眼睛格500。眼睛格500包括左(l)和右(r)中心眼睛格502。除中心眼睛格502之外的其他眼睛格500是中心眼睛格502的重复。在一些实施例中，眼睛格500被称为经分割的眼睛格或经细分的眼睛格，由于其被分割为左(l)部分和右(r)部分。在一些实施例中，眼睛格500可以与图3和/或图4的系统结合使用，以便于将所要求的光场递送到一个或多个用户的眼睛中(例如，到瞳孔中)。
图6a图示出从正面看的眼睛格600a。图6b图示出从侧面看的显示器612b和微透镜阵列616b的组合。在一些实施例中，图6a图示出从正面看的好的观看区域602a和坏的观看区域604a。在一些实施例中，侧视图600b是从前视图600a的侧面看的视图。在一些实施例中，微透镜阵列616b是长焦距微透镜阵列。在一些实施例中，显示器612b与图3的显示器312类似或相同。在一些实施例中，微透镜阵列616b与图3的微透镜阵列316类似或相同。在一些实施例中，眼睛格600a可以与图3和/或图4的系统结合使用，以便于将所要求的光场递送到一个或多个用户的眼睛中(例如，到瞳孔中)。
在一些实施例中，使用长焦距微透镜阵列(例如，微透镜阵列616b)和经分割的眼睛格(例如，经分割的眼睛格500和/或经分割的眼睛格600a)在小型眼睛格中生成高视图密度光场。
在一些实施例中，通过将眼睛格分割为左(l)部分和右(r)部分，可以以使得该眼睛格的左部分将覆盖左眼并且该眼睛格的右部分的重复将覆盖右眼的方式来布置该眼睛格。以此种方式，当在正确的观看距离处时，观看者将看到正确的光场。在一些实施例中，当用户的ipd接近于眼睛格尺寸的整数倍时，用户将无法感知正确的光场图像，由于两只眼睛都将看到同一子眼睛格(例如，两个眼睛都将看到右眼睛格或者两个眼睛都将看到左眼睛格)。在一些实施例中，可以使用可以改变焦距和微透镜阵列与屏幕之间的间距的微透镜阵列光学器件来解决该问题，或者通过改变确定眼睛格尺寸的观看距离来解决该问题。
在一些实施例中，紧凑的并且可控制的定向背光系统(例如诸如，图3的背光314和/或图4的背光414)用于克服经分割的眼睛格系统的限制。例如，当观看者的ipd(诸如观看者的水平ipd)是眼睛格宽度的一半的奇数倍时，经分割的眼睛格系统可以在某些固定的观看距离处产生正确的光场。如图3中所图示，例如，当ipd＝5*we/2时，眼睛格的l部分在观看者的左眼上排成行，并且眼睛格的r部分在观看者的右眼上排成行。然而，例如，在眼睛格的l部分在左眼上排成行并且眼睛格的l部分在右眼上排成行的情况下，背光的调整和/或使用对于具有ipd＝6*we/2的观看者可能是必要的。对于图6a中所图示的眼睛格600a可以发生类似的布置。
在一些实施例中，不要求眼睛格的形状是正方形。然而，在一些实施例中，眼睛格是可以是以均匀网格平铺的形状。如果观看者的头部相对于显示屏旋转，则观看者的左眼和右眼相对于显示器可具有不同的表观高度。因此，在一些实施例中，眼睛格的左部分和右部分可以向上或向下移动。
图7图示出眼睛格700。在一些实施例中，眼睛格700包括第一眼睛格部分702(例如，左眼睛格部分702)和第二眼睛格部分704(例如，右眼睛格部分704)。如以上所讨论，例如，如果观看者的头部相对于显示屏旋转，则观看者的左眼和右眼相对于显示器可具有不同的表观高度。因此，如图7中所图示，可以向上或向下移动眼睛格700的部分702(例如，左部分702)，和/或可以向上或向下移动部分704(例如，右部分704)，以使得部分702和704在不同的高度处。在一些实施例中，眼睛格700可以与图3和/或图4的系统结合使用，以便于将所要求的光场递送到一个或多个用户的眼睛中(例如，到瞳孔中)。
眼睛格的一些部分在本文中已经被图示为是矩形形状的。例如，图5和图7中的l眼睛格部分和r眼睛格部分被图示为是矩形的。然而，在一些实施例中，这可能导致少于一半的光线被利用，由于矩形形状与瞳孔的形状不能良好地匹配。然而，在一些实施例中，可以将微透镜阵列设计为具有不同的纵横比。例如，在一些实施例中，可以使用具有等于2的微透镜纵横比的微透镜阵列设计，导致例如其中每个经细分的(或经分割的)眼睛格可以是正方形的布置。
在一些实施例中，为了生成用于在3d显示器上显示的图像，可以由计算设备(例如，使用图形硬件)执行基于用户(观看者)的瞳孔位置的捕获和/或渲染，以生成封装场景的几何结构和纹理信息的中介数据(诸如例如，rgb-d图像)。随后将该数据(诸如rgb-d图像)传送至光场处理单元。该光场处理单元使用实时瞳孔位置来计算将眼睛格中心与瞳孔位置对齐所需要的最佳眼睛格尺寸和图像偏移。随后，光场处理单元可以将该图像(诸如rgb-d图像)转化为最终的积分图像。例如，这可以使用屏幕空间射线跟踪或根据其他技术来实现。在一些实施例中，代替于使用图形引擎来生成rgb-d图像，所捕获的rgb-d图像可以被传送至光场处理单元，以生成用于在3d显示器上显示的图像。
屏幕空间射线跟踪是用于生成反射、折射、光泽反射、环境遮挡和/或全局照明的近似的非常高效的后处理技术。这可以以比一些射线跟踪技术低得多的成本实现。在一些实施例中，屏幕空间射线跟踪用于从rgb-d数据生成光场渲染。在一些实施例中，可使用除屏幕空间射线跟踪之外的技术(例如，根据一些实施例，可使用任何后处理技术)。
图8图示出三维(3d)显示环境800中的显示图像处理。环境800包括显示器812(和/或显示屏812、和/或显示面板812)和微透镜阵列816。显示器812可以显示用于由用户或观看者观看的三维图像。在一些实施例中，例如，显示器812可以与显示器312相同或相似。在一些实施例中，显示器812可以是任何类型的显示器、任何类型的显示屏和/或任何类型的显示面板。在一些实施例中，显示器812可以是移动电话屏幕或平板屏幕等等。在一些实施例中，可在显示器812后面提供显示器背光(未在图8中示出)。微透镜阵列816可以是长焦距微透镜阵列，并且在显示器812前面在显示器812与用户的眼睛之间提供。显示器812用于显示三维(3d)对象820的表观位置，该表观位置可以在显示器812处(例如，在显示器812的平面处)、在显示器812前面(在显示器812与用户之间)和/或在显示器812后面显现给用户。在图8中，在显示器812后面的表观位置处(在图8中的显示器812上面)显示对象820。捕获和/或渲染相机832用于通过近剪切平面842、微透镜阵列816、显示器812和远剪切平面844捕获和/或渲染图像。
在一些实施例中，包括对象820的场景包括已经被捕获和/或渲染到近剪切平面842处的画布。由于该场景已经被捕获和/或渲染，所以任何点处的颜色和深度是可用的。对于显示器812上的像素p，像素p的位置和该像素p前面的小透镜(或微透镜阵列内的透镜)的光学中心定义空间中的射线r。像素p的颜色可由射线r与三维(3d)场景的交叉点(例如，在点c处)的颜色定义。近剪切平面842的画布上的简单一维(1d)搜索可以用于使用下列步骤找到交叉点c：
1.计算射线r与近剪切平面842以及远剪切平面844两者的交叉。在图8的情况下，这两个点为近剪切平面842处的点a和远剪切平面844处的点b。
2.将点b投影到近剪切平面842上，以得到点b’。该投影可通过在点b与捕获和/或渲染相机832的视点之间绘制线来执行。
3.从点a内插到点b’。该内插可以在由近剪切平面842表示的二维(2d)平面中发生。可以使用bresenham插值算法(或bresenham的线算法、或数字差分分析器算法、或dda线算法)高效地计算序列中的每个像素。在一些实施例中，bresenham的线算法(或其他算法)可以用于确定应当被选择以便于形成两个点之间的直线的接近近似的n维光栅的点。在一些实施例中，可使用任何扩展或修改bresenham原始算法的bresenham算法族。参见，例如，https://en.wikipedia.org/wiki/bresenham％27s_line_algorithm。
4.对于由内插生成的每个点c’，从预先计算的二维(2d)画布读取深度。还计算射线r上的对应的3d点c的深度。由于从点a至点b’的2d线段是从点a至点b的3d线的投影，所以对于任一点c’，可以直接计算对应的点c。重复地生成并测试点c’，直到3d点c的深度大于从2d画布读取的深度或者3d点在视锥(frustrum)之外(即，越过远剪切平面844)。该测试可以用于判定是否已经在虚拟场景中找到正确的点c，或者是否不存在与该像素相关联的虚拟对象。如果不存在与该像素相关联的虚拟对象，则c的颜色可以被设置为背景颜色。
5.将像素p的颜色设置为像素c的颜色并停止该过程。
在一些实施例中，本文中所描述的技术可以用于构建对用户而言实用的计算显示器。在一些实施例中，计算显示器可以用于显示3d内容而不导致视疲劳或者不要求3d眼镜。在一些实施例中，本文中所描述和/或所图示的显示器可以被包括在所有形状因子中(例如，包括可穿戴设备、电话、平板、膝上型计算机、台式计算机和/或远眼显示器的所有的显示器)。
在一些实施例中，可以直接利用射线跟踪和/或利用任何其他技术来渲染用于在3d显示器上显示的图像。利用所跟踪的瞳孔位置和观看距离，可以使用方程1和方程2来计算眼睛格的尺寸和位置。在一些实施例中，显示器上的每个单个像素将仅从一个微透镜在任何给定的眼睛格中可见。跟踪穿过虚拟场景中的像素中心和微透镜光学中心的射线将返回用于最终图像中的特定像素的像素颜色。
在一些实施例中，可以直接利用传统光栅化使用多个视锥来直接渲染用于在3d显示器上显示的图像。用于渲染相机的多个视锥由眼睛格的尺寸、眼睛格的位置以及平面尺寸定义。从一个单个透镜可见的像素的数量定义了所需要的渲染相机的数量。在从一个单个透镜可见的像素的数量不是整数的情况下，可以将渲染相机数量向上采样为更大的整数。例如，一个微透镜下的像素数量为10.5*10.5，但不可能具有10.5*10.5个渲染相机。作为替代，可以使用15*15个渲染相机。视锥由该视锥的投影中心定义，视锥为眼睛格的均匀的15*15个2d网格样本以及显示器的四个角。针对每个相机的分辨率需求由显示器上的微透镜的数量定义。最终积分图像可以通过在相反的方向上将15*15个所渲染的图像交错并且随后通过向上采样率的倒数(10.5/15)进行向下采样来生成。取决于瞳孔的位置，将需要对积分图像进行移位。
在一些实施例中，实现基于定向背光的时间复用。在一些实施例中，眼睛格(本文中也被称为观看区域)被分开(例如，在左眼与右眼之间)。在一些实施例中，可实现各种内容生成方法。在一些实施例中，可使用任何渲染实现方式。在一些实施例中，可使用屏幕空间射线跟踪(例如，在一些实施例中，诸如rgb-d图像之类的颜色加深度图像上的屏幕空间射线跟踪)。在一些实施例中，可实现射线跟踪。在一些实施例中，可实现所捕获的数据合成(例如，所捕获的图像数据合成，诸如所捕获的rgb图像数据或所捕获的rgb-d图像数据)。
图9是计算设备900的示例的框图。在一些实施例中，计算设备900可以被包括在可以实现观看模式调整的设备中。在一些实施例中，如在该说明书中所描述和/或在附图中所图示，计算设备900可以实现瞳孔(或眼睛)跟踪、图像渲染、图像处理等。在一些实施例中，计算设备900可以作为瞳孔跟踪设备(例如，瞳孔跟踪设备318)的部分或全部被包括。在一些实施例中，计算设备900可以作为计算设备实现的图像渲染(例如，计算设备322)的部分或全部被包括。在一些实施例中，计算设备900可以作为光场处理单元(例如，光场处理单元324)的部分或全部被包括。在一些实施例中，计算设备900可以被包括在例如显示系统等等中。计算设备900可包括适合于执行所存储的指令的处理器902以及存储可由处理器902执行的指令的存储器设备904(和/或存储设备904)。处理器902可以是单核处理器、多核处理器、计算集群、或者任何数量的其他配置。存储器设备904可以是存储器设备和/或存储设备，并且可以包括易失性存储、非易失性存储、随机存取存储器、只读存储器、闪存和/或任何其他合适的存储器和/或存储系统。由处理器902执行的指令还可用于实现如本说明书中所描述的观看模式调整。
处理器902还可通过系统互连906(例如，
在一些实施例中，显示器接口908可以包括任何合适的图形处理单元、发射器、端口、物理互连等等。在一些示例中，显示器接口908可以实现用于将数据传送到显示设备910的任何合适的协议。例如，显示器接口908可以使用高清晰度多媒体接口(hdmi)协议、显示端口(displayport)协议或一些其他的协议或通信链接等等来传送数据。
在一些实施例中，显示设备910包括显示控制器。在一些实施例中，显示控制器可以在显示设备内提供控制信号和/或向显示设备提供控制信号。在一些实施例中，显示控制器可以被包括在显示器接口908中(和/或替代显示器接口908)。在一些实施例中，显示控制器可以耦合在显示器接口908与显示设备910之间。在一些实施例中，显示控制器可以耦合在显示器接口908与互连906之间。在一些实施例中，显示控制器可以被包括在处理器902中。在一些实施例中，根据附图中的任一附图中所图示和/或如本文中任一处所描述的示例中的任一示例，显示控制器可以实现对显示器和/或显示设备910的背光的控制。
在一些实施例中，可以完整地或部分地在显示设备910内实现本说明书中所描述的技术中的任一项。在一些实施例中，可以完整地或部分地在显示控制器内实现本说明书中所描述的技术中的任一项。在一些实施例中，可以完整地或部分地在处理器902内实现本说明书中所描述的技术中的任一项。
另外，网络接口控制器(本文中也被称为nic)912可适合于通过系统互连906将计算设备900连接到网络(未描绘)。该网络(未描绘)可以是无线网络、有线网络、蜂窝网络、无线电网络、广域网(wan)、局域网(lan)、全球定位卫星(gps)网络和/或互联网等等。
可通过系统互连906将处理器902连接到i/o接口914。i/o接口914可以用于将互连906与一个或多个i/o设备916耦合。一个或多个输入/输出(i/o)设备接口914可适合于将计算中枢设备900连接到一个或多个i/o设备916。i/o设备916可包括例如键盘和/或指向设备，其中，指向设备可包括触摸板或触摸屏等等。i/o设备916可以是计算设备900的内置组件，或者可以是从外部地连接到计算设备900的设备。
在一些实施例中，还可通过系统互连906将处理器902链接到存储设备918，该存储设备918可以包括硬盘驱动器、固态驱动器(ssd)、磁驱动器、光盘驱动器、便携式驱动器、闪存驱动器、通用串行总线(usb)闪存驱动器、驱动器阵列和/或任何其他类型的存储，包括其组合。在一些实施例中，存储设备918可以包括任何合适的应用。在一些实施例中，存储设备918可以包括眼睛跟踪(和/或瞳孔跟踪)920、图像渲染922、图像处理924、和/或时域复用926(诸如例如，利用定向背光的时域复用)。在一些实施例中，眼睛跟踪(和/或瞳孔跟踪)920、图像渲染922、图像处理924、和/或时域复用926可以包括可以被执行以实行如本说明书中任一处所描述和/或所图示的功能的指令(例如，可以由处理器902执行)。
将会理解，图9的框图并不旨在指示计算设备900要包括图9中所示的所有组件。相反，计算系统900可以包括图9中未图示的更少的和/或附加的组件(例如，附加存储器组件、嵌入式控制器、附加模块、附加网络接口等)。此外，眼睛跟踪920、图像渲染922、图像处理924和/或时域复用926的功能中的任一者可以以硬件和/或以处理器902部分地和/或全部地实现。例如，可利用专用集成电路、在嵌入式控制器中实现的逻辑或者以在处理器902中实现的逻辑来实现该功能。在一些实施例中，可以利用逻辑来实现眼睛跟踪920、图像渲染922、图像处理924、和/或时域复用926，其中，如本文中所指，该逻辑可以包括任何合适的硬件(例如，处理器等等)、软件(例如，应用等等)、固件或者硬件、软件和固件的任何合适的组合。
图10是一个或多个处理器以及一个或多个有形的非瞬态计算机可读介质的示例的框图。一个或多个有形的非瞬态计算机可读介质1000可由处理器1002通过计算机互连1004访问。此外，该一个或多个有形的非瞬态计算机可读介质1000可包括配置为指引处理器1002执行如本文中所描述的操作的代码。例如，在一些实施例中，计算机可读介质1000可根据一些实施例包括指引处理器执行眼睛跟踪1006(和/或瞳孔跟踪1006)、图像渲染1008、图像处理1010和/或时域复用(例如，利用背光控制的时域复用)中的一者或多者的代码。在一些实施例中，处理器1002是一个或多个处理器。在一些实施例中，处理器1002可以与图9的处理器902类似地(和/或相同地)执行，和/或可以执行可以由处理器902执行的相同的功能中的一些或全部。
可使用软件组件来实现本说明书中所讨论的各种组件。这些软件组件可存储在如图10中所指示的一个或多个有形的非瞬态计算机可读介质1000上。例如，根据一些实施例，包括例如实现眼睛跟踪1006、图像渲染1008、图像处理1010和/或时域复用1012(例如，利用背光控制的时域复用)的计算机可读指令的软件组件可被包括在一个或多个计算机可读介质1000中。眼睛跟踪1006、图像渲染1008、图像处理1010和/或时域复用1012可适合于指引处理器1002执行本说明书中和/或在对附图的参考中所描述的操作中的任何一项或多项。
将会理解，图10中所示出的任何合适数量的软件组件可被包括在一个或多个有形的非瞬态计算机可读介质1000内。此外，取决于特定应用，未在图10中示出的任何数量的附加软件组件可被包括在一个或多个有形的非瞬态计算机可读介质1000内。
实施例在本文中已经被描述为涉及rgb和/或rgb-d图像。然而，实施例可以更一般地涉及包括rgb图像或其他彩色图像的任何彩色图像，和/或可以涉及包括rgb-d图像或其他颜色加深度图像的颜色加深度图像。
在本说明书中对所公开的主题的“一个实施例”或“实施例”或“一些实施例”的引用意味着结合实施例所描述的特定特征、结构或特性包括在所公开的主题的至少一个实施例中。因此，短语“在一个实施例中”或“在一些实施例中”可出现在贯穿说明书的各处，但该短语不一定是指同一个实施例或相同的一些实施例。
示例1是一种三维显示装置。该三维显示装置包括显示器(例如，显示器、显示屏和/或显示面板)和微透镜阵列。该三维显示装置还包括眼睛跟踪器，用于跟踪多个眼睛，并且用于提供对应于跟踪的眼睛位置信息。渲染处理器用于渲染或捕获颜色加深度图像或光场图像。光场处理器用于使用眼睛位置信息来将所渲染或所捕获的颜色加深度图像或光场图像转化为提供给显示器的显示图像。
示例2包括示例1的显示器，包括或排除任选的特征。在该示例中，渲染处理器用于基于眼睛位置信息来渲染光场图像，并且光场处理器用于将所渲染或所捕获的颜色、光场或多视图图像合成为用于显示器的所需的光场图像。
示例3包括示例1到2中任一项的显示器，包括或排除任选的特征。在该示例中，显示器背光用于基于眼睛位置信息来引导背光。
示例4包括示例1-3中任一项的显示器，包括或排除任选的特征。在该示例中，显示器是具有高于每英寸250像素的像素密度的高像素密度显示器。
示例5包括示例1-4中任一项的显示器，包括或排除任选的特征。在该示例中，微透镜阵列是具有大于8的f数的长焦距微透镜阵列。
示例6包括示例1-5中任一项的显示器，包括或排除任选的特征。在该示例中，眼睛跟踪器是用于跟踪一个或多个瞳孔的瞳孔跟踪器，并且眼睛位置信息是瞳孔位置信息。
示例7包括示例1-6中任一项的显示器，包括或排除任选的特征。在该示例中，眼睛跟踪器是三维眼睛跟踪器，并且眼睛位置信息是三维眼睛位置信息。
示例8包括示例1-7中任一项的显示器，包括或排除任选的特征。在该示例中，渲染处理器包括图形引擎。
示例9包括示例1-8中任一项的显示器，包括或排除任选的特征。在该示例中，光场处理器用于将所渲染或所捕获的颜色加深度图像或光场图像转化为用于提供给显示器的立体积分图像。
示例10包括示例1-9中任一项的显示器，包括或排除任选的特征。在该示例中，渲染处理器用于根据眼睛中的一个或多个眼睛的所跟踪的位置来渲染每个颜色加深度图像或光场图像。
示例11包括示例1-10中任一项的显示器，包括或排除任选的特征。在该示例中，渲染处理器用于基于眼睛位置信息来渲染颜色加深度图像或光场图像。
示例12包括示例1-11中任一项的显示器，包括或排除任选的特征。在该示例中，光场处理器用于使用眼睛位置信息来计算最佳眼睛格尺寸，并且用于偏移所显示的图像以将眼睛格的中心与人的眼睛位置对齐。
示例13包括示例1-12中任一项的显示，包括或排除任选的特征。在该示例中，光场处理器用于使用一种或多种后处理技术将所渲染或所捕获的颜色加深度图像或光场图像转化为显示图像。
示例14包括示例13的显示器，包括或排除任选的特征。在该示例中，一种或多种后处理技术包括屏幕空间射线跟踪。
示例15包括示例1-14中任一项的显示器，包括或排除任选的特征。在该示例中，光场处理器用于将显示图像提供给显示器。
示例16包括示例1-15中任一项的显示器，包括或排除任选的特征。在该示例中，显示器背光用于基于所跟踪的眼睛位置信息以高于人类可感知的刷新率的刷新率引导在左眼与右眼之间交替的光。
示例17是一种三维显示光场图像方法。该方法包括：跟踪观看微透镜阵列和显示屏的一个或多个眼睛，以提供眼睛位置信息；渲染或捕获颜色加深度图像或光场图像；以及使用该眼睛位置信息来将所渲染或所捕获的颜色加深度图像或光场图像转化为提供给显示器的显示图像。
示例18包括示例17的方法，包括或排除任选的特征。在该示例中，光场图像基于眼睛位置信息被渲染；以及所捕获的颜色、光场或多视图图像被合成为用于显示器的所需的光场图像。
示例19包括示例17或18中任一项的方法，包括或排除任选的特征。在该示例中，背光基于眼睛位置信息被引导。
示例20包括示例17-19中任一项的方法，包括或排除任选的特征。在该示例中，显示器是具有高于每英寸250像素的像素密度的高像素密度显示器。
示例21包括示例17-20中任一项的方法，包括或排除任选的特征。在该示例中，微透镜阵列是具有大于8的f数的长焦距微透镜阵列。
示例22包括示例17-21中任一项的方法，包括或排除任选的特征。在该示例中，观看微透镜阵列和显示屏的一个或多个瞳孔被跟踪，以提供瞳孔位置信息，并且该眼睛位置信息是瞳孔位置信息。
示例23包括示例17-22中任一项的方法，包括或排除任选的特征。在该示例中，在三个维度上跟踪一个或多个眼睛，并且眼睛位置信息是三维眼睛位置信息。
示例24包括示例17-23中任一项的方法，包括或排除任选的特征。在该示例中，渲染步骤包括图形渲染。
示例25包括示例17-24中任一项的方法，包括或排除任选的特征。在该示例中，所渲染或所捕获的颜色加深度图像或光场图像被转化为提供给显示器的积分图像。
示例26包括示例17-25中任一项的方法，包括或排除任选的特征。在该示例中，每个颜色加深度图像根据眼睛中的一个眼睛的所跟踪的位置被渲染。
示例27包括示例17-26中任一项的方法，包括或排除任选的特征。在该示例中，颜色加深度图像基于眼睛位置信息被渲染。
示例28包括示例17-27中任一项的方法，包括或排除任选的特征。在该示例中，眼睛位置信息用于计算最佳眼睛格尺寸，并且用于偏移所显示的图像以将眼睛格的中心与眼睛位置对齐。
示例29包括示例17-28中任一项的方法，包括或排除任选的特征。在该示例中，使用一种或多种后处理技术将所渲染的颜色加深度图像或所捕获的颜色加深度图像转化为显示图像。
示例30包括示例29的方法，包括或排除任选的特征。在该示例中，该一种或多种后处理技术包括屏幕空间射线跟踪。
示例31包括示例17-30中任一项的方法，包括或排除任选的特征。在该示例中，显示图像被提供给显示器。
示例32包括示例17-31中任一项的方法，包括或排除任选的特征。在该示例中，基于所跟踪的眼睛位置信息以高于人类可感知的刷新率的刷新率引导在左眼与右眼之间交替的光。
示例33是一种或多种有形的非瞬态机器可读介质。该介质包括多条指令，这些指令响应于在至少一些处理器上被执行而使得该至少一个处理器：跟踪观看微透镜阵列和显示屏的一个或多个眼睛，以提供眼睛位置信息；渲染或捕获颜色加深度图像或光场图像；以及使用该眼睛位置信息来将所渲染或所捕获的颜色加深度图像或光场图像转化为提供给显示器的显示图像。
示例34包括示例33的一种或多种有形的非瞬态计算机可读介质，包括或排除任选的特征。在该示例中，该一种或多种有形的非瞬态机器可读介质包括多条指令，这些指令响应于在至少一个处理器上被执行而使得该至少一个处理器：基于眼睛位置信息来渲染光场图像；以及将所捕获的颜色、光场或多视图图像合成为用于所述显示器的所需的光场图像。
示例35包括示例33或34中任一项的一种或多种有形的非瞬态计算机可读介质，包括或排除任选的特征。在该示例中，该一种或多种有形的非瞬态机器可读介质包括多条指令，这些指令响应于在至少一个处理器上被执行而使得该至少一个处理器：基于眼睛位置信息来引导背光。
示例36包括示例33-35中任一项的一种或多种有形的非瞬态计算机可读介质，包括或排除任选的特征。在该示例中，显示器是具有高于每英寸250像素的像素密度的高像素密度显示器。
示例37包括示例33-36中任一项的一种或多种有形的非瞬态计算机可读介质，包括或排除任选的特征。在该示例中，微透镜阵列是具有大于8的f数的长焦距微透镜阵列。
示例38包括示例33-37中任一项的一种或多种有形的非瞬态计算机可读介质，包括或排除任选的特征。在该示例中，该一种或多种有形的非瞬态机器可读介质包括多条指令，这些指令响应于在至少一个处理器上被执行而使得该至少一个处理器：跟踪观看微透镜阵列和显示屏的一个或多个瞳孔，以提供瞳孔位置信息，其中，该眼睛位置信息是瞳孔位置信息。
示例39包括示例33-38中任一项的一种或多种有形的非瞬态计算机可读介质，包括或排除任选的特征。在该示例中，该一种或多种有形的非瞬态机器可读介质包括多条指令，这些指令响应于在至少一个处理器上被执行而使得该至少一个处理器：在三个维度上跟踪一个或多个眼睛，其中，眼睛位置信息是三维眼睛位置信息。
示例40包括示例33-39中任一项的一种或多种有形的非瞬态计算机可读介质，包括或排除任选的特征。在该示例中，渲染包括图形渲染。
示例41包括示例33-40中任一项的一种或多种有形的非瞬态计算机可读介质，包括或排除任选的特征。在该示例中，该一种或多种有形的非瞬态机器可读介质包括多条指令，这些指令响应于在至少一个处理器上被执行而使得该至少一个处理器：将所渲染或所捕获的颜色加深度图像或光场图像转化为提供给显示器的积分图像。
示例42包括示例33-41中任一项的一种或多种有形的非瞬态计算机可读介质，包括或排除任选的特征。在该示例中，该一种或多种有形的非瞬态机器可读介质包括多条指令，这些指令响应于在至少一个处理器上被执行而使得该至少一个处理器：根据眼睛中的一个眼睛的所跟踪的位置来渲染每个颜色加深度图像。
示例43包括示例33-42中任一项的一种或多种有形的非瞬态计算机可读介质，包括或排除任选的特征。在该示例中，该一种或多种有形的非瞬态机器可读介质包括多条指令，这些指令响应于在至少一个处理器上被执行而使得该至少一个处理器：基于眼睛位置信息来渲染颜色加深度图像。
示例44包括示例33-43中任一项的一种或多种有形的非瞬态计算机可读介质，包括或排除任选的特征。在该示例中，该一种或多种有形的非瞬态机器可读介质包括多条指令，这些指令响应于在至少一个处理器上被执行而使得该至少一个处理器：计算最佳眼睛格尺寸，并且偏移所显示的图像以将眼睛格的中心与眼睛位置对齐。
示例45包括示例33-44中任一项的一种或多种有形的非瞬态计算机可读介质，包括或排除任选的特征。在该示例中，该一种或多种有形的非瞬态机器可读介质包括多条指令，这些指令响应于在至少一个处理器上被执行而使得该至少一个处理器：使用一种或多种后处理技术将所渲染的颜色加深度图像或所捕获的颜色加深度图像转化为显示图像。
示例46包括示例45的一种或多种有形的非瞬态计算机可读介质，包括或排除任选的特征。在该示例中，一种或多种后处理技术包括屏幕空间射线跟踪。
示例47包括示例33-46中任一项的一种或多种有形的非瞬态计算机可读介质，包括或排除任选的特征。在该示例中，该一种或多种有形的非瞬态机器可读介质包括多条指令，这些指令响应于在至少一个处理器上被执行而使得该至少一个处理器：将显示图像提供给显示器。
示例48包括示例33-47中任一项的一种或多种有形的非瞬态计算机可读介质，包括或排除任选的特征。在该示例中，该一种或多种有形的非瞬态机器可读介质包括多条指令，这些指令响应于在至少一个处理器上被执行而使得该至少一个处理器：基于所跟踪的眼睛位置信息以高于人类可感知的刷新率的刷新率引导在左眼与右眼之间交替的光。
示例49是一种三维显示设备，包括：显示器；微透镜阵列；用于跟踪多个眼睛的装置；用于提供对应于跟踪的眼睛位置信息的装置；用于渲染或捕获颜色加深度图像或光场图像的装置；以及用于使用眼睛位置信息来将所渲染或所捕获的颜色加深度图像或光场图像转换为提供给显示器的显示图像的装置。
示例50包括示例49的三维显示设备，包括或排除任选的特征。在该示例中，该设备包括：用于基于眼睛位置信息来渲染光场图像的装置；以及用于将所渲染或所捕获的颜色、光场或多视图图像合成为用于显示器的所需的光场图像。
示例51包括示例49或50中任一项的三维显示设备，包括或排除任选的特征。在该示例中，该设备包括：用于基于眼睛位置信息引导背光的装置。
示例52包括示例49-51中任一项的三维显示设备，包括或排除任选的特征。在该示例中，显示器是具有高于每英寸250像素的像素密度的高像素密度显示器。
示例53包括示例49-52中任一项的三维显示设备，包括或排除任选的特征。在该示例中，微透镜阵列是具有大于8的f数的长焦距微透镜阵列。
示例54包括示例49-53中任一项的三维显示设备，包括或排除任选的特征。在该示例中，该设备包括：用于跟踪一个或多个瞳孔的装置，其中，眼睛位置信息是瞳孔位置信息。
示例55包括示例49-54中任一项的三维显示设备，包括或排除任选的特征。在该示例中，该设备包括：用于在三个维度上跟踪一个或多个眼睛的装置，其中，眼睛位置信息是三维眼睛位置信息。
示例56包括示例49-55中任一项的三维显示设备，包括或排除任选的特征。在该示例中，用于渲染的装置包括：用于渲染的装置包括用于渲染图形的装置。
示例57包括示例49-56中任一项的三维显示设备，包括或排除任选的特征。在该示例中，该设备包括：用于将所渲染或所捕获的颜色加深度图像或光场图像转化为提供给显示器的立体积分图像的装置。
示例58包括示例49-57中任一项的三维显示设备，包括或排除任选的特征。在该示例中，该设备包括：用于根据眼睛中的一个眼睛的所跟踪的位置来渲染每个颜色加深度图像或光场图像的装置。
示例59包括示例49-58中任一项的三维显示设备，包括或排除任选的特征。在该示例中，该设备包括：用于基于眼睛位置信息来渲染颜色加深度图像的装置。
示例60包括示例49-59中任一项的三维显示设备，包括或排除任选的特征。在该示例中，用于使用眼睛位置信息来计算最佳眼睛格尺寸并且用于偏移所显示的图像以将眼睛格的中心与人的眼睛位置对齐的装置。
示例61包括示例49-60中任一项的三维显示设备，包括或排除任选的特征。在该示例中，该设备包括：用于使用一种或多种后处理技术来将所渲染或所捕获的颜色加深度图像或光场图像转化为提供给显示器的立体积分图像的装置。
示例62包括示例61的三维显示设备，包括或排除任选的特征。在该示例中，该一种或多种后处理技术包括屏幕空间射线跟踪。
示例63包括示例49-62中任一项的三维显示设备，包括或排除任选的特征。在该示例中，该设备包括：用于将显示图像提供给显示器的装置。
示例64包括示例49-63中任一项的三维显示设备，包括或排除任选的特征。在该示例中，该设备包括：用于基于所跟踪的眼睛位置信息以高于人类可感知的刷新率的刷新率引导在左眼与右眼之间交替的光的装置。
示例65是一种机器可读介质，包括代码，代码在被执行时使得机器执行任一前述示例的方法或实现任一前述示例的装置。
示例66是一种设备，该设备包括用于执行如任一前述示例中的方法的装置。
示例67实机器可读存储，其包括机器可读指令，该机器可读指令在被执行时实现任一前述示例的方法或实现任一前述示例的装置。
示例68是一种三维显示系统，包括：处理器和如任一前述示例中的显示装置。
虽然参考电路图、流程图、框图等描述了所公开主题的示例实施例，但在附图中，本领域技术人员将容易领会，可替代地使用实现所公开的主题的许多其他方法。例如，可改变图中的元件的布置和/或图中的框的执行次序，和/或可改变、消除或合并电路图中的电路元件中的一些以及所描述的框/流程图中的框。可改变、消除或组合如所图示的和/或所描述的任何元件。
前述描述中已经描述了所公开的主题的各方面。出于解释的目的，阐述具体的数字、系统和配置，以提供对本主题的深入理解。然而，对得益于本公开的本领域技术人员来说显而易见的是，不需要具体细节就可以实施本主题。在其他实例中，省略、简化、组合或分解公知的特征、组件或模块以使本主题不变得模糊。
可以以硬件、固件、软件或其组合实现所公开的主题的各实施例，并且可以参考或结合程序代码来描述所公开的主题的各实施例，该程序代码诸如是指令、函数、程序、数据结构、逻辑、应用程序、设计表达或模拟、仿真和设计制作格式，当由机器访问所述指令时，使该机器执行任务，定义抽象数据类型或低级硬件上下文，或产生结果。
为了模拟，程序代码可以表示使用硬件描述语言或基本提供如何期待所设计的硬件执行的模型的其他功能的硬件描述语言的硬件。程序代码可以是汇编或机器语言或硬件定义语言，或是可被编译和/或解释的数据。此外，在本领域中，以一种形式谈及的软件在另一种形式下说成执行动作或产生结果是很常见的。此类表达仅是说明通过使处理器执行动作或产生结果的处理系统执行程序代码的速记方式。
程序代码可以被存储于例如：包括诸如存储设备和/或包括固态存储器、硬驱动器、软盘、光存储、磁带、闪存、记忆棒、数字视频盘、数字多功能盘(dvd)等的关联的机器可读或机器可访问介质之类的一种或多种易失性和/或非易失性存储器，以及诸如机器可访问生物学状态保存存储之类的更奇特的介质。机器可读介质可以包括用于以机器可读形式存储、传输或接收信息的任何有形机制，诸如天线、光纤、通信接口等。可以以分组、串行数据、并行数据等形式传输程序代码，并可以以压缩或加密的格式使用程序代码。
可以以在可编程机器上执行的程序实现程序代码，可编程机器诸如移动或固定计算机、个人数字助理、机顶盒、蜂窝电话和寻呼机和其他电子设备，其中每一个都包括处理器、可有处理器读取的易失性和/或非易失性存储器、至少一个输入设备和/或一个或多个输出设备。可以使用输入设备将程序代码应用于输入的数据，以执行所描述的实施例并生成输出信息。可以将输出信息应用于一个或多个输出设备。本领域普通技术人员可以领会，可以利用各种计算机系统配置实施所公开的主题的实施例，包括：多处理器或多核处理器系统、小型计算机、大型计算机，以及实际可以嵌入到任何设备中的普遍的或微型的计算机或处理器。也可以在分布式计算环境中实施所公开的主题的实施例，在分布式计算环境中，可以由通过通信网络被链接的远程处理设备执行任务。
虽然可以以顺序的进程描述操作，但事实上，可以以并行的、同时的，和/或在分布式环境中，和利用用于单处理器或多处理器机器的访问的存储于本地和/或远程的程序代码执行一些操作。此外，在一些实施例中，可以重新安排操作次序，而不背离本公开主题的精神。可以由或连同嵌入式控制器一起使用程序代码。
尽管已经参考示例性实施例描述了所公开的主题，但该描述并不旨在在限制性的意义上被解释。说明性实施例的各种修改以及对涉及所公开公开主题的本领域技术人员而言显而易见的本主题的其他实施例也被视为落在所公开的公开主题的范围之内。例如，在每个所图示的实施例和每个所描述的实施例中，将会理解，附图中的图和本文中的说明书不旨在指示所图示或所描述的设备包括在特定附图中所示出或参考特定附图所描述的组件中的全部。此外，每个元件可利用逻辑来实现，其中，例如，如本文中所指的逻辑可以包括任何合适的硬件(例如，处理器等等)、软件(例如，应用等等)、固件或者硬件、软件和固件的任何合适的组合。
- 还没有人留言评论。精彩留言会获得点赞！