用于产生3-d全光视频图像的系统和方法
【技术领域】
[0001] 本发明大体涉及用于产生立体全光视频图像的系统和方法，且更明确地说涉及用 于通过跟踪观察者的眼坐标产生和显示立体全光视频图像的系统和方法。
【背景技术】
[0002] 3-D立体视频具有设定的焦点，意味着当观察者尝试聚焦于设定的深度平面外部 的图像时深度的错觉被打破。此效应可致使3-D内容的一些观察者的眼疲劳，因为眼睛尝 试（且未能）如原始拍摄那样聚焦于场景的设定的深度平面外部的内容。全光（也称为 "光场"）相机技术允许俘获可在图像被俘获之后聚焦的图像。在传统应用环境中，此允许 将全光图像中的任何对象带到锐聚焦，而不管对象包含于什么焦平面中。
[0003] 在传统摄影中，图像的焦点区域在拍摄图片之前配置。在已拍摄图片之后，设定焦 点的区域且离焦的区域无法对焦。相反，光场或全光相机使用特殊透镜和传感器来俘获场 景的范围内的整个光场。因此，全光相机能够俘获空间中的每个点中在每一方向上行进的 所有光。利用全光相机，因为俘获所有光的颜色、方向和强度，所以在已拍摄图片之后使用 软件执行聚焦。已拍摄图片之后聚焦允许用户在任何时间修改对焦的图像区域。
【发明内容】
[0004] 在一个实施例中，本发明提供一种用于产生全光图像的系统。所述系统包括能够 产生至少一个全光图像的全光图像源。所述系统进一步包括深度映射模块，其经配置以将 所述至少一个全光图像中的对象指派到深度平面。所述系统进一步包括用于显示所述至少 一个全光图像的显示器。所述系统进一步包括眼跟踪系统，其经配置以跟踪用户在显示器 上凝视的位置，且将所显示图像的焦平面设定为由用户观看的深度平面。
[0005] 在另一实施例中，本发明提供一种用于设定由用户观看的图像的焦平面的方法。 所述方法包括产生至少一个全光图像。所述方法进一步包括将所述至少一个全光图像中的 对象映射到深度平面。所述方法进一步包括显示所述至少一个全光图像。所述方法进一步 包括跟踪显示器上用户的凝视的位置，以及将所显示图像的焦平面设定为由用户观看的深 度平面。
[0006] 在另一实施例中，本发明提供一种用于设定全光图像的焦平面的系统。所述系统 包括用于产生至少一个全光图像的装置。所述系统进一步包括用于将所述至少一个全光图 像中的对象映射到深度平面的装置。所述系统进一步包括用于显示所述至少一个全光图像 的装置。所述系统进一步包括用于跟踪用户在显示器上凝视的位置的装置。所述系统进一 步包括用于将所显示图像的焦平面设定为由用户观看的深度平面的装置。
【附图说明】
[0007] 图1为用户观看屏幕上的3-D全光图像的说明，其中用户眼睛经由眼镜（B)或经 由红外㈧跟踪。
[0008] 图2为全光图像帧的说明，其中3个深度平面根据用户的眼坐标聚焦。
[0009] 图3为根据本发明的一个实施例的系统级概观的框图。
[0010] 图4为展示用于产生3-D全光视频的过程的概观的流程图。
[0011] 图5为展示用于俘获用户的眼位置的过程的概观的流程图。
[0012] 图6为展示用于将用户的眼坐标映射到全光图像深度平面的过程的概观的流程 图。
[0013] 图7为展示用于将用户的眼坐标映射到全光图像深度平面的过程的概观的流程 图。
【具体实施方式】
[0014] 本发明的实施例涉及用于向用户显示立体全光图像的系统和方法。全光图像含有 足够信息以从单一全光图像立体地显示所述图像。因为全光相机记录深度信息（允许在可 变深度聚焦），所以可在软件中由单一全光图像俘获构建立体图像。全光相机使用微透镜阵 列俘获"四维"光场信息。所述微透镜阵列可将微透镜上的入射光线的一部分分离为束，所 述束来源于相同位置但处于不同角方向。因此，所俘获全光图像含有足够信息以再造（凭 经验）覆盖焦点距离范围的大块图像。通过使不同焦点距离和深度处的图像对匹配，可针 对3-D应用向用户立体地显示全光图像。
[0015] 实施例大体涉及使用全光图像产生静态图像或视频的系统和方法，其中图像或视 频的不同深度部分可由用户通过使用眼跟踪来聚焦。因此，在一些实施例中，个别全光图像 流组合为帧序列以便产生含有多个深度平面信息的2-D或3-D电影序列。全光数据的每 一帧可以（例如）每秒30帧的标准速率组合以供向用户显示。当向用户显示特定视频帧 时，系统将计算将图像的某些特征的2-D屏幕坐标链接到其恰当深度平面的每帧坐标映射 图。举例来说，场景的前景中的树将被指派到前深度平面，且背景中的山将被指派到第二深 度平面。不同数目的深度平面可用于电影的每一场景。仅具有几个要素的简单场景可具有 2-5个深度平面，而具有许多要素的较复杂场景可具有6-10个深度平面。
[0016] 一旦图像的每一特征的2-D坐标指派到深度平面，就可将帧显示到标准或立体显 示器（例如3-D电视机）上。为了将用户的眼睛恰当地焦点到正确深度平面上，系统将包 含眼跟踪组件，所述眼跟踪组件将检测用户在显示器上聚焦的位置且接着将渲染的全光图 像再聚焦到对应于含有观察者的凝视的屏幕坐标的深度平面处。用于此实施例中的眼跟踪 装置的实例是众所周知的，例如Tobii技术公司（弗吉尼亚州，福尔彻奇）的IS-I或IS-2 眼跟踪器。这些特定装置使用红外光反射离开用户的角膜以便跟踪用户的眼睛的位置和凝 视。其它系统可将相机、红外激光器或传感器集成在抬头显示器或用户佩戴的眼镜中以计 算由用户在任何时间点聚焦的图像中的点。
[0017] 元件的此组合产生一种系统，其通过将所显示图像的焦平面修改为当前由用户观 看的深度平面而显示响应于用户正凝视的位置的变化的反应性图像或电影。此系统因此允 许用户具有在2-D或立体视图（3-D)中在任何所感知深度处所显示场景的任一部分的清晰 聚焦。
[0018] 图1为用于向用户显示全光图像和视频的全光视频系统100的一个实施例的说 明。显示装置11〇(例如（但不限于）电视机屏幕）向用户显示全光视频信息120。屏幕 110可显示（例如）单一全光图像、2-D全光图像或3-D全光视频。在图1中展示的实施例 中，全光图像120包含在所显示图像的前景中的第一人125A和第二人125B。另外，存在在 所显示图像的背景中展示为场景的一部分的山128。具有人125A、B的图像的前景可表示 一个深度平面，而山128的背景场景可表示第二深度平面。全光帧中可存在任何数目的深 度平面，其中每一深度平面表示所显示的场景的不同部分。
[0019] 显示装置110可连接到硬件装置140,硬件装置140将全光数据发送到显示装置 110。硬件装置140可包括（例如）蓝光光盘播放器或存储全光视频或图像数据的存储装 置。在一个实施例中（表示为"A"），一对观察者的眼睛160正凝视显示装置110上的全光 图像或视频120,且经由眼跟踪装置130沿着线(： 2和C 2跟踪。眼跟踪装置130可包括红外 系统以跟踪观察者的眼睛在全光图像或视频120上的位置和观察角度。通过跟踪观察者的 眼睛的位置和观察角度，系统可确定显示器110上在预定义时间周期期间观察者正观看的 地方。举例来说，系统可在观察者在显示装置110上到处观看时每隔一秒、半秒、四分之一 秒或十分之一秒跟踪观察者的眼睛。眼跟踪装置130还可允许额外用户观察全光图像或视 频120且单独跟踪房间中每一观察者的位置和凝视。
[0020] 一旦系统已计算用户在任何时间点观看的位置，系统就可确定观察者在显示器上 的凝视的2-D坐标。举例来说，系统可将显示器划分为二维网格且确定用户正观看显示器 120的预定义网格内的位置X = 100, Y = 200。一旦确定用户在显示器上凝视的坐标位置， 系统随后就将确定正观看哪一深度平面。系统随后将为观察者将所显示图像聚焦于观察者 正凝视的位置和深度平面处。因此，所显示的全光图像帧120将变