用于全视差压缩光场3d成像系统的方法

用于全视差压缩光场3d成像系统的方法
【专利摘要】描述一种压缩光场成像系统。分析光场3D数据以确定待渲染（获得）的光场采样的最优子集，同时使用基于多个参考深度图像的渲染生成剩余采样。编码光场并发送到显示器。3D显示器直接重建光场，并且避免通常发生在常规成像系统中的数据扩展。本发明使得能够实现全视差3D压缩成像系统，全视差3D压缩成像系统实现高压缩性能，同时最小化存储器和计算需求。
【专利说明】
用于全视差压缩光场3D成像系统的方法
[0001] 相关申请的交叉引用 本申请要求2014年1月10日提交的编号61 /926069的美国临时专利申请的权益。
技术领域
[0002] 本发明一般涉及图像和视频压缩，更具体地涉及用作用于光场3D成像系统的输入 的光场图像数据的压缩。术语"光场"描述包括方向、幅度和频率的光的传输和调制，因此封 装利用诸如全息、积分成像、立体视法、多视图成像、自由视点TV(FTV)等等之类的技术的成 像系统。 现有技术
[0003] 引用的参考文献
[1] 2009年4月2日、Quantum Photonic Imagers and Methods of Fabrication Thereof、公开号US2009/0086170A1的美国专利申请
[2] 2010年9月9日、Multi-Pixel Addressing Method for Video Display Drivers、 公开号US2010/0225679A1的美国专利申请
[3] Method and apparatus for block-based compression of light-field images、编号8401316B2的美国专利
[4] Systems and methods for encoding light field image files、公开号 US2013/0077880的美国专利申请
[5] Systems and methods for decoding light field image files、公开号 US2013/0077882的美国专利申请
[6] Methods and apparatuses for encoding，decoding，and displaying a stereoscopic 3D image、公开号US2011/0134227A1 的美国专利申请
[7] Three-dimensional image synthesis using view interpolation、编号 US5613048的美国专利
[8] Method and system for acquiring,encoding,decoding and displaying 3D light fields、公开号US2008/0043095的美国专利申请
[9] Method and system for digital plenoptic imaging、编号US6009188的美国专 利
[10] Minimum sampling rate and minimum sampling curve for image-based rendering、编号US6738533B1的美国专利
[11] Rendering multiview content in a 3D video system、编号US8284237B2的美 国专利
[12] Method and Apparatus for Compressive Imaging Device、公开号US2012/ 0213270A1的美国专利申请
[13] Method and system for light field rendering、编号US6097394的美国专利
[14] 3d disparity maps、公开号US2013/0010057的美国专利申请
[15] Rendering 3D Data to Hogel Data、公开号US2010/0156894的美国专利申请
[16] Systems and Methods for Processing Graphics Primitives、公开号US2010/ 0231585的美国专利申请
[17] Rendering methods for full parallax autostereoscopic displays、编号 US6963431的美国专利
[18] A. Vetro ? T. ffiegand ?G. Sullivan? uOverview of the stereo and multiview video coding extensions of the H. 264/MPEG-4 AVC standard'，， Proceedings of the IEEE，第99卷，第4期，2011 年4月
[19] IS0/IEC JTC1/SC29/WG11,Call for Proposals on 3D Video Coding Technology，瑞士日内瓦，2011年3月
[20] Levoy和Hanrahan，Light Field Rendering，Computer Graphics，SIGGRAPH 96 Proceedings，第31-42页，1996年
[21] Magnor和Girod，Data Compression for Light-Field Rendering，IEEE Transaction on Circuits and Systems for Video Technology，第10卷，第3期，2000年4 月，第338-343页
[22] Candes，E.,Romberg，J.，Tao，T.，"Robust uncertainty principles: Exact signal reconstruction from highly incomplete frequency information"，IEEE Trans. Inform. Theory 52 (2006) 489-509
[23] David Donoho，"Compressed sensing"，IEEE Transactions on Information Theory，第52卷，第4期，2006年4月，第 1289-1306页
[24] Candes，E·，Tao，T·，"Near optimal signal recovery from random projections and universal encoding strategies'，，（2004)
[25] Gordon Wetzstein，G.，Lanman，D.，Hirsch，M.，Heidrich，W.，和 Raskar，R·， "Compressive Light Field Displays"，第32卷，第5期，第6-11 页，2012年
[26] Heide，F·，Wetzstein，G·，Raskar，R·和 Heidrich，W.，"Adaptive Image Synthesis for Compressive Displays"，Proc· of SIGGRAPH 2013 (ACM Transactions on Graphics 32,4)，2013年
[27] Hoffman，D·; Girshick，A·; Akeley，K. & Banks，M. (2008)，"Vergence_ accommodation conflicts hinder visual performance and cause visual fatigue'，， Journal of Vision 8 (3)，33
[28] IS0/IEC 14496-10:2003?uCoding of Audiovisual Objects一Part 10: Advanced Vide。Coding，"2003年，还有ITU-T Recommendation H.264"Advanced video coding for generic audiovisual services'，
[29] C. Fehn，"3D_TV Using Depth-Image-Based Rendering (DIBR)'，，Proceedings of Picture Coding Symposium，美国加州旧金山，2004年 12月
[30] Malvar ? H. S·，SulIivan，G· J·，和Srini vasan，S·，"Lif t ing-Based Reversible Color Transformations for Image Compression"，Proceeding SPIE Applications of Digital Image Processing，2008年
[31] M. Lucente,Diffraction-Specific Fringe Computation for Electro-Holography,Doctoral Thesis Dissertation，MIT电气工程与计算机科学系，1994年9月
[32] Z. Alpaslan等人，2011 年 12月16 日、Spatio-Optical Directional Light Modulator、公开号US2013/0141895的美国专利申请
[33] H.S. El-Ghoroury等人、2012年7月11 日、Spatio-temporal Directional Light Modulator、公开号US2013/0258451的美国专利申请
[34] S.Guncer、2010年1月14日、Image Construction Method Based Video Display System、公开号US2010/0007804的美国专利申请
[35] S.Guncer、2010年9月9日、Multi-Pixel Addressing Method for Video Display System、公开号US2010/0225679的美国专利申请
[36] H.S. El-Ghoroury 等人、2012 年 10 月24 日、Spatio-Temporal Light Field Cameras、公开号US2013/0321581的美国专利申请。
[0004] 概述 人类视觉系统中的深度感知依赖于几个深度线索。这些线索可以被分类为心理(透视、 阴影、照明、相对尺寸、遮蔽和纹理梯度等）和生理深度线索（聚散度、调节作用、运动视差、 双眼差异(disparity)等）。虽然心理深度线索在光场中提供深度的相对理解，但生理深度 线索提供绝对深度信息。市售的3D显示器使用生理深度线索的子集，以增强观看体验。
[0005] 由于由所有主要的TV制造商引入基于眼镜的3D TV，基于眼镜的3D显示器已经越 来越受欢迎。当前可用技术的最大缺点已被识别为3D眼镜的使用，其可以被归类为或者主 动的或者被动的。一般地，基于眼镜的技术对于观众长时间段使用是不舒服的，并且给需要 验光眼镜的人形成挑战。
[0006] 自动立体显示器使用附连到显示器表面的定向调制器(诸如视差屏障或双凸透镜 片)来创建3D效果，而无需眼镜。市售自动立体显示器典型地使用水平视差来向观众呈现3D 信息。这种显示器技术的主要问题是有限的视角和每个视图有限的分辨率，导致较低质量 的3D图像。另外，在视角内，用户必须保持他的头垂直，否则3D效果消失。
[0007] 由于被称为聚散度调节作用冲突(VAC)的生理效应[27]，在基于眼镜的3D显示器 和仅仅水平视差光场显示器两者中长时间观看典型地导致不适，因为眼睛聚焦于显示器表 面，但需要远离它会聚以感知在不同深度描绘的对象。
[0008] 更自然的3D效果用全视差3D显示技术来实现。除了水平视差，这种技术还具有垂 直视差，使得观众的垂直运动示出3D场景的不同视图。全视差显示器一般具有数量级或者 比仅仅水平视差显示器多的视图。通过提供正确的调节作用和聚散度线索，安排这些视图 密集地创建不通过用户移动或倾斜他的头而改变的很自然的3D图像，并且还消除VAC。消除 聚散度调节作用冲突的3D显示器被典型地称为无 VAC 3D显示器。
[0009] 与这样的全视差3D显示器相关联的主要挑战是:在用宽视角渲染全视差3D图像所 需的调制的图像分辨率的增加为显示系统造成新的减损；即显著增加的图像数据量。为无 VAC全视差光场显示器生成、采集、传输和调制（或显示）图像数据需要每秒几十兆兆比特 (Tbps)的数据速率。输入图像的快速检验示出光场数据元素之间的充足的固有相关性，称 为全息元素 (holographic element)或"微元(hogel)"，并且已经在现有技术[31]中提出压 缩算法来处理这种类型的数据。然而，如可以由本领域技术人员理解的，只有现有技术中所 述的有限数量的压缩方法可以被实时实现，并且这些方法中没有一个可以渲染和/或压缩 实时驱动全视差无 VAC显示器所需的数据量。例如，最先进的视频压缩格式H.264/AVC可以 管理来以大约3G比特/秒的数据比特率压缩超高分辨率视频帧（4096 X 2304056.3，或者 〇. 5G像素/秒）[28] A264/AVC将无法实现光场图像数据的传输所需的足够的压缩量，并且 如果以60Hz的视频速率实时刷新光场则少得多，其中数据速率可以达到86Tbps。
[0010] 当前的压缩标准不利用存在于全视差光场图像中的水平和垂直方向两者中的高 相关性。正在开发以3D显示器为目标的新压缩标准。然而它们仅仅以水平视差、有限数量的 视图为目标，并且通常需要增加数量的存储器和计算资源。压缩算法必须平衡质量、压缩比 和计算负荷。作为一般规则，编码器中的较高压缩比增加计算负荷，使得实时实现方式非常 困难。如果需要高压缩和减少的计算负荷两者，则牺牲质量。高度期望能够同时提供高质 量、高压缩比和相对低的计算负荷的压缩解决方案。
[0011] 因此本发明的目的是引入克服现有技术的缺点的光场压缩方法，从而使得创建无 VAC全视差3D显示器可行，无 VAC全视差3D显示器为各种压缩的光场成像系统利用本发明的 压缩方法，以降低数据速率、在编码和解码两者中的处理需求以及还为整个成像系统降低 功率消耗。本发明的附加的目的和优点将从继续进行参照附图的其优选实施例的以下详细 描述中变得显而易见。 现有技术
[0012] 大数据的传输可以用压缩数据格式的使用来缓解。在常规的光场系统中，首先捕 获整个光场，并且然后使用常规的图像/视频压缩算法或光场特定的编码器中的任一个来 压缩。可以为显示器发送、存储或修复压缩数据，在显示器中该压缩数据被解压缩和调制 (光场压缩系统的示例在编号8401316B2的美国专利[3]或编号US2013/0077880的美国专利 申请[4]中给出）。
[0013] 光场可以使用多视图压缩(MVC)标准[18]来压缩。微元可以被解释为多视图序列 的帧，并且图像之间的差异被估计和编码。基于块的差异估计生成由基于块的编码器编码 的不准确度，并且压缩性能随着图像数量的增长而线性增长。
[0014] 为了改善多视图编码，新编码标准正考虑采用来自计算机视觉的场的技术[19]。 使用了每像素深度，参考图像可以被投影到新视图，而且可以使用合成图像来代替新图像 的昂贵传输。这种技术在解码器侧需要增加数量的计算资源和本地存储器，对它的实时实 现方式行成挑战。压缩工具还以它们在仅仅水平的多视图序列中使用为目标，并且不利用 积分图像的几何排列。
[0015] 专门为光场图像压缩开发的方法包括由Levoy等人描述的矢量量化方法[20]以及 由Magnor等人描述的基于视频压缩的方法[21]。矢量量化的使用是有限的，并且不可以实 现高压缩性能，诸如由Girod提出的那些。Girod的方法类似于多视图压缩算法，其中图像的 几何规律性用于差异估计。然而，该方法需要增加量的本地存储器，并且不适合于实时实现 方式。
[0016] 连同数据压缩的问题一起，还存在数据采集的难题。用于编码的整个光场的生成 需要大量的处理吞吐量和存储器，并且许多采样可在压缩级被丢弃。命名为压缩感测（CS) 的最近开发的技术处理这个问题。在压缩感测后面的基本主体的是:在一些变换域中高度 可压缩(或等价稀疏）的信号可以使用非相干基础来最小地采样并仍然用可接受的质量来 重建[22]，[23]。这个新范例将复杂性从采集移位到重建过程，这导致更复杂的解码器。这 种趋向与在显示设备中直接呈现计算能力的计算显示器的趋势一致。具有计算能力并且能 够直接处理压缩数据的显示器也被称为压缩显示器[25,26]和[34,35]。
[0017] 清楚的是:现有技术未能充分解决对高压缩比、高质量、低计算负荷光场数据压缩 的需求，这是无 VAC全视差、宽视角3D显示技术的实际实现方式所需的。
【附图说明】
[0018] 在以下描述中，相同的附图标记用于相同的元件，即使在不同的图中。平行四边形 块用于描述数据，而矩形块用于描述过程。提供在描述中定义的诸如详细的结构和元件之 类的事项，以协助全面理解示范性实施例。然而，可以实施本发明而没有那些特别定义的事 项。此外，未详细描述公知的功能或结构，由于它们将用不必要的细节模糊该发明。为了理 解该发明并且看到可如何在实践中执行它，现在将仅仅通过非限制性示例的方式、参照附 图描述它的几个实施例，在附图中： 图Ia示出现有技术的光场成像系统。
[0019] 图Ib图示本发明的基本主体，由此以压缩格式捕获并向显示器发送场景/3D数据， 并且显示器直接显示压缩数据。
[0020] 图2a是本发明的压缩渲染方法的框图。
[0021] 图2b是直接连接到显示器的压缩渲染方法的框图，其中光场使用基于多个参考深 度图像的渲染来重建。
[0022] 图3图示本发明的压缩渲染方法的待合成的目标微元与参考微元之间的关系。
[0023] 图4是用于为本发明的压缩渲染方法选择参考微元的可见度测试的一个实施例的 流程图。
[0024] 图5是用于为本发明的压缩渲染方法选择参考微元的可见度测试的可替代实施例 的流程图。
[0025] 图6图示用于为本发明的压缩渲染方法选择参考微元的可见度测试的图5的可替 代实施例的参考微元选择标准。
[0026] 图7图示使用参考微元合成光场微元的本发明的过程。
[0027] 图8图示用于使用参考微元深度信息合成光场微元差异的本发明的一个实施例。 [0028]图9图示在本发明的基于多个参考深度图像的渲染(MR-DIBR)中使用的向后翘曲 的细节。
[0029]图10是本发明的显示匹配的编码和解码过程的概述。
[0030] 图11图示本发明的显示匹配的编码过程的细节。
[0031] 图12图示用于在本发明的显示匹配的编码过程的一个实施例中使用的种子微元 纹理编码过程的细节。
[0032]图13图示在本发明的显示匹配的编码过程的一个实施例中使用的种子微元差异 编码过程的细节。
[0033]图14图示在本发明的显示匹配的编码过程的一个实施例中使用的残留微元差异 编码过程的细节。
[0034] 图15图示在本发明的显示匹配的编码过程的一个实施例中使用的残留微元纹理 编码过程的细节。
[0035] 图16图示用于在本发明的一个实施例中使用的种子微元的比特率分配的方法。
[0036] 图17图示用于在本发明的一个实施例中使用的残留微元的比特率分配的方法。 [0037]图18图示在本发明的3D成像系统的显示侧接收的比特流的解码。
[0038]图19图示为本发明的3D成像系统的动态光场实现方式执行的运动补偿的细节。
【具体实施方式】 [0039] 一般概念 本发明利用在本文中为完整性定义的在计算机图形学领域中的一些公知技术。
[0040] 在计算机图形学中，创建场景或场景的视图的行为被称为视图渲染。通常，3D模型 连同照明、表面性能和相机视点一起使用。这种视图渲染一般需要几个复杂操作，并且还需 要场景几何的详细知识。渲染新颖的视图的可替代技术是使用多个周围的视点。被称为基 于图像的渲染（IBR)，这种技术直接从过采样光场的输入图像渲染新颖的视图。IBR生成具 有更现实的质量的视图，然而它在光场中需要更密集的数据采集过程、数据存储和冗余。
[0041] 在复杂的几何模型与数据密集的IBR之间的折衷是使用深度信息和选定数量的视 图。每个视图具有与每个像素位置相关联的深度，也被称为深度图。深度图然后用于合成新 的视图，称为基于深度图像的渲染(DIBR)的过程[11]和[29] C3DIBR利用深度信息以及虚拟 相机的外在和内在的参数来将2D屏幕的点投射到它们各自的3D位置中，并且然后在目标2D 屏幕上重新投射3D点，也被称为向前翘曲的操作。逆操作也是有效的，其中目标视图的深度 值是已知的，并且纹理值被从参考视图"取出"。在这种情况下，该操作被称为向后翘曲。由 于深度值的不准确度、舍入误差和对象去除遮蔽，DIBR合成的最大难题是孔的生成。
[0042]在本发明中，术语"微元"用作包含信息的光场图像的最小单位，该信息可以由3D 显示器定向调制到所有可用的方向。在基于透镜的成像系统中，微元由在定向调制基本图 像的小透镜或微透镜下方的基本图像组成。在基于折射的成像系统中，微元由包含所有调 制的频率的全息图的最小段组成。
[0043]光场显示的当前方法以全分辨率捕获或渲染光场，并且于是后来压缩它以去除全 分辨率光场中的冗余。另一方面，本发明在单一步骤中执行两个操作，同时捕获或渲染并压 缩光场。我们将捕获/渲染和压缩两者的融合称为压缩捕获系统。压缩捕获被定义为一种方 法，该方法将光场成像系统的采集和压缩阶段联合成单一步骤，并以压缩格式生成光场，也 被称为压缩光场。压缩光场包含重建具有可接受的质量的整个光场必需的最小或接近最小 的信息。对比压缩感测，其中信号利用非相干基础来获得而没有特定的场景知识(除了已知 信号在确定的域中是稀疏的事实之外），压缩的捕获方法优选地利用高级场景信息来做出 更明智的决定:何时选择用于生成压缩光场的信息。该发明利用显示器的计算能力来重建 在采集阶段期间直接在显示器处最小地采样的光场。在一个可能的实施例中，本发明使用 两级压缩框架来创建有效的数据处理流程。由此被称为压缩渲染的第一级更适合朝向减少 待渲染的视图的数量的目标，并因此减少所需的处理吞吐量以及因此减少成像系统功率消 耗。压缩渲染被定义为子采样光场的任何渲染或生成，最优选地包含用于表示对具有可接 受的质量的光场的重建必需的最小或接近最小的光场信息的微元数据的子集，其中微元数 据由预处理最优选地通过执行场景的高级分析来选择。光场子采样到微元数据中的过程生 成微元，以下称为参考微元。参考微元数据可以从现实世界捕获的光场(诸如从一个或多个 光场相机)物理获得，使用计算机图形学合成渲染或者甚至两种方法的组合(例如，在但不 限于增强现实应用中）。由此被称为显示匹配的编码器的第二级考虑显示系统的硬件特性， 并应用适合于并行和实时实现方式的编码算法。显示匹配的编码器被定义为匹配显示器的 计算能力的3D数据的任何压缩，虽然更优选地，显示匹配的编码器适于使用显示器的多处 理能力来解压缩，并且最优选地，使用显示匹配的编码器，其中3D图像被细分成许多微元区 域，其中每个这样的微元区域的显示匹配的编码器基本上独立于其它微元区域的显示匹配 的编码器，以促进使用显示器中或与显示器相关联的多个基本上相同的处理节点的解压 缩。在每个微元区域内，独立地发送和接收一个或多个微元。那些微元此后称为种子微元。 相对于一个或多个种子微元发送和接收剩余微元。渲染过程使用种子微元来生成用作对一 个或多个剩余微元的预测的一个或多个合成视图。显示匹配的编码器然后编码原始微元和 预测的合成微元之间的差。合成微元在本文中还被称为残留微元。通过利用两个独立的过 程，可以为两个级完成局部和全局优化，以实现降低的功率消耗、增加的数据压缩、降低的 传输带宽、降低的系统复杂性、降低的成本、降低的处理需求以及降低的存储器需求的整体 期望的性能，同时允许实时操作和高质量光场再现。
[0044] 本文参照附图所述的本发明的实施例之一演示增加压缩比同时降低计算负荷以 实时创建高质量光场图像的方式。在本发明的压缩渲染方法中，关于光场内的3D场景的先 验知识用于例如使用帧抓取器来捕获足以重建场景而没有感知的质量降级的微元纹理的 最小子集和深度图信息。基于多个参考深度图像的渲染(MR-DIBR)用于合成剩余微元。场景 的先验知识可以通过预处理输入数据的方式来提取，并将通过本公开中的实施例来进一步 解释。本文所述的实施例决不是限制性的，并且本发明可以通过不同实施例来实现，诸如例 如直接在光场相机处执行压缩捕获。在显示匹配的编码器中，在压缩渲染级中捕获的数据 以匹配显示器(在本文中也被称为光场调制器)的能力的方式来进一步压缩，该显示器调制 该光场数据。本发明的压缩渲染和显示匹配的编码器方法的组合降低3D光场捕获和显示系 统中的总计算负荷，并且允许实时操作，同时不引入任何新感知的图像降级。本文所述的实 施例决不是限制性的，并且本发明可以通过不同实施例来实现。例如，本发明的另一个实施 例可以将前述两个级组合成一个，其中压缩渲染级利用显示参数并执行压缩捕获(而没有 明确的显示匹配的编码器级），向显示器发送可能已经根据显示参数选择的参考微元，其中 显示器利用仅用接收的最小的微元信息的基于深度图像的重建来重建整个光场。类似地， 本发明的又一个实施例可仅利用上述的显示匹配的编码器级，并抑制压缩渲染。本发明的 一个可能的可替代实施例可使用描述方法以将离散Walsh变换(DWT)或离散余弦变换(DCT) 系数用作显示器的输入的压缩显示，诸如[34,35]，并使用人类视觉系统(HVS)的综合方面 执行解压缩，而没有在显示侧进一步处理。这个可替代实施例仅仅执行显示匹配的编码，并 直接向显示器发送压缩信息。这些可能的实施例的介绍用于图示该发明的实际实现方式， 但是该发明可以被修改或优化而不脱离本发明的预期精神和范围。
[0045] 图Ib图示本发明的基本主体，由此以压缩格式捕获并向显示器发送场景/3D数据 101，并且显示器直接显示(或调制)压缩数据。本发明的一个实施例涉及3D场景的捕获或者 场景/3D数据101的渲染和压缩，该场景/3D数据101包括但不限于天线地形纹理图像、具有 地形高程或城市地图的雷达或LIDAR数据、风景、计算机生成的3D图像、医疗图像、同时或在 不同时间用光场相机或多个相机拍摄的图像。图Ia中图示的现有技术的光场成像系统，首 先渲染或捕获全光场渲染过程102中的场景/3D数据101。由于大数据量，光场压缩步骤103 用于降低数据大小。然后压缩数据被发送到显示系统，其中它首先被解压缩104然后被显示 105。与此相反，一起通过使用压缩渲染106来首先渲染场景/3D数据101、由显示匹配的编码 器107将它压缩、然后以压缩格式将它发送到显示器，由图Ib图示的本发明完全避免整个光 场的昂贵捕获或渲染。参考图lb，压缩渲染106和显示匹配的编码器107-起形成本发明的 压缩捕获系统109,该压缩捕获系统109利用光场数据中固有的冗余来有效地生成适合于直 接显示的压缩表示。光场图像内的冗余存在于时间、角度(或方向）和空间（或x-y)域中，由 包括微元并且在微元之间的相似的像素值表示。在本发明的一个实施例中，被表示为比特 流的压缩光场被直接发送到显示器108,显示器108解码比特流，并重建用其纹理和深度的 细节描绘3D场景的光场，而无需眼镜或任何特殊设备。还可能在存储介质中的任何级存储 比特流，用于以后的使用或显示。
[0046] 压缩渲染106 本发明的压缩渲染106是足以由显示匹配的编码器107使用、同时实现最小可接受的感 知图像降级的最小数量的微元的渲染。压缩渲染避免参与常规微元渲染的常规昂贵的操作 (投影矩阵乘法、照明计算、纹理映射等）。压缩渲染还避免由以全感测器分辨率捕获光场的 光场相机所需的昂贵存储需求。参考图2a，本发明的压缩渲染106后面的基本概念是使用可 见度测试201选择并仅仅渲染202光场微元的子集，此后被称为参考微元。参考微元的选择 基于使用分析3D数据来优选地最佳选择待渲染的参考微元位置的可见度测试201。例如，在 一个实施例中，可见度测试可指示来自相机阵列的哪些相机应当用于捕获光场或者甚至哪 些相机应当具有由帧抓取器数字化的它们的内容。在又一个实施例中，可视化测试将指示 哪些虚拟相机应当由计算机图形学渲染应用来渲染。渲染过程生成参考微元纹理203和每 像素深度图204。计算时间和功率通过渲染较少数量的微元代替渲染光场的所有微元来节 省。选择的参考微元纹理可能在由自适应纹理滤波器205渲染之后被后处理。如下面的一个 实施例中所述，自适应纹理滤波器的示例是去除未由光场显示器成像的高频内容的滤波 器。在本发明的另一个实施例中，可能应用从深度到差异的转换206,以便处理像素位移的 简单且直接的单元。作为滤波的参考微元纹理207及其相关联的参考微元深度、可能被转换 成参考微元差异208的压缩渲染级的输出可以由存在于显示器108处的重建级来进一步使 用，避免如先前提及的并且在图2b中图示的显示匹配的编码器步骤。在本实施例中，显示系 统利用基于多个参考深度图像的渲染(MR-DIBR)209算法来合成剩余或残留微元并重建光 场纹理210和差异211。光场调制器212利用重建的数据，以然后生成调制的光场213。注意： 由于以后将解释的优点，本实施例利用深度信息作为转换成的差异，但相同的发明还适用 于直接使用深度而无需任何转换。
[0047] 该发明的一个方面是使用预定义的渲染算法渲染选择的参考微元。存在可适用于 渲染参考微元的许多不同的渲染算法;本领域技术人员将认识到一些可能性是:双立体角 渲染、多视图渲染、并行分组渲染等等。更加优化的渲染算法仍然是计算复杂的，而且可能 需要过多的资源。基于光场中元素的深度的渲染算法的使用可以将视图投影的复杂操作转 换成简单的像素移位。这样的方法的限制是其中不可以发现任何参考纹理像素的目标移除 的（disoccluded)区域的合成。为了填充这样的区域，常见的解决方案是使用修补方法。这 样的修补方法将通过使用限制到背景纹理(通过比较周围纹理的深度值识别）的信息来合 成缺失的纹理。这种方法需要更复杂的计算，并且仍然容易出错。本发明的一个实施例基于 使用描绘目标移除的纹理的其它参考，即使用包含缺失的纹理的视图。这需要使用更大数 量的参考微元;然而质量可以远远比常规的修补方法优越。为了维持图像质量和低计算要 求，本实施例基于使用更大数量的参考微元，并且仅仅在所有参考微元纹理不能够再现目 标移除的区域时求助于合成孔填充操作。图3中图示在由参考微元覆盖的视场与非参考微 元(此后称为目标微元）的视场之间的关系。在图3中，针孔虚拟相机表示参考和目标微元。 参考微元301的立体角303能够从离显示表面某一距离捕获(或覆盖)整个观看区域。具有 由参考微元301的组合的立体角303覆盖的其观看区域304的所有剩余微元，诸如例如微元 302,可以使用参考微元301来适当地合成。通过使用多个参考，本发明的压缩渲染方法能 够覆盖来自不同方向的孔，并最小化使用孔填充作为后处理操作。图3示出作为参考的四个 角落微元的使用，然而本发明还设想其它参考微元布置的使用。
[0048]使用可见度测试201选择参考微元 在本发明的一个实施例中，可使用在其中使用粗略网格并且以后精制的自上而下的方 法来导出选择待渲染的参考微元的过程。在本发明的另一个实施例中，自下而上的方法用 于选择始于精细网格的参考微元，精细网格以后被剪除以去除不必要的微元。图4图示一种 方法，用于基于前述的选择参考微元的方法中的前一个来选择参考微元(图2中的可见度测 试201)。如图4中所描绘，通过分析相对于其中捕获或渲染光场的表面平面（即，其中定位捕 获/渲染场景的针孔虚拟相机的表面，或者在捕获相机与显示微元、显示表面相同的情况 下;此后称为捕获表面）的场景的对象的位置，可以实现自上而下的方法。然后参考微元的 选择将取决于在如下解释的对象的列表401中指定的对象的位置。在本发明的优选实施例 中，微元选择过程通过选择四个角落微元作为参考微元402来启动。由于有了作为参考的 四个角落微元的这种选择，被定位在离捕获表面某一深度Z或远离捕获表面的对象由这些 角落微元覆盖，在等于或大于Z的距离处的对象被从对象的列表中去除403。根据它们离捕 获表面的距离来分类剩余的对象，并且根据需要，更多微元被添加到参考微元的列表以覆 盖最远的对象404。为每个对象选择参考微元的过程404基于在捕获表面上的对象的投影区 域的2维采样。对象的投影区域确定哪些微元将包含对象的纹理，并且可以用作参考。这些 微元的2维采样程序选择微元以用作参考。注意:具有多个对象的场景可能具有重叠的参考 微元选择，并且仅仅先前未被选择的参考微元被添加到参考微元的列表。对象z的深度为用 于选择覆盖该对象的参考微元所使用的每个对象确定微元采样周期4，
其中，〃是视场的微元角，并且P是微元间距(或节距）。由于基于该过程选择的微元的 视场覆盖整个对象，选择的微元之间缺失的微元可以使用选择的微元的纹理和深度来生 成。为了合并在当前对象后面但是远离显示表面的对象的目标移除的纹理，通过在所有方 向上延伸由至少一个半采样周期△分析的对象的投影区域，附加的"边缘"微元位置被添加 到该组选择的微元。重复该过程405,直到列表401中的所有对象由所得的该组选择的参考 微兀406覆盖。
[0049] 图5图示本发明的可见度测试201的可替代实施例，该发明始于由系统允许的最大 数量的微元，并且在自下而上的方法中执行参考微元选择。在用于选择参考微元的这种方 法中，首先计算用于每个微元的度量标准501。这样的标准的一个示例可能是相邻微元之间 的相关性，可能为相邻微元使用存在于微元中的差异值的中值差异值作为度量，但本领域 技术人员将认识到:其它标准也适用。差异值是两个视图之间的像素移位，并且反比于点到 捕获的视图的距离。在具有常规的2D相机布置的光场的情况下，两个邻近相机之间的差异 以及任何两个相邻视图之间的差异可以用于传送正描绘的对象的深度。为了使用具有非邻 近相机的差异，人们需要根据那些相机之间的距离来缩放差异值。在本发明的一个实施例 中，光场内微元的总数被划分成NXM微元的区域502,将从所述微元中选择一个代表性的 微元并添加到微元参考列表503。可以根据场景的元素自适应地选择NXM微元区域的大 小。例如，对于描绘远离捕获表面的对象的场景，所有微元高度相关，并且NXM微元区域可 能是整组微元。另一方面，对于靠近捕获表面的对象，微元之间的相关性可能小，并且NXM 可能仅仅是单一的微元。此外，其它因素可能影响NXM微元区域的大小，诸如例如在接受 将并行处理的最大数量的微元或者等同地对于N的最大值的显示系统中的约束。NXM微元 区域内最有代表性的微元将基于获得的中值差异值来选择。图6中图示该选择标准的一个 可能的实现方式。假设在由该微元的中值差异值指示的深度层中描绘由选择的参考微元 508覆盖的所有对象，当选择的参考微元508的像素被移位以合成目标微元时，目标微元 507的一些像素可能不存在于参考微元中。那些像素位置被称为孔，并由图6中的灰色区域 509指示。给定参考微元508的中值差异值以及其离待合成的目标微元507的位移δχ和， 可以计算孔的总数。最小化离微元的NXM区域内的其相邻微元的孔的数量的参考微元因此 被选择成那个区域的最有代表性的微元，并且被添加到参考微元列表503。为了避免在图像 的边界处的伪影，还添加角落微元504(假使在先前步骤中不添加这些微元）。此外，为了避 免遗漏与N XM微元区域内选择的参考微元不相关的微元，所有微元的中值差异值被再检 查一次。万一非参考微元具有大于预定义阈值的中值差异值，微元被添加到参考微元列表 505并变成参考微元。因为其中值差异值指示微元与已经选择的参考微元不相关并且包含 新的纹理，微元不可以从先前选择的微元参考重建，并且需要被添加到参考微元的列表，用 于正常的渲染。
[0050] 前述段落提供用于选择参考微元的两种方法的描述，然而本发明不限于具体描述 的任一种方法，并且类似的方法可用于确定可以用于恢复光场的剩余微元的参考微元的子 集的目的。为了确定哪些基本图像(或微元)与重建场景的信息最相关，需要预处理步骤或 某种类型的先验信息。该先验信息通常以但不限于在场景中的对象位置、边界框、相机感测 器信息、目标显示信息和运动矢量信息的形式。
[0051] 在计算机生成的（CG)捕获环境中，其中计算机生成的3D模型用于捕获全视差光场 图像，在开始渲染过程之前所有的信息已经由系统已知。该信息包括模型的位置、模型的大 小、模型的边界框、模型和目标显示信息的捕获相机信息(CG相机)运动矢量。
[0052]为了由2D相机的阵列、由3D相机的阵列（包括激光测距、IR深度捕获或构造的光深 度感测)或由光场相机的阵列显示动态光场，如在显示正由光场相机捕获的现场场景的情 况下，预处理方法和数据包括但不限于精确的或近似的对象大小、在场景及其边界框中的 对象的位置和取向、用于每个目标显示的目标显示信息、相对于3D场景全局坐标的所有相 机的位置和取向等等。
[0053]自适应纹理滤波205 光场显示系统不可以再现小于微元大小的光场细节。因此微元大小可以被表征为用于 光场显示系统可以再现的细节的奈奎斯特频率。此外，由于在任何光场显示系统中的光学 发散，随着再现的对象移动得离显示表面更远，可以再现的最高频率细节变得小于显示系 统奈奎斯特频率。因此，由光场显示系统再现的光场具有显示更靠近显示表面并且低于远 离显示表面的正比于1/(离显示表面的距离）的奈奎斯特频率细节的奈奎斯特频率细节的 能力。考虑该事实，深度自适应低通滤波器可以用于基于参考微元深度图信息调整参考微 元纹理内容以过滤掉光场显示系统不可以再现的细节。通过消除对象的不可再现的细节， 深度自适应低通滤波器具有还增加压缩比而不会降级感知的图像质量的益处。
[0054]差异转换的深度206 在计算机图形学工作流中，像素的深度典型地存储在缓冲器中，也被称为深度缓冲器 或Z缓冲器。在本发明的一个实施例中，用于合成(渲染)微元的深度信息可以从3D模型中导 出，并且可以从计算机图形学工作流中典型的Z缓冲器获得。本发明的其它实施例可以从不 同方法获得深度，诸如飞行时间相机，以及还从信号处理程序获得的深度，诸如立体匹配。 例如，立体对相机可以用于捕获。在相机校准和图像校正之后，立体匹配算法可以用于从立 体提取深度。结果被称为深度图，并且可以以类似于来自计算机图形学的Z缓冲器的方式 用在本发明中。差异代替深度的使用是优选的，因为它可以被高度压缩，它避免除法操作并 且可以简化解码器的实现方式。由于微元的均匀几何布置和光学特性相似性，参考微元的 深度值可以基于两个邻近微元之间的距离而被转换成归一化的差异值。然后该值可以用于 通过用参考和目标微元之间的距离缩放参考微元的差异值而翘曲任何两个微元之间的像 素。
[0055]在将深度转换到差异的典型方式(现有技术）中，当深度值是到大的负（--〇或大 的正值(+-0时，差异是在这两种情况下等于零，这导致失去深度的标记。另外，量化差异值 对于压缩是高度期待的;这需要现有技术中单独的一组操作。解决现有技术的这两个缺点， 该发明的优选实施例保留深度的原始标记，同时还以下列方式利用为定点算术合并量化缩 放的转换方法：
其中，S是比特中差异值量化精度，PP是微元像素节距，P是微元间距(或节距），而f是表 示微元的虚拟相机的焦距。最终值夹在值-2^4+1和2^4-1之间，以将差异值的范围限制 在η比特字长内。在本发明的一个实施例中，差异精度δ范围可能从1至16比特，具有经选择 以允许保留准确度的优选值，同时仍然允许简单像素移位;诸如3=4。用于表示量化的差异 值的比特数η取决于系统硬件的架构。范围从8至64比特的差异值字长η将是典型的，但优选 地，诸如η=10之类的优选比特数可以用于为彼此远离的微元保留整数移位。在必要的情况 下，较高的比特数可以用于表示差异值，以及它的精度。有了该转换，+ 1的所得的差异值表 示正无穷深度值（即，在捕获表面前面的对象），-1表示具有负无穷深度值的对象（即在捕获 表面后面的对象），并且O表示不定差异值，并且应当被视为例外。注意：由于深度层的定点 算术和量化的使用，差异的使用在硬件简单性和数据压缩方面是有利的。然而，本发明还设 想深度的使用而没有任何转换或者将促进渲染级处的像素移位的类似转换。
[0056]多个参考 DIBR(MR-DIBR)207 如先前所述，选择参考微元，其中它们包括整个光场的一部分。非参考微元被称为目标 微元。目标微元使用参考微元的纹理和深度图来合成。这个过程也被称为基于深度图像的 渲染(DIBR)。在本发明的提出的实施例中，采用的DIBR的两个独特的方面是:它优选地使用 归一化的差异来代替深度，并且参考的数量不被限制到一个或两个水平对准的参考，如通 常在DIBR算法的技术发展水平中所发现的。我们的方法利用捕获表面平面的2D结构，并且 使用多个参考微元来覆盖目标微元，并且最小化目标纹理中的孔。该算法被称为多个参考 DIBR(MR-DIBR)，并且图7图示采用的合成算法的组件。首先参考差异701被向前翘曲703,即 将差异值从参考微元投射到目标微元的位置。所述的实施例使用从参考值的原始深度图转 换的差异。该差异使用邻近微元之间的距离来计算。为了使用用于以不同距离投影到微元 的差异值，需要使用被定义为微元之间的归一化距离的缩放因子。图8图示在目标微元 805-807和用于缩放多个参考微元的差异值的一组参考微元801-804之间的距离的示例。 图8中图示的距离提供从参考微元到目标微元的水平和/或垂直像素移位的幅度。注意：差 异的使用不是强制性的，并且本发明还包括使用深度值代替转换的差异值的实施例。由于 量化值的使用以及由于定点算术的使用的舍入操作，翘曲差异可能呈现伪影。例如，差异值 的量化可在翘曲差异中创建一至两个像素宽的孔，被称为裂缝。因此，为了减轻这样的伪 影，使用差异滤波器704。然后一起将所有参考的结果合并705成表示合成的光场差异图211 的最终差异图。这个结果与向后翘曲块706中的参考微元的纹理一起使用，以渲染合成的光 场纹理210。注意:这个程序可以涉及分数像素位移，并且仍然导致来自合并操作的一些孔。 剩余的孔可以用修补算法来合成地填充。例如，修补算法的一个可能的实施例将背景的纹 理水平地延伸到孔中。另一个可能性是使用Navier-Stokes修补算法来将孔的边界的纹理 延伸到空区域中。本发明不限于孔填充算法的一个特定实施例，而是可以使用任何可能的 方法。
[0057]图9图示在本发明的MR-DIBR中使用的向后翘曲的可能的实施例的细节。即使每个 参考微元纹理具有整数数量的像素位置901-903,潜在的目标微元像素905差异值D可以是 非整数值。处理这种情况的两种可能的方式是或者将值四舍五入到整数，或者在使用MR-DIBR计算微元纹理时使用非整数(或分数)位移值。分数位移值△ u和△ V可以在向后翘曲操 作中使用，以内插将为合成使用的更适当的纹理值。增量值可以连同差异值一起使用，作为 用于内插将为向后翘曲使用的更适当的纹理值的加权因子。可能在本发明的MR-DIBR中使 用的向后翘曲709的实施例的另一个示例是具有不同分辨率的微元的使用。在这种情况下， 将由向后翘曲709使用的参考微元纹理可能具有比目标微元高的分辨率。如早先通过像素 移位实现的向后翘曲操作用较高分辨率的参考微元纹理来完成，并且然后结果被下采样到 目标微元的分辨率。下采样操作可能合并可以用于避免裂缝和孔的滤波，通常由舍入和量 化误差引起，并且可以潜在地改善合成的目标微元的最终质量。本文提到的方法是本发明 的可能的实施例，其经合并以便改善合成的光场的最终质量。此后这个和其它类似的技术 是本发明的一部分。
[0058] 显示匹配的编码器107 参考图10,本发明的一个可能的实施例利用渲染的参考微元连同合成的参考微元，以 形成合成的光场1001，即来自图2的合成的光场差异211和合成的光场纹理210的联合。合成 的光场1001将典型地合并相当数量的相关性，并且将需要被进一步压缩。这在本发明中通 过使用显示匹配的编码器1〇7(在随后的段落中描述的）压缩合成的光场数据来实现，如图 10中所图示，显示匹配的编码器107压缩合成的光场数据并生成比特流1003。显示匹配的编 码器107基本上降低数据带宽，以使得传输到显示器108可行。显示匹配的编码器以降低微 元内部的局部角度信息（由微元的像素表示)为目标，这在压缩渲染方法中未被利用。两种 方法的组合导致数据速率的整体降低，使得压缩捕获系统更加有效。显示匹配的编码器的 另一个益处是:显示器的需求可以被合并到该级中，将压缩渲染级与实际硬件的影响隔离。 在这个意义上，显示匹配的编码器可以作为用压缩的渲染级实现的结果和显示器中的解码 硬件之间的代理。例如，如果显示器由于存储器限制而不具有使用其局部重建算法(DIBR) 中的多个参考的能力，（在下面的段落中解释的）残留微元可以被发送以弥补参考的缺乏。 光场显示器然后用捕获匹配的解码器1004本地解码数据，（如随后的段落中所述），并且重 建(调制)212构成光场213的微元的阵列。注意:在本发明中，在传输到显示器之前光场的完 全重建可以通过使用差异信息来避免，这导致仅仅处理压缩数据的光场成像系统。一般地， 虽然压缩渲染利用关于场景的知识来以减少捕获的数据，但显示匹配的编码利用关于显示 器硬件、软件和光学能力的知识来进一步压缩数据，并且还以将对于显示器最有用的方式 来格式化它。可以在显示匹配的编码期间考虑的显示器的能力包括但不限于：显示器的处 理能力、显示器的接口需求、显示器中微元的数量、用于微元透镜的小透镜Psf(点扩散功 能）、显示器的观看距离、显示器的估计的深度范围、显示器中可用的存储器的量、显示器刷 新速率、显示器视角、显示器像素节距、像素的显示数量、显示器调制能力、显示器调制速 度、显示器调制模式等。
[0059]本发明的显示匹配的编码器的一个可能的实施例使用瞄准实现高压缩的并行编 码/解码架构，而同时参加显示系统的严格处理和存储器约束。本发明的显示匹配的压缩通 过编码微元的子集而使能在显示侧的并行解码，微元的子集中的每一个在本文中被称为处 理节点（PN)。有了由本发明的显示匹配的编码器使能的并行解码，在显示侧的处理可以是 高度可并行化的，以便通过使每个PN并行工作来实现处理光场数据所需的吞吐量和存储 器，以解码它们各自的微元的子集并全体并行重建整个光场。应当注意:本发明的显示匹配 的编码器可以被设计成匹配在显示侧的硬件的选择以及其处理吞吐量和存储器能力。这是 本发明的显示匹配的编码器的重要特征，因为它允许本发明的3D压缩成像系统充分利用半 导体技术的不断进步以及它逐步提供的处理吞吐量和存储器的所得的增加。在本发明的不 同实施例中，显示匹配的编码器还可同时处理不同数量的微元，并且还可以考虑不同的像 素调制类型，诸如空间和/或时分多路复用的像素。在下面的段落中描述的实施例中论述本 发明的显示匹配的编码器的一些变型。
[0060]用于实现本发明的显示匹配的编码器的光场的光场微元分割的一个示例是将微 元阵列划分成包括NXN微元的独立的区域。本发明的其它实施例可能不将光场划分成独 立的微元区域，或者可能使用不同大小的微元区域，并且被包括在本描述中。当使用N=4的 值时，意味着包括16个微元的4X4的子阵列一起由一个PN处理。N的值是本发明的显示匹配 的编码器的配置参数，该配置参数是根据显示处理能力来确定的，并且不被限制到给定示 例的N=4的值，并且范围可以在独立处理(编码或解码)所有微元时从1到在共同处理所有微 元时的整个光场。对于PN微元区域中的每一个，执行微元的行扫描，并创建微元的序列。图 11图示用于一个这样的微元区域的PN编码过程的细节。在本实施例中，在本文中每个都被 称为"种子微元"的在PN微元区域内的一个或多个微元将被独立编码，并且在本文中被称 为"剩余微元"的在各自的PN微元区域内的剩余微元将相对于选择的种子微元而被编码。 种子微元可能是或可能不是参考微元之一，因为种子微元优选地基于某个度量来选择，某 个度量将趋向于最小化各自的PN区域内的残留微元所需的比特数，而参考微元被选择以为 用于整体3D图像的重建的整体3D图像提供足够的光场数据，优选没有任何或至少有可与系 统的带宽相一致地覆盖的可忍受的或最小的孔和裂缝。
[0061 ] 参考图11，种子微元纹理1102和差异1101分别由种子微元纹理编码器1107和种子 微元差异编码器1106编码。在下面的段落中解释处理的编码的细节。为了使用种子微元来 编码残留微元，重要的是编码器和解码器两者使用相同的参考。由于用于种子微元的纹理 的编码方法是无损的，图11中图示的种子纹理编码器1107包括重建的种子微元纹理1105的 内部解码循环，种子纹理编码器1105与将由解码器使用的纹理相同。对于图11中图示的残 留编码过程，残留微元差异1104使用作为参考的种子微元差异1101来编码1109。残留微元 纹理1103使用种子微元的差异1101、残留微元的差异1104和重建的种子微元纹理1105来编 码1108。所有编码器的结果聚集在比特流1003中。
[0062]图12图示用于种子微元纹理编码1107的细节。种子微元纹理1102被分割成kXk像 素的块1201。对于每个像素的块，种子微元纹理值由固定值水平移位1202,即纹理像素值减 去像素值的可能范围的中心值，以便获得正和负值(在8比特范围的情况下，使用128的恒定 值）。然后将种子微元像素颜色空间转换到解相关颜色通道的颜色空间1203。对于本实施例 的颜色空间转换的一个示例是RGB到YCoCg的颜色转换[30];然而，也可使用包括但不限于 YUV或YCbCr的其它颜色空间而没有限制。接下来，诸如DCT变换或整数变换等等之类的块变 换1204被应用到每个颜色通道。变换仅仅以几个系数集中种子微元块的能量。然后使用根 据块变换系数的能量的统计和分布调整的缩放参数来量化这些系数1205。由于种子微元以 后用作参考，需要尽可能多地保留块变换系数的质量。通常包含大多数块的信息的DC系数 然后使用DPCM方案1206来单独编码，而AC系数例如使用锯齿形扫描和运行长度编码1207来 扫描和编码，最后比特流优选地使用霍夫曼熵编码器、上下文自适应二进制算术编码器 (CABAC)或上下文自适应可变长度编码器(CAVLC)等等来熵编码1208。种子微元用作参考以 编码残留微元，这意味着编码器和解码器两者必须使用相同的种子微元值。由于量化块给 纹理值带来损失，由解码器重建的种子微元不同于在编码器侧的原始种子微元。因此，为了 在编码器和解码器两者中使用相同的参考，解码循环被添加到编码器，以生成在解码器侧 利用的重建的种子微元纹理1105。解码循环由编码操作的逆构成：逆量化块1209、逆变换 1210、逆颜色空间转换1211和逆水平移位1212。应当注意:本发明的范围不限定于如图12 中图示的在本段中所述的编码步骤和方法，并且可替代的编码方法、算法和实现方式也可 能在本发明的上下文内。
[0063]图13图示种子微元差异编码1106的细节。由于种子微元的纹理编码和差异编码之 间不存在任何依赖性，纹理和差异编码可以或者同时或者顺序地独立执行，这取决于可用 的处理能力。对于差异值的编码，首先完成值的行扫描1301，然后执行运行长度编码1302。 最后，值被熵编码1208,并且被添加到比特流，由此使用霍夫曼熵编码器、上下文自适应二 进制算术编码器(CABAC)或上下文自适应可变长度编码器(CAVLC)等等来优选地执行熵编 码。在本实施例中，完成差异信息的压缩而没有任何损失，但是也可使用其它方案来压缩差 异，包括有损压缩方案。然而注意:类似于纹理，如果采用有损方法，编码器必须呈现解码循 环来重建压缩差异图并维持与解码器的同步。应当注意:本发明的范围不限于如图13中图 示的在本段中描述的编码步骤和方法，并且可替代的编码方法、算法和实现方式也可能在 本发明的上下文内。
[0064]图14图不残留微兀差异编码1109的细节。如图14中所图不，残留微兀差异1105和 翘曲的种子差异（即，在应用基于深度图像的渲染DIBR 1401之后移位的种子差异，DIBR 1401使用为图2b的MR-DIBR 209程序解释的相同方法)之间的差值被分割成k X k像素的块 1201，并且由于大部分块可能是零，仅仅非零值被进一步处理。然后扫描（例如，锯齿形扫 描)这些非零值，并且然后在被进一步处理之前还霍夫曼编码1208运行长度编码1207。图15 图示残留微元纹理编码1108的细节。参考图15，DIBR块1401使用重建的种子微元纹理1105、 种子微元差异1103和残留微元差异1104来生成残留微元纹理的差异补偿重建。这个差异补 偿重建用作对残留微元纹理的预测，并且通过将种子微元像素移位到残留微元位置来形 成。孔可能在该翘曲操作期间出现。基于块的变换编码用于从该翘曲操作编码孔和任何所 得的不准确度。类似于种子微元纹理编码的过程，残留微元纹理1103及其差异补偿预测之 间的差被划分为kXk像素的块1201，其颜色空间被转换1203、变换1204、量化1205、扫描和 运行长度编码1207。结果被熵编码1208,并且被添加到比特流。应当注意：本发明的范围不 限于如图14中图示的在本段中描述的编码步骤和方法，并且可替代的编码方法、算法和实 现方式也可能在本发明的上下文内。
[0065]自适应微元编码率优化 本发明的显示匹配的编码器的一个重要特征是在光场显示系统的各种组件之间可用 的接口带宽的自适应分配，或者等同地，压缩算法的比特率分配。给定由3D显示系统所需的 过多接口带宽，可用的接口数据速率(或比特率)被认为是大多数所有3D显示系统中的主要 瓶颈。由于在本发明的3D压缩成像系统中，种子微元用作参考，这些微元用更多比特来编 码，以尽可能多地保留它们的质量，并且在接口数据速率(或比特率）的分配中被给予优先 级，并且用于编码残留微元的参数被自适应地选择以受可用的接口数据速率的限制。图16 和图17图示:本发明适用于的方法分别为种子微元并为残留微元自适应地分配比特率。参 考图16,计算对于编码种子微元纹理和差异可用的总比特数1601。选择需要最多数量的比 特来编码其差异的种子微元的纹理，以优化编码量化步长1602。在图12的量化块1205中使 用的编码量化步长控制存在于纹理的系数中的信息的水平，并且因此控制用于编码纹理的 比特数。以引入可能的失真为代价，较大的量化步骤可以减少编码微元必需的比特数。用于 编码该种子微元纹理可用的比特率由总的可用的比特率减去编码差异信息和报头信息所 需的率来确定1603。选择可能在编码种子微元纹理时导致最小失真的编码量化步骤参数 1604,并且然后对应的编码量化步长用于计算用于编码种子微元纹理所需的比特率1605。 如果计算的比特率小于可用的比特率1607,则选择的量化步骤用于微元编码，否则增加量 化步骤1607,并且比特率计算被再一次重新评估。这继续，直到发现允许在可用的比特预算 内编码种子参考微元的量化步骤。参考图17,存在几个可能的编码模式1701，可以采用该编 码模式以匹配编码的残留微元带宽和可用的比特率，诸如发送校正纹理、差异或者甚至跳 过微元并且仅仅使用可用的预测。在分别对编码残留微元所需的比特率使用这样的模式中 的任一个中的可行性和所得的质量被评估，并且不可行的编码模式作为选择被消除1702。 导致大于可用的比特率的带宽的编码模式也被消除1703。使用拉格朗日成本优化来完成在 剩余编码模式之中的选择1704,其中成本函数由选择的质量度量(例如，最小失真)加上λ倍 的比特率来定义，其中λ是从量化步骤导出的参数。残留微元编码带宽的优化考虑可用的比 特率，并且选择具有最小成本函数的编码模式，并且从对于残留微元编码可用的总比特减 去使用的比特量1705,并且为了保留选择的质量度量，求助于仅在缺乏足够带宽的情况下 使用较少比特的编码模式1702。
[0066]压缩光场的解码 图18图示在光场显示器处接收的比特流的解码流，并且提供关于捕获匹配的编码器 1004的更多细节。本发明的捕获匹配的编码器的主要优点之一是:光场显示器接收压缩比 特流，并将比特流解码以直接重建光场。直接解码是可行的，因为进行本发明的微元压缩以 为微元压缩匹配在显示侧可用的计算能力。在显示侧的多个解码器1004接收比特流，并且 仅仅在压缩域中执行处理以重建光场，同时避免使用在常规解压缩技术中使用的扩展数据 方法。有了并行运行的多个解码器1004,每个解码器负责总体光场的仅仅一部分的重建，以 确保用于整个光场的重建的足够的处理能力。光场显示器接收编码的比特流，并且首先执 行熵解码1801。使用识别分组类型的报头以及显示表面上相关微元的坐标来典型地分组化 比特流。解码器1004分析接收的报头并且仅仅解压缩其所负责的光场的那些微元。几个分 组类型用于发不同光场信息的信号，并且四种类型的这样的分组包含需要由显示器进一步 解码的实际微元有效载荷信息；它们是种子微元纹理、种子微元差异、残留微元纹理和残留 微元差异。对于种子微元纹理，在光场显示器侧执行编码侧的逆操作，其中DC系数在DPCM解 码1802之后获得，而其它系数在运行长度解码和扫描1803之后获得。接收的种子微元纹理 数据被进一步逆量化1209、逆变换1210、逆颜色空间转换1211和逆水平移位1212,以生成重 建的种子微元纹理1105。接收的种子微元差异数据被运行长度解码1804,以生成种子微元 差异1103。然后重建的种子微元纹理1105和种子微元差异1103两者被保持在显示器本地存 储器中。接收的残留微元差异数据被运行长度解码和扫描1809,以生成残留微元差异1104。 接收的残留微元纹理数据被运行长度解码1803、扫描1803、逆量化1209、逆变换1210和逆颜 色空间转换1211，生成残留微元纹理1805 AIBR块1401采用种子微元差异1103并将它向前 投射到残留微元位置。接收的残留微元差异1104可以纠正该操作中的错误。所得的微元差 异用于将保存的重建的种子微元纹理1105向后投射到残留微元位置。该纹理由重建的残留 纹理1805称赞。组合的纹理是显示器的调制像素105的子集。应当注意:在前述的解码流中， DIBR块仅仅使用单一的种子微元，用于在显示器处的存储器的最小使用；可替代地，多个种 子微元也可以结合MR-DIBR过程一起使用，如早先所述的。
[0067]动态压缩的光场显示器 当光场随时间的过去变化再现光场内对象的运动时，则它被称为光场电影或动态光 场。在动态光场中，将典型地假设：由于存在一个或多个下列特征，光场能经得起压缩的检 验：空间相关性(对象是平滑的）、时间相关性(对象的运动相对光场刷新率是慢的）、角度 (当从不同角度观看时，对象有些相似）。压缩技术的技术发展水平利用图像数据中的冗余 来使用较少的比特表示它。空间和时间相关性是图像视频压缩中两个常用的特性。通过预 测（帧内预测和运动估计）的方式，减少了由于空间和时间相关性存在于数据中的冗余，因 而可以用较少的比特编码残留信息（即，原始和预测的信号之间的差），并且实现压缩。有损 残留编码的常见方法是应用变换量化编码的范例，这减少通过量化而在熵编码级处实现更 高压缩的信号的熵，然而招致信号质量的损失。大多数压缩算法利用人类视觉系统(HVS)的 特性来带来不被观众感知的质量损失。在动态3D数据的情况下，考虑视图之间的相似性。视 图间相关性允许从先前编码的视图预测当前视图，被称为差异估计的过程。最近，3D视频压 缩技术使用计算机图形学渲染的概念来从邻近纹理和深度值生成相邻视图的预测(视图合 成预测），并实现多视图图像的更高压缩[31]。为了使用预测并降低信号冗余，需要存储器 来存储参考数据。
[0068] 复杂预测方案可能使编码器/解码器架构复杂化，增加对存储器的需求，并且可能 创建可能妨碍并行处理实现方式的编码/编码块之间的依赖性，除非某些设计规定被合并 到压缩渲染和显示匹配的过程中。在本发明的一个可能的实施例中，本发明的压缩渲染和 显示匹配的编码器的并行处理节点(PN)以多层而不是如早先所述的单层的分层来实现，还 被称为分层压缩。本发明的压缩渲染和显示匹配的编码器的这样的概括将允许与PN的每个 簇内的节点间连接性类似的PN的簇之间的数据连接性。这样的PN簇数据连接性可以在压缩 域中更高的并行处理层处实现，以避免对存储器的过多需求。在实施例的一个方面，动态光 场刷新周期之间的时间变化可能使用索引移位的显示匹配的编码微元来编码，索引移位的 显示匹配的编码微元在连续的动态光场刷新周期中被从更高的处理层发送到光场显示层。 在该实施例的另一个方面，本发明的压缩渲染过程的参考微元选择过程在动态光场刷新周 期的每一个中被重新审查，并且参考微元被删除或添加以在连续刷新周期之间反映光场中 的时间变化。当超过某一度量时，重复影响光场区域的合成以考虑连续刷新周期之间的时 间变化。可以在解码器侧复制分层结构，类似于编码器分层架构。有了高并行处理层，处理 节点可能共享数据，诸如种子微元，这将允许数据的分层解压缩以及甚至数据速率的进一 步减少。
[0069] 本发明还包括使用时间相关性工具压缩动态光场的编码方法。例如但不限于，本 发明可使用诸如运动估计和对微元数据的运动补偿之类的技术。减少该发明的动态光场实 现方式中的硬件足迹的一种方式是重新使用硬件元件来实现类似的功能。例如，基于运动 补偿(MC)和深度图像的渲染(DIBR)可以使用相同的硬件来实现，对信号流有一些修改。 DIBR硬件组件负责根据由每个像素差异值和给定的缩放因子确定的提供的位移值来将微 元纹理数据移动到新的位置。如早先所解释的，差异值乘以种子和目标微元之间的距离，并 且该值用作用于读取种子的纹理的寻址方案，并且将它用作对目标微元的预测。该操作露 出与运动补偿技术的许多相似性，运动补偿技术使用运动矢量作为时间参考纹理的寻址指 针(通常是过去编码的帧），寻址指针然后用作对当前信号的预测。因此，在本发明的一个实 施例中，动态光场中运动补偿的实现方式将利用早先所述的可用的DIBR处理块作为本发明 的部分，其中被解释为从一个光场刷新周期到下一个的变化的光场对象的运动首先被分割 成垂直和水平分量，如图19中所图示。为了在光场刷新时间t+Ι处时在光场数据块1906上执 行光场运动补偿，在光场刷新时间t时获得的光场数据块1901用作种子微元(参见早先关于 定义的论述以及在本发明的上下文内种子微元的使用）。由于在这种情况下，目标微元是在 相同位置处的微元，仅仅在不同的光场刷新时间时，种子和目标微元之间的距离被人为地 从(〇,〇)变为（1，〇)，以便执行种子微元的水平运动补偿。注意:该块的前一个位置可需要接 收可以通过发送残留纹理块1903实现的新的纹理。接下来，重复相同的程序1904,这次接收 运动矢量的垂直分量，并在DIBR处理块中从(0,0)到(0，1)人为地修改种子和目标微元之间 的距离。最后，处理剩余的残留纹理1905,并且所得的块是运动补偿的种子参考。动态光场 运动补偿的所述实现方式可导致发送比常规运动补偿多的残留信息，由于块位移需要在两 个步骤中完成。然而，硬件实现方式的节省可证明压缩性能的损失。在本发明的可替代实施 例中，假如显示器处理适当的帧缓冲器，通过利用用于种子和目标微元编码和解码的相同 DIBR硬件块来并行地同时执行水平和垂直运动补偿，设想的更复杂的硬件实现方式将能够 执行所述的动态光场运动补偿。
[0070]随着高速处理的改善，处理庞大数据量的另一种方式是暂时多路复用传入的数据 流，并且顺序地处理数据的较小子集。为了表示角度信息，将需要应用空间多路复用。也可 以根据角度信息排序这些像素的处理，并且可以划分显示器的视场，使得一次处理一组较 小的角度信息。参考文献[32,33]描述了光场调制器，该光场调制器通过在时间上调制光的 角度段来构建光场。在这样的光场调制器中，光场的分割用于使用最小的调制表面空间 足迹来使能最大的光场角度程度或视场(FOV)以及角度分辨率。使用最小的调制表面空 间足迹实现最大的FOV和角度分辨率对于实现高清晰度无 VAC全视差3D观看体验是关键的。 [0071 ]本发明的一个实施例使得使用参考文献[32,33]中描述的光场调制器的光场分割 来实现本发明的光场压缩渲染和显示匹配的压缩。参考文献[32,33,36]描述通过光场成像 系统的旋转(铰接)和转换(光场发射器和/或光电二极管阵列的移动)时分多路复用光场数 据的方法。在使用参考文献[32,33,36]中所述的方法的光场显示系统中，从捕获到显示可 能以时分多路复用方式完成本发明的所有压缩方法。这允许通过重新使用显示像素、存储 器和压缩光场数据等来更有效地使用捕获和显示系统资源，并且除了参考文献[32,33,36] 中所述的其它益处外还可以实现增加的FOV和/或增加的分辨率。在参考文献[32,33]中所 述的光场调制器的上下文内应用本发明的光场压缩方法的益处是：（1)参考文献[32,33]的 光场的光场分割将光场划分成"多路复用的段"，由此每个这样的段将包含可以在本发明的 压缩渲染和显示匹配的压缩中利用的相当数量的段内相关性；（2)参考文献[32,33]的光场 分割自然地将全光场划分成可能直接用作光场划分的微元调制分组，光场划分被应用在本 发明的上下文内以选择压缩渲染参考微元区域和显示匹配的压缩解码种子微元分组；（3) 参考文献[32,33]的光场的时间多路复用允许高效地连续使用本发明的显示匹配的压缩的 编码器资源；以及(4)参考文献[32,33]的光场分割自然地将全光场划分成微元调制分组， 微元调制分组可能直接用作用于本发明的压缩渲染和显示匹配的压缩的所述并行实现方 式的基础。
[0072]本领域技术人员将容易理解:各种修改和改变可以适用于该发明的实施例而不脱 离在所附权利要求中并且由所附权利要求限定的其范围。应当理解:该发明的前述实施例 仅仅是说明性的，并且该发明可以以其它特定形式来体现而不脱离其精神或基本特性。例 如，虽然已经如解释的实施例的图9中图示的为向后翘曲描述了线性内插的使用，但诸如二 次或三次之类的其它类型的内插也可以用于在内插的图像中提供改进的准确度。因此公开 的实施例不应当在任何意义上被认为是限制性的。该发明的范围由所附权利要求而不是前 述的描述指示，并且落入其等同物的含义和范围内的所有变化旨在被包含在其中。
【主权项】
1. 一种用于光场成像系统的方法，包括： 来自光场的光场数据的压缩捕获以提供压缩光场数据；以及 在光场显示系统处从压缩光场数据重建和显示光场。2. 根据权利要求1所述的方法，其中： 光场数据的压缩捕获包括光场数据的压缩渲染，以及匹配光场显示系统的能力的压缩 渲染光场数据的显示匹配的编码；以及 直接在光场显示系统处光场的重建，而无需在向光场显示系统发送光场之前首先解压 缩压缩光场数据。3. 根据权利要求1所述的方法，进一步包括:渲染计算机生成的图像，以获得选择的场 景视图的纹理和/或深度。4. 根据权利要求1所述的方法，其中光场数据使用多个捕获方法或相机来捕获，以获得 选择的场景视图的纹理和/或深度。5. 根据权利要求1所述的方法，其中计算机生成的图像连同一个或多个真实世界捕获 的光场一起用在增强现实应用中。6. 根据权利要求1所述的方法，进一步包括：以比特流格式向显示器发送压缩光场数 据，该显示器能够显示用于观察3D图像的光场。7. 根据权利要求1所述的方法，进一步包括：以比特流格式向显示器发送压缩光场数 据，该显示器能够显示光场以呈现3D图像，该3D图像可在不使用眼镜的情况下观看。8. 根据权利要求1所述的方法，进一步包括：以比特流格式向显示器发送压缩光场数 据，该显示器能够显示光场而无需进一步处理。9. 根据权利要求1所述的方法，进一步包括:在重建和显示光场之前，以比特流格式在 存储介质中存储压缩光场数据。10. 根据权利要求1所述的方法，其中压缩捕获进一步包括3D场景数据的分析，以选择 表示3D场景的参考微元。11. 根据权利要求10所述的方法，其中压缩捕获进一步包括:从参考微元纹理和差异图 创建用于参考微元的差异图和目标微元的合成。12. 根据权利要求11所述的方法，其中目标微元使用基于多个参考深度图像的渲染来 合成。13. 根据权利要求12所述的方法，进一步包括:选择多个参考微元。14. 根据权利要求13所述的方法，进一步包括选择的参考微元的差异图的向前翘曲。15. 根据权利要求14所述的方法，进一步包括向前翘曲的差异图的滤波。16. 根据权利要求15所述的方法，进一步包括:将向前翘曲的差异图合并到单个差异图 中。17. 根据权利要求16所述的方法，进一步包括:根据合并的差异图的纹理的向后翘曲。18. 根据权利要求17所述的方法，其中分数像素移位用在纹理的向后翘曲中。19. 根据权利要求17所述的方法，进一步包括:在压缩捕获中使用比光场显示系统的分 辨率高的分辨率来捕获和使用参考微元。20. 根据权利要求17所述的方法，进一步包括:在向后翘曲之后孔填充。21. 根据权利要求10所述的方法，其中压缩捕获包括压缩渲染和显示匹配的压缩以形 成压缩光场数据，并且其中3D场景数据的分析以选择表示3D场景的参考微元包括可见度测 试以选择将在压缩渲染中渲染的参考微元。22. 根据权利要求21所述的方法，进一步包括:从较大的一组参考微元选择参考微元的 子集。23. 根据权利要求21所述的方法，进一步包括:选择初始的一组参考微元，并且添加更 多参考微元以由初始的该组参考微元的立体角更佳地表示3D场景的对象。24. 根据权利要求21所述的方法，进一步包括:在可见度测试之前预处理3D场景数据， 以从3D场景数据为可见度测试提取信息。25. 根据权利要求24所述的方法，其中预处理利用由计算机图形学方法捕获的计算机 生成的场景。26. 根据权利要求24所述的方法，进一步包括:利用由一个或多个相机或相机类型捕获 的真实世界或现场场景来预处理。27. 根据权利要求10所述的方法，包括参考微元的渲染。28. 根据权利要求27所述的方法，进一步包括渲染参考微元的低通滤波，以避免非可分 辨的特征。29. 根据权利要求27所述的方法，进一步包括获得参考微元的每像素深度。30. 根据权利要求29所述的方法，进一步包括:将每像素深度转换成差异，并且在参考 微元渲染之后、在深度到差异转换期间量化差异信息。31. 根据权利要求1所述的方法，进一步包括：由编码器格式化压缩光场数据以生成用 于向用于解码的光场显示系统传输的比特流，以及光场的显示。32. 根据权利要求31所述的方法，其中将比特流匹配到光场显示系统。33. 根据权利要求32所述的方法，进一步包括:将光场划分成NXN块微元，每个用于在 压缩捕获期间的独立编码并用于在光场显示系统处的独立解码。34. 根据权利要求33所述的方法，进一步包括:为编码选择用于N X N块微元的每一个的 一个或多个种子微元，并且相对于种子微元编码残留微元。35. 根据权利要求34所述的方法，其中编码包括种子和残留微元的纹理编码。36. 根据权利要求35所述的方法，进一步包括:使用多个种子微元的纹理和差异图，为 残留微元合成预测。37. 根据权利要求34所述的方法，其中编码包括种子和残留微元的差异编码。38. 根据权利要求34所述的方法，进一步包括:用比特分配算法编码种子和残留微元。39. 根据权利要求38所述的方法，进一步包括:在光场显示系统处使用解码算法来解码 种子和残留微元，解码算法与比特分配算法互补。40. 根据权利要求39所述的方法，进一步包括:在光场显示系统处用使用多个解码单元 的多处理技术来并行解码所有种子和残留微元。41. 根据权利要求40所述的方法，进一步包括:分组化比特分配，用于分布在多个解码 单元之中。42. 根据权利要求1所述的方法，进一步包括:执行光场数据的分层压缩捕获，并在光场 显示系统处执行分层解压缩。43. 根据权利要求1所述的方法，进一步包括:用时间相关性的动态光场的压缩捕获。44. 根据权利要求43所述的方法，进一步包括：在光场数据的压缩捕获中使用运动估 计。45. 根据权利要求44所述的方法，其中压缩捕获使用基于深度或差异图像的渲染，并且 进一步包括重新使用用于基于深度或差异图像的渲染的硬件和/或软件以执行运动估计和 运动补偿两者。46. 根据权利要求1所述的方法，进一步包括:通过光场显示系统的光场发射器的旋转 和转换来时分多路复用压缩光场数据。47. 根据权利要求46所述的方法，进一步包括:将压缩光场数据暂时多路复用成空间或 角度组织的较小子集。48. 根据权利要求47所述的方法，进一步包括:创建具有预定量的相关性的子集。49. 根据权利要求46所述的方法，进一步包括:通过压缩光场数据的时分多路复用的重 建来重新使用显示像素、存储器和压缩光场数据，由此增加光场显示系统的视场。50. 根据权利要求46所述的方法，其中时分多路复用进一步包括:创建自然地将压缩光 场数据划分成微元调制分组的多路复用的段。51. 根据权利要求50所述的方法，进一步包括接口带宽的自适应分配，以及其中显示匹 配的编码器的压缩算法与接口带宽的自适应分配一起的时分多路复用。52. 根据权利要求46所述的方法，进一步包括:将压缩光场数据划分成微元分组，微元 分组用于压缩渲染和显示匹配的编码的并行实现方式。53. -种用于光场成像系统的方法，包括： 压缩捕获来自光场的光场数据以提供压缩光场数据;光场数据的压缩捕获包括:光场 数据的压缩渲染以及匹配光场显示系统的能力的渲染光场数据的显示匹配的编码，压缩捕 获包括3D场景数据的分析以选择表示3D场景的参考微元；以及 在光场显示系统处重建和显示渲染光场数据的显示匹配的编码。54. 根据权利要求53所述的方法，其中压缩捕获进一步包括来自参考微元的目标微元 的合成。55. 根据权利要求54所述的方法，其中目标微元使用基于多个参考深度图像的渲染来 合成。56. 根据权利要求53所述的方法，包括参考微元的渲染。57. 根据权利要求56所述的方法，进一步包括:获得参考微元的每像素深度。58. 根据权利要求57所述的方法，进一步包括:将每像素深度转换到差异，并且在参考 微元渲染之后、在深度到差异转换期间量化差异。59. 根据权利要求53所述的方法，其中用比光场显示系统的分辨率高的分辨率捕获选 择的参考微元。60. 根据权利要求53所述的方法，进一步包括:将光场数据划分成NXN块微元，每个用 于在压缩捕获期间的独立编码并用于在光场显示系统处的独立解码。61. 根据权利要求60所述的方法，进一步包括:为编码选择用于N X N块微元的每一个的 一个或多个种子微元，并且相对于种子微元编码残留微元。62. 根据权利要求61所述的方法，其中编码包括种子和残留微元的纹理编码。63. 根据权利要求61所述的方法，其中编码包括种子和残留微元的差异编码。64. 根据权利要求63所述的方法，进一步包括:在光场显示系统处使用使用多个解码单 元的多处理技术来并行解码所有种子和残留微元。65. 根据权利要求53所述的方法，进一步包括:执行光场数据的分层压缩捕获，并在光 场显示系统处执行压缩光场数据的分层解压缩。66. 根据权利要求53所述的方法，进一步包括:通过利用时间相关性的动态光场的压缩 捕获。67. 根据权利要求66所述的方法，进一步包括:在光场数据的压缩捕获中的运动估计。68. 根据权利要求67所述的方法，其中压缩捕获使用基于深度或差异图像的渲染，并且 进一步包括重新使用用于基于深度或差异图像的渲染的硬件和/或软件以执行运动估计和 运动补偿两者。69. 根据权利要求53所述的方法，进一步包括:通过光场显示系统中光场发射器的旋转 和/或转换来时分多路复用压缩光场数据。70. 根据权利要求53所述的方法，进一步包括:将压缩光场数据划分成微元调制分组， 微元调制分组用于压缩渲染以及压缩捕获的显示匹配的编码的并行实现方式。71. -种用于光场成像系统的方法，包括： 压缩渲染来自光场的光场数据以提供压缩渲染光场数据；以及 在光场显示系统处从压缩渲染光场数据重建和显示光场。72. -种用于光场成像系统的方法，包括： 使用显示匹配的编码捕获来自光场的光场数据，以提供显示匹配的压缩光场数据；以 及 在光场显示系统处从显示匹配的压缩光场数据重建和显示光场。
【文档编号】H04N19/597GK106068645SQ201580012959
【公开日】2016年11月2日
【申请日】2015年1月8日 公开号201580012959.X, CN 106068645 A, CN 106068645A, CN 201580012959, CN-A-106068645, CN106068645 A, CN106068645A, CN201580012959, CN201580012959.X, PCT/2015/10696, PCT/US/15/010696, PCT/US/15/10696, PCT/US/2015/010696, PCT/US/2015/10696, PCT/US15/010696, PCT/US15/10696, PCT/US15010696, PCT/US1510696, PCT/US2015/010696, PCT/US2015/10696, PCT/US2015010696, PCT/US201510696
【发明人】D.B.格拉齐奥西, Z.Y.阿尔帕斯兰, H.S.埃尔-古劳里
【申请人】奥斯坦多科技公司