3D光场相机和摄影方法与流程

本申请涉及并要求于2013年12月23日提交的题为“3-D LIGHT FIELD CAMERA AND PHOTOGRAPHY METHOD(3D光场相机和摄影方法)”的美国临时申请第61/920,074号以及于2014年1月24日提交的题为“3-D LIGHT FIELD CAMERA AND PHOTOGRAPHY METHOD(3D光场相机和摄影方法)”的美国临时申请第61/931,051号的权益，上述申请的内容通过引用合并到本文中。

关于联邦政府赞助研究的声明

本发明是部分地基于国家科学基金资助号0845268而展开的。美国政府可以拥有本发明的某些权利。

技术领域

本发明涉及三维(3D)成像，并且特别地涉及用于捕获和呈现3D图像的3D光场相机、方法以及系统。

背景技术：

越来越多的关注集中于对光场(LF)相机的开发，该LF相机还被称为全光相机。LF相机使用微透镜阵列来捕获关于场景的四维(4D)光场信息。这样的光场信息可以用于提高计算机图形和计算机视觉应用的分辨率。

技术实现要素：

本发明的各方面涉及一种生成场景的图像的方法。代表场景的光被引导穿过与成像传感器耦接的透镜模块。透镜模块包括：具有狭缝形孔径的表面；以及沿着成像传感器的光轴安置的柱形透镜阵列。狭缝形孔径的纵向方向被布置成与柱形透镜阵列的柱轴正交。由成像传感器捕获被引导穿过透镜模块的光以形成3D LF图像。

本发明的各方面还涉及一种3D LF相机。3D LF相机包括：具有安装在透镜上的狭缝形孔径的表面；成像传感器；以及安置在成像传感器与透镜之间的柱形透镜阵列。柱形透镜阵列沿着成像传感器的光轴进行布置。狭缝形孔径的纵向方向被布置成与柱形透镜阵列的柱轴正交。成像传感器被配置成捕获场景的至少一个3D LF图像。

本发明的各方面还涉及一种3D相片。3D相片包括场景的3D光场打印图像以及柱形透镜阵列，该柱形透镜阵列被安置在3D光场打印图像上。3D光场打印图像和柱形透镜阵列的组合形成3D立体图像。

附图说明

当结合附图阅读下面的详细描述时可以从下面的详细描述理解本发明。需要强调的是，根据常见做法，可以不按比例绘制附图的各种特征/要素。相反，为清楚起见，可以任意放大或缩小各种特征/要素的尺寸。此外，在附图中，常见附图标记用来表示相似的特征/要素。本专利或申请文件包含至少一个以彩色显示的附图。根据请求以及在支付必要费用的情况下，将由专利局提供具有彩色附图的本专利或专利申请公开的副本。附图中包括以下图：

图1是根据本发明的一方面的用于捕获和呈现3D图像的示例系统的功能性框图；

图2A是根据本发明的一方面的图1所示系统的示例3D LF相机的透视图；

图2B是根据本发明的一方面的图2A所示的示例3D LF相机的分解透视图，其示出了3D LF透镜模块和相机的部件；

图2C是根据本发明的一方面的图2B所示的示例3D LF相机的分解透视图，其示出了3D LF相机的光线几何形状；

图3是根据本发明的一方面的图1所示系统的示例3D相片的分解透视图；

图4A是示出根据本发明的一方面的通过柱形透镜来使光线锥聚焦的示例图；

图4B是示出根据本发明的一方面的通过图1所示的示例3D LF相机将一片光线光学地分选到成像传感器上的图；

图5A和图5B是根据本发明的一个方面的由图1所示的示例3D LF相机捕获的示例原始3D光场图像；

图6A是示出根据本发明的一个方面的用于渲染重聚焦图像的示例方法的流程图；

图6B是示出根据本发明的又一方面的用于渲染图像的示例方法的流程图；

图6C是示出根据本发明的一个方面的用于形成3D相片的示例方法的流程图；

图7是示出根据本发明的一个方面的用于渲染重聚焦3D图像的光线重新参数化的示例图；

图8A、图8B、图8C和图8D是根据本发明的一个方面的关于各种聚焦深度的示例渲染3D图像；以及

图9A和图9B是示出根据本发明的一个方面的图8B和图8D各自所示图像的具有不同视角的立体视图的示例渲染3D图像。

具体实施方式

当前的光场相机的分辨率不佳。例如，具有10兆像素传感器的光场相机仅产生很低分辨率(例如，大约1兆像素)的图像。低分辨率合成图像是当前所有光场相机的设计所固有的：它们牺牲空间分辨率来换取角分辨率。空间分辨率被定义为空间采样率。在常规的(非光场)相机中，空间分辨率相当于传感器的分辨率。在光场相机中，空间采样点的总数目等于透镜的数目。假定透镜的尺寸通常是像素间距的若干倍，则可以减小空间分辨率。然而，每个透镜下的像素将记录以不同方向穿过其常见采样点的光线。方向特异性限定了相机的角分辨率。假设传感器具有有限的分辨率，则可以在空间分辨率与角分辨率之间进行权衡，这等同于在图像分辨率与视点的数目之间进行权衡。

当前的捕获光场的相机包括4D光场相机，其记录所有方向上的角度信息和空间信息二者。例如，当前的一个4D光场相机包括与成像传感器附接的328×328个微透镜阵列，其中，每个微透镜覆盖大约100个像素。在该示例中，可以获得大约328×328的空间分辨率和大约10×10的角分辨率的光场。由光场相机得到的固有权衡以降低空间分辨率为代价而提供较大的角分辨率。尽管该示例中的相机配备有11兆像素传感器，但是它仅提供具有大约700×700的有效分辨率的图像。其他的4D光场相机共享类似的设计和类似的限制。

关于3D显示，大多数现有的3D电视机使用快门式眼镜技术来显示立体3D图像。该技术的缺点在于会产生闪烁(除非以很高刷新率显示，否则可能会注意到闪烁)。另外，当前的3D观看技术(诸如通过快门式眼镜)在用于观看3D相片时不便且昂贵。

本发明的各方面包括3D光场相机，该3D光场相机将相机、与相机的成像传感器附接的柱形透镜阵列与经改进的具有窄缝形孔径的透镜组合。在一些示例中，相机可以包括数码单镜头反光式(DSLR)相机。在一些示例中，3D光场相机使用垂直柱形透镜阵列。垂直柱形透镜阵列可以用于仅在水平分辨率与角分辨率之间进行权衡的同时保持垂直分辨率。为了减小散焦模糊，可以将柱形透镜阵列与狭缝形孔径耦接。

随着3D显示技术的快速发展，人们更有可能观看3D内容而不是二维(2D)图像。本发明的示例3D光场相机超出了单纯观看3D内容的能力。利用用于捕获和呈现3D图像的示例性3D光场相机和示例性系统，可以直接从场景捕获3D内容并且然后进行显示。通过将柱形透镜阵列附接至传感器并且将窄缝形遮罩附接至孔径，可以将消费型DSLR相机转换成3D光场相机。类似于常规相机，用户可以利用示例性3D光场相机来拍照。

本发明的各方面还涉及用于渲染来自原始光场图像的3D立体图像的示例性方法和系统。关于所捕获的原始光场图像，可以利用视图相关特征诸如阻挡(occlusion)和反射来从不同的视角渲染3D立体图像。由于3D光场相机可以同时在单次拍摄中从不同视点捕获场景，所获取的视图将表现出视差，即，较近的对象跨视图表现出较大的差异。保留视差的能力使得能够实现场景/对象的裸眼3D可视化。所述保留视差的能力使得能够保留视图相关特征诸如反射，其中每个视图(即，子图像)捕获场景的稍微不同的图像。在一些示例中，系统可以渲染来自原始光场图像的在预定聚焦深度处的重聚焦图像。示例方法使用基于图像的渲染(IBR)技术。具体地，可以将简单几何形状(诸如3D平面)用作场景几何形状的代用品。可以将所捕获的所有视图卷曲(warp)在几何形状上并且(例如，经由光线跟踪或纹理映射)再渲染成期望视图。该处理与指定商用SLR相机的焦点深度类似。在卷曲之后将所有视图组合时，结果仿真常规大孔径摄影中的散焦模糊。

本发明的各方面还涉及用于3D观看的方法和设备。根据一些示例，该设备落入自动立体3D显示的类别，即无需眼镜来观看3D。

参照图1，示出了用于捕获和呈现3D图像的系统100。系统100包括：3D LF相机102、控制器104、渲染模块106、存储器108、显示器110、用户接口112、打印机114以及3D相片116。尽管没有示出，但是可以将系统100例如经由全球网络(即，因特网)耦接至远程位置。

3D LF相机102包括3D LF透镜模块118和相机120。如下面关于图2A至图2C进一步描述的，透镜模块118包括柱形透镜阵列210和狭缝形孔径206。相机120可以包括任何适当的具有主透镜(例如图2B所示的透镜208)以及成像传感器(例如成像传感器214)的通用相机。在一些示例中，相机120包括DSLR相机。在一个示例中，相机118包括由佳能公司(日本东京)制造的编号为XSi的DSLR相机模块。为了将相机120转换成3D LF相机102，可以使用透镜模块118的具有狭缝形孔径206的遮罩204(图2B)修改主透镜208的孔径，并且可以将透镜模块118的柱形透镜阵列210附接至成像传感器214。在一些示例中，可以将透镜模块118与相机120可拆卸地耦接。

可以将3D LF相机102配置成捕获场景的(原始)3D LF图像128。在一些示例中，3D LF相机102可以诸如在预定时段内捕获场景的两个或更多个3D LF图像128。因此，在一些示例中，3D LF相机102可以包括视频相机。通常，3D LF相机102可以捕获场景的至少一个3D LF图像128。

可以将控制器104耦接至一个或更多个3D LF相机102、渲染模块106、存储器108、显示器110、用户接口112以及打印机114，以对3D LF图像128的捕获、存储、显示、打印和/或处理进行控制。控制器104可以包括例如逻辑电路、数字信号处理器或微处理器。应当理解的是，可以由控制器104执行渲染模块106的一个或更多个功能。

可以将渲染模块106配置成处理3D LF图像128以形成渲染图像130。可以将渲染模块106配置成校准3D LF相机102以对柱形透镜阵列212的每个透镜212(图2B)的透镜中心进行定位。还可以将渲染模块106配置成(在校准之后)针对各种重聚焦平面渲染重聚焦图像。下面关于图6A进一步描述重聚焦。在一些示例中，可以将渲染模块106配置成向3D LF图像128应用预定视角。在一些示例中，还可以将渲染模块106配置成：生成3D LF图像128的立体视图。下面关于图6B进一步描述透视处理和立体处理。通常，对渲染图像130的处理可以包括下述中至少之一：重聚焦到预定聚焦深度、透视渲染或立体观看。应当理解的是，重聚焦、透视渲染和立体视图渲染代表通过渲染模块106进行的示例处理，并且渲染模块106可以执行3D LF图像128的另外的处理诸如但不限于滤波、噪声消减等。渲染模块106可以包括例如逻辑电路、数字信号处理器或微处理器。

可以将存储器108配置成存储(来自3D LF相机102或经由控制器104的)原始3D LF图像128或(来自渲染模块106的)渲染图像130中的至少一个。存储器108还可以存储与控制器104和/或渲染模块106相关联的参数。尽管存储器108被示为与3D LF相机102分离，但是在一些示例中，存储器108可以是3D LF相机102的一部分。存储器108可以包括任何适当的有形的、非暂态计算机可读介质，例如磁盘、光盘或硬盘驱动器。

可以将(来自3D LF相机102的)原始3D LF图像128和/或(来自渲染模块106的)渲染图像130显示在显示器110上。显示器110可以包括被配置成显示原始3D LF图像128/渲染图像130的任何适当的显示设备。

用户接口112可以包括能够接收与例如下述内容相关联的用户输入的任何适当的用户接口：对于要由渲染模块106执行的渲染的选择，与渲染模块106相关联的参数，在存储器108中对于捕获图像128/渲染图像130的存储选择，对于图像128、130的显示选择和/或对于图像128、130的打印选择。用户接口112可以包括例如定点设备、键盘和/或显示设备。尽管用户接口112和显示器110被示出为独立的设备，但是应当理解的是，可以将用户接口112的功能和显示器110的功能组合到一个设备中。

可以由打印机114打印原始3D LF图像128和/或渲染图像130以形成打印图像122。打印机114可以包括被配置成打印原始3D LF图像128/渲染图像130的任何适当的打印机设备。在一些示例中，打印机114可以包括激光打印机，该激光打印机被配置成打印彩色和/或黑白打印图像122。在一些示例中，打印图像122包括光面纸。

参照图1和图3，描述了3D相片116。图3是示例3D相片116的分解透视图。3D相片116可以包括柱形透镜阵列124，该柱形透镜阵列124被布置在(由打印机114打印的)打印图像122上。因此，除在显示器110上显示图像之外，还可以(经由打印机114)打印原始3D LF图像128(或渲染图像130)以形成打印图像122，例如在光面相片纸上(形成打印图像120)。然后可以将打印图像122安装在柱形透镜阵列124上以产生3D相片116。这是实用3D摄影技术，其可以使得用户能够从不同的视角直接感知到立体的3D立体视图而无需3D眼镜。示例3D相片116可以看起来类似于相框，但是具有特殊相片(打印图像122)和特殊保护玻璃(柱形透镜阵列124)。柱形透镜阵列124的选择与3D LF图像128无关。例如，可以对3D LF图像128进行重新采样以与柱形透镜阵列124的物理特性(例如，微透镜宽度、密度、焦距等)相符来产生期望的3D效果。

3D相片116可以用于捕获诸如雕塑、食品等的其他的对象。例如，餐馆可以使用3D相片116来生成食品的3D菜单或显示。3D相片116可以是便宜且便携的，从而使得它适合于产品广告。

返回参照图1，在一些示例中，可以使用系统100经由3D LF相机102来产生3D肖像。在一些示例中，系统100的渲染模块106可以生成渲染图像130，从而使得人们能够在显示器110上从不同视角观看3D肖像。在一些示例中，系统100可以经由打印机114打印原始3D LF图像128和/或渲染图像130(如打印图像122一样)。在一些示例中，系统100可以(根据与柱形透镜阵列124耦接的打印图像122)产生3D相片116。

根据本文中的描述，本领域技术人员可以理解适当的3D LF相机102、控制器104、渲染模块106、存储器108、显示器110、用户接口112、打印机114以及3D相片116。

接下来参照图2A至图2C，示出了示例3D LF相机102。特别地，图2A是3D LF相机102的透视图，图2B是3D LF相机102的分解透视图。图2A示出了与相机120的本体耦接的3D LF透镜模块118。图2A还示出了透镜模块118的狭缝遮罩204。透镜模块118可以包括柱形透镜阵列210(图2B)和具有狭缝遮罩204的壳体202。图2B示出了相机120的3D LF透镜模块118和成像传感器214相对于光轴216的布置。图2C示出了用于3D LF相机102的示例光线几何形状。

如图2B所示，3D LF透镜模块118可以包括沿着光轴216安置的主透镜208、柱形透镜阵列210以及具有狭缝形孔径206的狭缝遮罩204。柱形透镜阵列210包括多个柱形透镜212。每个柱形透镜212的宽度与主透镜208相比可以是极小的(例如，数百微米)。狭缝遮罩204被安置在主透镜208上并且被配置成使得狭缝形孔径206的纵向方向(即，狭缝长度方向)被安置成与柱形透镜阵列210的柱形透镜212的柱轴410(图4A)正交。孔径206被配置成将主透镜208的孔径的形状从圆形改变成狭缝形。在一些示例中，主透镜208包括相机120的消费型透镜。在一些示例中，狭缝遮罩204包括塑料片，该塑料片具有穿过其中而形成的狭缝形孔径206。柱形透镜阵列210被布置在成像传感器214上。

作为示例，孔径206具有大约1.3mm的宽度。柱形透镜阵列210包括40个透镜212。透镜阵列210的尺寸为10mm乘10mm，其中，每个透镜212具有大约0.25mm的间距和大约1.6mm的焦距。通常，可以选择孔径206的宽度、透镜212的数目、每个透镜212的间距、每个透镜的焦距以及透镜阵列210的尺寸来产生3D LF透镜模块118的期望分辨率。在以上示例中，所选择的透镜模块118的参数产生大约2000×2000的有效分辨率。由3D LF相机102捕获的光线的数目还可以取决于成像传感器214的分辨率。在示例中，成像传感器214的分辨率为大约5,184×3,456。图5A和图5B示出了由3D LF相机102针对两个不同场景所捕获的示例原始光场图像。

如图2C所示，由于狭缝孔径206的方向与柱状透镜212的方向彼此正交，由对象402(图4B)上的点发射的光线锥(a cone of rays)220大部分会被狭缝遮罩204阻挡，从而使得仅光线扇(fan of rays)222穿过主透镜208。可以按照(由图4B中的光线412所示的)方向将穿过的光线222光学分选到柱形透镜阵列210下方的成像传感器214的像素上。

用户可以通过将3D LF透镜模块118附接至相机120，与利用常规相机(诸如DSLR相机)类似地利用3D LF相机102捕获图像。因此，通过仅按压相机120的快门按钮，可以捕获至少一个3D LF图像，通常采用相同的方式捕获2D图像。相应地，存在用于使用3D LF相机102的最小学习曲线。可以通过渲染模块106对由3D LF相机102捕获的3D LF图像128(图1)进行修改，(经由显示器110)显示或(经由打印机114)打印出来以用于可视化。

参照图2C、图4A和图4B，进一步描述穿过3D LF相机102的光线202的光线几何形状。特别地，图4A是示出通过柱形透镜212对光线锥404聚焦的示例图；以及图4B是示出将一片光线(sheet of rays)(即，光线扇)222光学地分选到成像传感器214上的图。

在常规相机中，每个像素的值是穿过孔的许多光线的积分，这得到了高空间分辨率但是很低的角分辨率。3D LF相机102能够在维持其他方向的高空间分辨率的同时，沿一个方向发散光线。具体地，由对象402发射的光线锥220将被汇聚并且部分地被主透镜108上的狭缝遮罩204阻挡，从而变成一片光线222。可以经由柱形透镜阵列212按照某一方向对光线222进行光学分选，以形成经分选的光线412。来自柱形透镜阵列210的经分选的光线412然后被引导到成像传感器214的像素(未示出)上。

如图4A所示，柱形透镜212被配置成使得光线406沿一个方向汇聚，而使其他方向不变。因此，通过柱形透镜212将来自对象402的入射光404聚焦成线408。

如图2C和图4B所示，由于在光线锥220通过狭缝遮罩204和主透镜208之后光线锥220变为一片光线222，所以不需要将光线沿两个方向汇聚，如球面透镜阵列的情况那样。柱形透镜阵列210通过将光线沿一个方向汇聚来提供该方向上的角度信息，同时保持沿其他方向(即，沿柱轴410的方向)的高空间分辨率。然而，如果用微透镜阵列取代柱形透镜阵列210，则狭缝孔径206可能会引起透镜图像重叠或者分辨率的浪费。

参照图6A，示出了用于渲染来自3D LF图像128(图1)的重聚焦图像的示例方法。可以由渲染模块106(图1)根据3D LF相机102捕获的3D LF图像128来执行图6A所示的一些步骤。图6A所示的步骤代表本发明的示例实施方式。应当理解的是，可以按照与示出的顺序不同的顺序执行某些步骤。尽管图6A示出了渲染单个重聚焦图像，但是图6A所示的方法还可以用于场景的所捕获的多个3D LF图像。

在步骤600处，例如经由3D LF相机102(图1)捕获参考场景的3D LF图像。在步骤602处，基于参考场景的所捕获图像(步骤600)来对柱形透镜阵列210中的每个柱形透镜212的透镜中心进行定位。可以将所定位的透镜中心存储在存储器108(图1)中。

3D LF相机102可以生成具有视差的图像128。通常，柱形透镜阵列210的准确安置是未知的，并且柱形透镜之间的基线可以是像素间距的非整数倍。因此，为了对透镜212的图像中心进行定位，在步骤600中捕获白色场景的图像。由于渐晕，所以在步骤602中获得沿着每个微透镜图像的最亮光线，以近似柱形透镜的中心。微透镜图像指的是由位于柱形微透镜212(图2B)正下方的像素形成的图像。可以例如在系统100中第一次使用3D LF相机102之前执行步骤600至步骤602以校准3D LF相机102。因此，在一些示例中，可以将步骤600至步骤602执行一次并且将结果存储在存储器108(图1)中。可以使用在存储器108中所存储的透镜中心执行步骤604至步骤612，而无需在对3D LF相机102校准之后执行步骤600至步骤602。

在步骤604处，例如经由3D LF相机102(图1)来捕获所需场景的3D LF图像128。可以将所捕获的3D LF图像128存储在存储器108(图1)中。在步骤606处，例如通过渲染模块106(图1)由所捕获的(原始)3D LF图像(步骤604)形成一组子孔径图像(例如，图5A和图5B所示的图像的垂直段)。可以将所捕获的3D LF图像(步骤604)重新组合成一组子孔径图像。首先，将LF图像划分(即，分离)成微透镜图像。然后，将微透镜图像的像素重新组合成子孔径图像。具体地，可以在所有微透镜图像中选择完全相同列(例如，第5列)的像素并且然后缝合在一起以形成子孔径图像。不同列的选择与不同子孔径图像对应。如果由宽度完全相同的柱形透镜212(图2B)捕获到所有微透镜图像，则所有微透镜图像应当具有相同数目的列。因此，如果每个微透镜图像具有8列，则可以合成8个不同的子孔径图像。

在步骤608处，例如经由用户接口112(图1)来选择聚焦深度。在步骤610处，基于根据光线跟踪算法而定位的图像中心(步骤602)经由渲染模块106来将每个子孔径图像转变成所选择的聚焦深度(步骤608)。

基于经典辐射度学，胶片(或胶片被安置的图像平面)上的点的辐照度是穿过孔到达该点的所有光线的积分：

$E_F(x,y)=\frac{1}{F^2}\∫\∫L_F(x,y,u,v){\left(cos\mathrm{\θ}\right)}^{4}dudv---\left(1\right)$

其中，F是透镜208(图2B)与胶片(即，成像传感器214)之间的间隔，E_F(x,y)是胶片上(x,y)位置的辐照度，L_F是通过透镜平面uv和胶片平面xy被参数化的光场，θ是光线(x,y,u,v)与图像平面法向之间的角度。为简单起见，可以将L_F定义为L_F(x,y,u,v):＝L_F(x,y,u,v)(cosθ)⁴。

为了聚焦于不同平面上，改变透镜平面与胶片平面之间的间隔。例如，为了以新的深度F′聚焦，如图7所示，可以如下面所描述地渲染图像。在图7中，轴v,y′,y从图(与相应轴u,x′,x正交)延伸出去。

使用相似三角形，光线(u,x′)可以在原始x平面处被重新参数化为其中x′是胶片平面上的坐标。因此，如果将α＝F′/F定义为胶片平面的相对深度，则：

$L_{F^{\′}}(x^{\′},y^{\′},u,v)=L_F(u+\frac{x^{\′}-u}{\mathrm{\α}},v+\frac{y^{\′}-v}{\mathrm{\α}},u,v)---\left(2\right)$

因此，在胶片中的处于从透镜平面起深度为F′＝α·F的像素值(x′，y′)的最终方程变为：

$E_{(\mathrm{\α}\·F)}(x^{\′},y^{\′})=\frac{1}{{\mathrm{\α}}^2{F}^2}\∫\∫L_F\left(u\right(1-\frac{1}{\mathrm{\α}})+\frac{x^{\′}}{\mathrm{\α}},v(1-\frac{1}{\mathrm{\α}})+\frac{y^{\′}}{\mathrm{\α}},u,v)dudv---\left(3\right)$

由于每个对象在被主透镜208上的狭缝遮罩204滤光之后发射一片光线222(图2C)，则可以使用下面的近似估算：y＝y′＝v。因此，可以将方程(3)改写为：

$E_{(\mathrm{\α}\·F)}(x^{\′},y^{\′})=\frac{1}{{\mathrm{\α}}^2{F}^2}\∫L_F\left(u\right(1-\frac{1}{\mathrm{\α}})+\frac{x^{\′}}{\mathrm{\α}},y^{\′},u,v)du---\left(4\right)$

因此，可以跟踪通过(在步骤602中被定位的)每个透镜的中心的光线并且将所述光线用于渲染重聚焦图像。这里，项L_F与子孔径图像对应，并且可以把积分视为增加经转换的子孔径图像。

在步骤612处，经由渲染模块106对经转变的子孔径图像(步骤610)进行组合以形成重聚焦(渲染)图像130(图1)。可以经由转变和增加算法来执行步骤610和612。例如，可以选择(与方程(4)中的α对应的)具体转变量。接下来，可以根据每个子孔径图像的位置来水平地转变每个子孔径图像。接下来，可以利用归一化系数(如方程(4)所示的)将所有产生的经转变的图像融合在一起。结果与伪2D重聚焦图像对应。

可以预期的是，非暂态计算机可读介质可以存储用于步骤602以及步骤606至步骤612的机器执行的计算机可读指令。

参照图6B，示出了用于渲染来自原始3D LF图像128(图1)的图像的示例方法。可以由渲染模块106(图1)根据由3D LF相机102捕获的3D LF图像128来执行图6B所示的一些步骤。图6B所示的步骤代表本发明的示例实施方式。应当理解的是，可以按照与所示出的顺序不同的顺序执行某些步骤。尽管图6B示出了渲染单个图像，但是还可以将图6B所示的方法应用于场景的所捕获的多个3D LF图像。

在步骤620处，重复步骤604至步骤606，以形成一组子孔径图像。在步骤622处，例如经由用户接口112(图1)选择用于图像的视点。

在步骤624处，代替使用一样的权重，可以将不同权重分配给不同子孔径图像。例如，可以例如经由渲染模块106将较高权重分配给较靠近所选(合成的)视点的子孔径图像。在步骤626处，可以例如经由渲染模块106将较低权重分配给一组子孔径图像中的距所选视点较远的其他子孔径图像。在步骤628处，渲染模块106可以将转变和增加算法应用到加权的子孔径图像(步骤624至步骤626)以形成透视(渲染)图像130(图1)。除了当在步骤628中增加(即，组合)所有视图时使用不同权重方案之外，还可以在步骤628中应用以上在步骤610和步骤612(图6A)中所描述的相同的转变和增加算法来生成以合成方式散焦的图像。

在可选步骤630处，渲染模块106可以根据透视图像(步骤628)(或根据原始3D LF图像128或图6A的步骤612中的重聚焦图像)例如经由红蓝立体图(red-cyan anaglyph)来生成立体视图。立体(渲染)图像可以包括与不同颜色(诸如红色和青色或其他上色(chromatically)相反的颜色)叠加的两个图像，从而在通过相应彩色滤镜观看到图像时产生立体效果。通常，立体图像包含两个不同的滤光彩色图像，一个图像用于一只眼睛。当通过彩色编码的立体眼镜观看时，两个图像中的每个图像到达相应眼睛，从而显示了综合的立体图像。大脑的视觉皮质将该图像融合成对三维场景或构图的感知。

设想非暂态计算机可读介质可以存储用于步骤624至步骤630的机器执行的计算机可读指令。

参照图6C，示出了用于形成3D相片116(图1和图3)的示例方法。在步骤640处，例如经由3D LF相机102捕获到场景的原始3D LF图像。在步骤642处，例如通过打印机114打印所捕获的(原始)3D LF图像，从而形成打印图像122。在步骤644处，将打印图像122安置在柱形透镜阵列124上以形成3D相片116。在一些示例中，可以例如诸如经由粘合剂将打印图像122永久地安置在柱形透镜阵列124上。在一些示例中，可以将打印图像122可拆卸地安置在柱形透镜阵列124上。例如，可以将打印图像122和透镜阵列124安置在壳体(诸如框架)中，该壳体被配置成将打印图像122(可拆卸地)固定至透镜阵列124。可以在(诸如经由图1所示的渲染模块106)形成3D相片之前将对诸如图像超分辨率和/或降噪的另外的处理应用于原始3D LF图像，以改进最终结果的质量。

可以将示例3D LF相机102(图1)配置成记录场景的3D光场128。具体地，3D LF相机102在获得其他方向的角度信息的同时，维持沿柱形透镜方向的高空间分辨率。利用所捕获的光场，系统100能够恢复并且渲染可利用3D眼镜或无需3D眼镜而可视化的场景的3D表示。由于3D LF相机102使用通用相机120，所以3D LF相机102可以应用于各种应用。常规2D图像具有固定的视点并且缺乏深度感知。相反，系统100使得能够以不同的视点感知到对象的立体的立体视图。

接下来参照图5A、图5B、图8A至图8D、图9A以及图9B，描述使用示例3D LF相机102(图1)针对真实场景所捕获的示例数据以及使用系统100进行的渲染。特别地，图5A和图5B是针对两个不同场景所捕获的示例原始3D光场图像；图8A至图8D是图5A和图5B各自示出的原始图像的针对不同聚焦深度的示例渲染重聚焦3D图像；以及图9A和图9B是以不同视角示出图8B和图8D各自所示图像的立体视图的示例渲染3D图像。

在示例中，使用由佳能公司(日本东京)制造的具有5,184×3,456的传感器分辨率的XSi DSLR相机(例如，相机120)来捕获数据。孔径遮罩204(在孔径处)的狭缝206(图2B)的宽度测出为1.3mm。柱形透镜阵列210包括40个柱形透镜212。阵列210中的每个透镜212的间距为0.25mm，并且焦距为1.6mm。柱形透镜阵列210的尺寸为10mm×10mm，其意味着有效分辨率为2000×2000。

为了生成图8A至图8D所示的重聚焦图像，首先通过采取每个柱形透镜下方的相同像素条来生成子孔径图像。然后，在光场图像中选择重聚焦平面并且使用转变和增加重聚焦算法来渲染重聚焦图像(参见图6A)。

图9A和图9B示出了系统100能够从不同视角渲染对象。图9A和图9B还(例如通过使用红蓝立体图)示出了立体视图中的渲染图像。为了渲染不同视角，可以将较高权重分配给具有期望视点的子孔径图像并且可以将较低权重分配给其他子孔径图像。然后，可以应用转变和增加算法来渲染图像(参见图6B)。

已经在用于捕获、处理以及呈现3D图像的方法和系统方面描述了本发明，然而设想可以以软件实现一个或更多个步骤和/或部件以供微处理器/通用计算机(未示出)使用。在该实施方式中，可以利用控制计算机的软件来实现上述各种部件和/或步骤的功能中的一个或更多个功能。可以在非暂态有形计算机可读介质(作为非限制性示例，诸如磁盘、光盘、硬盘驱动器等)中实现软件以供计算机执行。如本文所述的，图1所示的设备104、106、110、112和114可以使用专用电路系统和/或使用在与控制器104耦接的计算机可读介质108中包含的软件来执行某些操作。软件指令可以使得控制器104和/或渲染模块106执行本文所描述的一个或更多个处理。可替选地，可以使用硬连线电路系统来取代本文所描述的用于实现处理的软件指令或者与本文所描述的用于实现处理的软件指令相结合。因此，本文所描述的实现不限于硬件电路系统和软件的任何特定组合。

尽管在本文中参照具体实施方式示出且描述了本发明，但是本发明不意在限于所示出的细节。而是可以在权利要求的等同范围内并且在不偏离本发明的情况下，在细节方面做出各种修改。