3D拉东图像的产生和使用的制作方法

本文所揭示的系统和方法是针对图像数据，且更明确地说，是针对全光数据的捕获以及从全光数据的渲染。

背景技术：

摄影领域持续发展，为摄影师提供更多的选择。对于模拟摄影，显影的底片将曝光、色平衡、焦点和其它图像捕获因素的最终结果揭露为就像它们在图像捕获时出现的那样。直到最近，数字摄影一直在使曾经是模拟过程的过程数字化。在捕获图像之后，与模拟摄影相比，数字摄影为摄影师提供更多选择，因为处理应用程序可用以根据例如曝光、色平衡、饱和度等某些质量来增强和清理所述图像。然而，如果所捕获的数字图像的焦点离开，或如果摄影师希望转变到不同视点，那么现有的处理应用程序无法纠正这些因素。

全光摄影更接近于通过捕获光场(还被称作目标图像场景的光亮度)来渲染对物体的直接观察所提供的全面视角和多个焦点。为了捕获全光图像，可将微透镜阵列安裝在图像传感器的前方，从而有效地捕获目标场景的许多图像，其中每一图像从稍微不同的视点捕获目标场景的一部分。由此，对于所述场景的合成最终图像的每一像素，从不同的视点捕获多个光线。这提供含有关于目标场景的潜在最终图像中的每一像素点的四维光亮度数据的原始传感器数据：光线的空间位置的两个维度，以及光线在所述像素处的定向的两个维度。对于软件，此数据可合成到来自由所述光亮度数据表示的有利点或焦点中的任一者的最终2D或3D图像中，从而扩展数字摄影的能力，并为摄影师提供更大的灵活性来在图像捕获之后更改有利点或焦点。

全光相机技术提供在移动装置中可能合意的若干成像能力，包含但不限于全3D成像、再聚焦能力，以及高动态范围(HDR)成像。然而，处理全光传感器数据在计算上是昂贵的，通常需要中央处理单元(CPU)上的并行处理或图形处理单元(GPU)上的集中处理。因此，在给定常规移动装置的相对受限GPU存储器的情况下，全光摄影需要过分大量的数据存储和处理来进行移动摄影中的实施方案。

技术实现要素：

本发明的方面涉及用于有效记录适当地经变换的所捕获全光图像数据(例如，在全光相机中)的技术，以及用于从此类经变换的所捕获全光数据渲染图像的技术，在本文中被称作“拉东(Radon)摄影”。举例来说，可通过使用拉东变换来改变所捕获全光数据的结构，使得维度从四个维度减少到三个维度，从而产生具有比传统全光图像小的尺寸的图像数据(在本文中被称作“拉东图像”)。可使用逆拉东变换或其它计算机断层扫描技术从拉东图像渲染最终图像，以恢复全光数据的光亮度或发光密度。与现有方法相比，这可使数据所述减少约一个数量级，使得有可能例如在移动装置上使用比现有全光渲染技术少得多的GPU存储器来执行渲染。

因此，一个方面涉及一种在电子装置中用于渲染最终图像的系统，所述系统包括：包含微透镜阵列和图像传感器的全光相机，所述全光相机经配置以捕获图像场景的全光图像数据；以及一或多个处理器，其与全光相机进行数据通信，且经配置以至少接收所捕获的全光图像数据，所述所捕获的全光图像数据包含多个微图像，其各自由将来自所述图像场景的光聚焦到所述图像传感器上的所述微透镜阵列中的多个微透镜中一个微透镜形成，确定位于二等分所述微透镜阵列的平面内的多个积分线，所述多个积分线中的每一者对应于延伸穿过所述图像场景的三维空间的平面，且至少部分地基于所述全光图像数据的对应于所述多个积分线的多个像素产生拉东图像。

另一方面涉及在电子装置中用于渲染最终图像的系统，所述系统包括：第一模块，其经配置以至少存取表示拉东图像的数据，对于图像场景的多个所取样平面中的每一所取样平面，所述拉东图像表示所取样平面中的光能的总和；第二模块，其经配置以至少部分地基于积分来自所述拉东图像的所述多个所取样平面中的每一所取样平面的光能的总和而至少确定所述图像场景的发光密度；以及第三模块，其经配置以至少将所述发光密度投影到图像平面上以产生最终图像。

另一方面涉及一种用于压缩全光图像数据的方法，所述方法包括：从具有微透镜阵列和图像传感器的全光相机接收表示三维图像空间的全光图像的数据的至少一部分；识别与微透镜平面相交的积分平面，所述微透镜平面二等分所述微透镜阵列；确定与所述积分平面相交的图像线，以及位于距所述微透镜平面第一距离处的图像平面；确定与所述积分平面和所述微透镜平面相交的微透镜线；至少部分地基于微透镜线与所述微透镜的相交，将所述图像线映射到微图像，所述微图像通过所述微透镜阵列的微透镜形成于所述图像传感器上；以及对所述微图像中的多个像素中的每一者的像素值进行求和，所述多个像素沿映射到所述微图像的所述图像线定位。

另一方面涉及一种存储指令的非暂时性计算机可读媒体，所述指令在被执行时，致使一或多个计算装置执行包括以下各项的操作：接收图像场景的拉东图像数据，所述拉东图像数据将所述图像场景的发光密度表示为所述图像场景的多个平面中的每一者内的光能的总计值；使用所述拉东图像的后投影来计算所述拉东图像的中间函数；至少部分地基于所述拉东图像的中间函数来恢复所述图像场景的发光密度；以及将所述发光密度投影到图像平面上，以产生所述图像场景的可动态再聚焦的经渲染图像。

附图说明

将在下文中结合附图和附录来描述所揭示方面，提供附图和附录是为了说明而不是限制所揭示方面，其中相同符号表示相同元件。

图1A说明常规全光相机的实施例。

图1B说明根据一些实施例的实例对焦全光相机(开普勒(Keplerian)伸缩式案例)。

图1C说明根据一些实施例的实例对焦全光相机(伽利略(Galilean)伸缩式案例)。

图1D说明根据一些实施例的基于微球的实例薄全光相机。

图2说明具有拉东摄影能力的图像捕获装置的实施例的高级示意性框图。

图3说明拉东摄影过程的实施例。

图4A说明将全光相机平面用于拉东图像产生的技术的实施例。

图4B说明可用于拉东图像产生中的一组像素或微图像的实施例。

图4C说明可在3D拉东图像产生方法中使用的积分线的密度的实施例。

图5说明用于从输入光场数据产生拉东图像的过程的实施例。

图6说明用于从拉东图像产生全光图像数据的过程的实施例。

具体实施方式

引言

本发明的实施例涉及用于捕获全光图像数据、处理全光图像数据以增加效率，且从经处理的全光图像数据渲染的系统和技术。本文所述的拉东摄影技术可改变所捕获全光数据的结构，以依据二维平面内而不是一维光线内所含有的能量来定义目标图像场景的光亮度，这可使图像数据的量有效地减少约一个数量级。举例来说，在一些实施方案中，这可通过将拉东变换应用于全光图像数据，从而产生拉东图像来实现。可通过应用逆拉东变换以从拉东图像恢复所述图像场景的光亮度，来从拉东图像渲染可动态再聚焦的图像。在一个实例中，拉东图像可为大约1兆字节(MB接口)的数据，而典型的全光图像可为大约50MB接口的数据。这可用有限的GPU容量来实现移动装置(例如智能电话和平板计算机)上的全光成像。

本文所述的拉东摄影技术可使用与拉东变换有关的变换来记录所捕获全光数据，以减少所捕获全光数据的量。全光相机所捕获的信息可被称为光场、全光函数或光亮度。在计算摄影中，光场(其也可被称作光亮度、发光密度或全光函数)是目标图像场景的三维空间中的所有一维光线的四维记录。光亮度描述空间和角度信息两者，且被定义每单位立体角度(以弧度为单位)每单位面积的能量的密度。全光相机捕获全光图像(还被称作平面图像，或平面)中的光亮度。当处理时，全光图像可为经数字再对焦的，噪声可减小，视点可改变，且可实现其它全光效应。注意，在文献中，全光相机也可被称作光场相机，且全光图像也可被称作光场图像。

使用拉东变换，取决于仅三个变量，所述图像场景的四维光亮度数据可表示为替代的全光函数，其为具有虚拟光源的密度的拉东图像。拉东摄影技术可通过用多个薄虚拟平面来切割所述图像场景并在每一平面上积分来捕获或表示所述图像场景中的三维主体的能量密度。可测量每一平面中的能量以构建所述拉东图像。因此，所得拉东图像可表示所述图像平面与传感器平面之间的每一平面上的能量的总计值，而不是表示所述图像平面与传感器平面之间的每一光线的能量的值的传统全光图像数据。因此，与先前全光成像方法相比，作为所述图像场景的四维光亮度的三维表示的拉东图像在存储器方面要经济得多，且因此渲染得更快。

可例如通过执行逆拉东变换来恢复所述场景的原始三维发光密度，且可从所述发光密度渲染来自不同视图和/或具有不同焦深的图像。在一个实施方案中，拉东摄影技术可有效地积分属于一平面的光线，且可评估穿过一点的所有平面上的拉东变换，以执行反投影。反投影可为所进行的第一步骤，以导出所述点处的逆拉东变换。可选择特定积分线来以邻近积分线之间的充分步长对阵列中的每一微透镜进行取样，以避免对同一组像素进行取样(这将导致冗余信息)。通过反投影、高斯-拉普拉斯(Laplacian of Gaussian)算子的的应用以及去噪，拉东摄影技术可从拉东图像确定所述场景中的发光密度。将发光密度投影到图像平面上可产生最终图像，其中可调整所述最终图像，以具有所捕获图像场景的不同视图或不同焦深。

实例全光相机的概述

图1A到1D说明可用以根据拉东摄影技术来捕获拉东图像数据的全光相机的各种实施例。图1A到1D的全光成像系统可在多种成像应用中实施，例如静止摄影、可视图文、立体摄影、立体可视图文、多光谱摄影和多光谱可视图文。例如手持式相机、平板计算机、移动电话、游戏控制台、膝上型计算机、个人计算机、增强现实裝置(例如平视显示系统)、安全相机等裝置可并入有图1A到1D的全光成像系统。

图1A说明常规全光相机100a。此图中所示的组件不一定相对于彼此按比例绘制。常规全光相机可包含主透镜105和微透镜阵列110，其放置在光传感器115前方距离f处。在一些实施方案中，电荷耦合装置(CCD)可用作光传感器115。在其它实施方案中，CMOS成像传感器可用作光传感器115。微透镜110可具有孔径d和焦距f，且假定以间隔d相等地间隔开。主透镜105可对焦在微透镜阵列110的中心所形成的平面(“微透镜平面”)，且微透镜110可对焦在光学无限距(等效地，在主透镜105处)。

考虑到主相机透镜透镜105的焦距比微透镜110的焦距大得多，每一“微相机”可对焦在主相机透镜孔径处，而不是在正拍照的物体上。因此每一微透镜图像可相对于所述物体完全散焦，且仅表示光亮度的角分布。由此，这些微图像可能看起来模糊，且并不表示人体可辨识图像。由于每一微透镜图像可取决于其位置而对给定位置进行取样，且横跨与其它微透镜图像，因此可通过积分每一微透镜下的所有像素来实现从常规全光相机光亮度图像渲染输出图像。积分每一微透镜下的像素的固定部分可产生一个确定视图的图像。在一些实施例中，每一微透镜促成最终所产生的图像中的单个像素。

图1B和1C分别说明根据一些实施例的实例对焦全光相机100b和100c。图1B和1C中所示的组件不一定相对于彼此按比例绘制，所述组件之间的距离也不一定按比例绘制，所述组件的大小也不一定按比例绘制。对焦全光相机100b、100c可包含至少一主透镜105、微透镜阵列110和光传感器115。相比于图1A的常规全光相机系统100a，对焦全光相机100b、100c的微透镜阵列110可对焦在主相机透镜的图像平面120上而不是无限处。对于对焦全光相机100b、100c，每一微透镜可将主透镜图像再成像到光传感器115上。微透镜110可形成主透镜图像的真实图像阵列作为中继系统，从而各自形成光传感器115上的微图像。

微相机阵列(通过微透镜110的投影形成到光传感器115上)观察其前方的“物体”。此“物体”是所述场景的架空3D图像，在主相机透镜105后面形成，在图1B和1C中表示为加阴影的卵形。因此，图1B和1C中的卵形加阴影区域125表示通过主相机透镜形成于相机内部的三维(3D)图像。如所说明，此3D图像125可在微透镜110后面延伸。

图1B说明开普勒伸缩式系统100b的实例，其中正成像的图像平面120在微透镜110的前面。如果主透镜105在微透镜110后面形成图像，那么仍有可能将微透镜110聚焦在虚拟图像上，使得它们在光传感器115上形成真实图像，例如在图1C的实例伽利略伸缩式相机100c中。在开普勒伸缩式相机100b和伽利略伸缩式相机100c两者中，可通过透镜等式来描述微透镜成像：

$\frac{1}{a}+\frac{1}{b}=\frac{1}{f}---\left(1\right)$

分别具有正a(开普勒伸缩式系统100b)或负a(伽利略伸缩式系统100c)。当再映射到光传感器上时，主透镜的图像的大小可减小。此减小可表示为：

$m=\frac{a}{b}---\left(2\right)$

由于此按比例缩放，全光相机所捕获的光亮度的空间分辨率是微透镜图像的分辨率与渲染中的重叠量(而不是微透镜的数目)的函数。分辨率和微透镜数目的此去耦将对焦全光相机100b、100c与常规全光相机100a区分开。

常规全光相机100a与对焦全光相机100b、100c之间的另一差异在于每一微透镜所捕获得信息的性质。在常规全光相机100a中，每一微透镜对场景中的一个位置成像，从而捕获此处的所有角度信息。在对焦全光相机100b、100c中，不同微透镜捕获同一位置；角度信息跨微透镜传播。因此，为了渲染用对焦全光相机100b、100c捕获的平面，渲染算法可跨微透镜图像积分，而不是在单个微透镜图像内积分。就是说，假定任务是“使”对焦的“图像成像”，渲染算法通过将其以固定间距重叠来积分微透镜中对应于所述图像中的同一位置的点。

图1D说明根据一些实施例的基于微球的实例薄全光相机系统100d。此实例薄全光相机100d可类似于图1C中说明的对焦全光相机100c；然而，微透镜阵列由微球130代替。微球130可通过若干技术中的任一者附着或固定到光传感器115的表面；例如透明粘合材料的薄层(例如厚度为几纳米)可沉积在光传感器115的像素表面上，熔融玻璃或类似物质层可沉积在光传感器115的像素表面上，或微球130可嵌入顶部非常平坦同时覆盖微球130的物质中。对于适当地选择且布置的组件，如图1D中所示的薄全光相机可大约为5mm(毫米)薄，或甚至更薄，且因此适合用于薄移动装置中。

图1A到1D既定说明可进行本文所述的拉东摄影技术的实例全光相机系统110a到110d。然而，将了解能够捕获图像场景的光亮度的任何全光或光场相机可实施拉东摄影技术，以便减少所捕获图像数据的量。在一些实施例中，相机可直接捕获3D拉东图像，而不是捕获4D光亮度数据，且从所述4D光亮度数据产生3D拉东图像。

实例系统的概述

图2说明具有拉东摄影能力的图像捕获装置200的实施例的高级示意性框图，装置200具有一组组件，包含链接到相机组合件201的图像处理器220。图像处理器220还与工作存储器265、存储器230和装置处理器255通信，所述工作存储器265、存储器230和装置处理器255又与存储装置270和任选的电子显示器260通信。

装置200可为蜂窝电话、数码相机、平板计算机、个人数字助理或类似者。存在许多便携式计算装置，其中从减小数量的全光图像数据(例如本文所述)渲染将提供优点。装置200也可为静止计算装置或其中拉东摄影技术将有利的任何装置。在装置200上有多个应用程序可以供用户使用。这些应用程序可包含传统的摄影和视频应用程序、高动态范围成像、全景光和视频、多光谱光和视频、立体成像(例如3D图像或3D视频)，以及全光光和视频。

图像捕获装置200包含用于捕获外部图像的全光相机组合件201。在一些实施例中，相机201可为上文相对于图1A到1D所述的全光相机配置100a到100d中的任一者。尽管以主透镜205、微透镜A 210a到微透镜N 210n以及单个图像传感器215来描绘，但不同于实例说明的相机201的实施例可具有能够捕获目标图像场景的光亮度数据的主透镜205、微透镜阵列210a到210n和传感器215中的一些或全部的任何组合。一般来说，可使用N个微透镜，其中N≥2。全光相机组合件201的一些实施例可具有额外组件，例如用于立体或多光谱全光图像数据的捕获的额外透镜组合件和对应的额外图像传感器。在一些实施例中，装置200可包含额外相机组合件，例如除全光相机组合件201之外的传统(非全光)相机组合件。全光相机组合件201可耦合到图像处理器220，以将所捕获图像发射到图像处理器220。

图像处理器220可经配置以对所接收的包括对应于N个微透镜的N个微图像的图像数据执行各种处理操作，以便执行拉东摄影技术。处理器220可为通用处理单元或专门设计用于成像应用的处理器。图像处理操作的实例包含裁剪、按比例缩放(例如到不同分辨率)、图像拼接、图像格式转换、色彩内插、色彩处理、图像滤波(例如空间图像滤波)、透镜假象或疵点校正等。在一些实施例中，处理器220可包括多个处理器。处理器220可为一或多个专用图像信号处理器(ISP)或处理器的软件实施方案。

如所示，图像处理器220连接到存储器230和工作存储器265。在所说明的实施例中，存储器230存储捕获控制模块235、拉东摄影模块240和操作系统250。拉东摄影模块240包含子模块：拉东图像产生器242、发光密度计算器244和平面渲染模块246。存储器230的模块包含配置装置处理器255的图像处理器220来执行各种图像处理和装置管理任务的指令。工作存储器265可由图像处理器220使用来存储存储器230的模块中所含有的处理器指令的工作集合。或者，工作存储器255还可由图像处理器220使用来存储装置200的操作期间创建的动态数据。

如上所提到，图像处理器220由存储在存储器中的若干模块来配置。捕获控制模块235可包含配置图像处理器220来调整全光相机组合件201的聚焦位置的指令。捕获控制模块235可进一步包含控制装置200的总体图像捕获功能的指令。举例来说，捕获控制模块235可包含调用子例程来配置图像处理器220以使用全光相机组合件201捕获目标图像场景的原始全光图像数据的指令。在一个实施例中，捕获控制模块235接着可调用拉东摄影模块240，以减小所捕获的全光图像数据的大小，且将减小的大小的图像数据输出到成像处理器220。在另一个实施例中，捕获控制模块235接着可调用拉东摄影模块240，来对原始全光数据执行渲染操作，以便将平面的可再聚焦图像输出到成像处理器220。捕获控制模块235还可调用拉东摄影模块240来对原始全光图像数据执行渲染操作，以便输出待捕获的场景的预览图像，且当所述原始图像数据中的场景改变时，或当用户改变预览图像的焦点时，以某些时间间隔更新所述预览图像。

拉东摄影模块240可调用子模块拉东图像产生器242、发光密度计算器244和平面渲染模块246，以执行全光数据处理和图像渲染操作的不同部分。拉东图像产生器242可包含配置图像处理器220以产生拉东图像的指令，与原始全光图像数据相比，所述拉东图像为相对较小量的数据。举例来说，拉东图像产生器242可包含配置图像处理器220以将拉东变换应用于全光图像数据的指令。拉东图像产生器242的一些实施例可对所存储的全光图像数据操作，而拉东图像产生器242的其它实施例可将全光图像数据的结构改变为在存储之前捕获的那样。举例来说，可以对应于与积分平面的相交线的行或排来扫描光传感器的像素或微图像，且入射在那些像素或微图像上的光线的值可积分，如下文将更详细地论述。在一些实施例中，拉东摄影模块240可将拉东图像发射到图像处理器220，以供存储在存储模块270中。在一些实施例中，拉东摄影模块240可将拉东图像发射到发光密度计算器244。

发光密度计算器244可包含配置处理器220以对拉东图像执行处理操作以从拉东图像产生全光图像数据的指令。举例来说，发光密度计算器244可包含配置处理器220以将逆拉东变换应用于拉东图像来恢复全光相机组合件201所捕获得原始发光密度或恢复原始发光密度的近似值的指令。

平面渲染模块246可包含配置图像处理器220以对发光密度计算器244的输出执行渲染操作的指令。举例来说，平面渲染模块246可包含配置图像处理器220以通过将发光密度投影到图像平面上来输出图像(在全光摄影中，有时被称作“平面”)的指令，所述投影可在不同视点或不同焦深产生平面。处理器220可存储所述图像或输出所述图像以供向用户显示，其中所述用户可在全光图像数据所捕获得焦深范围内动态地再对焦所述图像，且可在全光图像数据所捕获的视点范围内动态地调整所述图像的视点。当用户输入命令调整所述图像的焦点和/或视点时，平面渲染模块246可包含致使图像处理器220响应所述用户命令并渲染经更新的图像的指令。在一些实施例中，平面渲染模块246可包含配置图像处理器220以输出三维或立体图像且基于用户输入来更新所述图像的指令。

操作系统模块250配置图像处理器220以管理装置200的工作存储器265和处理资源。举例来说，操作系统模块250可包含装置驱动器以管理例如相机组合件201等硬件资源。因此，在一些实施例中，上文所论述的图像处理模块中所含有的指令可不与这些硬件资源直接交互，而是通过位于操作系统组件250中的标准子例程或API交互。操作系统250内的指令可接着与这些硬件组件直接交互。操作系统模块250可进一步配置图像处理器220以与装置处理器255共享信息。

装置处理器255可经配置以控制显示器260以向用户显示所捕获图像或所捕获图像的预览。显示器260可在成像装置200外部或可为成像装置200的一部分。显示器260还可经配置以提供显示预览图像以供在捕获图像之前使用的视图查找器,或可经配置以显示存储在存储器中或最近由用户捕获的所捕获图像。显示器260可包括LCD或LED屏幕，且可实施触敏式技术。

装置处理器255可将数据写入到存储模块270，例如表示所捕获图像的数据。虽然存储模块270以图形方式表示为传统磁盘装置，但所属领域的技术人员将理解，存储模块270可经配置为任何存储媒体装置。举例来说，存储模块270可包含磁盘驱动器，例如，软盘驱动器、硬盘驱动器、光盘驱动器或磁光盘驱动器，或固态存储器，例如快闪存储器、RAM、ROM和/或EEPROM。存储模块270还可包含多个存储器单元，且所述存储器单元中的任一者可经配置以处于图像捕获装置200内，或可在图像捕获装置200的外部。举例来说，存储模块270可包含含有存储在图像捕获装置200内的系统程序指令的ROM存储器。存储模块270还可包含经配置以存储所捕获图像的存储卡或高速存储器，其可从相机拆卸。存储模块270也可在装置200外部，且在一个实例中，装置200可将数据无线发射到存储模块270，例如经由网络连接。

尽管图2描绘具有单独组件以包含处理器、成像传感器和存储器的装置，但所属领域的技术人员将认识到，这些单独组件可用多种方式组合以便实现特定的设计目标。举例来说，在替代实施例中，所述存储器组件可与处理器组件组合，例如以节约成本和/或改进性能。

另外，尽管图2说明两个存储器组件，包含包括若干模块的存储器组件230以及包括工作存储器的单独存储器265，但是所属领域的技术人员将认识到利用不同存储器架构的若干实施例。举例来说，一种设计可利用ROM或静态RAM存储器来存储实施存储器230中所含有的模块的处理器指令。处理器指令可加载到RAM中以促进由图像处理器220执行。举例来说，工作存储器265可包括RAM存储器，其具有在由图像处理器220执行之前被加载到工作存储器265中的指令。

实例拉东摄影过程的概述

图3说明拉东摄影过程300的实施例。将过程300描述为由上文相对于图2所述的拉东摄影模块240及其子组件执行。然而，这是说明性目的，且无意限制过程300，其可由具有拉东摄影能力的任何装置或系统执行。

在框305处，拉东摄影模块240可例如从全光相机组合件201接收全光图像数据，所述全光相机组合件201可为由图1A到1D表示的全光相机100a到100d中的任一者，或能够捕获全光或光场图像数据的任何其它相机。在一些实施例中，在图像捕获之后，拉东摄影模块240可接收一组完整的全光图像数据。在其它实施例中，拉东摄影模块240可在图像捕获期间接收全光图像数据。举例来说，在一个实例中，拉东摄影模块240可接收对应于预定积分平面的部分中的全光图像数据。

在框310处，拉东摄影模块240的拉东图像产生器242可从输入的全光图像数据产生拉东图像。举例来说，拉东图像产生器242可应用拉东变换来计算一或多个积分平面内的光线的值的整体。

在给定发光密度f(x,y,z)的情况下，在一个实施例中，可通过积分所有可能平面上的函数值来计算拉东图像在另一实施例中，可识别所有可能平面的子集来计算拉东图像积分平面可为与全光相机的传感器平面垂直并相交的平面，且可基于传感器的配置来确定积分平面的位置和定位，使得通过至少一个积分平面来对传感器的每一不同像素(或由微透镜阵列形成于传感器上的每一不同微图像)进行取样。

呈三维形式的拉东变换可表达为：

${\hat{f}}_{a,b,c}\left(r\right)={\∫}_{-\mathrm{\∞}}^{+\mathrm{\∞}}{\∫}_{-\mathrm{\∞}}^{+\mathrm{\∞}}{\∫}_{-\mathrm{\∞}}^{+\mathrm{\∞}}f(x,y,z)\mathrm{\δ}(az+by-r)dxdydz---\left(3\right)$

由参数θ,r给定的平面的参数化在一些实施例中可对计算用以从拉东图像渲染图像的逆拉东变换有益。因此，用于极坐标中所定义的平面的拉东变换可表达为等式(4)，下文：

拉东摄影技术的实例可有效地积分属于所述平面的所有光线，接着应用逆拉东变换(即，等式(3)或(4)的逆等式)，如将相对于框315更详细地阐释。

在框315处，拉东摄影模块240的发光密度计算器244可对穿过一点的拉东图像的所有平面进行求和。这可计算拉东图像的反投影。举例来说，如下文在等式(5)中所述，发光密度计算器244可将逆拉东变换应用于拉东图像。发光密度计算器244可取输入的拉东图像并再现发光密度f(x,y,z)。通过应用傅里叶逆变换和傅里叶切片定理，用于确定逆拉东变换的表达式可为：

其中r由以下等式给出：

值得注意的是，等式(5)具有与泊松等式相同的形式。因此，拉东图像的反投影可表达为：

其中r由等式(6)给出，且f¹表示经反投影的拉东图像。在一些实施例中，f¹可看起来像实际函数的模糊版本。

在框320处，发光密度计算器244可将三维高斯-拉普拉斯应用于反投影f¹以便恢复所述图像场景的原始发光密度，或其近似值。在一些实施例中，这可产生原始函数f(x,y,z)的有噪声版本，其在去噪之后，可提供虚拟光源的密度。因此，在一些实施例中，发光密度计算器244可在应用三维高斯-拉普拉斯之后对反投影f¹执行去噪。

在框325处，拉东摄影模块240可输出全光数据的发光密度，例如在一个实施例中，用于用动态焦点和有利点来渲染图像。将发光密度投影到图像平面上可在不同焦深或不同有利点产生目标图像场景的图像。在一个实施例中，平面渲染模块246可执行从发光密度渲染图像。在另一实施例中，拉东摄影模块240可输出发光密度以用于存储。

在框330处，平面渲染模块246可将发光密度投影到图像平面上，以产生所述图像场景的可动态再聚焦的经渲染图像。归因于基于发光密度，来自不同视点和/或具有不同焦深的图像可为同一图像场景渲染的事实，所述经渲染图像被称作“可动态再聚焦的”。

在任选框335处，平面渲染模块246可基于用户输入来调整经渲染图像的焦点和/或有利点。举例来说，平面渲染模块246可从装置处理器255接收用户输入的指示，其指示用户已选择一选项来调整经渲染图像从其表现为已被拍摄的有利点或经渲染图像的焦深中的一者或两者。

实例拉东图像产生过程的概述

图4A说明可用于拉东图像产生中的全光相机平面400的实施例。平面400可包含图像平面405、微透镜平面430、积分平面415和传感器平面435。图像平面405可表示由所述图像平面形成的平面，例如穿过全光相机的主透镜的焦点的平面。微透镜平面430可表示穿过全光相机的微透镜阵列形成的平面，例如二等分所述微阵列的透镜中的每一者的平面。积分平面415可表示与图像平面405和微透镜平面430两者相交的平面。尽管描绘积分平面415相对于其它平面处于某一位置中，但在一些实施例中，积分平面415的位置可基于光传感器的参数而变化，且另外，可使用多个积分平面来产生拉东图像，如下文将更详细地论述。传感器平面435可表示由全光相机的光传感器的表面形成的平面，且可包含对应于由微透镜阵列内的微透镜形成的微图像的多个区域440。

所涉及的物体的正确参数化可辅助拉东图像的高效计算。在一个实施例中，2平面参数化可用于表示光场，其中前两个参数(第一坐标)表示考虑中的光线420在图像平面405上的开始点的位置，且后两个参数(第二坐标)表示光线420在微透镜平面430上的端点的位置，其中图像平面405和微透镜平面430可分开距离A。

为了计算处于积分平面415内的光线420的整体，拉东摄影技术可确定沿微透镜线425放置的微透镜的对应微图像440中图像线410映射到其上的像素。在一个实施例中，每一微透镜可对应于一个微图像，且每一微图像可对应于所述图像传感器的一个像素。在另一实施例中，每一微图像可对应于所述图像传感器的多个像素。图像线410可表示穿过图像平面405与积分平面415的相交处的向量。微透镜线425可表示穿过积分平面415与微透镜平面430的相交处的向量。

为了定位沿微透镜线425放置的像素/微图像，拉东摄影技术可计算微透镜的焦距，且使用上文的等式(1)来计算微透镜的放大。在一些实施例中，这可针对阵列中与微透镜线相交的每一微透镜来计算，从而允许拉东摄影技术定位对应于光线420的放置在积分平面内的像素。

图4A中说明全光相机的简单模型的实例，其中在通过主透镜进入相机之后，光线在平面P1 405处形成真实图像。此图像由位于平面P2 430处的微透镜中的每一者重新成像到传感器平面435上。拉东摄影技术可确定处于任意平面P 415内的所有光线420的总和。

为了计算处于平面P 415内的光线的整体，需要确定传感器平面435上的对应像素，其中所述光线由所述微透镜中的每一者映射。为此目的，拉东摄影技术可确定线l₁ 410的图像，如由放置在(x₀,y₀)处的任意微透镜产生。线l₁的等式可由以下等式给出：

ax+by＝r (8)

类似地，线l₂的等式可由以下等式给出：

ax+by＝r＝cA (9)

放置在(x₀,y₀)处的微透镜获得的点(x,y)的图像可由以下等式给出：

x₁＝-M(x-x₀),y₁＝-M(y-y₀) (10)

其中M是微透镜的放大。将来自以上等式的x和y代入l₁ 410的等式中，所述等式以y＝mx+d的形式写成，得到：

y₁＝mx₁-M(mx₀+d-y₀) (11)

注意，对于等式(11)，原点固定在微透镜平面430和传感器平面430的光轴的相交处，M是微透镜放大，m等于微透镜线425的斜率，且

$m=\frac{-a}{b}=\cot \mathrm{\θ}---\left(12\right)$

拉东图像对于由平面P 415相交的每一微透镜，可通过位于由等式(11)表示的线上的所有像素的求和来获得。这些像素在图4A中由相交线445表示。

图4B说明可用于拉东图像产生中的一组像素或微图像440的实施例。图4B说明一旦根据上文的等式(8)到(11)确定相交线445，就可如何从全光相机光传感器的多个微图像或像素440选择一组微图像或像素440的一个实例。在示出的例子中，可选择线445穿过(使用橙色描绘)的每一微图像/像素440来计算对应积分平面415的拉东变换，如由加阴影的微图像450表示。可使用选定微图像450的像素值来计算拉东变换。图4B说明给定微图像中的像素450上的积分的一个实例，其可通过将像素强度值相加来进行。为了计算拉东图像使用多个积分平面，如上文相对于图3的框315所论述。

图4C说明可用于拉东图像产生中的积分线460的实施例。积分线460可对应于多个相交线，即，图像线/微透镜线到传感器平面435上的映射，并且因此表示用以产生拉东图像的多个积分平面的边缘。

如图4C中所示，当改变455的步长足够高时，多个积分线460对对应于全光相机的微透镜的不同微图像440进行取样。确保通过至少一个积分线460对每一微图像440进行取样的一种方法是产生从传感器平面435上的开始点(此处说明为传感器平面435的拐点)沿传感器平面435的至少一个边界(此处说明为大约在每一微图像440的外缘的中心的终点，所述外缘是传感器平面435的边界)到每一微图像440的线。可测量由每对邻近线形成的角度，且可选择最小角度作为步长455。这表示确定的步长的一个实例。

用于以上等式中的参数θ,和r的开始和结束值以及步长的选择可确定光场空间的取样。参数可表示全光传感器上的积分线之间的步长。上文相对于图4C描述用于确定的步长的一个实施例。在另一实施例中，可以一度的步长从零360变化。在一个实例中，此取样对于使用具有75x75区域的全光传感器捕获的图像来说是充分的。较密的取样(例如，的较小步长)可不提供额外信息，归因于邻近线对同一组像素进行取样，从而产生冗余信息，拉东图像的较大数据大小、更大的处理器使用率，以及较长的运行时间。

原点(其为用于使平面参数化的球体的中心)位置的选择也可对拉东变换所需的计算具有影响。将原点定位在如由主透镜成像的场景的点云的中心可提供或多或少地较好质量的取样，然而准确地计算所述中心可较昂贵，且不是需要的。因此，一些实施例可计算所述中心，而其它实施例可通过使用以下公式来近似表示所述中心：

其中M_closest及M_farthest是考虑中的场景相对于微透镜阵列的放大率的最小值和最大值，且B表示微透镜平面430与传感器平面435之间的距离。计算给定点相对于微透镜阵列的近似放大率的一个实例通过以下公式给出：所述点在行中重复的次数与微图像中的水平像素的数目之间的比率。

参数r可表示穿过起源的向量，其也垂直于积分平面。r在一个实施例中可具有的最大值(r_max)是形成于传感器上的图像的对角线的长度，从垂直和水平方向上的像素数目确定。在一个实施例中，r可以步长一在1与r_max之间变化，因为归因于一个像素的传感器公差，较小的步长无法显著改进从拉东图像重构全光函数。然而，归因于较密的取样，较小步长可促成运行时间的显著增加。

参数θ可表示向量r映射到三维图像场景的(x，y，z)坐标系中的z轴之间的角度。在以上等式中，θ变化的间隔大体上促成再聚焦，归因于其与沿表示三维目标图像场景的数据中的z轴的深度值的关联。在一个实施例中，θ可以步长一在80与100之间变化。

图5说明用于从输入光场数据产生拉东图像的过程500的实施例。将过程500描述为由上文相对于图2所述的拉东摄影模块240及其子组件执行。然而，这是出于说明性目的，且无意限制过程500，其可由具有拉东摄影能力的任何装置或系统执行。

在框505处，拉东摄影模块240可例如从全光相机组合件201接收全光图像数据，所述全光相机组合件201可为由图1A到1D表示的全光相机100a到100d中的任一者，或能够捕获全光或光场图像数据的任何其它相机。在一些实施例中，在图像捕获之后，拉东摄影模块240可接收一组完整的全光图像数据。在其它实施例中，拉东摄影模块240可在图像捕获期间接收全光图像数据。举例来说，在一个实例中，拉东摄影模块240可接收对应于预定积分平面的部分中的全光图像数据。

在框510处，拉东图像产生器242可识别积分平面。在一些实施例中，拉东图像产生器242可接收指示例如像素大小等传感器的参数数据，且可确定共同地操作来对如上文相对于图4C所述传感器的每一不同像素或形成于所述传感器上的微图像进行取样的一或多个积分平面。在其它实施例中，拉东图像产生器242可例如从自数据存储库270检索此信息的图像处理器220接收指示积分平面的数目和位置的数据。举例来说，产生拉东图像所需的积分平面可为传感器预定。在一些实施例中，框510可为任选的。对于预定与积分平面相交的像素或微图像，可使用预定积分平面来扫描仅有像素，或对应于微图像的多个像素，且可将此局部全光图像数据发送到拉东摄影模块240，以应用拉东变换。

在框515处，拉东图像产生器242可确定表示所述所确定的积分平面与全光相机的微透镜阵列的相交的微透镜线。举例来说，上文相对于图4A说明微透镜线425。在框520处，拉东图像产生器242可将微透镜线映射到传感器上的特定像素和/或微图像。在一个实例中，这可通过上文所述的等式(11)来实现。在一些实施例中，可在图像捕获之前计算积分平面及其对应的微透镜线，以及映射到所述微透镜线的像素/微图像，且可在将拉东变换应用于输入的全光图像数据期间，通过拉东图像产生器242来检索此数据。在进一步的实施例中，指示映射到预定微透镜线的像素的经预计算的数据可用以对如由传感器捕获的数据进行分段，从而仅将与当前积分平面相关的像素值发送到拉东图像产生器，且框515和520可为任选的。

在框525处，拉东图像产生器242可计算映射到微透镜线的像素值的总和。在一个实施例中，这可个别地通过映射到微透镜线的微图像内的每一像素的微图像进行。在一个实例中，拉东图像产生器242可使用上文的等式(3)和(4)来计算所述像素值的总和。

在一些实施例中，对于确定为计算拉东图像所需的每一积分平面，可重复如上文详述的过程500。

可在图像捕获之后实施过程500的一些实施例，以改变现有或所存储的全光图像数据的结构。可在图像捕获期间实施过程500的其它实施例，以将全光图像数据的结构改变为其被捕获时那样。举例来说，在图像捕获之前，相交线可为预定的，使得所述相交线对每一不同像素或微图像进行取样，如通过图4C所说明。可根据以上等式(11)来确定对应于相交线的像素。在图像捕获期间，可根据对应的相交线，以行或排来扫描光传感器的像素。一些实施例可针对每一相交线循序地扫描像素，且因此可例如至少部分地基于像素强度值来循序地计算对应于所述相交线的每一积分平面的整体值。在其它实施例中可并行计算所述积分平面的值。可根据等式(4)中所表达的平面的拉东变换来总计或积分入射在那些像素或微图像上的光线(由像素值表示)的值。表示所述积分平面上方的光线的总和的所得值可存储作为拉东图像。在一个实施例中，拉东图像数据可表示为针对每一所取样平面具有一个值的值阵列，其中所述阵列中的所述值是所述平面上方的光线的总和。

用于拉东图像的积分的实例过程的概述

图6说明用于从拉东图像产生全光图像数据的过程600的实施例。将过程600描述为由上文相对于图2所述的拉东摄影模块240及其子组件执行。然而，这是出于说明性目的，且无意限制过程600，其可由具有拉东摄影能力的任何装置或系统执行。

在框605处，发光密度计算器244可例如从拉东图像计算器242或从检索存储在存储装置270中的拉东图像图像处理器220接收拉东图像数据。拉东图像可为就与捕获全光相机的图像传感器相交的平面上方的总计能量来说的全光函数的表达，而不是就入射在所述图像传感器上的光线的总计能量来说的全光图像数据的传统表达。

在框610处，发光密度计算器244可通过拉东图像的反投影来计算中间函数。在一个实施例中，这可通过如上文所定义的等式(7)来实现。反投影可采取三维图像空间中的每一平面上所定义的拉东图像函数，并将所述平面投影在图像空间上方，以再现原始发光密度。在一些实施例中，反投影可为所述原始全光函数的模糊版本。

在框615处，发光密度计算器244可将高斯-拉普拉斯算子应用于模糊反投影，以便锐化所述反投影，并使其更接近原始全光函数。然而，在一些实施例中，高斯-拉普拉斯算子的应用可将非所要的噪声添加到所述反投影。

因此，在框620处，在应用高斯-拉普拉斯算子来恢复原始全光函数或大体上恢复原始全光函数之后，发光密度计算器244可使所述反投影去噪。

实施系统和术语

本文所揭示的实施方案提供用于从全光图像数据捕获和渲染的系统、方法和设备。所属领域的技术人员将认识到，这些实施例可能用硬件、软件、固件或其任何组合来实施。

在一些实施例中，可在无线通信装置中利用上文所论述的电路、过程和系统。无线通信装置可为用来与其它电子装置无线通信的一种电子装置。无线通信装置的实例包含蜂窝电话、智能电话、个人数字助理(PDA)、电子读取器、游戏系统、音乐播放器、上网本、无线调制解调器、膝上型计算机、平板计算机装置等。

无线通信装置可包含：一或多个图像传感器；两个或两个以上图像信号处理器；一个存储器，其包含用于进行上文所论述的CNR过程的指令或模块。装置也可具有数据、从存储器加载指令和/或数据的处理器、一或多个通信接口、一或多个输入装置、一或多个输出装置(例如，显示装置)和电源/接口)。无线通信装置可另外包含发射器和接收器。发射器和接收器可共同被称作收发器。收发器可耦合到一或多个天线以用于发射和/或接收无线信号。

无线通信装置可无线地连接到另一电子装置(例如，基站)。无线通信装置或者可被称作移动装置、移动台、订户台、用户设备(UE)、远程站、接入终端、移动终端、终端、用户终端、订户单元等。通信装置的实例包含膝上型或桌上型计算机、蜂窝式电话、智能电话、无线调制解调器、电子阅读器、平板装置、游戏系统等。无线通信装置可根据例如第三代合作伙伴计划(3GPP)等一或多个业界标准操作。因此，通用术语“无线通信装置”可包含根据业界标准以不同的命名法来描述的无线通信装置(例如，接入终端、用户设备(UE)、远端终端等)。

可将本文中所描述的功能作为一或多个指令而存储在处理器可读或计算机可读媒体上。术语“计算机可读媒体”是指可由计算机或处理器存取的任何可用媒体。借助于实例而非限制，此类媒体可包括RAM、ROM、EEPROM、快闪存储器、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置或可用来存储呈指令或数据结构的形式的所要程序代码并且可由计算机存取的任何其它媒体。如本文中所使用的磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软磁盘和光盘，其中磁盘通常是以磁性方式再现数据，而光盘是用激光以光学方式再现数据。应注意，计算机可读媒体可为有形且非暂时性的。术语“计算机程序产品”是指计算装置或处理器，其与可由计算装置或处理器执行、处理或计算的代码或指令(例如，“程序”)结合。如本文中所使用，术语“代码”可指可由计算装置或处理器执行的软件、指令、代码或数据。

还可通过传输媒体来发射软件或指令。举例来说，如果使用同轴电缆、光纤电缆、双绞线、数字订户线路(DSL)或无线技术(例如，红外线、无线电和微波)从网站、服务器或其它远程源传输软件，那么同轴电缆、光纤电缆、双绞线、DSL或无线技术(例如，红外线、无线电和微波)包含在传输媒体的定义中。

本文中所揭示的方法包括用于达成所描述的方法的一或多个步骤或动作。在不偏离权利要求书的范围的情况下，方法步骤和/或动作可彼此互换。换句话说，除非正描述的方法的适当操作需要步骤或动作的特定次序，否则，在不脱离权利要求书的范围的情况下，可修改特定步骤和/或动作的次序和/或使用。

应注意，如本文中所使用，术语“耦合”、“正耦合”、“经耦合”或词语耦合的其它变化可指示间接连接或者直接连接。举例来说，如果第一组件“耦合”到第二组件，那么第一组件可间接连接到第二组件或者直接连接到第二组件。如本文所使用，术语“多个”指示两个或两个以上。举例来说，多个组件指示两个或两个以上组件。

术语“确定”涵盖许多种类的动作，且因此“确定”可包含计算、估计、处理、导出、调查、查找(例如，在表格、数据库或另一数据结构中查找)、查实等。并且，“确定”可包含接收(例如，接收信息)、存取(例如，在存储器中存取数据)等。并且，“确定”可包含解析、选择、挑选、建立等等。

除非以其它方式明确地指定，否则短语“基于”并不意味着“仅基于”。换句话说，短语“基于”描述“仅基于”与“至少基于”两者。

在以下描述中，给出特定细节以提供对实例的透彻理解。然而，所属领域的技术人员将理解，可在没有这些具体细节的情况下实践所述实例。举例来说，可在框图中展示电组件/装置，以免用不必要的细节混淆所述实例。在其它实例中，可详细展示此些组件、其它结构和技术以进一步解释所述方面。

本文中包含数个标题，是为了参考和辅助定位各个部分。这些标题无意限制关于其描述的概念的范围。此类概念可在整个说明书中都适用。

还应注意，可将所述实例描述成过程，所述过程被描绘成流程图、流图、有限状态图、结构图或框图。虽然流程图可将操作描述成循序过程，但许多操作可并行或同时执行，并且所述过程可重复。另外，可以重新布置操作的顺序。过程在其操作完成时终止。过程可对应于方法、功能、程序、子例程、子程序等。当过程对应于软件功能时，过程的终止对应于功能返回到调用功能或主功能。

提供对所揭示的实施方案的前述描述是为了使所属领域的技术人员能够制作或使用本发明。所属领域的技术人员将易于了解对这些实施方案的各种修改，且本文中定义的一般原理可应用于其它实施方案而不脱离本发明的精神或范围。因此，本发明无意限于本文中所展示的实施方案，而是应被赋予与本文中所揭示的原理和新颖特征相一致的最广范围。