一种用于生成像素光束的数据表示的装置和方法与流程

一种用于生成像素光束的数据表示的装置和方法
1.本分案申请是申请日为2017年7月11日、申请号为201780054065.6、发明名称为“一种用于生成像素光束的数据表示的装置和方法”的分案申请。
技术领域
2.本发明涉及表示光场的数据的生成，并且在渲染数据中提供真实感。


背景技术：

3.可以被视为4d光场的采样(即光线的记录)的四维或4d光场数据的采集是繁忙的研究课题，其在由anat levin等人在eccv 2008会议论文集中发表的文章“通过光场投影的贝叶斯分析来理解相机的取舍(understanding camera trade-offs through a bayesiananalysis of light field projections)”中进行了解释。
4.与从相机获得的经典二维或2d图像相比，4d光场数据使得用户能够利用更多的后处理特征，这些特征增强了图像的渲染和与用户的交互性。例如，利用4d光场数据，可以以自由选择的聚焦距离执行图像的重新聚焦，这意味着可以后验地指定/选择焦平面的位置，以及在图像的场景中执行稍微改变视点。为了采集4d光场数据，可以使用几种技术。例如，全光相机能够采集4d光场数据。全光相机包括主透镜、包括以二维阵列布置的多个微透镜的微透镜阵列和图像传感器。采集4d光场数据的另一种方式是使用包括透镜阵列和图像传感器的相机阵列。
5.在全光相机的示例中，主透镜接收来自主透镜的物场中的物体的光，并将光传递通过主透镜的像场。
6.最后，采集4d光场的另一种方式是使用传统相机，该相机被配置为捕获不同焦平面处的相同场景的2d图像序列。例如，j.-h.park等人在2014年10月在光学快报(optics express)的第22版21号上发表的文献“使用焦平面扫描捕获光线场以及使用三维显示的光学重建(lightray field capture using focal plane sweeping and its optical reconstruction using 3d displays)”中描述的技术可以用于通过借助于传统相机采集4d光场数据。
7.有几种方法可以表示4d光场数据。实际上，在2006年7月由ren ng发表的题为“数码光场摄影(digital light field photography)”的博士论文的第3.3章中，描述了表示4d光场数据的三种不同方式。首先，当由全光相机通过一些微透镜图像记录时，可以表示4d光场数据。该表示中的4d光场数据被称为原始图像或原始4d光场数据。其次，4d光场数据可以在由全光相机或相机阵列记录时，通过子孔径图像集来表示。子孔径图像对应于从视点捕获的场景的图像，该视点在两个子孔径图像之间略微不同。这些子孔径图像给出关于成像场景的视差和深度的信息。第三，4d光场数据可以由极线图像集表示，例如参见由s.wanner等人在isvc 2011的会议论文集中发表的题为“使用单镜头聚焦全光相机生成4d光场的epi表示(generating epi representation of a4d light fields with a single lens focused plenoptic camera)”的文章。
8.光场采集设备极其多样化。光场相机具有不同类型，例如全光或相机阵列。在每种类型中存在许多差异，诸如不同的光学布置或不同焦距的微透镜。每个相机都有自己的专有文件格式。因此，用于不同相机的所采集的光场数据具有各种各样的格式。
9.在ren ng的“傅里叶切片摄影(fourier slice photography)”中，2005年acm图形交易(transactions on graphics(tog))的第24版、第3号、第735-744页，作者描述了一个定理：在傅立叶域中，由全孔径形成的照片是4d光场中的2d切片。该定理用于分析数字重聚焦的性能，其中计算从单个光场聚焦在不同深度的照片。此外，该定理服从用于数字重聚焦的傅里叶域算法，其中光场傅立叶变换的适当2d切片并执行逆傅里叶变换。然而，这种解决方案因为涉及在傅里叶域中工作而需要高计算负荷。
10.考虑到前述内容，设计了本发明。


技术实现要素：

11.根据本发明的第一方面，提供了一种计算机实现的用于生成表示第一光学系统的物空间中的至少一个体积的数据的方法，该体积被通过所述第一光学系统的光瞳的光线组、和在所述第一光学系统的物空间中与所述第一光学系统相关联的传感器的至少一个像素的图像共轭占据，由所述光线组占据的所述体积被称为像素光束，包括：
[0012]-计算所述至少一个像素光束通过第二光学系统的共轭，称为成像像素光束，
[0013]-计算表示通过所述成像像素光束传输(transmit)的辐射的参数值，该成像像素光束与位于距第二光学系统的距离d投影表面上限定的、且属于所述至少一个成像像素光束和投影表面之间的交截面的至少一个网格的至少一个元素相关联。
[0014]
这种方法能够以其共同的限定，即在规则网格上采样的图像元素组，从在光学系统的聚焦体积中成像的像素光束的集合中创建图像。
[0015]
实际上，在第二光学系统的聚焦体积中成像的像素光束的集合提供表示所述像素光束集合的数据，所述像素光束集合描述不可知的第一光学系统，即，与嵌入光学系统的相机无关，因为这些数据通过第二光学系统对像素光束的集合进行成像来获得。
[0016]
然而，这种成像像素光束的集合根据第二光学系统的结构和参数(诸如其取向、位置和焦距)与聚焦体积重叠。
[0017]
通过计算通过第二光学系统的描述第一光学系统的像素光束集合的图像，该第二光学系统提供嵌入在双重和紧凑空间中的各种相机中的若干光学系统的物空间的表示，其对应于光学系统的聚焦体积和与投影表面上的网格的元素相关联的成像像素光束的辐射值，可以对成像的像素光束的集合进行分类，以便获得可以在后处理操作中使用的图像。
[0018]
在根据本发明的方法的实施例中，投影表面上的网格是像素网格。
[0019]
当网格是像素网格时，基于像素网格并因此在图像上直接对像素光束集合进行分类。
[0020]
在根据本发明的方法的实施例中，在投影表面上限定过采样网格，所述过采样网格的元素小于像素网格的像素。
[0021]
这使得能够累积与过采样网格的元素相关联的辐射像素光束的值。因此，更精确地计算辐射的值。
[0022]
在根据本发明的方法的实施例中，针对与投影表面相交的像素光束计算表示通过
成像像素光束传输的辐射的参数值。
[0023]
当执行根据本发明方法的该实施例的方法时，减少了计算负荷。
[0024]
在根据本发明的方法的实施例中，通过选择其截面包括在第二光学系统中限定的恢复光瞳(restitution pupil)中的像素光束，选择要为其计算共轭的像素光束。
[0025]
这种光瞳由其形状(例如由其半径限定的圆形形状)以及其相对于第二光学系统的光学中心的位置限定。该光瞳通过允许处理整个截面在恢复光瞳内部的像素光束来减少要处理的像素光束的数量。
[0026]
在根据本发明的方法的实施例中，对于与投影表面相交的像素光束计算表示通过成像像素光束传输的辐射的参数值，并且其截面包括在在第二光学系统中限定的恢复光瞳中。
[0027]
当执行根据本发明方法的该实施例的方法时，减少了计算负荷。
[0028]
本发明的另一方面是一种装置，用于生成表示第一光学系统的物空间中的至少一个体积的数据，该体积被通过所述第一光学系统的光瞳的光线组、和在所述第一光学系统的物空间中与所述第一光学系统相关联的传感器的至少一个像素的图像共轭占据，由所述光线组占据的所述体积被称为像素光束，所述装置包括处理器，所述处理器被配置为：
[0029]-计算所述至少一个像素光束通过第二光学系统的共轭，称为成像像素光束，
[0030]-计算表示通过所述成像像素光束传输的辐射的参数值，该成像像素光束与位于距第二光学系统的距离d投影表面上限定的、且属于所述至少一个成像像素光束和投影表面之间的交截面的至少一个网格的至少一个元素相关联。
[0031]
在根据本发明的装置的实施例中，其中投影表面上的网格是像素网格。
[0032]
在根据本发明的装置的实施例中，在投影表面上限定过采样网格，所述过采样网格的元素小于像素网格的像素。
[0033]
在根据本发明的装置的实施例中，对于与投影表面相交的像素光束，计算表示通过成像像素光束传输的辐射的参数值。
[0034]
在根据本发明的装置的实施例中，通过选择其截面包括在第二光学系统中限定的恢复光瞳中的像素光束，选择要为其计算共轭的像素光束。
[0035]
在根据本发明的装置的实施例中，对于与投影表面相交的像素光束计算表示通过成像像素光束传输的辐射的参数值，并且其截面包括在在第二光学系统中限定的恢复光瞳中。
[0036]
根据本发明的另一方面，提供了一种计算机实现的方法，包括：接收由第一光学系统捕获的内容，其中所述内容包括第一组像素光束，每个像素光束具有至少一个相关联参数；限定具有网格元素和第二光学系统的投影表面；使用所述第二光学系统和所述投影表面重新格式化所述第一组像素光束以确定由所述第一组像素光束的共轭表示的一组成像像素光束；确定所述成像像素束与所述投影表面的交截面；基于所述成像像素束与所述投影表面上的所述网格元素的交截面，累积与所述成像像素束相关联的参数贡献；以及基于累积的参数贡献生成像素值的图像，其中所述像素值基于来自各种成像像素束的对投影表面的网格元素的累积贡献。
[0037]
在根据本发明的计算机实现的方法的实施例中，所述参数包括由所述第一光学系统的至少一个传感器获得的辐射或颜色。
[0038]
在根据本发明的计算机实现的方法的实施例中，所述像素光束由体积光线组成。
[0039]
由本发明的元素实现的一些过程可以是计算机实现的。因此，这些元素可以采用完全硬件实施例、完全软件实施例(包括固件、固有软件、微代码等)的形式或者组合软件和硬件方面的实施例，这些软件和硬件方面通常在这里都可以被称为“电路”、“模块”或“系统”。此外，这些元素可以采用体现在任何有形表达介质中的计算机程序产品的形式，该介质具有体现在介质中的计算机可用程序代码。
[0040]
由于本发明的元素可以用软件实现，因此本发明可以体现为用于在任何合适的载体介质上提供给可编程装置的计算机可读代码。有形载体介质可以包括存储介质，诸如软盘、cd-rom、硬盘驱动器、磁带设备或固态存储设备等。瞬态载波介质可以包括诸如电信号、电子信号、光信号、声信号、磁信号或电磁信号的信号，例如微波或射频信号。
附图说明
[0041]
现在将仅通过示例并参考以下附图来描述本发明的实施例，其中：
[0042]
图1示出了传递通过相机光学系统的光瞳的光线组所占据的体积，
[0043]
图2示出了根据本发明实施例的表示像素光束的一张双曲面，
[0044]
图3示出了一张双曲面及其渐近锥，
[0045]
图4示出了根据本发明实施例的由两个同轴的/部分重叠的锥体表示的像素光束，
[0046]
图5是图示根据本发明实施例的用于生成表示像素光束的数据的装置的示例的示意框图，
[0047]
图6是用于说明根据本公开实施例的用于对由光学采集系统捕获的图像进行编码的过程的流程图，
[0048]
图7表示根据本发明实施例的像素光束和所述像素光束通过第二光学系统的共轭，
[0049]
图8是根据本发明的实施例的方法中使用的投影表面和恢复光瞳，
[0050]
图9表示在恢复表面上限定的像素网格和过采样网格，
[0051]
图10表示代表两个光场采集系统的物空间两个像素光束集合，
[0052]
图11是根据本发明实施例的混合方法的流程图。
具体实施方式
[0053]
如本领域技术人员将理解的，本原理的各方面可以体现为系统、方法或计算机可读介质。因此，本原理的各方面可以采用完全硬件实施例、完全软件实施例(包括固件、固有软件、微代码等)的形式或者组合软件和硬件方面的实施例，所述软件和硬件方面通常在这里都可以被称为“电路”、“模块”或“系统”。此外，本原理的各方面可以采用计算机可读存储介质的形式。可以使用一个或多个计算机可读存储介质的任何组合。
[0054]
对于任何光学采集系统，无论是全光或不是全光的，除了原始图像或表示由光学采集系统捕获的4d光场数据的极线图像之外，有趣的是获得与所述光学采集系统的传感器的像素和所述光学采集系统的物空间之间的对应关系相关的信息。知道属于所述光学采集系统的传感器的像素在感测光学采集系统的物空间的哪个部分，这使得能够改进信号处理操作，诸如解复用、去镶嵌(de-mosaicking)、重新聚焦等，并能够由具有不同特征的不同光
学系统捕获的图像的混合。此外，与光学采集系统的传感器的像素和所述光学采集系统的物空间之间的对应关系相关的信息独立于光学采集系统。
[0055]
本公开引入了图1中所示的像素光束10的概念，其表示由传递通过相机(图1中未示出)的光学系统11的光瞳的光束组、和在垂直于光瞳表面的方向上的光学系统的物空间中相机的传感器的像素的共轭所占据的体积。
[0056]
通过所述光学系统11的光瞳14，该光线组由相机的传感器13的像素12感测。光学系统11可以是适合相机或摄像机的透镜的组合。光学系统的光瞳被限定为通过所述光学系统(即光学采集系统的透镜，其位于所述孔径光阑前方)看到的孔径光阑的图像。孔径光阑是限制传递通过光学采集系统的光学系统的光量的开口。例如，位于相机透镜内的可调节刀片光圈是用于透镜的孔径光阑。通过光圈允许的光量由光圈开口的直径控制，光圈开口的直径可根据相机用户希望允许的光量进行调整。例如，使孔径更小可减少通过光圈允许进入的光量，并且同时增加焦深。由于透镜的部分的折射作用，光阑的表观尺寸可以大于或小于其物理尺寸。形式上，光瞳是通过位于物理光阑和观察空间之间的光学采集系统的所有透镜的孔径光阑的图像。
[0057]
像素光束10被限定为当经由入射光瞳14传播通过光学系统11时到达给定像素12的光线束。当光在自由空间中沿直线行进时，这种像素光束10的形状可以由两个截面限定，一个是像素12的共轭15，另一个是入射光瞳14。像素12由其非零表面及其灵敏度图限定。
[0058]
在本发明的第一实施例中，像素光束30可以由一张由以下两个元素支持的双曲面(hyperboloid of one sheet)表示，如图2所示：光瞳24和物空间中的像素12的共轭25。
[0059]
一张双曲面是规则的表面，它可以支持光线束的概念，并且与物理光束的“光学扩展量”的概念兼容，这些概念与通过物理光束的各截面的能量保持是相关的。
[0060]
如图3所示，一张双曲面30的双曲面大多与其渐近锥31、32相同，除了在其最小截面(称为束腰35，其对应于物空间中的共轭15)的基本区域中。对于全光系统，诸如光场相机，这是通过多路径光线执行空间采样的区域。具有退化到该区域中的点的唯一锥体的采样空间是不合适的，因为像素12的灵敏度在其表面上的几十平方微米上是显著的，并且不能由将是如锥形尖端的无限小表面的数学点表示。
[0061]
在本发明的实施例中，每个像素光束10、20、30由限定在光瞳14前面的像素共轭15、35的位置和尺寸的4个独立参数z
p
、θ
x
、θy、α，和由限定光瞳14、24的位置、取向和半径的6个光瞳参数x0、y0、z0，θ
x0
、θ
y0
限定。当由一张双曲面表示时，这6个光瞳参数对于共享相同的光瞳14、24的像素光束的集合是共同的。实际上，像素光束表示由像素12通过光瞳14感测的光学系统11的物空间中的光线组所占据的体积，即对于给定的一对像素12/光瞳14、24，其对应于唯一的像素光束10、20、30，但是多个不同的像素光束可以由相同的光瞳14、24支持。
[0062]
其中限定了表示像素光束10、20、30的一张双曲面的参数的坐标系(z，y，z)的原点o对应于图1中所示的光瞳14的中心，其中z轴限定垂直于光瞳14、24的表面的方向。
[0063]
参数θ
x
、θy限定相对于光瞳14中心的入射的主光线方向。它们取决于光学系统11的光学元素和传感器13上的像素12位置。更确切地说，参数θ
x
、θy表示从光瞳14的中心限定像素12的共轭15的方向的剪切角(shear angle)。
[0064]
参数z
p
表示像素光束10、20、30的束腰35或像素12的共轭15沿z轴的距离。
[0065]
参数α表示像素光束10、20、30的束腰35的半径。
[0066]
对于可以对光学畸变和场曲率建模的光学系统11，参数z
p
和α可以取决于经由参数函数的参数θ
x
、θy。
[0067]
4个独立参数与像素12及其共轭15相关。
[0068]
限定像素光束10、20、30的6个补充光瞳参数是：
[0069]-r，其表示光瞳14、24半径，
[0070]-x0、y0、z0，其表示在(x，y，z)坐标系中光瞳14、24中心的坐标，以及
[0071]-θ
x0
、θ
y0
，其表示参考(x，y，z)坐标系中的光瞳14、24的取向。
[0072]
这6个光瞳参数与光瞳14、24相关。限定了另一个参数c。这种参数c取决于与像素12及其共轭15相关的参数z
p
和α，并取决于与光瞳14、24相关的参数r。参数c限定像素光束10、20、30的角度孔径α，并由下式给出：
[0073][0074]
因此，参数c的表达由以下方程给出：
[0075][0076]
物空间中属于界定像素光束10、20、30的表面的点的坐标(x，y，z)是与光瞳14以及像素的共轭15相关的上述限定的参数集的函数。因此，能够生成表示像素光束10、20、30的一张双曲面的方程(2)是：
[0077][0078]
表示像素光束10、20、30的相同双曲面的参数方程(3)是：
[0079][0080]
其中v是(x，y)平面中的角度，使得能够从生成双曲线生成像素光束10、20、30，v在[0,2π]间隔中变化，并且z∈[0，∞]是沿限定垂直于光瞳14、24的表面的方向的z轴坐标。在假设像素12的截面及其共轭15是圆形并且光瞳14、24的截面也是圆形的情况下写下方程(2)和(3)。
[0081]
当像素光束由其参数方程表示时，与所述光学采集系统的传感器的像素和所述光学采集系统的物空间之间的对应关系相关的信息可以采取包括限定在光瞳14、24前方的像素共轭15、35的位置和尺寸的4个独立参数z
p
、θ
x
、θy、α和由限定光瞳14、24的位置、取向和半径的6个光瞳参数x0、y0、z0，θ
x0
、θ
y0
。
[0082]
因此，除了由光学采集系统捕获的表示4d光场数据的原始图像或极线图像之外，还提供这组参数，以便在处理4d光场数据时使用。
[0083]
在本发明的第二实施例中，像素光束40可以由两个同轴的、部分重叠的锥体(如图4所示的前锥体41f和后锥体41r)表示，锥体由两个元素支持：光瞳44和物空间中的像素42的共轭45，即在像素上成像的物空间中的表面。
[0084]
前锥体41f是由像素42和光瞳44限定的凸平截头体的图像。凸平截头体的顶点位于光学采集系统的传感器之外。通过构造，前锥体41f会聚在光学采集系统的物空间中，并且前锥体41f的顶点位于光瞳44与像素45的共轭或像素光束40的腰部之间。前锥体41f源自像素42处的光瞳44所对向的立体角。
[0085]
后锥体41r是由像素42和光瞳44限定的圆锥的图像，其顶点位于光瞳44和光学采集系统的传感器之间。通过构造，后锥体41r的顶点位于光瞳40的束腰45之外。后锥体41r不一定会聚在光学采集系统的物空间中，在一些情况下，它可以退化成圆柱体或发散锥体。在后一种情况下，发散锥体的顶点位于光学采集系统的像空间中，即在光瞳44入射之前。
[0086]
前锥体41f和后锥体41r共享相同的旋转轴线，该旋转轴线是连接光瞳44的中心和束腰45的中心的线。
[0087]
锥体是可以支持光线束的概念的规则表面，并且当组合两个锥体时，与物理光束的“光学扩展量”的概念兼容，这些概念与通过物理光束的各截面的能量保持是相关的。锥体与平面的交截面是圆锥曲线，对于双曲线，其可以由多个系数表征。考虑到它的顶点，锥体可以用三个角度参数表示：从锥体的旋转轴直到顶角测量的极角和由两个角度给出的旋转轴的方向。
[0088]
令xyz为光学采集系统的坐标系，z代表示在光学采集系统的物空间中具有z》0的光学采集系统的光轴，并且光瞳44的中心是所述坐标系的原点。
[0089]
光学采集系统的光学系统将光学采集系统的物空间从范围z∈[2f；+∞]成像到光学采集系统z∈[-2f；-f]的像空间，其中f是光学采集系统的光学系统的焦距。在光学采集系统的坐标系xyz中，从光学采集系统的校准中已知像素光束40的光瞳44和束腰45的位置。假设光瞳44和束腰45平行并且都垂直于z轴。
[0090]
让我们将z
′
称为像素光束40的主光线。主光线是连接光瞳44的中心和像素光束40的束腰45的中心的线。主光线也是像素光束40的旋转轴和对称轴。因此，在坐标系xyz
′
中，像素光束40是旋转的实体。
[0091]
前锥体41f和后锥体41r的顶点都位于像素光束40的主光线z
′
上。在薄透镜近似下，在假设光学采集系统的传感器不位于后焦平面的情况下，在光学采集系统的坐标系xyz中计算这两个顶点的坐标如下所示：
[0092][0093]
即：
[0094][0095]
其中p、z
p
、w和zw分别代表光瞳44的p》0的直径、其z坐标、像素的共轭45的0《w《+∞的直径，以及其z坐标(0《zw《+∞)。
[0096]
当后锥体41r是发散锥体时，后锥体41r的顶点的z坐标z
rear
可以是正的，当后锥体
41r是会聚锥体时，后锥体41r的顶点的z坐标z
rear
可以是负的。如果光瞳44和像素光束的像素的共轭45具有相同的尺寸，则它也可以是无限的。
[0097]
如果光学采集系统的传感器位于后焦平面上，则w＝+00且zw＝+∞。由于它们的比率是常数：
[0098][0099]
假设光学采集系统的光学系统是会聚透镜，其中p和f分别表示像素42的p》0的直径以及光学采集系统的光学系统的f》0的焦距。
[0100]
顶点角度由下式给出：
[0101][0102]
考虑每个锥体的顶点，其联合表示像素光束40，光线可以用两个角度参数限定：从像素光束的旋转轴直到顶角测量的极角和方位角([0,2π])。
[0103]
与像素光束相关的那些信息是与给定光学采集系统相关联的元数据。它们可以作为例如存储在随光学采集系统提供的cd-rom或闪存驱动器上的数据文件提供。还可以从属于光学采集系统的制造商的服务器下载包含与像素光束相关的附加信息的数据文件。在本发明的实施例中，与像素光束相关的这些附加信息也可以嵌入由光学采集系统捕获的图像的标题中。
[0104]
与像素光束相关的这些信息的知识使得能够处理由任何光学采集系统捕获的图像，而不依赖于专有文件格式和用于捕获要处理的图像的光学采集系统的特征。
[0105]
与像素光束相关的信息的知识使得能够处理由任何光学采集系统捕获的图像，而不依赖于专有文件格式和用于捕获要处理的图像的光学采集系统的特征。
[0106]
图5是示出根据本公开的实施例的用于生成表示像素光束的数据的装置的示例的示意框图。
[0107]
装置500包括通过总线506连接的处理器501、存储单元502、输入设备503、显示设备504和接口单元505。当然，计算机设备500的组成元素可以通过除总线连接之外的连接来连接。
[0108]
处理器501控制装置500的操作。存储单元502存储至少一个程序，该程序能够生成表示当通过将由处理器501运行的第二光学系统成像这些像素光束时表示第一光学系统的物空间的像素光束的数据，以及各种数据，包括与传感器13上的像素12的位置相关的参数或者与光学采集系统的第一光学系统11和第二光学系统相关的参数、由处理器501执行的计算所使用的参数、由处理器501执行的计算的中间数据等。处理器501可以由任何已知和合适的硬件、或软件、或硬件和软件的组合形成。例如，处理器501可以由诸如处理电路的专用硬件形成，或者由执行存储在其存储器中的程序的诸如cpu(中央处理单元)的可编程处理单元形成。
[0109]
存储单元502可以由能够以计算机可读方式存储程序、数据等的任何合适的存储
或部件形成。存储单元502的示例包括诸如半导体存储器设备的非暂时性计算机可读存储介质，以及加载到读取和写入单元中的磁性、光学或磁光记录介质。如下文参考图6所述，该程序使得处理器501执行根据本公开的实施例的用于计算表示像素光束集合的像素光束的数据的处理。
[0110]
输入设备503可以由键盘、诸如鼠标的指示设备等形成，以供用户用来输入命令，以使用户选择用于生成由光学系统的物空间中的光线组占据的体积的参数表示的参数。输出设备604可以由显示设备形成，以显示根据本公开的实施例生成的图像，例如图像用户界面(gui)。例如，输入设备503和输出设备504可以通过触摸屏面板一体地形成。
[0111]
接口单元505提供装置500和外部装置之间的接口。接口单元505可以经由有线或无线通信与外部设备通信。在实施例中，外部装置可以是光学采集系统，诸如实际的相机。
[0112]
图6是用于说明根据本发明实施例的生成表示像素光束的数据的过程的流程图。
[0113]
装置500的处理器501运行步骤600a，如图7表示的，从通过第二光学系统71的像素光束70的共轭72，计算表示第一光学系统的物空间(图中未示出)像素光束的集合的至少一个像素光束70的数据表示。在以下示例中，像素光束70、72由一张双曲面20表示。
[0114]
因此，处理器501计算通过光学系统71(例如薄透镜)的像素光束70的共轭72，以提供表示光学系统71的聚焦体积中的像素光束70的数据。
[0115]
可以如下所述计算通过光学系统71的像素光束70的共轭72。
[0116]
如参考图1至3所述，与光学系统的光瞳相关的像素光束由6个外部参数限定：
[0117]
·
r：第一光学系统的入射光瞳半径，
[0118]
·
x0、y0、z0：参考坐标系中第一光学系统的入射光瞳中心的坐标，和
[0119]
·
θ
x0
、θ
y0
：参考坐标系中第一光学系统的入射光瞳的方向。
[0120]
在参考坐标系中，为简单起见保持θ
x0
＝θ
y0
＝0，表示像素光束的双曲面的参数方程由下式给出：
[0121][0122]
或等效地：
[0123][0124]
在本发明的实施例中，表示由第一光学采集系统的传感器的像素采集的颜色的值(诸如rgb值)与对应的像素光束70相关联。
[0125]
限定表示第二光学系统71的平面的参数或者在第二光学系统71是虚拟光学系统时被限定，或者在第二光学系统是实际光学系统时被取回：
[0126]
·
第二光学系统71的光学中心的坐标是xc、yc、zc[0127]
·
垂直于光学系统71的表面的单位矢量的坐标是θ
xc
、θ
yc
[0128]
·
光学系统71的焦点f。
[0129]
·
为了简化说明，第二光学系统71的光学中心位于与第一光学系统的光瞳中心相
同的平面中：zc＝z0，并且光学系统71应该与光瞳平行，即θ
xc
＝θ
yc
＝0。
[0130]
点m相对于光学系统71中心c的坐标表示为：x，y，z。点m的通过光学系统71的图像m
′
的坐标表示为：x
′
，y
′
，z
′
。这些坐标中的每一个都是代数值。
[0131]
点m
′
的坐标使用牛顿形式的“透镜制造者公式”(the lens maker formula)计算，即：
[0132]
(|z|-f)(|z
′
|-f)＝f2ꢀꢀꢀ
(10)
[0133]
由于点m位于光学系统71之前，即z《0，并且点m
′
位于光学系统71之后，即z
′
》0，则：
[0134]
(-z-f)(z
′‑
f)＝f2ꢀꢀꢀ
(11)
[0135]
给出
[0136][0137]
当光学系统71是薄透镜时，由于穿过其光学中心的光线没有偏离，因此放大率由下式给出：
[0138][0139]
其给出：
[0140][0141]
以及反过来，
[0142][0143]
当m是属于像素光束70的表面的点时，位于成像像素光束的表面上的点m
′
的坐标是：
[0144][0145]
当近轴透镜将物空间中的光线(直线)转换成像空间中的光线，并且当像素光束70由规则表面表示时，成像像素光束72也由规则表面表示，如物空间中的一张双曲面的图像是像空间中的一张双曲面。
[0146]
让我们根据表示像素光束70的双曲面的参数和光学系统71的参数来确定表示成像像素光束72的双曲面的参数。
[0147]
考虑以下方程：
[0148][0149]
表示像素光束70，其中θ
x
＝θy＝0，x0＝y0＝z0和v＝0，以便减少对轴上的像素光束和对x、z平面的分析。
[0150]
然后要确定的参数是z
′w，α
′
，其是z
p
、α、f、r的函数，其中z
′w是成像像素光束72的束腰的z坐标(由于光束孔径-α≠0，w
′
不是p通过成像过程的共轭点)和α
′
是成像像素光束72的束腰半径。
[0151]
假设θ
x
＝θy＝0，x0＝y0＝z0和v＝0，应用于点m的方程(16)简化为：
[0152][0153]
对m使用方程(14)的近轴透镜变换我们得到：
[0154][0155][0156][0157][0158]
其是表示光学系统71的聚焦体积中的成像像素光束72的方程。
[0159]
导出e方程(20)使得能够通过找到导数的零交换来计算表示像素光束的双曲线的最小值和/或最大值。
[0160]
方程(20)，当进展时给出：
[0161][0162]
方程(21)的导数由下式给出：
[0163][0164][0165]
计算导数(23)的零交换给出：
[0166][0167][0168]
已知则的每一项可以除以因此，如果z
p
＞＞f且则近似可以导出：因为α
′
是成像像素光束72的束腰半径，它也是成像像素光束72的正双曲线的最小值，即它对应于由方程式20限定的对于z
′
＝z
′w的x
′
的值：
[0169]a′
＝x
′
(z
′
w)
ꢀꢀꢀ
(27)
[0170]
这给出：
[0171][0172][0173][0174]
让我们考虑点x，y及其通过光学系统71的共轭x
′
，y
′
。对于通过点x，y和光学系统71中心的光线，光学定律给出：
[0175]
如果光线是在高度x0处撞击光学系统71时的入射光线θ
x
，那么：并且类似地：
[0176]
因此：
[0177]
[0178]
从透镜制造商公式中可知，我们获得：
[0179][0180]
并且同样地：
[0181][0182]
因此，表示成像像素光束72的方程是：
[0183][0184]
其中从像素光束70的参数z
p
、θ
x
、θy、α获得的参数z
′w，θ
′
x
，θ
′y，a
′
表示为：
[0185][0186]
其中，
[0187]
在步骤600中，装置500的处理器501将成像像素光束的集合的成像像素光束72的每个与辐射的值(表示为l(p)2)相关联，该辐射在像素成像的像素光束72中朝向第二光学系统71传播。例如，使用rgb值给出辐射的值。
[0188]
成像像素光束72的集合或者通过如先前步骤600a中所解释的通过计算像素光束70的通过光学系统71的共轭72来获得、或者已经成像的像素光束的集合从外部源被提供到装置500。
[0189]
在步骤601中，在图8中表示的投影表面80限定在第二光学系统71的聚焦体积中。这种投影表面例如等同于虚拟传感器。
[0190]
这种投影表面80例如是矩形形状、并且与第二光学系统71的光轴正交并且以其为中心。它与第二光学系统71的光轴在距第二光学系统71的距离d处交叉。
[0191]
在步骤603中，装置500的处理器501在投影表面80上限定至少一个网格。
[0192]
在本发明的实施例中，在投影表面80上限定的网格是像素网格。
[0193]
在本发明的另一个实施例中，在投影表面80上限定两个网格，如图9所示，像素网格90和包括多个子像素元素的过采样网格91。
[0194]
像素网格的像素在投影表面80上具有两个坐标，并且在两个方向di，dj上具有延
伸，其中i∈[0，i
max
]，j∈[0，j
max
]，并且(x，y，dx，dy)
i，j
＝rect(i，j)和rect(i，j)默认是限定为计算投影表面80上的位置x、y和尺寸dx、dy的矩形区域的函数。
[0195]
对于与可用像素光束信息相比的最佳渲染，dx、dy可以由投影表面80上的像素光束界面之间的最小重叠的一半来限定，其对应于香农(shannon)标准。对于在投影表面80的焦点需要更高分辨率的情况，最小信息样本具有像素光束截面之间的最小重叠的尺寸。统计估计可用于限定dx和dy。
[0196]
过采样网格91的子像素元素比像素网格90的像素小mxn倍，即素比像素网格90的像素小mxn倍，即
[0197]
在步骤602中，在第二光学系统71上限定图8所示的恢复光瞳(restitution pupil)81。
[0198]
恢复光瞳81例如是圆形的，具有半径r
rp
。恢复光瞳81相对于光学系统71的位置由其中心坐标(x
rp
，y
rp
)给出。
[0199]
在步骤603中，处理器501从成像像素光束的集合中选择成像像素光束72的第一组s
rp
。选择的成像像素光束s
rp
是其截面(section)完全位于恢复光瞳81中的成像像素光束。该步骤603是可选的，并且可以不在本发明的某些实施例中运行。
[0200]
在步骤604中，处理器501从成像像素光束的集合中选择成像像素光束72的第二组s
ps
。所选择的成像像素光束s
ps
是截取投影表面80的成像像素光束。该步骤604是可选的，并且可以不在本发明的某些实施例中运行。
[0201]
在本发明的另一个实施例中，从成像像素光束的第一组s
rp
中选择成像像素光束的第二组s
ps
。因此，成像像素光束的第二组s
ps
对应于成像像素光束72，该成像像素光束72具有截面完全位于恢复光瞳81中并且截取投影表面80两者。
[0202]
在步骤605中，清除位于装置500中的两个累积缓冲器v(i
sub
，j
sub
)，w(i
sub
，j
sub
)。
[0203]
在步骤606中，对于属于第二组s
ps
的每个成像像素光束，由处理器501计算截取投影表面80的成像像素光束的截面。这种截面例如是圆形、椭圆形或矩形等。
[0204]
然后，在步骤607中，将与所考虑的成像像素光束相关联的值l(p)累积在投影表面80上限定的网格的每个元素上。因此，例如，与所考虑的成像像素光束相关联的值l(p)被累积在由所考虑的成像像素光束的截面截取的过采样网格91的每个子像素元素上。
[0205]
累积在于在嵌入在装置500中的子像素值寄存器v中对过采样网格91的所考虑的子像素元素的值l(p)进行求和、并且在嵌入装置500中的权重寄存器w中对命中的值进行求和。如果图像对应于平面图像，则命中的值可以是1或0。如果在均匀的“白色”源图像上获得的辐射不均匀，例如由于渐晕，则权重w具有0到1之间的值，其对应于采集均匀的“白色”源图像：
[0206][0207][0208]
对第二组s
ps
的每个像素光束运行步骤606和607。
[0209]
在步骤608中，由处理器501计算与所考虑的截取过采样网格91的成像像素光束的
截面对应的l(p)的值。这种值由下式给出：
[0210]
在步骤609中，由处理器501计算与像素网格90的像素对应的l(p)的值。这种值l(i，j)是通过使用诸如边框缩放的方法、求和二次抽样或通过另一种缩放算法来缩放因子mxn以缩小与属于像素网格90的相同像素的子像素元素相关联的值l(i
sub
，j
sub
)而获得的。
[0211]
该方法能够将已知光学系统的聚焦体积中的单个图像作为投影表面80和光学系统之间的距离d、恢复光瞳81的半径r
rp
和中心坐标(x
rp
，y
rp
)的函数进行计算。
[0212]
计算具有不同d值和恢复光瞳81的半径r
rp
的若干图像提供焦点堆叠。
[0213]
计算具有不同的恢复光瞳81的中心坐标值(x
rp
，y
rp
)的若干焦点堆叠提供矩阵焦点堆叠。
[0214]
根据本发明的不同实施例的方法使得能够混合由不同类型的光场采集系统采集的光场数据，他们可以从有形采集系统或计算机图形图像(cgi)数据中采集，这些数据是针对给定的场景描述由计算机完全或部分模拟。
[0215]
图10表示表示两个光场采集系统(图中未示出)的物空间的两个像素光束的集合100和110。根据参考图6描述的方法，通过共同的光学系统120对两个集合100和110的像素光束的共轭进行成像。因此，获得两个成像像素光束130和140的集合。
[0216]
在本发明的第一实施例中，为了解决意图混合光场数据的光场采集系统的不精确校准和定位，提供表示光学系统120的不同参数组以计算每个像素光束的集合100和110的像素光束的共轭。
[0217]
也就是说，使用表示光学系统120的第一组参数计算第一像素光束集合100的像素光束的共轭，并且使用表示光学系统120的第一组参数计算第二像素光束集合110的像素光束的共轭。
[0218]
光学系统120的参数被限定在其中限定了给定像素光束集合的像素光束的物空间中。光学系统120由以下限定：
[0219]-其光学中心xc、yc、zc的位置，
[0220]-单位矢量θ
xc
、θ
yc
，
[0221]-它的焦距f。
[0222]
为每个像素光束集合100、110调整这些参数允许定位和缩放这些相应集合的像素光束的共轭。它还使得能够在根据参考图6描述的方法的图像的生成和混合操作之前，相对于彼此调整两个成像像素光束130和140的集合。
[0223]
在本发明的第二实施例中，在计算通过光学系统120的像素光束的共轭时，考虑光场采集系统的固有参数和光场采集系统的外部参数。
[0224]
光场采集系统的固有参数将传感器像素的坐标系与到光场采集系统的坐标系相关联。这些固有参数例如是限定光学系统120的光瞳前方的像素共轭的位置和尺寸的z
p
、θ
x
、θy、α，以及限定光瞳的位置、取向和半径的6个光瞳参数x0、y0、z0，θ
x0
、θ
y0
。当由一张双曲面表示时，这6个光瞳参数对于像素光束的集合是共同的。
[0225]
光场采集系统的外部参数将光场采集系统的坐标系统与世界坐标系相关联，并限定光场采集系统的位置和取向。
[0226]
对于每个光场采集系统ci，函数将世界坐标系中的点pw变换为光场采集系统的坐
标系中的它的图像这种函数例如是平移和旋转的组合。在这种情况下：其中和是两者都与光场采集系统ci相关联的旋转矩阵和平移矢量。在本发明的一些实施例中，光场采集系统的坐标系和世界坐标系是相同的。在这种情况下，旋转矩阵是单位矩阵i，并且平移向量是零向量。
[0227]
图11表示本发明第二实施例的流程图。
[0228]
在步骤1110中，使用用于采集第一像素光束集合100的光场采集系统的固有参数组来计算第一像素光束集合100的像素光束的第一调整。该步骤1110的结果是第一调整的像素光束集合。
[0229]
在步骤1120中，使用用于采集第一像素光束100的集合的光场采集系统的外部参数组来计算第一调整的像素光束集合的第二调整。该步骤1120的结果是第二调整的像素光束集合。
[0230]
在步骤1130中，根据参考图6描述的方法计算第二调整的集合的像素光束的共轭。该步骤1130的结果是第一成像的像素光束集合。
[0231]
在步骤1140中，使用用于采集第一像素光束集合110的光场采集系统的固有参数组来计算第一像素光束集合110的像素光束的第一调整。该步骤1140的结果是第四调整的像素光束集合。
[0232]
在步骤1150中，使用用于采集第一像素光束集合110的光场采集系统的外部参数在来计算第四调整的像素光束集合的第二调整。该步骤1150的结果是第五调整的像素光束集合。
[0233]
在步骤1160中，根据参考图6描述的方法计算第五调整的集合的像素光束的共轭。该步骤1150的结果是第二成像的像素光束集合。
[0234]
在步骤1170中，将第一成像的像素光束集合和第二成像的像素光束集合混合成单个图像。
[0235]
在步骤1120和1150期间，可以在使用外部参数执行第二调整的同时执行一些创意编辑。在混合步骤1170期间也可能是这种情况。
[0236]
这种方法能够在光场水平上执行特殊的视觉效果。
[0237]
尽管上文已经参考具体实施例描述了本发明，但是本发明不限于该具体实施例，并且对于本领域技术人员来说，在本发明的范围内，修改是显而易见的。
[0238]
在参考前述说明性实施例时，许多进一步的修改和变化将向本领域技术人员建议其本身，这些说明性实施例仅作为示例给出并且不旨在限制本发明的范围，其仅由所附权利要求的范围确定。特别地，在适当的情况下，可以互换来自不同实施例的不同特征。