用于校准光学采集系统的装置和方法与流程

本发明涉及表示光场的数据的生成。

背景技术

由anatlevin等人在eccv2008的会议论文集中发表的文章“understandingcameratrade-offsthroughabayesiananalysisoflightfieldprojections”中解释可以被视为四维光场的采样(即光线的记录)的四维或4d光场数据的采集，是热门研究课题。

与从相机获得的典型二维或2d图像相比，4d光场数据使得用户能够访问更多的增强图像的呈现和与用户的交互性的后处理特征。例如，对于4d光场数据，能够使用自由选择的聚焦距离执行图像的重新聚焦，这意味着焦平面的位置可以被后验地指定/选择，以及稍微改变图像的场景中的视点。为了获取4d光场数据，可以使用若干技术。例如，全光照相机能够获取4d光场数据。图1a中提供全光相机的架构的细节。图1a是示意性表示全光相机100的图。全光相机100包括主透镜101，包括布置成二维阵列的多个微透镜103的微透镜阵列102和图像传感器104。

获取4d光场数据的另一方式是使用图1b中描绘的相机阵列。图1b表示多阵列相机110。多阵列相机110包括透镜阵列112和图像传感器114。

在如图1a所示的全光相机100的示例中，主透镜101接收来自主透镜101的物场中的物体(图中未示出)的光，并使光通过主透镜101的图像场。

最后，获取4d光场的另一方式是使用配置成在不同焦平面上捕捉同一场景的2d图像序列的传统相机。例如，j.-h.park等人发表于opticsexpress，卷22，第21号，2014年10月的文献“lightrayfieldcaptureusingfocalplanesweepinganditsopticalreconstructionusing3ddisplays”中描述的技术，可以用于实现借助传统相机获取4d光场数据。

存在表示4d光场数据的若干方式。事实上，在renng在2006年7月发表的题为“digitallightfieldphotography”的博士学位论文的3.3章中，描述表示4d光场数据的三种不同方式。首先，当由全光照相机通过采集微透镜图像记录时，可以表示4d光场数据。该表示中的4d光场数据被命名为原始图像或原始4d光场数据。其次，当由全光相机或相机阵列通过一组子孔径图像记录时，可以表示4d光场数据。子孔径图像对应于来自视点的场景的捕获图像，该视点在两个子孔径图像之间略微不同。这些子孔径图像给出关于成像场景的视差和深度的信息。第三，可以通过一组核线图像表示4d光场数据，例如参见s.wanner等人发表在isvc2011的会议论文集中的标题为“generatingepirepresentationofa4dlightfieldswithasinglelensfocusedplenopticcamera”的文章。

市场上存在若干类型的全光设备和相机阵列，并且所有这些光场采集设备都有其专有的文件格式。因此，由于没有支持多维信息的采集和传输的标准，所以看起来光场技术除了常规2d或3d成像之外不能存在。考虑到前述内容，设计本发明。

技术实现要素：

根据本发明的第一方面，提供了用于校准光学采集系统的装置，所述装置包括处理器，处理器被配置为：

-在光学采集系统的图像空间中计算各参数，所述各参数定义

·第一光线，其穿过所述光学采集系统的传感器的像素的中心和所述光学采集的光瞳的中心，以及

·第二光线，其穿过两个点，所述两个点属于由穿过所述光学采集系统的光瞳和所述光学采集系统的传感器的像素的一组光线占据的一体积的表面，所述第二光线的第一点属于光学采集系统的传感器平面并且所述第二光线的第二点属于光瞳平面，

-计算光学采集系统的物体空间中的第一光线和第二光线的共轭的参数，通过围绕第一光线的共轭旋转，第二光线的共轭集合生成由穿过所述光学采集系统的光瞳和所述像素的共轭的一组光线占据的一体积的表面，所述一组光线占据的所述体积被称为像素束。

根据本发明的一个实施例，定义射线的参数包括：射线通过的点的坐标和在包括三个坐标轴的坐标系中定义所述射线的方向矢量的一组方向余弦。

根据本发明的一个实施例，定义第一射线的参数是像素的中心的坐标(xp，yp，zp)和该组方向余弦：

其中

坐标系的原点是光瞳的中心。

根据本发明的一个实施例，定义第二射线的参数是位于传感器平面中并且属于以像素为中心的半径为a的圆的第一点的坐标和该组方向余弦：

其中

坐标系的原点是光瞳的中心。

根据本发明的一个实施例，处理器被配置为计算光学采集系统的物体空间中的第一光线和第二光线的共轭的参数，在于基于在图像空间中定义第一射线和第二射线的参数并且基于光学设计参数在物体空间中跟踪所述第一射线和所述第二射线。

本发明的另一目的关注一种用于校准光学采集系统的方法，包括：

-在光学采集系统的图像空间中计算参数，所述参数定义

·第一光线，其穿过所述光学采集系统的传感器的像素的中心和所述光学采集的光瞳的中心，以及

·第二光线，其穿过两个点，所述两个点属于由穿过所述光学采集系统的光瞳和所述光学采集系统的传感器的像素的一组光线占据的一体积的表面，所述第二光线的第一点属于光学采集系统的传感器平面并且所述第二光线的第二点属于光瞳平面，

-计算光学采集系统的物体空间中的第一光线和第二光线的共轭的参数，通过围绕第一光线的共轭旋转，第二光线的共轭集合生成由穿过所述光学采集系统的光瞳和所述像素的共轭的一组光线占据的体积的表面，所述一组光线占据的所述体积被称为像素束。

根据本发明的一个实施例，定义射线的参数包括射线通过的点的坐标和在包括三个坐标轴的坐标系中定义所述射线的方向矢量的一组方向余弦。

根据本发明的一个实施例，定义第一射线的参数是像素的中心的坐标(xp，yp，zp)和该组方向余弦：

其中

坐标系的原点是光瞳的中心。

根据本发明的一个实施例，定义第二射线的参数是位于传感器平面中并且属于以像素为中心的半径为a的圆的第一点的坐标和该组方向余弦：

其中

坐标系的原点是光瞳的中心。

根据本发明的一个实施例，计算光学采集系统的物体空间中的第一光线和第二光线的共轭的参数在于基于在图像空间中定义第一射线和第二射线的参数并且基于光学系统的设计参数跟踪物体空间中的所述第一射线和所述第二射线。

本发明的另一目的是一种光场成像设备，包括：

-以规则格点结构排列的微透镜阵列；

-光电传感器，被配置为捕获从微透镜阵列投射在光电传感器上的光，光电传感器包括多组像素，每组像素与微透镜阵列中的相应微透镜光学相关联；以及

-用于根据本发明校准所述光场成像设备的设备。

本发明的另一目的是一种包括光学采集系统的校准数据的数字文件，所述校准数据包括：

-在光学采集系统的物体空间中的第一光线的共轭的参数，所述第一光线穿过所述光学采集系统的传感器的像素的中心和所述光学采集的光瞳的中心，

-在光学采集系统的物体空间中的第二光线的共轭的参数，所述第二光线包括属于光学采集系统的传感器平面的所述第二光线的第一点和属于光瞳平面的所述第二光线的第二点，

通过围绕第一光线的共轭进行旋转，第二光线的共轭集合生成由穿过所述光学采集系统的光瞳和所述像素的共轭的一组光线占据的体积的表面，所述一组光线占据的所述体积被称为像素束。

由本发明的要素实现的一些处理可以由计算机实现。因此，这样的要素可以采取完全硬件实施例、完全软件实施例(包括固件、驻留软件、微代码等)或组合软件和硬件方面的实施例的形式，其可以在本文中全部一般称为“电路”、“模块”或“系统”。此外，这样的要素可以采取体现在具有在介质中体现的计算机可用程序代码的任何有形的表达介质中的计算机程序产品的形式。

因为本发明的要素可以以软件来实现，所以本发明可以体现为用于在任何合适的载体介质上提供给可编程装置的计算机可读代码。有形载体介质可以包括诸如软盘、cd-rom、硬盘驱动器、磁带设备或固态存储器设备等的贮存介质。瞬态载体介质可以包括诸如电信号、电子信号、光信号、声信号、磁信号或电磁信号(例如，微波或rf信号)之类的信号。

附图说明

现在将仅以举例的方式并参考以下附图来描述本发明的实施例，在附图中：

图1a是示意性表示全光相机的示图；

图1b表示多阵列相机，

图2表示由光学采集系统或相机的光学系统的物体空间中的一组光线占据的体积，

图3表示单页双曲面，

图4表示单页双曲面的另一视图，

图5是图示根据本公开的实施例的用于校准光学采集系统的装置的示例的示意框图，

图6是用于解释根据本发明的实施例的用于校准光学采集系统的处理的流程图，

图7表示根据本发明的实施例的定义像素束的主射线和生成射线，

图8表示根据本发明的实施例的定义像素束的生成射线，

图9表示高斯束的几何形状。

具体实施方式

如本领域技术人员将认识，本原理的各方面可以体现为系统，方法或计算机可读介质。因此，本原理的方面可以采取完全硬件实施例、完全软件实施例(包括固件、驻留软件、微代码等)或组合软件和硬件方面的实施例的形式，其一般可以在本文称为“电路”、“模块”或“系统”。此外，本原理的各方面可以采取计算机可读贮存介质的形式。可以利用一个或多个计算机可读存储介质的任何组合。

对于任何光学采集系统，除了由光学采集系统捕获的原始图像或表示4d光场数据的核线图像(epipolarimage)之外，其可以是全光学的或者不是全光学的，感兴趣的是获得与所述光学采集系统的传感器的像素和所述光学采集系统的物体空间之间的对应关系有关的信息。知道属于所述光学采集系统的传感器的像素正在感测光学采集系统的物体空间的哪个部分能够改进诸如解复用、去马赛克、重新聚焦等之类的信号处理操作，并且混合由具有不同特性的不同光学系统捕获的图像。此外，与光学采集系统的传感器的像素和所述光学采集系统的物体空间之间的对应关系有关的信息独立于光学采集系统。

本公开引入图2所示的像素束10的概念，其表示由光学采集系统(图2中未示出)或相机的光学系统11的物体空间中的一组光线占据的体积(volume)。该组光线通过所述光学系统21的光瞳24被相机的传感器23的像素22感测。光学系统21可以是适合于照相机或摄像机的透镜的组合。光学系统的入瞳被定义为通过所述光学系统的限定透镜(即，在所述孔径光阑之前的光学采集系统的透镜)看到的孔径光阑的图像。孔径光阑是限制通过光学采集系统的光学系统的光量的开口。

例如，位于相机透镜前部附近的可调节光圈是透镜的孔径光阑。被允许通过光圈的光量由光圈开口的直径控制，光圈开口的直径可以根据相机的用户希望允许的光量适配。例如，使孔径更小减少了被允许通过光圈的光量，但增加聚焦深度。由于透镜的折射作用，光阑的有效尺寸可以大于或小于其物理尺寸。形式上，光瞳是通过光学采集系统的光学系统的在前透镜的孔径光阑的图像。

像素束10被定义为当经由入射光瞳24传播通过光学系统21时到达给定像素22的光线束。当光在自由空间中以直线行进时，这样的像素束20的形状可以由两个部分定义，一个是像素22的共轭25，并且另一个是入射光瞳24。像素22由其非零表面及其灵敏度图定义。

因此，如图3所示，像素束30可以由通过两个要素支撑的单叶双曲面表示：物体空间中的光瞳34和像素22的共轭35。

单叶双曲面是直纹面(ruledsurface)，其可以支持光线束的概念并且与物理光束的“光学扩展量(étendue)”的概念(即横越物理光束的部分的能量守恒)相一致。

单叶双曲面对应于高斯束的几何形状。事实上，在光学中，高斯束是一束单色的电磁辐射，其横向磁场和电场幅度轮廓由高斯函数给出；这也暗示高斯强度轮廓。该基本的横向高斯模式描述了大多数激光器的原本的输出，因为这样的光束可以聚焦到最集中的光斑上。

下面的等式假设的所有值处具有圆形横截面的束，这可以通过注意到单个横向尺寸r出现来看出。

在沿束的位置处(从焦点测量)，光斑尺寸参数w由下式给出

其中w0是腰部大小。

如图9表示，在距腰部的距离等于zr处，束的宽度w等于

虽然高斯函数的尾部实际决不达到零。这意味着远离腰部，束“边缘”是锥形。沿着该锥(其r＝w(z))的线和束的中心轴(r＝0)之间的角度被称为束的发散角。

然后，远离腰部的束的总角展度由θ＝2θ给出。

如图4表示，除了其最小部分的基本区域(称为腰部45)，对应于物体空间中的像素22之外，单叶双曲面40与其渐近锥41、42几乎相同。对于诸如光场相机之类的全光系统，这是执行多路光线的空间采样的区域。在这个区域中利用锥的采样空间是不够的，因为像素22灵敏度在其表面上的几十平方微米上是显著的，并且不能由具有无限小表面的数学点(将是锥尖端)表示。

图5是图示根据本公开的实施例的用于校准光学采集系统的装置的示例的示意图。

装置500包括通过总线506连接的处理器501、贮存单元502、输入设备503、显示设备504和接口单元505。当然，计算机装置500的组成元件可以通过与总线连接不同的连接来连接。

处理器501控制装置500的操作。贮存单元502存储由处理器501执行的能够校准光学采集系统的至少一个程序以及各种数据，包括与定义光学采集系统的像素束10、20、30、40的光线相关的参数或与光学采集系统的光学系统21相关的参数、由处理器501执行的计算使用的参数、由处理器501执行的计算的中间数据等。处理器501可以由任何已知和合适的硬件或软件或硬件和软件的组合形成。例如，处理器501可以由诸如处理电路的专用硬件形成，或者由诸如执行存储在其存储器中的程序的cpu(中央处理单元)之类的可编程处理单元形成。

贮存单元502可以由能够以计算机可读方式存储程序、数据等的任何合适的贮存器或构件形成。贮存单元502的示例包括加载到读取和写入单元中的诸如半导体存储设备、磁、光或磁光记录介质之类的非暂时计算机可读存储介质。程序使处理器501执行根据本公开的实施例的用于校准光学采集系统的处理，如下文参考图6描述。

输入设备503可以由键盘、诸如鼠标之类的指点设备等形成，用于由用户使用以输入命令，以使得用户选择用于生成由光学系统的物体空间的一组光线占据的体积的参数表示的参数。输出设备504可以由显示设备形成以例如显示图形用户界面(gui)，或者包括由处理器501在根据本公开的实施例的光学采集系统的校准期间计算出的不同像素束的参数的文件。例如，输入设备503和输出设备504可以由触摸屏面板整体形成。

接口单元505提供装置500和外部装置之间的接口。接口单元505可以通过有线或无线通信与外部装置通信。在一个实施例中，外部装置可以是光学采集系统。

图6是用于解释根据本发明的实施例的用于校准光学采集系统的处理的流程图。

这样的校准方法使得能够获得用于定义与光学采集系统的传感器23的像素相关联的不同像素束的参数。

像素束10、20、30、40被表示为单叶双曲面。包含三个坐标轴x、y、z的坐标系的轴z的单叶双曲面的一般方程是：

其中zp是像素束的腰部35在z轴上的位置，a、a和c分别是双曲面沿x,y和z轴的半轴的长度，并且与半轴分别沿ox、oy、oz的长度类似，其中a表示腰部沿着ox的半径；b表示腰部沿着oy的半径并且c定义像素束的角度孔径。在本发明的一些实施例中，a和b具有相同的值，在这些情况下，腰部具有圆形形状。坐标系的原点是坐标为(0，0，0)的光瞳的中心。

如图7表示，在光学采集系统的图像空间中，即位于光学采集系统的传感器23和光学系统21之间的空间的部分，像素束由两条射线(主射线70和生成射线71)表示。主射线70是穿过其坐标系(x，y，z)中坐标是(xp，yp，zp)的像素72的中心和其坐标是(0，0，0)的光瞳73的中心的直线。

作为直纹面，通过生成射线71可以生成双曲面。生成射线是描述双曲面的表面的直线。生成射线71是通过属于双曲面的表面的两个点的直线，第一个点属于光学采集系统的传感器23的平面和双曲面的表面，并且第二个点属于光瞳73的平面和双曲面的表面。双曲面的主射线和描述其表面的生成射线不相互平行，并且决不相互截取。

直线可以由六个参数定义：直线通过其的点的三个坐标(x，y，z)和定义坐标系的所述直线的方向矢量的三个方向余弦(l，m，n)。

在步骤601中，处理器501计算定义光学采集系统的图像空间中的主射线70的参数。

其主射线沿方向(θx，θy)定向的双曲面由以下方程定义：

其中tx＝tanθx并且ty＝tanθy。

在该情况下，主射线70由以下定义：

其中(xp，yp，zp)是坐标系中像素22的中心的坐标。

因此，定义主射线的方向矢量的方向余弦是：

其中

坐标系的原点是光瞳的中心。

因此，在步骤602中，处理器501基于方程(4)计算像素22的中心的坐标的值和定义与像素22相关联的像素光束的主射线的方向余弦的值，以及光学采集系统的光学系统21的参数，诸如定义像素束的光瞳和像素22之间的距离。

在步骤602期间计算的定义像素束的主射线的参数被存储在装置500的贮存单元502中。

在步骤603中，处理器501计算主射线70的剪切的校正。主射线的未剪切在于写入：(5)：

x′＝x-z.tx和y′＝y-z.ty，并且x′p＝xp-z.tx和y′p＝yp-z.tx

在步骤604中，处理器计算定义光学采集系统的图像空间中的生成射线71的参数。

让我们考虑下面的方程：

其中

其中r是光瞳的半径。

参考图8，让我们考虑平行于平面yoz的直线g。直线g通过其坐标系中坐标是(a，0，zp)的点g。

因此，直线g由两个点定义：其坐标是(a，0，zp)的g和其坐标是的i。

定义直线g的矢量的坐标是：

因此，矢量的方向余弦是：

当像素平面偏移(+x′p，+y′p)＝(zp.tx，zp.ty)时，直线g通过其坐标是(x′pp+a，y′p，zp)的点g和其坐标是的点i。

定义直线g的矢量的坐标是：

因此，矢量的方向余弦为：

其中

生成射线71由点g的坐标(x′p+a,y′p,zp)和方向余弦定义：

以及

其中

因此，在步骤605中，处理器501基于方程(6)计算定义与像素22相关联的像素束的生成射线71的点g的坐标值和方向余弦值，以及光学采集系统的光学系统21的参数，诸如定义像素束的光瞳和像素22之间的距离。

在步骤605期间计算的定义像素束的生成射线的参数被存储在装置500的贮存单元502中。

在步骤606中，知道表示图像空间中的主射线70和生成射线71的参数，处理器501计算物体空间中所述参数的值，从而获得像素束的参数。

该计算例如利用装置500的处理器501运行能够建模通过光学系统11的光线传播的程序来实现。这样的程序例如是光学设计程序，诸如或code之类。光学设计程序用于设计和分析光学系统11。光学设计程序对光线通过光学系统11的传播进行建模；并且可以建模诸如简单透镜、非球面透镜、梯度折射率透镜、镜以及衍射光学元件等之类的光学元件的效果。商业透镜库被存储在装置500的贮存单元502中，并且可以当执行光学设计程序时其对于处理器501可访问。

虽然本文以上参照特定实施例描述本发明，但是本发明不限于特定实施例，并且对于本领域技术人员来说，落入本发明范围内的修改将是显而易见的。

在参考前面的说明性实施例时，许多进一步的修改和变化对于本领域技术人员将是暗示的，其仅以示例的方式给出，并且不旨在限制本发明的范围，本发明的范围仅由所附权利要求确定。具体地，来自不同实施例的不同特征可以在适当的情况下互换。