使用光场相机的三维重建方法与流程

本发明涉及用于获取三维场景的光场相机领域。

本发明更具体地涉及使用这种相机的三维重建方法领域。

对关注表面的三维重建包括提供对该表面的点的三维坐标的估计。

背景技术：

光场相机是使用单个光敏传感器以获得高紧凑度的三维视觉系统。

专利申请fr-1558338描述了这种相机的特定示例。

光场相机被配置为获取二维图像，在该二维图像中，几个像素与物空间的同一点相关。

图1a至图1c示意性地示出了根据现有技术的三维重建方法和光场相机100。

光场相机100包括入射光学系统110，其被配置为接收来自待成像物体或关注表面200的光线。

入射光学系统110可以由单个透镜构成。

作为变体，入射光学系统110可以由根据从关注表面200朝向入射光学系统的光的传播轴位于彼此后面的一组透镜构成。

入射光学系统110实现物平面π和接收光学元件矩阵120的图像平面π′之间的光学共轭。

光学元件121例如是在图像平面π′中以共面方式分布的微透镜或针孔。

微透镜121可均具有非圆形横截面，例如，以减小相邻微透镜之间的距离。这些微透镜可以是平凸、双凸、非球面微透镜等。

每个光学元件121接收源自关注表面200并且已经穿过入射光学系统110的光线。

在穿过光学元件121之后，光线传播到矩阵光学传感器130。

矩阵光学传感器130是光敏传感器，例如，传感器ccd类型的光敏传感器，其被配置为将光子的入射流转换为电信号，以形成图像。

矩阵光学传感器130的检测表面由优选地以行和列设置的多个像素构成。

矩阵光学传感器130位于矩阵120附近，例如，在光学元件121的后表面后面0.4mm到0.6mm之间(根据入射光学系统的光轴测量的距离)。

光学元件的矩阵120被配置为在矩阵光学传感器130的像素上分布源自关注表面并已穿过入射光学系统的光线。

对矩阵光学传感器的像素的选择对应于每个光学元件121。源自关注表面200的光线根据其在光学元件121上的入射角引向这些像素中的一个。

对与同一光学元件相关联的所述像素选择形成宏像素131。

优选地，不同的宏像素之间没有重叠。特别是通过适当选择入射光学系统110和光学元件121的焦距来避免这种重叠。

以这种方式，源自关注表面200上的同一点的光线传播通过入射光学系统110和光学元件120的矩阵，直到矩阵光学传感器130的不同像素。

图1a示出了源自位于物平面π中的关注表面200的点2001的光线的略图。该点的图像位于光学元件121的光学中心上的图像平面π′中。根据其在光学元件121上的入射角，光线传播到对应的宏像素131中的一个或另一个像素。

矩阵光学传感器130的与该点2001相关联的所有像素都属于该同一宏像素131。

图1b示出了源自位于物平面π外部的关注表面200的点2002的光线的略图，该点位于该平面下游的距离d1处。该点的图像位于图像平面π′之外。光线从点2002穿过不同光学元件121的光学中心朝向该点的图像传播。

矩阵光学传感器130的与该点2002相关联的所有像素属于不同的宏像素131，并且分散在宽度l1的表面上。

图1c示出了源自位于物平面π外部的关注表面200的点2003的光线的略图，该点位于该平面下游的大于d1的距离d2处。该点的图像位于图像平面π′之外。光线从点2003穿过不同光学元件121的光学中心朝向该点的图像传播。

矩阵光学传感器130的与该点2003相关联的所有像素属于不同的宏像素131，并且分散在大于l1的宽度l2的表面上。

以这种方式，矩阵光学传感器的与关注表面的同一点相关联的像素的空间偏差与该点与物平面π之间的距离相关联。

该距离对应于该点的深度坐标。

从现有技术中已知利用深度坐标和矩阵光学传感器的像素上的偏差之间的这种相关性的不同的三维重建方法。

这涉及到极线图像的重建。

这是关于从光场相机获取的图像中精确地重组图像的像素的分布，这些像素与相同行的光学元件121相关联并且与传感器的相关联行的宏像素131相关联。

图像的一系列像素列尤其可以由图像的与每行宏像素131相关联的像素形成。图像的每列像素对应于传感器的宏像素，其中，根据其在宏像素上的位置设置像素。

当对位于物平面中的点进行成像时(图1a)，图像的与该点相关联的像素属于同一列像素。

当位于物平面外部的点进行成像时(图1b或1c)，图像的与该点相关联的像素属于相邻列的像素并共同形成倾斜的段。段的倾斜度产生点在光场相机的物场中的深度坐标。

在svenwanner、janisgehr以及bernd的文章“generatingepirepresentationsof4dlightfieldswithasinglelensfocusedplenopticcamera”，isvc2011，第i部分，lncs6938，第90-101页中描述了这种方法的一个示例。

该方法的缺点在于，由宏像素131和光学元件121形成仅一个段。因此，光学元件121仅获得单个深度坐标。因此，三维重建的分辨率相当低。

本发明的目的是提出一种使用光场相机获取的图像的三维重建方法，提供比光学元件矩阵的分辨率更好的分辨率。

技术实现要素：

通过使用光场相机来对关注表面进行三维重建方法来实现该目的，该光场相机包括入射光学系统、包括多个像素的矩阵光学传感器以及设置在入射光学系统和矩阵光学传感器之间的光学元件矩阵。

根据本发明的方法包括以下步骤：

确定光场相机的物场中的一系列点(即，所谓的采样点)的三维坐标；

确定校准数据，该校准数据将每个采样点与矩阵光学传感器的至少两个像素的集相关联；

定义三维网格，即，所谓的重建网格，该三维网格在光场相机的物场中延伸，并且每个点与一个或多个采样点相关联；

通过光场相机获取关注表面的至少一个图像；

根据校准数据和关注表面的图像，对于重建网格的每个点，计算作为一个或多个偏差的函数的相异指数的值，每个偏差是在关注表面的图像上由与和重建网格的所述点相关联的采样点(pj)相关联的或者与和重建网格的所述点相关联的采样点中的一个采样点相关联的像素所取的强度值之间的偏差；

确定重建网格的点的三维分布，每个点分配有其相异指数的值；

三维重建关注表面。

这涉及采样点，因为这些采样点在光场相机的整个物场的点的空间中进行采样。

重建网格的每个点与一个或多个采样点相关联。

术语“重建网格”表示在空间中分布的点云。

这可以是非规则网格，其中，非规则网格的点例如由采样点本身构成。

作为变体，这可以是规则网格，这些点根据由基本体积像素定义的规则网格分布在空间中。重建网格的每个点与一个或多个相邻采样点相关联，即，空间中最接近的一个或多个采样点。

在任何情况下，重建网格的点的数量大于或等于采样点的数量。

每个偏差涉及一个采样点。

特别地，这是由在所获取的图像上的与该采样点相关联的像素所取的强度值的偏差。

偏差表示一系列项相对于彼此或相对于所选中心值或平均值的或多或少的实质性距离。

两个强度值之间的偏差指定例如这两个强度值之间的差或偏差或者当该差异或偏差增加时其值上升的函数。

三个或更多强度值之间的偏差表示例如这三个或更多强度值之间的标准偏差或者当该标准偏差增加时其值上升的函数。作为变体，标准偏差可以由每个强度值与所述三个或更多强度值的平均值之间的差异的绝对值的任何其他函数代替。

以这种方式，强度值的偏差可以指定例如两个值之间的偏差或三个值或更多值之间的标准偏差。

低偏差对应于像素接收源自关注表面的同一点的光线的高概率，因此低偏差对应于采样点属于关注表面。

高偏差对应于像素接收源自关注表面的同一点的光线的低概率，因此高偏差对应于采样点属于关注表面。

根据重建网格的点是否与一个或多个采样点相关联，与重建网格的点相关联的相异指数的值是这种偏差的函数或这种偏差的组合。

可以识别具有属于关注表面的更大概率或更低概率的重建网格的点。

因此，重建的分辨率取决于重建网格的点数，并且不受光学元件矩阵的光学元件的数量的限制。

这容易产生三维重建方法，提供比光学元件矩阵的分辨率更好的分辨率。

特别地，该分辨率可以是光学元件矩阵的分辨率的至少50倍。

每个采样点位于光场相机的物场中并且与矩阵光学传感器的至少两个像素相关联。换言之，这是位于光场相机的物场中的在两条光线之间的交点，这两条光线然后通过入射系统和光学元件传播，每个光线到达矩阵光学传感器的像素。

采样点在光场相机的物场中、物平面的下游、和/或物平面的上游、和/或物平面中延伸。换言之，根据本发明的方法执行对关注表面的三维重建，该关注表面可以从物平面下游和/或物平面上游和/或在物平面中延伸。

根据本发明的第一实施例，所述重建网格的点由所述采样点构成，并且所述重建网格的点的相异指数是在关注表面的图像上由与相应的采样点相关联的像素所取的强度值之间的偏差的函数。

作为变体，所述重建网格是规则网格，并且对于所述重建网格的每个点，所述相异指数的值的计算步骤包括：

对于重建网格的位于与采样点相距的距离大于预定阈值的所有点，归因相异指数的相同值，即，所谓的极值；并且

对于重建网格的其他点中的每个其他点，为与重建网格的该点相关联的每个采样点，计算在关注表面的图像上由与所述采样点相关联的像素所取的强度值之间的偏差以及计算得到的几个偏差的组合，以获得相异指数。

优选地，三维重建执行对位于所述光场相机的物场中的、穿过与相异指数的值的最小累积值相关联的重建网格的一系列点的表面的搜索。

三维重建可以执行最小切割算法。

作为变体，考虑到光学元件矩阵的光学元件的子集，三维重建可以执行动态编程算法。

确定采样点的三维坐标和确定校准数据的步骤有利地包括以下子步骤：

对于光学元件矩阵的光学元件中的每一对光学元件以及与该光学元件相关联的矩阵光学传感器的像素，确定连接光学元件的光学中心和像素的中心的图像光线；

为以这种方式确定的每个图像光线，计算通过入射光学系统与图像光线共轭相应的物体光线；

确定位于光场相机的物场中的至少两个物体光线之间的所有交点，这些交点形成采样点；并且

通过为每个采样点识别至少两个对应的物体光线，来确定校准数据，这些物体光线本身与矩阵光学传感器的至少两个像素和至少两个图像光线相关联。

另外或作为变体，确定采样点的三维坐标和确定校准数据的步骤有利地包括以下子步骤：

在光场相机的物场中移动光点；

对于光点的每个位置，确定矩阵光学传感器上是否存在至少两个照明像素，以识别采样点；并且

对于以这种方式识别的每个采样点，识别至少两个照明像素，以确定矩阵光学传感器的至少两个像素的对应集。

可以通过光场相机进行关注表面的图像的获取步骤，其中：

光学元件矩阵的光学元件的光学中心根据分布网格分布在该分布网格的第一系列直线和第二系列直线之间的交点处；并且

分布网格的第一系列线中的线以不规则的间隔分布和/或分布网格的第二系列线中的线以不规则的间隔分布。

特别地，可以通过光场相机进行关注表面的图像的获取步骤，其中，在分布网格的第一系列线的两条直接相邻线之间的距离在第一平均值的95％和105％之间，和/或在分布网格的第二系列线的两条直接相邻线之间的距离在第二平均值的95％和105％之间，该第二平均值可以等于第一平均值。

另外或作为变体，可以通过光场相机进行关注表面的图像的获取步骤，其中，在分布网格的第一系列线的两条直接相邻线之间的距离随机分布，和/或在分布网格的第二系列线的两条直接相邻线之间的距离随机分布。

可以通过光场相机进行关注表面的图像的获取步骤，其中：

光学元件矩阵的光学元件的光学中心根据分布网格分布在该分布网格的第一系列线和第二系列线之间的交点处；

物体网格由彼此平行的第一系列直线和彼此平行并与第一系列线的线正切的第二系列直线构成，该物体网格的分布网格是通过入射光学系统的图像；并且

所述分布网格的第一和第二系列线中的线包括多条曲线。

根据有利实施例，通过光场相机进行关注表面的图像的获取步骤，其中，所述物体网格的第一系列线中的线以不规则的间隔分布，和/或物体网格的第二系列线中的线以不规则的间隔分布。

根据本发明的方法可以包括通过光场相机获取关注表面的几个图像，这几个图像与关注表面的多个照明条件相关联，并且通过组合与同一采样点相关联的偏差和与几个照明条件中的每一个照明条件相关联的偏差，来获得与重建网格的每个点相关联的相异指数。

本发明还涉及一种三维重建装置，其包括光场相机并且被配置为执行根据本发明的方法的步骤，包括：

存储器，用于存储校准数据；以及

计算装置，其被配置为确定采样点的三维坐标以及校准数据，并且在输入处接收由光场相机获取的图像和校准数据，计算重建网格的每个点的相异指数的值，确定重建网格的均分配有其相异指数的值的点的三维分布，并在输出处提供对关注表面的三维重建。

附图说明

通过参考附图，纯粹通过指示给出的和非限制性的实施例的描述，将更清楚地理解本发明，其中：

图1a至1c示意性地示出了光场相机；

图2示意性地示出了根据本发明的采样点；

图3示出了根据本发明的采样点的详细视图；

图4示意性地示出了根据本发明的方法的步骤；

图5a和5b分别示出了在根据本发明的方法中使用的光学元件矩阵的第一实施例以及采样点在光场相机的物场中的相应分布；

图6a和6b分别示出了在根据本发明的方法中使用的光学元件矩阵的第二实施例以及采样点在光场相机的物场中的相应分布；

图7a和7b示出了在根据本发明的方法中使用的光学元件矩阵的第三实施例；以及

图8示出了在根据本发明的方法中使用的光学元件矩阵的第四实施例。

具体实施方式

本发明的基本思想包括致力于矩阵光学传感器的像素的尺度，而不再致力于宏像素的尺度。

图2示意性地示出了光场相机100。

每个光学元件121对应于宏像素131和多个图像光线r′i，所述多个图像光线r′j穿过该光学元件121的光学中心沿直线传播。

每个图像光线r′i在入射光学系统110的图像空间中穿过光学元件121的光学中心以及相应的宏像素131的象素pk的中心沿直线传播。

入射光学系统110的图像空间根据从关注表面到入射光学系统的光的传播方向，指定位于入射光学系统下游的空间。

当光学元件121是针孔时，光学中心表示形成针孔的孔的几何中心。

当光学元件121是微透镜时，光学中心位于微透镜的光轴上，并对应于微透镜的点，使得入射在该点处的光线不被微透镜偏斜。

位于入射光学系统110的物空间内的物体光线ri对应于每个图像光线r′i，该物体光线通过入射光学系统110与图像光线r′i共轭。

入射光学系统110的物空间根据从关注表面到入射光学系统的光的传播方向，指定位于入射光学系统上游的空间。

与矩阵120的所有光学元件121相关联的一组物体光线ri限定了位于入射光学系统110的物空间中的多个交点pj。

这些交点pj形成入射光学系统110的物空间的采样点，更具体地，光场相机的物场的采样点。

光场相机的物场指定其视野，即，位于入射光学系统上游并且可以借助于光场相机成像的空间。

由于交点pj对应于成像在矩阵光学传感器上的点，因此交点位于光场相机的物场中。

每个采样点pj与至少两个物体光线ri相关联，因此，与矩阵光学传感器的图像光线r′i和相应像素pk相关联。

本发明的基本思想包括对于光场相机特别地列出所有这些采样点，并且对于这些采样点中的每一个，列出矩阵光学传感器的至少两个相关联的像素。

接下来，比较由光场相机获取的图像上的预定像素，可以特别地显示关注表面穿过哪些采样点附近。

在光场相机100的预备校准步骤中进行确定这些采样点pj的三维坐标，并且对于这些点中的每一个，确定相关联的像素pk。

实际上，这些数据是光场相机100的光学和几何特征的函数。

可以在光场相机的物场中，通过根据光学元件矩阵和矩阵光学传感器的几何形状计算所有图像光线r′i，然后通过计算所有的相应的物体光线ri并且最后计算物体光线之间的所有交点，来实现这种校准。

在第一步骤中，在光场相机的物场中，确定物体光线之间的交点的三维坐标，这些交点形成采样点pj。

在第二步骤中，每个采样点pj与矩阵光学传感器130的至少两个对应像素相关联。由采样点pj形成的集形成校准数据，每个采样点与矩阵光学传感器130的至少两个对应像素相关联。

另外或作为变体，通过移动光场相机的物场中的光点来获得这些校准数据。

识别光点的位置，使得矩阵光学传感器的至少两个像素被照射。这些点形成采样点pj。

对于以这种方式确定的每个采样点，矩阵光学传感器的对应像素是与光点的该位置相关联的受照像素。矩阵光学传感器的至少两个像素与每个采样点相关联，以形成校准数据。

实际上，屏幕可以垂直于光场相机100的光轴定位，并且对于屏幕沿光轴的不同位置，选择性地依次打开屏幕的每个像素。

对于屏幕的每个像素和屏幕的每个位置，确定值大于预定阈值(最亮照亮)的两个或更多像素。

屏幕的不同位置间隔开的间距低于光场相机100所需的分辨率。

可以考虑由光场相机形成的真实系统的缺陷，进行校准。可以以这种方式细化通过计算物体光线ri而获得的对校准数据的粗略确定。

根据详细视图，图3示出了根据本发明的位于光场相机的物场中的采样点pj。

特别示出了在四个物体光线的交点处并且因此与矩阵光学传感器的四个像素相关联的采样点pj以及在两个物体光线的交点处并且因此与矩阵光学传感器的两个像素相关联的采样点pj+1。

现在将参考图4示出根据本发明的方法的步骤。

通过光场相机的流程图和一系列示意图来示出该方法。

未在图4中示出用于确定采样点的坐标和确定校准数据的预备步骤。

也没有示出确定所示的重建网格的定义的步骤，重构网格将接下来用于重建关注表面。

在图4所示的示例中，为了简化说明，详细描述了特定情况，其中，重建网格的点由采样点本身构成。

在第一步骤401中，通过光场相机100获取关注表面200的图像，关注表面200位于该相机的物场中。

在右侧示出关注表面200和光场相机100，以及与所述相机100相关联的采样点的一系列构造光线。

光场相机100与上文定义的并且预先确定的校准数据相关联。

这些校准数据将每个采样点pj链接到光场相机的矩阵光学传感器的至少两个像素。

特别地，每个采样点pj在光场相机的物场中由三维坐标限定。

在第二步骤402中，针对重建网格的每个点，因此，在此处针对每个采样点pj，计算相异指数cn的值。

通过光场相机的校准数据和在步骤401获取的图像来执行该计算。

相异指数cn是此处相对于单个采样点pj的指数，其中，其值取决于与该采样点相关联的矩阵光学传感器的像素所采集的强度值之间的偏差。

例如，当仅两个像素与采样点pj相关联时，相异指数cn可以是由这两个像素所采集的强度值之间的绝对值的差或者该差的另一函数(例如，差的平方)或这对强度值的另一函数。

作为变体，对于与三个或更多像素相关联的采样点，相异指数cn可以是这些像素所采集的强度值与这些强度值的平均值之间的均方根偏差。作为变体，相异指数cn是这些像素所采用的强度值和这些强度值的平均值之间的绝对值的差的另一函数或这组强度值的另一函数。

在任何情况下，因为对于每个相关联的采样点，相应像素的强度值接近，因此重建网格的点的相异指数cn的值都较低。

此处，由于相应像素的强度值接近，所以等于采样点的重建网格的点的相异指数cn的值都较低。

像素所采集的强度值优选为灰度。

这优选地是在0和255之间包括0和255的值，用于在8位上编码图像。

在理想条件下，特别是当关注表面形成朗伯源时，当采样点pj属于关注表面时，相应像素的值相等。

实际上，这些值不一定相等，但比采样点pj不属于关注表面的情况更接近。

采样点越接近关注表面的点，相应像素的强度值越接近。

因此，清楚的是，相异指数所取的值是指重建网格的对应点属于关注表面200的概率。相异指数可以被认为是对该概率的估计的函数。

在步骤402完成时，存在一系列相异指数值cn，每个值与重建网格的点相关联，在此处与采样点组合。

在步骤403中，建立重建网格的点的三维分布，在此处是采样点pj，每个采样点分配有相异指数cn的对应值。

在右侧示出这个三维分布。

换言之，这是相异指数cn的值的三维分布，每个值与重建网格的点(在此处是采样点pj)的三维坐标相关联。

在步骤404中，该分布用于执行对关注表面的三维重建。

换言之，提供对关注表面200的三维坐标的估计200′。

该步骤重建利用了以下事实：相异指数值是指重建网格的对应点属于或不属于关注表面200的概率。

三维重建使用相异指数cn和相关联的三维坐标来实现优化算法。

一般的想法是寻找在与属于关注表面的高概率相关联的采样点附近经过的并且在与属于关注表面的低概率相关联的采样点的一定距离处经过的表面。

优选地，相异指数cn的值的三维分布形成优化算法的成本函数。

具体地，在步骤404中，搜索覆盖光场相机的物场并且与相异指数的最小累积值相关联的表面。

三维重建可以运行最小切割类型的优化算法，旨在通过相异指数cn和相关的三维坐标来最小化光场相机的物场中定义的成本的函数。

这种算法提供了三维重建的高精度。

作为变体，三维重建可以运行动态编程类型的优化算法。

这种算法提供了非常快速的计算。

包括考虑在光场相机的物场中的优化，作为形成该物场的几个部分中的优化的组合，每个部分与对光学元件121的选择(称为光学元件的子集)相关联。

特别地，光学元件的光学中心根据分布网格分布在该分布网格的第一系列线和第二系列线之间的交点处，并且子集对应于分别与相同第一系列线和第二系列线相关联的光学元件。

例如，光学元件矩阵的光学元件以行和列设置，并且分开考虑物场中的分别与每列光学元件和与每行光学元件相关联的部分。

三维重建可以利用关于关注表面的假设。

例如，假设关注表面200是光滑表面。

另外或作为变体，假设关注表面200是连接表面。

根据本发明的方法执行高分辨率三维重建，而不限于光学元件矩阵的分辨率。

获得的分辨率通常大约为10μm，而光学元件的间距为1mm，或两者之间的比率为100。

而且，不受到与在光场相机获取的图像上识别与物场的同一点相关联的几个像素相关的困难的限制。

实际上，不是从图像开始，搜索与光场相机的物场的同一点相关联的像素，并通过三角测量来计算物体光线之间的相应交点，而是起点直接来自已知要与物场的同一点相关联的像素集。

可以认为，根据本发明的方法执行接近立体视觉的原理，因为其基于对源自关注表面的同一点的光线的交点的研究。但其与该领域的根本区别在于，不使用放置在两个不同位置的两个传统相机。在传统相机中，没有光学元件矩阵。

本发明还涉及一种未示出的三维重建装置，包括：

光场相机100，用于获取关注表面200的图像；

存储器，接收与所述光场相机相关的校准数据，并且如果需要，接收重建网格的定义数据；以及

计算装置，在输入处接收由光场相机获取的图像以及校准数据，并且如果需要，接收相对于重建网格的数据，并在输出处提供对关注表面的三维重建。

计算装置尤其包括处理器并且被设置成执行诸如上文所述的步骤402、403和404。

计算装置还被配置为确定采样点的坐标和与光场相机相关联的校准数据，然后存储在存储器中。

接下来，描述本发明的变体，其中，重建网格的点在空间中均匀分布，例如，根据立方网格划分。

因此，与采样点pj不同。因此，与重建网格的点相关联的相异指数的值是如上文所定义的偏差的组合，其与重建网格的该点的相邻采样点pj相关联。

以这种方式，在此处，相异指数的取值也与重建网格的对应点属于关注表面的概率有关。

有利地，对于每个采样点pj，计算如上文所定义的偏差，然后，通过对与每个采样点pj相关联的、作为这些采样点在物场中的位置的函数的偏差值的插值，来确定重建网格的点的相异指数的值。

这些偏差值的任何其他组合都是可能的。

相邻采样点的偏差的贡献可以例如通过其与重建网格的相关点相距的距离的倒数来加权。

可以直接计算重建网格的每个点的相异指数，而不必正式地对每个采样点pj的偏差进行单独的计算步骤。

如上所述，以这种方式获得的似然指数值的三维分布产生关注表面的三维重建。

可以确定与最近采样点相距的最大距离，即，所谓的阈值。

识别位于与最近采样点相距的距离大于该阈值的距离处的重建网格的所有点。

所有这些点都分配有相异指数cn的相同值。

以这种方式固定重建网格的点的相异指数的最大值。

这可以是大于与采样点pj相关联的偏差的最大值的值。

为了巩固通过根据本发明的方法获得的结果，可以通过不同类型的照明连续照亮关注表面，并且每次通过光场相机100获取不同的图像。

照明的类型可以根据照明的光强度、光源的位置、纹理(texture)(纹理可以从根据方向发射不同强度的单个源投射，或者从以不同强度发射的几个源投射)而不同。

在这一系列获取过程中，光场相机相对于关注表面保持固定。

对于重建网格的每个点，计算相异指数，该相异指数这次组合来自几个图像的信息。

特别地，与采样点相关联的偏差被与该同一采样点相关联的并且均从一个获取的图像中计算的偏差的组合所替换。

偏差的组合例如是在几个获得的图像上获得的偏差的平均值或另一函数。

图5a和5b分别示出了在根据本发明的方法中使用的光场相机的光学元件120的矩阵的第一实施例以及在光场相机的物场中的采样点pj的相应分布。

光学元件221的光学中心根据分布网格540(以虚线示出)分布在第一系列直线(此处为垂直线)和与第一系列的直线正切(优选地，垂直)的第二系列直线(此处为水平线)之间的交点处。

在此处，第一系列线的线根据重复间距m1规则地分布，并且第二系列线的线根据重复间距m2(可选地等于m1)规则地分布。

换言之，光学元件以行和列分布，分别分开两个相邻行或两个相邻列的距离在整个光学元件矩阵中是相同的。

物场中的采样点的分布是图3中所示的类型。

存在许多多个交点。

在多个交点附近，在光场相机的物场中存在接收非常少的采样点的区域，从而对关注表面的三维重建的质量的限制是在这些区域中。

图6a和6b分别示出了在根据本发明的方法中使用的光场相机的光学元件220的矩阵的第二实施例以及在光场相机的物场中的采样点pj的相应分布。

如上所述，光学元件221的光学中心根据分布网格640分布。

在此处，分布网格的第一系列线的线641不规则地分布。

这可以更具体地是围绕第一平均值并且在预定的第一间隔内的随机分布。

第一平均值是两条直接相邻线641之间的距离的平均值。

值的随机分布指定其值随机变化的分布。

例如，第一间隔的下端是所述第一平均值的95％，第一间隔的上端是所述第一平均值的105％。

作为变体，下端是所述第一平均值的90％，上端是所述第一平均值的110％。

以相同的方式，分布网格的第二系列线的线642不规则地分布。

两个直接相邻的线642之间的距离值优选地随机地分布在第二平均值周围，并且在预定的第二间隔内。

第二间隔的下端和上端以与第一间隔的下端和上端相同的方式限定。

第二平均值是两个直接相邻线642之间的距离的平均值。

第一平均值和第二平均值可以相等。

换言之，光学元件以行和列分布，分开两条相邻行或两条相邻列的距离是不规则的。对于至少两对相邻行或至少两对相邻列，该距离是不同的。

在图6b中示出了物场中的采样点的分布。

采样点比图5b更均匀地分布。

因此，光场相机的物场中没有如下区域：如果关注表面在该区域中，则限制了三维重建的质量。

因此，不规则性使光场相机的物场的任何点与最近的采样点之间的最大距离最小化。

该实施例对应于灵活应用于本发明的专利申请fr-1558338的基本思想，其中，有利的是具有均匀分布的采样点。

可以组合图5a和6a的实施例，一系列线的线规则地分布，而另一系列线的线不规则地分布。

图7a和7b示出了在根据本发明的方法中使用的光场相机的光学元件的矩阵320的第三实施例。

根据该实施例，光场相机的入射光学系统110呈现光学畸变像差。

如上文所定义的分布网格740这次是由第一系列的直线751(在此处是垂直的)和第二系列的直线752(在此处是水平的)构成的物体网格750的入射光学系统110的图像。

分布网格740由于入射光学系统的畸变而变形。每个系列的线在此处由中心直线形成，该中心直线在两侧被曲线包围，具有桶形变形的特征。

该分布网格740允许入射光学系统呈现的畸变像差不减少光场相机的物场的采样点的数量。

本发明不限于这种畸变，并且入射光学系统可以呈现枕形畸变或桶形畸变和枕形畸变的组合。

在此处，术语“网格”不限于由第一系列水平线和第二系列垂直线形成的正方形或矩形网格。

根据本发明，分布网格740可以特别地指定变形的正方形或矩形网格。在这种情况下，分布网格由不交叉的第一系列线和由不交叉的第二系列线形成。第一系列线的每个线穿过第二系列线的所有线。第一系列线和/或第二系列线的线是曲线。

在图7a中，根据第一视角的透视图，示出位于入射光学系统110上游的物空间，并且根据第二视角的透视图，示出位于入射光学系统110下游的图像空间。

在图7b中，根据前视图示出根据该第三实施例的光学元件321的矩阵320。

图8示出了在根据本发明的方法中使用的光场相机的光学元件矩阵的第四实施例。

该实施例是图6a、6b和7a、7b的实施例的组合。

特别地，分布网格840是物体网格通过呈现畸变的入射光学系统的图像。

物体网格由第一系列直线和第二系列直线形成。

物体网格的第一系列线中的两个直接相邻的线之间的距离不规则地分布，和/或物体网格的第二系列线中的两个直接相邻的线之间的距离不规则地分布。

优选地，不规则分布是随机的。

物体网格的第一系列线的两条直接相邻线之间的距离有利地在第一平均值的95％和105％之间，和/或物体网格的第二系列线的两条直接相邻线之间的距离有利地在第二平均值的95％和105％之间，第二平均值可以等于第一平均值的。

根据未示出的另一变体，在根据本发明的方法中使用的光场相机包括第一光学元件矩阵和与第一矩阵共面的第二光学元件矩阵。第一光学元件矩阵和第二光学元件矩阵相对于彼此略微偏移。

在这两个矩阵的每一个中，光学元件的光学中心可以根据上文详述的一个或另一示例来分布。

可以执行动态采样，以进一步乘以光场相机的物场的多个采样点。

换言之，根据不同的方式执行与物空间的不同系列的采样点相关联的光场相机的时间或空间多路复用，使得物空间的采样点的总数增加。

例如，每个光学元件安装在连接到致动器的移动支撑件上，以独立于其他光学元件的位置，控制光学元件在平面π′中的位移。

可以根据不同的分布网格移动光学元件，以连续放置光学元件。物空间的某个采样对应于每个分布网格。最终以这种方式执行物空间的更密集采样。

作为变体，光学元件的矩阵保持固定，并且矩阵光学传感器安装在连接到致动器的移动支撑件上，以控制矩阵光学传感器的平面中的位移。

作为变体，与不同光学元件相关联的宏像素部分地重叠。因此，相同的像素可以对应于几个光学元件。

诸如液晶屏等可控快门阵列放置在光学元件矩阵的上游，以阻挡或允许光向光学元件传播，使得在每个时刻，像素仅对应于单个光学元件。

定义了快门网络的多种状态。物空间的不同系列的采样点对应于每种状态。随着时间的推移改变快门阵列的状态，最终会产生更密集的物空间采样。

根据另一变体，光场相机包括在同一平面中并置或互锁的至少两个光学元件矩阵，每个矩阵专用于不同波长。

带通滤波器位于每个光学元件的上游，用于将每个光学元件特别与一个波长的检测相关联，并定义所述几个光学元件矩阵。

物空间的不同采样对应于每个光学元件矩阵。操作时，会通过几个波长连续照亮物体。