一种光场相机的两步标定方法与流程

本发明涉及相机标定技术，涉及基于非聚焦型光场相机的标定，用于为基于光场相机的三维成像提供技术参数，为一种光场相机的两步标定方法。

背景技术：

传统的相机标定算法基于针孔模型，首先拍摄标定板图像，标定板即每个特征点的空间位置都经事先测准的基准板，再根据特征点的图像坐标与真实三维空间坐标的投影映射关系，求解得到相机的内外参数。而针对光场相机的标定，目前的主要方法是建立与传统模型不同的光场相机投影模型，利用多平面的参数化结构描述投影映射关系，再通过拍摄标定板图像标定光场相机参数。但是此类方法存在一定的缺陷，由于光场相机的投影模型相比于传统相机的针孔模型发生了改变，上述方法的标定结果通常只能获得光场相机的投影矩阵，而无法求解出具有物理意义的光学参数，如子孔径宽度、微透镜焦距等。目前针对光场相机尚未有高效且通用的标定方法。

技术实现要素：

本发明要解决的问题是：现有针对光场相机的标定方法建立在光场相机的投影模型基础上，只能获得光场相机的投影矩阵，无法求解得到具有物理意义的光学参数，不能满足使用需求。

本发明的技术方案为：一种光场相机的两步标定方法，针对非聚焦型光场相机，以光场相机投影模型为基础，把每个微透镜视为一个等效像元，将传统相机投影模型等效为光场相机投影模型的一种退化表达，再利用传统标定算法进行标定，包括两步：第一步，提取光场相机的子孔径图像，定义主镜头光心位置的子孔径图像为中心子孔径图像，通过提取中心子孔径图像中的点的坐标，将中心子孔径图像等效视为传统相机图像，由中心子孔径图像根据张正友平面标定法标定主透镜的内外参数，实现主透镜参数的标定；第二步，由空间中一点的三维坐标，及该点入射到光场相机时通过主镜头平面的位置坐标，可确定该点在微透镜平面上的坐标，结合光场视差与物体深度的约束关系，拟合求解得到微透镜参数，所述光场视差指物点p在任意两幅相邻子孔径图像的视差；经过两步标定得到光场相机的物理参数。

第一步标定具体为：

1)采集标定板图像，固定光场相机，使用光场相机对不同角度的同一块标定板进行拍摄；

2)从光场相机采集的原始图像中解码四维光场信息，并提取子孔径图像，解码过程包括：微图像中心提取、微图像倾斜校正、微图像分割及色彩校正，所述微图像指光线经过一个微透镜后成的像，解码得到的四维光场l(s,t,x,y)，通过下式转换为子孔径图像：

其中(s,t)表示光线经过主透镜平面的坐标，表征方向信息，(x,y)表示光线入射微透镜平面的坐标，表征位置信息，i(x,y)表示在(x,y)处的微透镜在(s0,t0)到(s0+δs,t0+δt)孔径范围内的光线积分；

3)把每个微透镜视为一个等效像元，将中心子孔径图像的像素坐标视为传统相机投影模型的图像像素坐标，等效像元宽度视为像素物理尺寸，对中心子孔径图像根据张正友平面标定法标定主透镜的内外参数。

作为优选方式，所述标定板表面至少具有4个白色圆图案，圆越多对标定准确度的提升越大，并且白色圆圆心按照水平、竖直方向排列，相邻圆心间的间距相等。

第二步标定具体为：

4)计算光场视差,对提取的所有子孔径图像，计算其特征点坐标，而后将特征点坐标在极图中表示，由于物空间同一特征点对应的不同像点在极图中呈一条直线，因此通过直线拟合的方法确定每个特征点对应的极图直线，从而计算其光场视差；

5)获取特征点深度，根据第一步标定得到的主透镜外参数矩阵m2,对于每一个特征点在世界坐标系下的坐标p^w＝(x^w,y^w,z^w)，均可得到其在相机坐标系下的坐标(x^c,y^c,z^c)＝p^c＝m2p^w，z^c即为该特征点的深度；

6)拟合求解微透镜参数，对于每一个特征点，步骤4)5)分别计算出了其光场视差与深度，存在下式所示的约束关系：

其中，hm为物距，h′m为像距，δx为物点p在任意两幅相邻子孔径图像的视差，d为相邻微透镜中心间距，q为像素宽度，d为子孔径宽度，b为微透镜焦距，据此通过最小二乘拟合的方法标定参数b、d及hm的值，完成微透镜参数的标定。

作为优选方式，对两步标定得到的参数进行非线性优化：采用levenberg-marquardt算法进行非线性优化，优化目标是使得特征点的重投影误差最小，优化的参数为光场相机主透镜及微透镜的所有物理参数。

针对现有技术存在的问题，本发明基于光场相机的成像原理，建立了一种可退化到传统相机的投影模型，尤其是针对非聚焦型光场相机提出了一种更为通用的两步标定方法。通过对光场相机成像模型的推导，将中心子孔径图像等效为传统相机图像，从而将经典张正友平面标定法应用到光场相机标定中，通过推导光场视差与深度的约束关系，实现直线拟合求解微透镜参数的方法，由此求解得到具有物理意义的光学参数。

附图说明

图1为光场相机投影模型，(a)为整体投影模型，(b)表示图像坐标系，(c)为微透镜平面坐标系。

图2为本发明投影模型中的相似变换关系，(a)为d与q的线性关系示意图，(b)为s与u的线性关系示意图。

图3为本发明中退化的等效投影模型。

图4为本发明中重投影误差模型，(a)显示了传统相机的情况，(b)显示了光场相机的情况。

图5为本发明中标定算法流程图。

图6为本发明中圆标定板。

图7为本发明中光场相机与标定板的位置关系。

图8为本发明中重投影误差结果，(a)为初始值结果，(b)为非线性优化后的结果。

具体实施方式

本发明提供了一种基于非聚集型光场相机的两步标定方法，该方法采用光场相机对不同角度的标定板进行拍摄，通过提取中心子孔径图像，首先标定主透镜参数。再根据光场视差与深度的约束关系，拟合获得微透镜参数，从而完成光场相机的标定。本发明可以用于为基于光场相机的三维成像提供技术参数，适用于工业检测、医学检测等诸多领域。

本发明以光场相机投影模型为基础，把每个微透镜视为一个等效像元，将传统相机投影模型，即针孔投影模型，等效为光场相机投影模型的一种退化表达，在此基础上利用传统标定算法对光场相机进行标定，包括两步：

第一步，提取光场相机的子孔径图像，定义主镜头光心位置的子孔径图像为中心子孔径图像，通过提取中心子孔径图像中的点的坐标，将中心子孔径图像等效视为传统相机图像，由中心子孔径图像根据张正友平面标定法标定主透镜的内外参数，实现主透镜参数的标定。

1)采集标定板图像，固定光场相机，使用光场相机对不同角度的同一块标定板进行拍摄；所述标定板表面至少具有4个白色圆图案，圆越多对标定准确度的提升越大，并且白色圆圆心按照水平、竖直方向排列，相邻圆心间的间距相等。

2)从光场相机采集的原始图像中解码四维光场信息，并提取子孔径图像，解码过程包括：微图像中心提取、微图像倾斜校正、微图像分割及色彩校正，微图像指光线经过一个微透镜后成的像，如图1(b)中的一个圆，4个圆即为4个微图像。解码得到的四维光场l(s,t,x,y)，通过下式转换为子孔径图像：

其中(s,t)表示光线经过主透镜平面的坐标，表征方向信息，(x,y)表示光线入射微透镜平面的坐标，表征位置信息，i(x,y)表示在(x,y)处的微透镜在(s0,t0)到(s0+δs,t0+δt)孔径范围内的光线积分；

3)把每个微透镜视为一个等效像元，将中心子孔径图像的像素坐标视为传统相机投影模型的图像像素坐标，等效像元宽度视为像素物理尺寸，对中心子孔径图像根据张正友平面标定法标定主透镜的内外参数。

第二步，由空间中一点的三维坐标，及该点入射到光场相机时通过主镜头平面的位置坐标，可确定该点在微透镜平面上的坐标，结合光场视差与物体深度的约束关系，拟合求解得到微透镜参数，所述光场视差指物点p在任意两幅相邻子孔径图像的视差；经过两步标定得到光场相机的物理参数。

4)计算光场视差,对提取的所有子孔径图像，计算其特征点坐标，而后将特征点坐标在极图中表示，由于物空间同一特征点对应的不同像点在极图中呈一条直线，因此通过直线拟合的方法确定每个特征点对应的极图直线，从而计算其光场视差。

5)获取特征点深度，根据第一步标定得到的主透镜外参数矩阵m2,对于每一个特征点在世界坐标系下的坐标p^w＝(x^w,y^w,z^w)，均可得到其在相机坐标系下的坐标(x^c,y^c,z^c)＝p^c＝m2p^w，z^c即为该特征点的深度。

6)拟合求解微透镜参数，对于每一个特征点，步骤4)5)分别计算出了其光场视差与深度，存在下式所示的约束关系：

其中，hm为物距，h′m为像距，δx为物点p在任意两幅相邻子孔径图像的视差，d为相邻微透镜中心间距，q为像素宽度，d为子孔径宽度，b为微透镜焦距，据此通过最小二乘拟合的方法标定参数b、d及hm的值，完成微透镜参数的标定。

为了提高标定精确性，作为优选方式，对两步标定得到的参数进行非线性优化：采用levenberg-marquardt算法进行非线性优化，优化目标是使得特征点的重投影误差最小，优化的参数为光场相机主透镜及微透镜的所有物理参数。

下面结合附图及实施例对本发明进一步说明。

图1为光场相机的投影模型。图1(a)为整体投影模型，以主镜头光心oc为原点，以光轴为zc轴建立相机坐标系oc-xcyczc，分别以光轴穿过微透镜平面的点o0、光轴穿过成像平面的点o1为原点，建立微透镜平面坐标系o0-xmym和图像坐标系o1-xpyp，(i,j)是以像素为单位的图像坐标系的坐标，是整幅原始图像下的像素坐标，与传统二维图像定义相同，(u,v)是微图像中以像素为单位的坐标，为光场相机特有，(u0,v0)是uv坐标系的中心点坐标，(x,y)是微透镜平面坐标系中以相邻微透镜中心间距为单位的坐标，如图1(c)所示。点p在世界坐标系下的坐标(x^w,y^w,z^w)，对应到相机坐标系为(x^c,y^c,z^c)，对应到主透镜平面的点坐标为(s,t)，光轴穿过微透镜平面的点o0在(x,y)坐标系下的坐标为(x0,y0)。

图2为光场相机投影模型中的相似变换关系。图1(a)所示(s,t)，(u,v)和(x,y)均各自表征一个平面坐标系，只考虑每个二维平面的其中一个维度，即得到(s,u,x)维度和(t,v,y)维度，为说明方便，仅对(s,u,x)维度进行分析，(t,v,y)维度与之类似。

根据图2(a)子孔径宽度d与像素宽度q的线性关系图，以及微透镜焦距b，由图中的几何关系可以得到：

根据图2(b)主透镜平面上的坐标s与成像平面的坐标u的线性关系图，对于主透镜平面上的坐标s,存在如下式(2)的变换关系:

图3为退化的等效投影模型，即把每个微透镜视为一个等效像元。分析图3中物点p的投影过程，根据几何关系可得：

其中hm为物距，h′m为像距，f为焦距，x^m表示投影点在等效像元平面上的坐标，x^c表示投影点在主镜头平面上的坐标。式(3)可重写为：

由此可见，给定空间中一点的三维坐标，及其入射到相机时通过主镜头平面的位置坐标s，便可唯一确定其在微透镜平面上的坐标。根据式(2)知s与u存在一一对应关系。本发明定义主镜头光心位置，即取s＝u＝0,t＝v＝0的子孔径图像为中心子孔径图像。

依据式(4)，令ul、ul+1分别表示u坐标系下索引值为l、l+1的坐标，sl＝d(ul-u0)、sl+1＝d(ul+1-u0)，分别表示对应的投影点在等效像元平面上的坐标，即微透镜平面坐标系(x,y)下的坐标，得到：

式(5)上下两式相减，化简得：

根据高斯公式并令则式(6)可重写为：

而δx即为物点p在任意两幅相邻子孔径图像的视差，本发明将δx称之为光场视差。

得到世界坐标系与相机坐标系变换关系如式(7)所示

其中r、t分别为旋转矩阵与平移向量。相机坐标系到微透镜坐标系的变换关系如式(9)所示：

微透镜坐标系下的坐标变换关系如式(10)所示：

结合式(8)(9)(10)得，

当取中心子孔径图像(s＝0,t＝0)时，式(11)化为：

可见，传统针孔投影模型中的图像像素坐标被替换成了中心子孔径图像的像素坐标，像素物理尺寸被替换成了等效像元宽度。二者在投影模型上存在相似性，因此，可利用中心子孔径图像通过张正友标定算法标定主透镜的内外参数。

进一步的，本发明针对光场相机的标定进行了进一步优化。图4为重投影误差模型示意图。在传统相机中，如图4(a)所示，一个特征点只对应像平面上的一个点，理想点与观测点之间的欧式距离定义为重投影误差而在光场相机中，一个特征点对应像平面上的多个点，因此具有多个重投影误差，即本发明设计非线性优化的目标函数如下：

其中k为畸变参数，nu×nv为一幅光场图像解码出的子孔径图像个数，nc为标定板上的特征点数量，m为拍摄不同角度的标定板数量。优化目标是使得所有拍摄角度下子孔径图像的标定特征点的重投影误差最小。其中每个标定特征点的世界坐标(x^w,y^w,z^w)通过式(11)转换到图像坐标(xreprojected,yreprojected)，用(ximage,yimage)表示该特征点在子孔径图像中的像素坐标，则该特征点的重投影误差为：e＝(xreprojected-ximage)²+(yreprojected-yimage)²。

图5为本发明标定方法的完整流程图。首先用光场相机拍摄不同角度的标定板图像，接着解码原图像并提取子孔径图像，再利用中心子孔径图像根据张正友平面标定法标定主透镜参数，而后根据光场视差与深度的约束关系拟合求解其余物理参数，最后进行非线性优化以提高精度。

图6为本发明标定板的一个实施例，显示了圆标定板图像。标定板表面图案为64个严格按照水平、竖直方向排列的，圆心距相等的标准圆，特征点是各个圆的圆心。相邻圆心间的间距为30mm±5μm，以标定板表面任一圆圆心为原点，以标定板平面为x^wy^w平面，以垂直于标定板平面方向为z^w轴构建世界坐标系，可以得到64个特征点的世界坐标用以相机标定。

实施例：用美国lytro公司生产的第二代光场相机lytroillum进行实验，相机序列号为：b5152200720，此相机能够从每幅光场原始图像中解码得到15×15幅子孔径图像，每幅子孔径图像分辨率为625×434，相邻微透镜中心间距为d＝0.01732mm，像素宽度为q＝0.0014mm，共拍摄13个角度的标定板图像，光场相机与标定板的位置光系如图7所示。标定得到的物理参数如下表所示：

图8为本实施例的重投影误差结果，可见，未进行非线性优化时，重投影误差在0.008mm以内，经过非线性优化后，重投影误差均在0.005mm以内，且大多集中于0.002mm附近，优化后重投影误差的rms值为0.0017mm。