一种光场相机的盲标定方法与流程

本发明涉及计算机视觉与数字图像处理领域，尤其涉及一种光场相机的盲标定方法。

背景技术：

光场相机不同于传统相机的最大之处在于其结构中加入了微透镜阵列，因而使得传感器上能够记录更多的有效信息，包括场景的方向信息和位置信息等。正是由于这种结构，使光场相机具有许多特殊的本领，如拍照后重新聚焦、转换视角、获取深度信息等。由于光场相机具有能够同时捕获光线的位置与方向信息的特点，使得其在虚拟现实、全息技术、三维重建等方面受到广泛的关注。为了获得较好的成像效果，光场相机对于微透镜阵列的位置要求较高，因此需要精准的光场相机标定方法。

现有的光场相机标定及搭建方法主要是通过在已有微透镜阵列结构参数的先验基础上，利用高斯公式计算出对应的物距及像距并搭建相应光场相机结构，之后利用传感器记录的图像微调微透镜阵列和物体的位置来使得传感器所成像清晰。虽然这种方法能够实现对光场相机的搭建，但往往不能够获取准确的结构参数导致微透镜阵列实际位置与理论位置有偏移，传感器记录的非最佳成像。

以上背景技术内容的公开仅用于辅助理解本发明的构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。

技术实现要素：

为解决上述技术问题，本发明提出一种光场相机的盲标定方法，能够实现对光场相机无先验位置条件的盲标定，能够准确获取微透镜阵列与传感器的位置关系，实现对光场相机的高精度搭建，从而提高成像的分辨率，扩大光场采集的视场角。

为了达到上述目的，本发明采用以下技术方案：

本发明公开了一种光场相机的盲标定方法，包括以下步骤：

a1：在主透镜与传感器之间插入微透镜阵列以搭建初始的光场相机2.0结构，并分别测量所述主透镜和所述微透镜阵列分别与测量起始面的初始距离；

a2：固定所述传感器以及所述微透镜阵列的位置，向远离所述微透镜阵列的方向移动所述主透镜，并实时记录所述传感器采集的图像；

a3：根据光场相机1.0结构的成像原理，测量依照光场相机1.0结构清晰成像时所述主透镜与所述测量起始面之间的距离；

a4：根据所述主透镜和所述微透镜阵列分别与测量起始面的初始距离、以及步骤a3得到的依照光场相机1.0结构清晰成像时所述主透镜与所述测量起始面之间的距离，建立光场相机2.0结构的盲标定模型，计算得到所述微透镜阵列的结构参数，并对光场相机2.0结构进行标定处理。

优选地，步骤a1中搭建初始的光场相机2.0结构时，使得所述主透镜与所述传感器之间的距离满足下式：

其中，u是物体到所述主透镜的距离，v是所述主透镜与所述传感器之间的距离，f是所述主透镜的焦距。

优选地，步骤a3还包括：重复步骤a2和步骤a3中的测量步骤，直至相邻的至少两次测量得到的所述主透镜与所述测量起始面之间的距离的误差在预设范围内。

优选地，步骤a3中的测量步骤还包括测量依照光场相机1.0结构清晰成像时所述微透镜阵列与所述测量起始面之间的距离。

优选地，步骤a3还包括：重复步骤a2和步骤a3中的测量步骤，直至相邻的至少两次测量得到的所述主透镜与所述测量起始面之间的距离和所述微透镜阵列与所述测量起始面之间的距离之差的绝对值的误差在预设范围内。

优选地，其中误差的预测范围为不大于0.01mm。

优选地，步骤a4中建立光场相机2.0结构的盲标定模型还包括根据步骤a3得到的依照光场相机1.0结构清晰成像时所述微透镜阵列与所述测量起始面之间的距离。

优选地，步骤a4中计算得到所述微透镜阵列的结构参数包括计算得到所述微透镜阵列到所述主透镜之间的距离以及所述微透镜阵列到所述传感器之间的距离。

优选地，步骤a4中建立的光场相机2.0结构的盲标定模型中的所述微透镜阵列到所述主透镜之间的距离v为：

v＝|d3-d4|

所述微透镜阵列到所述传感器之间的距离b为：

b＝|d3-d4|-|d1-d2|

其中，d1为步骤a1测量得到的所述主透镜与所述测量起始面的初始距离，d2为步骤a1测量得到的所述微透镜阵列与所述测量起始面的初始距离，d3为步骤a3测量得到的依照光场相机1.0结构清晰成像时所述主透镜与所述测量起始面之间的距离，d4为步骤a3测量得到的依照光场相机1.0结构清晰成像时所述微透镜阵列与所述测量起始面之间的距离。

优选地，步骤a4中对光场相机2.0结构进行标定处理包括：通过光场成像模型获取主透镜的成像面与微透镜阵列的位置关系，从而得出光场相机2.0结构下预期成像效果时主透镜的位置。

与现有技术相比，本发明的有益效果在于：本发明的光场相机的盲标定方法，能够用于光场相机2.0结构的搭建，通过结合光场相机1.0成像原理，并利用光场相机1.0的成像结果来获取精准的微透镜阵列参数，从而实现对光场相机的标定，增加了标定过程中的准确性和精准度；本发明不仅适用于已知微透镜结构参数的情况，对于无先验条件情况下的光场盲标定，本发明同样能够获取准确的参数信息进行光场相机的标定，解决了对任意微透镜阵列准确搭建光场相机的问题，具有很强的通用性；而且实现了对光场相机的高精度搭建，从而提高了成像的分辨率，扩大了光场采集的视场角。

在进一步的方案中，在步骤a1和a3中分别测量微透镜阵列与测量起始面之间的距离，进一步减少测量误差。并重复移动主透镜，直至相邻的至少两次的测量误差在预设范围内，进一步提高盲标定的精度。

附图说明

图1是本发明优选实施例的光场相机的盲标定方法的流程图；

图2是本发明优选实施例的光场相机盲标定的初始状态结构示意图；

图3是本发明优选实施例的光场相机盲标定的次级状态结构示意图；

图4是本发明优选实施例的微透镜阵列中的任一微透镜平面处的光线示意图；

图5是本发明优选实施例的光场相机盲标定的最终状态结构示意图。

具体实施方式

下面对照附图并结合优选的实施方式对本发明作进一步说明。在具体的实施方案中，可按下面方式操作。需注意的是，在下面的实施过程中的光场相机搭建的结构、微透镜阵列的参数都仅为列举说明，本发明所涵盖的范围不局限于所列举的这些方法。

如图1所示，本发明公开了一种光场相机的盲标定方法，具体包括以下步骤：

a1：在主透镜20与传感器40之间插入微透镜阵列30以搭建初始的光场相机2.0结构，如图2所示，并分别测量主透镜20和微透镜阵列30分别与测量起始面50的初始距离d1，d2；

在本实施例中，采用2048*2048的工业相机进行成像，微透镜阵列30采用正六边形紧密排布且焦距为2mm，主透镜20采用30mm定焦镜头。如图2所示搭建光场相机，场景中的聚焦平面发出的光线经过主镜头的折射后聚焦于传感器平面。将微透镜阵列置于传感器平面前2.5mm左右；记录下此时微透镜阵列与主镜头的初始位置d1、d2。

其中，搭建初始的光场相机2.0结构时，使得场景中聚焦平面发出的光线经过主透镜20折射后聚焦于传感器40的平面，即满足高斯成像公式：

其中，u是拍摄物体10到主透镜20的距离(物距)，v是主透镜20与传感器40之间的距离(像距)，f是主透镜20的焦距。其中对于物距远大于焦距的情况，v＝f。

根据光场相机2.0结构的要求，微透镜阵列位于距离传感器平面b处，b对于正确解码光场图像具有重要意义，因此需要获取b的精确值。在本步骤中记录初始状态下主透镜的位置d1及微透镜阵列的位置d2(如图2所示)。

a2：固定传感器40以及微透镜阵列30的位置，向远离微透镜阵列30的方向移动主透镜20，并实时记录传感器40采集的图像；

在本实施例中，固定传感器40与微透镜阵列30的位置保持不变；此时，由于主透镜20位置不满足光场相机1.0结构的要求，因此传感器40记录下的为散焦的光场图像。本实施例中，将主透镜20的平移导轨的一部分加工成螺距为0.5mm的螺纹，当该平移导轨在另一固定套管的螺套中转动时能够前进或后退，并将该平移导轨的一侧的周边等分成50个分格，使得测量精度达到0.01mm。我们通过该装置改变主透镜的位置，并记录传感器所成像。

其中，在步骤a1中的初始状态下主透镜与微透镜阵列的位置不满足光场相机成像的结构要求，传感器所记录的像为散焦的光场图像，因此在本步骤中，固定传感器和微透镜阵列的位置，将主透镜向远离微透镜阵列的方向缓慢移动并实时记录传感器采集的图像。

a3：根据光场相机1.0结构的成像原理，测量依照光场相机1.0结构清晰成像时主透镜20和微透镜阵列30与测量起始面50之间的距离d3，d4(如图3所示)，重复步骤a2以及步骤a3的测量步骤，直至相邻的至少两次测量得到的d3，d4的差值的绝对值的误差在0.01mm以内；

本实施例中，根据光场相机的光线传播数学模型，当主透镜20恰能聚焦成像于微透镜阵列30平面时，满足光场相机1.0结构。此时，给定微透镜图像中的每个空间点对应于在微透镜平面处不同方向的光线，传感器记录的为聚焦的光场图像，记录下此时主透镜与微透镜阵列的位置d3、d4。若继续改变主透镜的位置，传感器所成像会发生明显的离焦。因此，微透镜阵列30与传感器40之间的距离b可以表示为

b＝|d3-d4|-|d1-d2|

在本实例中，重复步骤a2以及步骤a3的测量步骤，直至连续三次所得到的d3，d4的差值的误差范围在±0.01mm以内，此时的b可以认为是微透镜阵列30与传感器40的准确距离。

其中，当光场相机满足图3所示的情况时，场景中的聚焦平面发出的光线经过主透镜的折射后聚焦成像于微透镜阵列平面，并通过微透镜汇聚于图像传感器上。测量光场清晰成像时的主透镜的位置d3及微透镜阵列的位置d4，具体分析此时光线传播的数学模型如下：

对于任意一条光线，可以采用双平面的方法进行表征并用二维向量函数r(q，p)进行简化，其中q代表了位置信息，p代表了方向信息。

根据几何光学的矩阵分析方法，当光线在自由空间中沿着光轴传输了距离t后，可以得到(q′，p′)＝(q+tp，p)，其中p′、q′分别为光线传播后新的坐标表示，这等同于一个线性变换x′＝ttx，对应的变换矩阵tt为：分别为光线传播后新的坐标表示，

当光线经过一个焦距为f的透镜折射后，可以得出同样可以得出线性变换的矩阵lf为：

由多个透镜元素及传输空间级联组成的光学系统可以看成是对应的矩阵的乘积。例如经过一个焦距为f的透镜折射后又沿着光轴传输了距离t后的光线可以表示为x′＝ttlfx。此外，假定在光线的传输过程中，没有吸收光线的介质存在，因而使得r′(x′)＝r(x)。对于转换矩阵a，有x′＝ax或者x＝a^-1x′，那么对于光线的传输，可以得到：

r′(x)＝r(a^-1x)

在图像传感器上任意一个点处的强度等于这个点所能接收到的所有方向光线的积分，可用下式进行表示：

i(q)＝∫pr(q，p)dp

为了具体说明光场相机获取光场信息的过程，接下来推导传感器所捕获的图像的表达式。如图4所示，选择微透镜阵列中的任一个微透镜，并且令r(q，p)为微透镜平面处的光线、rf(q，p)为微透镜后传感器上的光线；那么根据光学传输的矩阵分析可以得出，其中：

因此可以得到那么，被传感器所捕获到的图像if(q)可以表示为

其中，根据图4，p的积分范围为d/f，其中d是指单个微透镜的尺寸大小，f是指微透镜的焦距同时也是微透镜距离传感器的距离。假设对于一个给定的p，r在整个微透镜中是不变的，那么可以得到：

从这个等式我们可以看出，给定微透镜图像中的每个空间点对应于在微透镜平面处q＝0的点(也即指微透镜的中心光轴位置的点，在光轴以上的q为正，在光轴以下的q为负)的不同方向的光线。因此，当满足图3所示情况时，传感器上所记录的是光场相机1.0结构下清晰的像。

综合上述得到的光场相机1.0结构下传感器记录的信息，因此可以通过光场相机1.0结构的成像效果来判定微透镜阵列与主透镜的相对位置。

另外，在图2的状态下，主透镜20距离传感器40平面的距离为v，此时v满足下式：

v＝m+b＝|d1-d2|+b

其中，m为主透镜20与微透镜阵列30间的距离，b为微透镜阵列30与传感器40间的距离。

而在图3所示的光场清晰成像的状态下，此时v满足下式：

v＝|d3-d4|

因此，微透镜阵列30与传感器40的距离b可以表示为：

b＝|d3-d4|-|d1-d2|

a4：根据光场成像原理和上述透镜位置参数(也即d1、d2、d3、d4)，建立光场相机2.0结构的盲标定模型，精确计算微透镜阵列的结构参数(也即微透镜阵列到主透镜的距离和微透镜阵列到传感器的距离)，并对光场相机2.0进行标定处理。

本实施例中，通过步骤a3得到了微透镜阵列与传感器的距离，根据光场相机2.0的结构设计，通过光场成像模型获取主透镜成像面与微透镜阵列的位置关系，从而得出该结构下主透镜的位置。通过a3所述的旋转导轨将各个光学器件移动至准确位置，此时就完成了对光场相机2.0的准确标定与搭建，最终该系统结构示意图如图4所示。

根据步骤a4获取的微透镜阵列的参数后搭建精准的光场相机2.0结构，如图5所示，在获得了准确标定后的参数b后，根据光场相机成像模型可以获得主透镜像面与微透镜阵列间的距离a。根据前述同样的分析方法，我们可以得出传感器上记录的信息为：

其中，ib，ra分别代表传感器上记录的数据和微透镜上经过的光线信息。

通过本发明优选实施例的盲标定方法对光场相机进行标定后，用户可以根据自己的需求调节主透镜的位置以达到预期的拍照要求。

在搭建光场相机2.0结构时，微透镜阵列的准确位置往往不方便进行测量，但这个参数又非常重要；本发明提供了上述盲标定方法实现了对微透镜阵列的位置的标定，通过结合光场相机1.0的成像特点来获取光场相机2.0的参数结构；从而解决了现有技术中往往不能够获取准确的结构参数导致微透镜阵列实际位置与理论位置有偏移，传感器记录的非最佳成像的问题。

在本实施例的光场相机的盲标定方法中，通过如图3所示的光场相机1.0结构在主透镜20的聚焦平面处放置微透镜阵列30，从而能够将聚焦在每个微透镜上的光线沿着不同的方向发散被传感器40所记录，此时每一个微透镜下所记录的为空间中同一点不同视角的图像，从而能够同时记录光线的方向和位置信息；而这种结构的空间分辨率被微透镜的数目所限制，因此，在本实施例中，采用如图5所示的光场2.0结构，将微透镜阵列的位置由主透镜的聚焦面向后移动一定距离，从而能够让微透镜实现对主透镜像面进行二次成像并记录在传感器上；从而最终实现光场相机的盲标定。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。