一种光场距离估计方法与光场成像系统与流程

本发明涉及计算机视觉与数字图像处理领域，特别涉及一种光场距离估计方法与光场成像系统。

背景技术：

光场相机因其能够获取场景的多维信息，在计算机视觉、机器人等领域得到广泛应用，其中利用光场进行测距逐渐成为研究者们关注的课题。传统的测距方法主要分为两大类：主动式测距和被动式测距。主动式测距包括激光测距和雷达测距等，这种测距方法不仅需要昂贵的设备，而且对环境的要求较高。被动式测距包括双目测距和相机阵列测距等，这种方法主要利用立体匹配的原理，但相机标定的过程较为复杂，且设备不易携带。因此，研究者们基于对手持式光场相机的成像系统的分析提出了光线追迹的测距方法。这种方法追踪一系列从传感器上的像素发出的光线，并假设每个微透镜下相同位置的像素发出的光线平行传播，经过微透镜阵列和主镜头后，每个微透镜下的像素发出的光线会在物空间交于一点，该交点与主镜头之间的距离即为该点所在平面的距离。但是目前这种方法在估计光场图像上所有平面的距离时需要进行多次重聚焦，且当聚焦平面距离主镜头很近时，需要对光场图像进行插值而耗费较大的计算内存。

技术实现要素：

本发明的主要目的在于针对现有技术的不足，提供一种光场距离估计方法与光场成像系统。

为实现上述目的，本发明采用以下技术方案：

一种光场距离估计方法，使用一光场成像系统，所述光场成像系统包括标定物和相机，其中所述相机包括主镜头、微透镜阵列和成像单元，所述微透镜阵列和所述成像单元的距离固定为所述微透镜阵列的焦距；

所述方法包括以下步骤：

S1：对所述相机进行标定并获取所述相机的光学参数；

S2：在水平方向上调整所述成像单元和所述微透镜阵列的位置，使所述相机聚焦在所述标定物上，获取此时所述微透镜阵列与所述主镜头之间的距离和补偿因子；

S3：采集光场图像，提取所述光场图像上对应物体的成像直径；

S4：确定反映物体的成像直径与物体所在平面的距离之间的关系的距离估计模型，利用所述成像直径和所述距离估计模型，确定物体所在平面的距离。

进一步地：

步骤S1中对所述相机进行标定包括使所述相机内所有光学器件的中心在一条水平轴上。

步骤S1中获取的光学参数包括所述主镜头的焦距、曲率半径、光瞳直径以及中心厚度，所述微透镜的焦距和所述成像单元上单个像素的直径。

步骤S2中通过使所述标定物上的标定点在所述成像单元上的像在竖直方向上直径达到最小，来使所述相机聚焦在所述标定物上。

步骤S3中所述光场图像上对应物体的成像直径的提取方式为计算竖直方向上物体的像所覆盖的像素个数与单个像素的直径的乘积。

步骤S3中确定竖直方向上物体的像所覆盖的像素个数包括按照以下任一种方法判定像的边缘的有效像素：(1)建立边缘像素值的分布直方图，选取个数占整体分布达到预定比例所对应的像素值作为阈值，大于该阈值的像素将视为有效像素，并计入像所覆盖的像素个数中；(2)求取边缘像素的像素值的平均值，比较当前像素的像素值与平均值的大小，大于该值的像素将视为有效像素，并计入像所覆盖的像素个数中；(3)求取边缘像素的像素值梯度，设定一阈值，当前像素的梯度变化小于该阈值的将视为有效像素。

所述的距离估计模型为反向光线追迹模型，步骤S4包括如下步骤：

(a)利用相似三角形原理得到式(1)，联合式(2)求解光线的出射位置(p_i,q_i)：

(R-T/2+p_i)²+q_i²＝R², (2)

其中D为主镜头的光瞳直径；f_x为微透镜阵列的焦距；d_in为聚焦标定物后获取的微透镜阵列与主镜头之间的距离；v_i为像在成像单元上的坐标，则|v₁-v₂|即为成像直径；sgn(i)为符号函数，由式(3)确定：

R为主镜头的曲率半径；T为主镜头的中心厚度；

(b)忽略掉光线在微透镜阵列上的折射，得到式(4)：

其中ω_i为光线的出射角度，φ_i由式(5)确定：

出射角度ω_i由式(6)确定：

(c)光线从主镜头传播出去时在出射位置发生折射，折射式由式(7)确定：

n₁sin(θ-ψ_i+φ_i)＝sinω_i, (7)

其中n₁为主镜头的折射率；ψ_i为光线进入主镜头后的折射角；θ满足式(8)：

结合式(7)和(8)，利用式(9)计算出角度ψ_i：

(d)光线在进入主镜头后发生折射，折射式由式(10)确定：

其中满足：

其中Δh为物体相对水平轴的偏移量，若物体在中心轴上，则Δh＝0；d′_out即为物体所在平面的距离；式(10)和式(11)表明：

利用式(12)求解出角度后，偏移量Δh由式(14)解出：

再将Δh和相应的代入式(13)即可计算得到物体所在平面的距离。

所述主镜头为单个凸透镜，其光圈值与微透镜阵列的光圈值相匹配。

所述标定物的位置可改变且可测，微透镜阵列和成像单元的位置根据标定物的位置相应地调整。

一种用于实施所述的光场距离估计方法的光场成像系统，所述光场成像系统包括标定物和相机，其中所述相机包括主镜头、微透镜阵列和成像单元，所述微透镜阵列和所述成像单元的距离固定为所述微透镜阵列的焦距。

本发明的有益效果：

本发明提出了一种光场距离估计方法和光场成像系统，只需进行一次简单的聚焦过程就可估计光场图像上所有平面的距离，且提高了距离估计的精度。本发明的思想是：光场图像聚焦在某个距离处的平面后，其他平面的散焦度会因平面与主镜头的距离的不同而不同，且物体在成像单元上的像往往不同。提取物体的像的成像直径大小这一特征，建立成像直径与平面的距离之间的距离估计模型，优选为光线追迹模型，该光线追迹模型为反向追迹模型，即从成像单元上的像素发出的光线反向追迹到物空间的平面上。为此，本发明首先对光场相机进行标定，使得主镜头、微透镜阵列和成像单元的中心在一条水平轴上；然后将光场相机聚焦在已知距离的标定物上，获取此时相机内部微透镜阵列与主镜头之间的距离和补偿因子；保持该距离不变，使用相机进行拍摄以获取光场图像；最后提取光场图像上物体的成像直径，将成像直径代入到所建立的距离估计模型中，求解出物体所在平面与主镜头之间的距离。该方法聚焦标定物时只需移动微透镜阵列和成像单元使得标定物上的标定点的成像直径达到最小，不需要复杂的重聚焦过程。该成像系统结构简单，且所提出的距离估计模型计算复杂度低，距离估计精度较高。

本发明的光场成像系统，结构简单，实施距离估计方法复杂度低，可高精度地估计光场图像上物体的距离。

附图说明

图1是本发明实施例的成像系统示意图，其中A1为标定物，A2为有刻度的可伸缩的拉杆，B1为相机，从左至右分别为主镜头、微透镜阵列和成像单元；

图2是本发明实施例的光场距离估计流程图；

图3是本发明实施例的像空间光线追迹模型示意图，为反向追迹模型的子模型；

图4是本发明实施例的物空间光线追迹模型示意图，为反向追迹模型的子模型。

具体实施方式

以下对本发明的实施方式作详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。

参阅图1至图4，在一种实施例中，一种光场距离估计方法，采用的光场成像系统包括标定物和相机，其中相机包括主镜头、微透镜阵列、成像单元，微透镜阵列和成像单元的距离固定，为微透镜阵列的焦距。所用主镜头可以为单个凸透镜，其光圈值与微透镜阵列的光圈值相匹配。所述光场距离估计方法包括以下步骤：

S1：对相机进行标定并获取相机的光学参数；

S2：水平方向上同时调整成像单元和微透镜阵列的位置，使相机聚焦在标定物上，获取此时微透镜阵列与主镜头之间的距离和补偿因子；

S3：采集光场图像，提取光场图像上对应物体的成像直径；

S4：将成像直径输入到距离估计模型中，输出物体所在平面的距离。

在具体的实施方式中，可按下面具体方式进行操作。需注意的是，在下面的实施过程中所述的具体方法(如相机的标定、成像直径的提取等)都仅为列举说明，本发明所涵盖的范围不局限于所列举的这些方法。

S1：对相机进行标定的主要目的在于所有光学器件的中心在一条水平轴上。所用方法可为：在任意位置处放置一激光光源，水平照射主镜头的中心，在竖直方向上调整微透镜阵列和成像单元，使得光斑位于成像单元的中心。获取各光学器件的参数，包括主镜头的焦距、曲率半径、光瞳直径以及中心厚度，微透镜的焦距，成像单元上单个像素的直径。其中主镜头的焦距、曲率半径、光瞳直径以及中心厚度，微透镜的焦距等用于距离估计模型，成像单元上单个像素的直径用于提取物体的成像直径。

S2：水平方向上同时调整成像单元和微透镜阵列的位置，使相机聚焦在标定物上。所用方法可为：(1)在标定物所在平面处放置一激光光源与放大物镜，激光光源与放大物镜的中心与主镜头的中心在同一水平轴上。激光发出的平行光线聚焦在物镜的焦点后继续发散传播，其中光线以发散角度能覆盖主镜头的光瞳直径进入相机。水平方向上同时移动成像单元和微透镜阵列，使得成像单元上呈现的光斑在竖直方向上直径达到最小。停止移动成像单元和微透镜阵列，记录此时微透镜阵列与主镜头之间的距离；(2)在标定物上设置标定点，如角点，水平方向上同时移动成像单元和微透镜阵列，使得成像单元上所选角点的像在竖直方向上直径达到最小。停止移动成像单元和微透镜阵列，记录此时微透镜阵列与主镜头之间的距离。聚焦后引入补偿因子的原因在于，单个主镜头存在像差，使得物体的实际成像与理论成像存在偏差。该补偿因子用于距离估计模型中。

S3：采集光场图像，提取光场图像上对应物体的成像直径。提取成像直径的方式为计算竖直方向上物体的像所覆盖的像素个数与单个像素的直径的乘积。由于物体未聚焦，其像是散焦的，并且主镜头存在像差，故像的边缘不尖锐。因此，为确定竖直方向上物体的像所覆盖的像素个数，需判定像的边缘的有效像素。判定方法有多种，可为：(1)建立边缘像素值的分布直方图，选取个数占整体分布达到一定比例所对应的像素值作为阈值，大于该阈值的像素将视为有效像素，并计入像所覆盖的像素个数中；(2)求取边缘像素的像素值的平均值，比较当前像素的像素值与平均值的大小，大于该值的像素将视为有效像素，并计入像所覆盖的像素个数中；(3)求取边缘像素的像素值梯度，设定一阈值，当前像素的梯度变化小于该阈值的将视为有效像素。

S4：将成像直径输入到距离估计模型中，该估计模型为反向追迹模型，该模型建立了成像直径与物体所在平面的距离之间的关系。具体求解步骤为：

(a)如图3所示，为反向追迹模型的子模型，即像空间光线追迹模型。在反向追迹模型中，物体被看作是离轴的点光源。由于微透镜阵列焦距及厚度很小，故忽略光线在微透镜阵列上的折射，利用相似三角形原理得到式(1)，联合式(2)求解光线的出射位置(p_i,q_i)：

(R-T/2+p_i)²+q_i²＝R², (2)

其中D为主镜头的光瞳直径；f_x为微透镜阵列的焦距；d_in为聚焦标定物后获取的微透镜阵列与主镜头之间的距离；v_i为像在传感器上的坐标，则|v₁-v₂|即为成像直径；sgn(i)为符号函数，由式(3)确定：

R为主镜头的曲率半径；T为主镜头的中心厚度。

(b)由于忽略掉光线在微透镜阵列上的折射，可知式(4)成立：

其中ω_i为光线的出射角度，φ_i由式(5)确定：

进一步，出射角度ω_i可由式(6)计算得到：

(c)光线从主镜头传播出去时在出射位置发生折射，折射式由式(7)确定：

n₁sin(θ-ψ_i+φ_i)＝sinω_i, (7)

其中n₁为主镜头的折射率；ψ_i为光线进入主镜头后的折射角，如图4所示；θ满足式(8)：

因此，结合式(7)和(8)，可利用式(9)计算出角度ψ_i：

(d)如图4所示的物空间光线追迹模型，光线在进入主镜头后发生折射，折射式由式(10)确定：

其中满足：

其中Δh为物体相对水平轴的偏移量，若物体在中心轴上，则说明Δh＝0；d′_out即为物体所在平面的距离。式(10)和式(11)表明：

则利用式(12)求解出角度后，偏移量Δh可由式(14)解出：

再将Δh和相应的代入式(13)即可计算得到物体所在平面的距离。

参阅图1，在另一种实施例中，一种光场成像系统，用于实施前述任一实施例的光场距离估计方法，所述光场成像系统包括标定物和相机，其中所述相机包括主镜头、微透镜阵列和成像单元，所述微透镜阵列和所述成像单元的距离固定为所述微透镜阵列的焦距。

以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。