一种多路鱼眼相机双目标定装置的制作方法

本实用新型涉及摄像机标定技术领域，尤其是涉及一种多路鱼眼相机双目标定装置。

背景技术：

相机标定是摄影测量、3D成像和图像几何校正等工作中的关键技术之一，它的主要作用是估计相机的内外参数。标定结果的精度和标定算法的稳定性直接影响后续工作的准确性。

已有的摄像机标定方法可以分为以下几类：(1)利用空间几何信息精确已知的立体标定物进行标定，立体标定物一般有多个平面标定板构成，高精度的立体标定板不便于制作和使用。(2)通过精确控制摄像机或平面标定物的运动进行标定，精确的运动控制结构复杂、成本高。(3)利用二维的平面标定板进行单个摄像机的标定，目前基于平面标定板进行单个镜头的标定算法主要依赖于标定板上各个特征点的坐标位置精度。

双目摄像机的标定是指获取双摄像机的内部参数和两个摄像机之间的相对位置和姿态参数的过程，主要包括选定标定板，利用双目摄像机从多个角度采集标定板图像，分别对单个镜头进行内外参数标定，利用标定的外参数结果求解两镜头之间的旋转矩阵和平移向量。

目前常用的双目相机标定的标定板和单目标定一样，首先鱼眼镜头的超大视场以及边缘的畸变非常严重，此外，在近距离下，两镜头之间的重叠区域非常小，采用一般的标定板会导致拍摄的图像不可用或者标定的结果不准确。

技术实现要素：

本实用新型为克服现有基于普通标定板进行双目标定时结果不准确的技术问题，旨在提供一种标定结果准确度高的多路鱼眼相机双目标定装置。

本实用新型提供了一种多路鱼眼相机双目标定装置，包括：包括：全景摄像模块、第一电机驱动模块、第一滚轮组、图像处理模块、图像显示模块、标定靶、控制模块；

所述全景摄像模块包括支架、设置在支架各侧面的多个鱼眼镜头及多个图像传感器，每个镜头对应一个图像传感器，所述多个鱼眼镜头位于同一竖直高度，所述多个鱼眼镜头与侧面转动连接；

所述第一滚轮组设置于所述第一电机驱动模块底部，所述第一电机驱动模块通过第一驱动轴与所述全景摄像模块连接，所述图像处理模块连接所述全景摄像模块；所述图像显示模块连接所述图像处理模块；

所述标定靶包括：底板，所述底板包括第一区域和第二区域，设置于所述第一区域表面并可在其范围内移动的第一标定板及设置于所述第二区域表面并可在其范围内移动的第二标定板；与底板固定连接的第二驱动轴，与所述第二驱动轴连接的第二电机驱动模块，设置在所述第二电机驱动模块底部的第二滚轮组；

所述标定靶设置于所述全景摄像模块两路相机相邻区域，所述控制模块连接所述第一电机驱动模块和所述第二电机驱动模块。

进一步的，所述鱼眼镜头及图像传感器均为4个。

进一步的，所述标定装置还包括与所述第一标定靶结构相同的第二标定靶，所述第二标定靶设置于全景摄像模块相对于第一标定靶的另一侧。

本实用新型采用一种具有两块标定板的标定靶进行多路鱼眼相机双目标定，两块标定板间的位置关系已知，通过左边鱼眼相机镜头拍摄第一区域中标定板图像，右边相机鱼眼镜头拍摄第二区域中标定板图像。从而得到畸变较小且大小适中的标定板图像，保证能够找到足够的特征点，大大提高了双目相机标定的精度。

本实用新型的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本实用新型的实践了解到。

附图说明

为了更清楚地说明本实用新型实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本实用新型的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本实用新型实施例提供的一种多路鱼眼相机双目标定装置结构示意图；

图2是本实用新型实施例提供的一种多路鱼眼相机双目标定装置标定状态结构示意图；

图3是本实用新型实施例提供的一种多路鱼眼相机双目标定方法流程图。

具体实施方式

下面将结合本实用新型实施例中的附图，对本实用新型实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本实用新型一部分实施例，而不是全部的实施例。基于本实用新型中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本实用新型保护的范围。

现有的双目摄像机标定中，采用常规的和单目标定一样的标定板，鱼眼镜头进行双目标定时，由于鱼眼镜头的视场角非常大，近距离时图像边缘畸变明显，并且鱼眼镜头在近距离时两个相机的之间的重叠区域非常小；故相邻两路鱼眼相机采集到重叠区域标定板图像，不能保证图像较大，且畸变较小。只能选取折中的位置，采集到图像大小一般且具有一定畸变的图像进行标定，造成标定结果不够精准。

为了克服这个问题，本实用新型提供了一种多路鱼眼相机双目标定装置，如图1所示，该装置包括：全景摄像模块9、第一电机驱动模块14、第一滚轮组15、图像处理模块16、图像显示模块17、标定靶1、控制模块19；

所述全景摄像模块9包括支架18、设置在支架各侧面的多个鱼眼镜头101及多个图像传感器(图中未示出)，每个镜头对应一个图像传感器，所述多个鱼眼镜头位于同一竖直高度，所述多个鱼眼镜头101与侧面181转动连接；

所述第一滚轮组15设置于所述第一电机驱动模块14底部，所述第一电机驱动模块14通过第一驱动轴13与所述全景摄像模块9连接，所述图像处理模块16连接所述全景摄像模块9；所述图像显示模块17连接所述图像处理模块16；

所述标定靶1包括：底板，所述底板包括第一区域11和第二区域12，设置于所述第一区域11表面并可在其范围内移动的第一标定板21及设置于所述第二区域12表面并可在其范围内移动的第二标定板22；与底板固定连接的第二驱动轴6，与所述第二驱动轴6连接的第二电机驱动模块7，设置在所述第二电机驱动模块7底部的第二滚轮组8；

所述标定靶1设置于所述全景摄像模块9两路相机相邻区域，所述控制模块19连接所述第一电机驱动模块1和所述第二电机驱动模块7。

作为本实用新型实施例，本实用新型涉及到的全景相机具有四路鱼眼镜头，那么鱼眼相机标定装置中具有4个鱼眼镜头及4个图像传感器。全景摄像模块的支架设置为立方体形状，支架各侧面为平面，为了保证各镜头位于同一竖直高度，则将四个镜头设置于立方体支架的各侧面的正中心。由于镜头可以相对于侧面旋转，将镜头光轴与支架侧面垂线的夹角设置在小于等于5°。

为了实现4路鱼眼相机的同时标定，所述标定装置还包括与所述第一标定靶结构相同的第二标定靶，所述第二标定靶设置于全景摄像模块相对于第一标定靶的另一侧。通过第一电机驱动模块及两个第二电机驱动模块调整标定靶的位置及角度、全景摄像模块上鱼眼镜头的位置及角度，从而实现四路鱼眼标定板图像信息采集。

上述装置中的第一电机驱动模块可通过第一驱动轴驱动全景摄像模块在三维空间自由移动，并且可以在立体空间内任意旋转来调整镜头方向，另外，镜头还可以相对侧面旋转一定角度；第二电机驱动模块可通过第二驱动轴驱动标定靶在三维空间自由移动，标定靶中第一标定板相对于第一区域移动，第二标定板相对于第二区域移动，且两个标定板在水平方向上的间隔为L，L的大小由标定靶与全景摄像装置间的距离确定,一般要大于100毫米,从而保证左边鱼眼相机镜头拍摄第一区域中标定板图像，右边相机鱼眼镜头拍摄第二区域中标定板图像。

标定靶中标定板的图案设置为黑白相间的棋盘格，使用标定靶，可以保证标定时能够找到足够数量的、分布均匀的足够精度且基本处于同一深度的特征点，而不受标定所处实际场景的约束。标定靶中标定板的图案还可以设置成圆孔图案同样能够实现标定结果。

使用标定靶时，如图2所示，第一部分和第二部分间夹角为至180°，从而便于确定两标定板间的位置关系。

本实用新型公开的多路鱼眼相机标定装置采用一种具有两块标定板的标定靶，两块标定靶间的位置关系已知。从而能够拍摄到畸变较小的保证能够找到足够的特征点的标定板图像，大大提高了双目相机标定的精度。

如图3所示，本实用新型提供的标定装置还用于进行任意角度双目摄像机的标定，利用上述标定装置对鱼眼相机进行标定，包括如下步骤：

S1：采用全景摄像模块左右相邻两路鱼眼相机同时采集标定靶中不同位置标定板图像；

针对上述标定靶，采集每路鱼眼镜头视野内各个位置下的标定板图像，一般采集的图像数量在15至20张，标定结果的准确度较高，且计算量适中。

在本实施例中，可以采用如下几种方式采用全景摄像模块左右相邻两路鱼眼相机同时采集标定靶中不同位置标定板图像：

将标定靶上两个标定板分别移至标定靶第一区域和第二区域的中间，且两个标定板在水平方向上的间隔为L，L的大小通过标定板与镜头之间的距离确定。左边鱼眼相机镜头拍摄第一区域中标定板图像，右边相机鱼眼镜头拍摄第二区域中标定板图像。利用相邻两个镜头同时采集标定板图像时，通过所述第一电机驱动模块驱动支架平移和旋转，改变镜头的位姿，拍摄左右相邻两路鱼眼相机镜头在不同位姿下的标定板图像。还可通过所述第二电机驱动模块驱动标定靶在水平面和垂直面上移动以改变标定靶的位置。

在采集标定板图像时，相邻两路相机鱼眼镜头对标定靶中两个标定板同时进行图像采集，两个标定板的间隔L保持不变；不同的镜头对之间，可以调整两个标定板之间的间隔大小，以满足标定板图像拍摄的需要。

在采集标定板图像时，镜头与支架之间固定不动。

S2：选取等距投影畸变模型；

鱼眼镜头一般是由十几个不同的透镜组合而成，在成像过程中，入射光线经过不同程度的折射，折射到尺寸有限的成像平面上。鱼眼镜头成像遵循的模型是近似为单位球面投影模型，在本实用新型中采用的是等距投影模型，具体表示如下：等距投影畸变模型具体表示如下：

r_d＝fθ_d； (1)

公式(1)中，r_d表示鱼眼图像中的点到畸变中心的距离，f表示鱼眼相机的焦距，θ_d表示入射光线与鱼眼镜头光轴之间的夹角，即入射角；

由于鱼眼镜头的投影模型为了将尽可能大的场景投影到有限的图像平面内，因此鱼眼镜头的畸变非常严重。鱼眼镜头的畸变主要是径向畸变，选取径向畸变模型如下：

θ_d＝θ(1+k₁θ²+k₂θ⁴+k₃θ⁶+k₄θ⁸+…)；(2)

公式(2)中，θ表示无畸变的入射角，K＝(k₁,k₂,k₃,k₄,…)表示畸变参数；θ_d表示入射光线与鱼眼镜头光轴之间的夹角，即畸变入射角；

通过上述畸变模型，从无畸变图像中的点计算出鱼眼图像中的畸变点，公式如下：

公式(3)中，(x_s，y_s)是有畸变坐标点，

(x_c，y_c)是无畸变坐标点，(c_x，c_y)表示畸变图像的中心点坐标；

S3：根据采集到的相邻左右两路鱼眼镜头图像及成像模型分别计算左右两个镜头的内参数及每个视场的外参数M_l,K_l,M_r,K_r,

镜头标定涉及到的内参数有镜头中心位置，镜头有效焦距以及镜头的畸变系数，涉及到的外参数有旋转和平移向量。首先要初始化镜头的内外参数，即将鱼眼图像上的畸变点进行去畸变得到无畸变点，然后计算空间坐标点与无畸变图像点之间的单应矩阵Homography，通过采集的多张图像来计算每个视场的旋转和平移向量，同时也计算摄像机的内参数。具体计算方法如下：分别提取左右两路鱼眼镜头图像中所有标定板在图像平面内的特征点坐标，计算标定板坐标系下空间点与图像平面坐标系中特征点之间的单应矩阵

Homography，单应矩阵计算方法如下：

公式(4)中，表示图像平面坐标系中特征点坐标，表示标定板坐标系下空间特征点；s是任意尺度的比例因子；W表示用于定位观测的物体平面的物理变换，包括与观测到的图像平面相关的部分旋转R和部分平移T的和，W＝[R T]；M是摄像机的内参数矩阵，其中包括x方向焦距f_x，y方向焦距f_y，图像中畸变图像的中心点坐标(c_x，c_y)；

由旋转矩阵的正交性分解单应矩阵Homography，构成一个包含镜头内部参数和外部参数的超定方程，通过奇异值分解及一系列变换分别得到左右两路鱼眼镜头的内部参数和外部参数，利用采集的图像对左右镜头分别进行上述标定求解，计算出左镜头内参数为M_l,K_l，外参数为右镜头内参数为M_r,K_r外参数为外部参数指镜头坐标系与所有平面坐标系之间的旋转和平移关系；

成像模型包括畸变模型,计算鱼眼镜头内外参数时,根据畸变模型,及单应矩阵对内外参数进行求取。

S4：根据标定靶上两个标定板之间的位置关系及得到的相邻两个镜头的外参数计算相邻两个相机镜头之间的位置关系；

具体计算方法如下：对于标定靶中两个标定板上，相对应位置的点X₁、X₂分别表示该点在世界坐标系的坐标，具有如下关系：

X₂＝RX₁+T； (5)

公式(5)中，R，T表示已知的标定靶中两个标定板在相对应位置点之间的旋转和平移关系；

X₁，X₂在各自镜头坐标系下的坐标为X_l，X_r，它们之间的转换关系如下：

X_l＝R_lX₁+T，X_r＝R_rX₂+T_r； (6)

根据公式(5)和公式(6)消除X₁，X₂，可得：

进而可得出：

公式(8)和公式(9)中，R^r→l表示右相机与左相机之间的旋转矩阵，T^r→l表示右相机与左相机之间的平移矩阵。

由于标定靶中两个标定板的水平距离为L，那么对于标定靶中两个标定板上，相对应位置的点X₁、X₂分别表示该点在世界坐标系的坐标，X₁、X₂间的旋转关系矩阵R为平移关系矩阵T为L+W_左。W_左表示标定靶上左标定板一行中所有黑白格的宽度和。对应的公式(8)和公式(9)变换为：

S5：根据计算的相邻左相机的内外参数、右相机的内外参数、左标定板与右标定板间的旋转及平移关系、左相机与右相机间的旋转及平移关系及选定的畸变模型对双目镜头的内外参数进行优化从而得到最优的左镜头的内外参数M_l,K_l,右镜头的内外参数M_r,K_r,左镜头与右镜头之间的旋转关系R^r→l、平移关系T^r→l；

具体方法如下：鱼眼镜头的畸变非常严重，通过采用非线性优化的方法优化上述求解得到的摄像机参数，可采用Levenberg-Marquardt算法对相邻左右相机的内参数及左右相机

镜头之间的关系进行优化，建立以重投影误差为最小的优化目标函数如下：

公式(10)中，是根据左边平面标定模板上的特征点的初始值使用左相机畸变模型重投影到图像坐标系下计算出来的第j个特征点在左相机第i幅图像上的图像坐标，是标定板上第j个特征点在左镜头第i幅图像上检测出来的特征点坐标，nl是左镜头第i幅图像上识别出的特征角点个数，是根据右边平面标定模板上的特征点的初始值使用右相机畸变模型重投影到图像坐标系下计算出来的第j个特征点在左相机第i幅图像上的图像坐标，右相机畸变模型是由左平面标定板的外参及左右两标定板之间的旋转、平移矩阵及左右两镜头之间的旋转、平移矩阵得到；是标定板上第j个特征点在右镜头第i幅图像上检测出来的特征点坐标，nr是右镜头第i幅图像上识别出来的特征角点数目。

本实用新型采用一种具有两块标定板的标定靶进行多路鱼眼相机双目标定，两块标定板间的位置关系已知，通过左边鱼眼相机镜头拍摄第一区域中标定板图像，右边相机鱼眼镜头拍摄第二区域中标定板图像。从而得到畸变较小且大小适中的标定板图像，保证能够找到足够的特征点，大大提高了双目相机标定的精度。

以上所揭露的仅为本实用新型一种较佳实施例而已，当然不能以此来限定本实用新型之权利范围，因此依本实用新型权利要求所作的等同变化，仍属本实用新型所涵盖的范围。