一种多路鱼眼相机标定装置及方法与流程

本发明涉及摄像机标定技术领域，尤其是涉及一种多路鱼眼相机标定装置及方法。

背景技术：

在图像测量过程以及机器视觉应用中，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的关系，必须建立相机成像的几何模型，求解这些几何模型参数的过程就是相机标定。无论是在图像测量或者是机器视觉应用中，相机标定都是非常关键的一环，标定精度以及算法的稳定性直接影响着后续相机工作的结果。

相机标定的方法主要有传统相机标定方法以及相机自标定方法。传统相机标定方法需要使用尺寸已知的标定物，通过建立标定物上坐标已知点与图像点之间的对应关系，利用一定的算法获得相机模型的内外参数。传统的标定方法采用的标定物可以是平面的棋盘格或圆孔标定板以及3D立体标定靶，传统相机标定的方法受标定板的影响很大。

相机自标定算法主要是利用场景中的一些平行或者正交的信息，其中空间平行线在相机图像平面上的交点称为消失点。自标定方法灵活性强，可对相机进行在线标定，但是由于他是基于绝对二次曲线或曲面的方法，其算法的鲁棒性差，标定的精度不高。

目前基于标定物的相机标定方法对标定的场景有较高要求，标定区域要求空间比较充裕，一般是以最小标定距离为半径的圆，并且要求标定场景拥有足够的特征点。

技术实现要素：

本发明为克服现有基于标定物的相机标定对标定场景要求较高的技术问题，旨在提供一种对标定场景要求较低的多路鱼眼相机标定装置及方法。

本发明提供了一种多路鱼眼相机标定装置，包括：全景摄像模块、第一电机驱动模块、第一滚轮组、图像处理模块、图像显示模块、标定靶、控制模块；

所述全景摄像模块包括支架、设置在支架各侧面的多个鱼眼镜头及多个图像传感器，每个镜头对应一个图像传感器，所述多个鱼眼镜头位于同一竖直高度，所述多个鱼眼镜头与侧面转动连接；

所述第一滚轮组设置于所述第一电机驱动模块底部，所述第一电机驱动模块通过第一驱动轴与所述全景摄像模块连接，所述图像处理模块连接所述全景摄像模块；所述图像显示模块连接所述图像处理模块；

所述标定靶包括：通过连接轴活动连接的第一底板、第二底板，设置于所述第一底板表面并可在其范围内移动的第一标定板及设置于所述第二底板表面并可在其范围内移动的第二标定板；与所述连接轴固定连接的第二驱动轴，与所述第二驱动轴连接的第二电机驱动模块，设置在所述第二电机驱动模块底部的第二滚轮组；

所述标定靶设置于所述全景摄像模块两路相机相邻区域，所述控制模块连接所述第一电机驱动模块和所述第二电机驱动模块。

进一步的，所述鱼眼镜头及图像传感器均为4个。

进一步的，所述标定装置还包括与所述第一标定靶结构相同的第二标定靶，所述第二标定靶设置于全景摄像模块相对于第一标定靶的另一侧。

另外，本发明还提供了一种多路鱼眼相机标定方法，包括如下步骤：

采用全景摄像模块的每路鱼眼相机采集标定靶中不同位置标定板图像；

选取等距投影畸变模型；

等距投影畸变模型具体表示如下：

r_d＝fθ_d； (1)

公式(1)中，r_d表示鱼眼图像中的点到畸变中心的距离，f表示鱼眼相机的焦距，θ_d表示入射光线与鱼眼镜头光轴之间的夹角，即入射角；

选取径向畸变模型如下：

θ_d＝θ(1+k₁θ²+k₂θ⁴+k₃θ⁶+k₄θ⁸+…)； (2)

公式(2)中，θ表示无畸变的入射角，K＝(k₁,k₂,k₃,k₄,…)表示畸变参数；θ_d表示畸变入射角；

通过上述畸变模型，从无畸变图像中的点计算出鱼眼图像中的畸变点，公式如下：

公式(3)中，(x_s，y_s)是有畸变坐标点，(x_c，y_c)是无畸变坐标点，(c_x，c_y)表示畸变图像的中心点坐标；

根据采集到的鱼眼镜头图像及成像模型分别计算镜头内参数及每个视场的外参数；

具体计算方法如下：提取所有标定板在图像平面内的特征点坐标，计算标定板坐标系下空间点与图像平面坐标系中特征点之间的单应矩阵Homography，单应矩阵计算方法如下：

公式(4)中，表示图像平面坐标系中特征点坐标，表示标定板坐标系下空间特征点；s是任意尺度的比例因子；W表示用于定位观测的物体平面的物理变换，包括与观测到的图像平面相关的部分旋转R和部分平移T的和，W＝[R T]；M是摄像机的内参数矩阵，其中包括x方向焦距f_x，y方向焦距f_y，图像中畸变图像的中心点坐标(c_x，c_y)；

由旋转矩阵的正交性分解单应矩阵Homography，构成一个包含镜头内部参数和外部参数的超定方程，通过奇异值分解及一系列变换得到摄像机的内部参数和外部参数，内部参数包括：M,K，外部参数R_i,T_i；

对获取的内外参数进行非线性优化从而得到最优的镜头内外参数M、K、R、T值；

具体方法如下，根据求解得到的镜头的内外参数以及选定的畸变模型，采用Levenberg-Marquardt算法对镜头的内外参数进行非线性优化，建立以重投影误差为最小的优化目标函数如下：

公式(5)中，是根据标定板上的特征点的初始值P_j使用摄像机成像模型投影到图像坐标系下计算出来的第j个特征点在相机第i幅图像上的图像坐标，m_ij是采用角点检测方法得到的像素坐标点，m表示拍摄标定板图像的数目，n表示标定板中特征点的个数，M表示镜头标定的内参数，K表示镜头的畸变系数，R_i,T_i表示第i幅图像下标定板坐标系与镜头坐标系之间的旋转矩阵和平移向量。

进一步的，所述采用全景摄像模块的每路鱼眼相机采集标定靶中不同位置标定板图像步骤中，通过安装在标定靶下方的第二驱动单元及第二滚轮组驱动标定靶在水平面和垂直面上移动，从而改变标定板在镜头视野范围内的位置。

进一步的，所述采用全景摄像模块的每路鱼眼相机采集标定靶中不同位置标定板图像步骤中，通过移动第一标定板在第一底板中的位置及第二标定板在第二底板中的位置，从而改变标定板在鱼眼镜头视野范围内的位置。

进一步的，所述采用全景摄像模块的每路鱼眼相机采集标定靶中不同位置标定板图像步骤中，通过调节连接轴转动两个底板张开的角度，从而改变标定板在鱼眼镜头视野范围内的位置，角度范围在[150°，180°]。

进一步的，所述采用全景摄像模块的每路鱼眼相机采集标定靶中不同位置标定板图像步骤中，通过第一电机驱动模块及第一滚轮组来旋转及平移镜头所处的位置，从而改变标定板在鱼眼镜头视野范围内的位置。

进一步的，所述采用全景摄像模块的每路鱼眼相机采集标定靶中不同位置标定板图像步骤中，采集图像15至20张。

进一步的，所述采用全景摄像模块的每路鱼眼相机采集标定靶中不同位置标定板图像步骤中，四路鱼眼相机同时采集标定靶中不同位置标定板图像。

本发明公开了一种多路鱼眼相机标定装置及方法，装置中采用具有特定结构的标定靶，能够自动调节标定靶中标定板的位置及角度；还采用了第一电机驱动模块及第一滚轮组对全景摄像模块进行移动及旋转，从而改变每路鱼眼相机相对于标定板的位置；通过对标定板的移动、旋转及全景摄像模块的移动、旋转，实现各路鱼眼相机采集标定靶中不同位置的标定板。方法中对新的折叠式标定靶中标定板进行标定图像采集，降低了对标定区域大小的要求，并且能够保证找到足够的特征点，减轻了算法的复杂程度，此外，在标定板图像采集上更加灵活，可以采集到镜头视野范围内各个区域的图像，大大的提高了相机标定的精度。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种多路鱼眼相机标定装置结构示意图；

图2是本发明实施例提供的一种多路鱼眼相机标定装置标定状态结构示意图；

图3是本发明实施例提供的一种多路鱼眼相机标定方法流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

现有基于标定物标定全景相机的方法中，采用的都是单一的平面标定板，对标定区域要求比较高，一般是以最小标定距离为半径的圆。而往往实验室场景有限，从而造成标定不便，需要人工手动不停调整标定板及全景相机，比较浪费人力物力。另外，全景相机至少具有两个鱼眼镜头，而采用单一标定板，需要依次采用每个镜头对标定板各位置的图像进行采集，从而造成了标定所需时间较长。

为解决上述问题，本发明提供了一种多路鱼眼相机标定装置，如图1所示，该装置包括：全景摄像模块9、第一电机驱动模块14、第一滚轮组15、图像处理模块16、图像显示模块17、标定靶1、控制模块19；

所述全景摄像模块9包括支架18、设置在支架18各侧面181的多个鱼眼镜头101及多个图像传感器(图中未示出)，每个镜头对应一个图像传感器，所述多个鱼眼镜头101位于同一竖直高度，所述多个鱼眼镜头101与侧面181转动连接；

所述第一滚轮组15设置于所述第一电机驱动模块14底部，所述第一电机驱动模块14通过第一驱动轴13与所述全景摄像模块9连接，所述图像处理模块16连接所述全景摄像模块9；所述图像显示模块17连接所述图像处理模块16；

所述标定靶1包括：通过连接轴3活动连接的第一底板11、第二底板12，设置于所述第一底板11表面并可在其范围内移动的第一标定板21及设置于所述第二底板12表面并可在其范围内移动的第二标定板(图中未示出)；与所述连接轴3固定连接的第二驱动轴6，与所述第二驱动轴6连接的第二电机驱动模块7，设置在所述第二电机驱动模块7底部的第二滚轮组8；

所述标定靶1设置于所述全景摄像模块9两路相机相邻区域，所述控制模块19连接所述第一电机驱动模块14和所述第二电机驱动模块7。

作为本发明实施例，本发明涉及到的全景相机具有四路鱼眼镜头，那么鱼眼相机标定装置中具有4个鱼眼镜头及图像传感器。全景摄像模块的支架设置为立方体形状，支架各侧面为平面，为了保证各镜头位于同一竖直高度，则将四个镜头设置于立方体支架的各侧面的正中心。由于镜头可以相对于侧面旋转，将镜头光轴与支架侧面垂线的夹角设置在小于等于5°。

为了实现四路鱼眼相机的同时标定，标定装置中同时采用两块结构相同的标定靶，即标定装置还包括与所述第一标定靶结构相同的第二标定靶，所述第二标定靶设置于全景摄像模块相对于第一标定靶的另一侧。通过第一电机驱动模块及第二电机驱动模块调整标定靶的位置及角度、全景摄像模块上鱼眼镜头的位置及角度，从而实现四路鱼眼标定板图像信息采集。

上述装置中的第一电机驱动模块可通过第一驱动轴驱动全景摄像模块在三维空间自由移动，并且可以在立体空间内任意旋转来调整镜头方向，另外，镜头还可以相对侧面旋转一定角度；第二电机驱动模块可通过第二驱动轴驱动标定靶在三维空间自由移动，标定靶中第一底板和第二底板张开角度也可调节，第一标定板相对于第一底板移动，第二标定板相对于第二底板移动，从而保证在标定时采集镜头视野范围内更多标定板图像，减小标定所需区域大小。

标定靶中标定板的图案设置为黑白相间的棋盘格，使用标定靶，可以保证标定时能够找到足够数量的、分布均匀的足够精度且基本处于同一深度的特征点，而不受标定所处实际场景的约束。标定靶中标定板的图案还可以设置成圆孔图案同样能够实现标定结果。

使用标定靶时，如图2所示，第一底板和第二底板间夹角为150°至180°之间，既能实现单个标定板图像的采集，又能保证一个镜头内不会出项两块标定板图像；不使用标定靶时，可以将其闭合，既能节省存储空间，又能避免标定板被污染，影响标定结果。

本发明公开的多路鱼眼相机标定装置采用一种新的折叠式标定靶，降低了对标定区域大小的要求，并且保证能够找到足够的特征点，减轻了算法的复杂度。此外，在标定板图像采集上更加灵活，可以采取标定靶移动或者全景摄像模块移动的方式来采集到镜头视野范围内各个区域的图像，大大提高了相机标定的精度。

如图3所示，本发明还提供了一种多路鱼眼相机标定方法，利用上述标定装置对鱼眼相机进行标定，包括如下步骤：

S1、采用全景摄像模块的每路鱼眼相机采集标定靶中不同位置标定板图像；

针对上述标定靶，采集每路鱼眼镜头视野内各个位置下的标定板图像，一般采集的图像数量在15至20张，标定结果的准确度较高，且计算量适中。

在本实施例中，可以采用如下几种方式采用全景摄像模块的每路鱼眼相机采集标定靶中不同位置标定板图像:

1、通过安装在标定靶下方的第二驱动单元及第二滚轮组驱动标定靶在水平面和垂直面上移动，从而改变标定板在镜头视野范围内的位置。

2、通过移动第一标定板在第一底板中的位置及第二标定板在第二底板中的位置，从而改变标定板在鱼眼镜头视野范围内的位置。

3、通过调节连接轴转动两个底板张开的角度，从而改变标定板在鱼眼镜头视野范围内的位置，角度范围在[150°，180°]，在保证同一鱼眼镜头不同时采集到两个标定板的情况下，两个标定底板张开的角度在[150°，180°]之间改变，都可以用于标定图像的采集。使第一标定板位于远离连接轴的第一底板边缘的中部，第二标定板位于远离连接轴的第二标定板边缘的中部。

4、通过第一电机驱动模块及第一滚轮组来旋转及平移镜头所处的位置，从而改变标定板在鱼眼镜头视野范围内的位置。

还可以选择上述任何两种或三种或四种方式来改变标定板在鱼眼镜头视野范围内的位置，从而可以快速的完成标定靶中标定板图像信息的采集，且对标定区域的空间需求较小。

本发明公开的多路鱼眼相机标定方法采用一种新的折叠式标定靶来实现标定，降低了对标定区域大小的要求，并且保证能够找到足够的特征点，减轻了算法的复杂度。此外，在标定板图像采集上更加灵活，可以采取标定靶移动或者全景摄像模块移动的方式来采集到镜头视野范围内各个区域的图像，大大提高了相机标定的精度。

S2、选取等距投影畸变模型；

鱼眼镜头一般是由十几个不同的透镜组合而成，在成像过程中，入射光线经过不同程度的折射，折射到尺寸有限的成像平面上。鱼眼镜头成像遵循的模型是近似为单位球面投影模型，故本发明中采用等距投影畸变模块，等距投影畸变模型具体表示如下：

r_d＝fθ_d； (1)

公式(1)中，r_d表示鱼眼图像中的点到畸变中心的距离，f表示鱼眼相机的焦距，θ_d表示入射光线与鱼眼镜头光轴之间的夹角，即入射角；

由于鱼眼镜头的投影模型为了将尽可能大的场景投影到有限的图像平面内，因此鱼眼镜头的畸变非常严重。鱼眼镜头的畸变主要是径向畸变，选取径向畸变模型如下：

θ_d＝θ(1+k₁θ²+k₂θ⁴+k₃θ⁶+k₄θ⁸+…)； (2)

公式(2)中，θ表示无畸变的入射角，K＝(k₁,k₂,k₃,k₄,…)表示畸变参数；θ_d表示入射光线与鱼眼镜头光轴之间的夹角，即畸变入射角；

通过上述畸变模型，从无畸变图像中的点计算出鱼眼图像中的畸变点，公式如下：

公式(3)中，(x_s，y_s)是有畸变坐标点，(x_c，y_c)是无畸变坐标点，(c_x，c_y)表示畸变图像的中心点坐标；

S3、根据采集到的鱼眼镜头图像及成像模型分别计算镜头内参数及每个视场的外参数；

镜头标定涉及到的内参数有镜头中心位置，镜头有效焦距以及镜头的畸变系数，涉及到的外参数有旋转和平移向量。首先要初始化镜头的内外参数，即将鱼眼图像上的畸变点进行去畸变得到无畸变点，然后计算空间坐标点与无畸变图像点之间的单应矩阵Homography，具体计算方法如下：提取所有标定板在图像平面内的特征点坐标，计算标定板坐标系下空间点与图像平面坐标系中特征点之间的单应矩阵Homography，单应矩阵计算方法如下：

公式(4)中，表示图像平面坐标系中特征点坐标，表示标定板坐标系下空间特征点；s是任意尺度的比例因子；W表示用于定位观测的物体平面的物理变换，包括与观测到的图像平面相关的部分旋转R和部分平移T的和，W＝[R T]；M是摄像机的内参数矩阵，其中包括x方向焦距f_x，y方向焦距f_y，图像中畸变图像的中心点坐标(c_x，c_y)；

由旋转矩阵的正交性分解单应矩阵Homography，构成一个包含镜头内部参数和外部参数的超定方程，通过奇异值分解及一系列变换得到摄像机的内部参数和外部参数，内部参数包括：M,K，外部参数R_i,T_i；外部参数指镜头坐标系与所有平面坐标系之间的旋转和平移关系；

成像模型包括畸变模型,计算鱼眼镜头内外参数时,根据畸变模型,及单应矩阵对内外参数进行求取。

S4、对获取的内外参数进行非线性优化从而得到最优的镜头内外参数M、K、R、T值；

具体方法如下，根据步骤S3求解得到的镜头的内外参数以及步骤S2选定的畸变模型，鱼眼镜头的畸变非常严重，通过采用非线性优化的方法优化上述求解得到的摄像机参数。具体采用Levenberg-Marquardt算法对镜头的内外参数进行非线性优化，建立以重投影误差为最小的优化目标函数如下：

公式(5)中，是根据标定板上的特征点的初始值P_j使用摄像机成像模型投影到图像坐标系下计算出来的第j个特征点在相机第i幅图像上的图像坐标，m_ij是采用角点检测方法得到的像素坐标点，m表示拍摄标定板图像的数目，n表示标定板中特征点的个数，M表示镜头标定的内参数，K表示镜头的畸变系数，R_i,T_i表示第i幅图像下标定板坐标系与镜头坐标系之间的旋转矩阵和平移向量。

上述多路鱼眼相机标定方法中，可以同时实现两路鱼眼镜头对标定靶中标定板图像信息的采集，还可以同时实现多路鱼眼镜头对标定靶中标定板图像信息的采集；从而大大提高了标定的速度。

通过本发明提供的多路鱼眼相机标定装置及方法具体实现标定的过程如下：

全景摄像模块中的鱼眼镜头选取焦距为1.45毫米的立鼎F123B0145WR1镜头，且图像的分辨率为1225像素*1225像素，镜头的视场角为190°×120°，标定工作距离为1500毫米。两标定底板张开的角度为175°，每个标定板中特征点个数为121个，特征点间距为50mm。

根据上述多路鱼眼相机标定方法，对每路鱼眼相机内部参数进行标定及进行非线性优化，得到的结果如下表所示：

本发明公开的多路鱼眼相机标定方法采用一种新的折叠式标定靶来实现镜头内外参数的标定，降低了对标定区域大小的要求，并且保证能够找到足够的特征点，减轻了算法的复杂度。此外，在标定板图像采集上更加灵活，可以采取标定靶移动或者全景摄像模块移动的方式来采集到镜头视野范围内各个区域的图像，大大提高了相机标定的精度。

以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。