一种鱼眼相机标定方法及系统与流程

本发明属于信息通信技术领域，具体涉及一种鱼眼相机标定方法及系统。

背景技术：

相机标定是摄影测量、3d成像和图像几何校正等工作中的关键技术之一，它的主要作用是估计相机的内外参数。标定结果的精度和标定算法的稳定性直接影响后续工作的准确性。

相机标定的方法主要有传统相机标定方法以及相机自标定方法。传统相机标定方法需要使用尺寸已知的标定物，通过建立标定物上已知坐标点与图像像素点之间的对应关系，利用一定的算法获得相机模型的内外参数。传统的标定方法采用的标定物可以是平面的棋盘格或圆点标定板，传统相机标定的方法受标定板的影响很大。

相机自标定算法主要是利用场景中的一些平行或者正交的信息，其中空间平行线在相机图像平面上的交点称为消失点。自标定方法灵活性强，可对相机进行在线标定，但是由于他是基于绝对二次曲线或曲面的方法，其算法的鲁棒性差，标定的精度不高。

由于鱼眼镜头的视场角非常大，一般在180°～200°，并且镜头在边缘成像的畸变很大，基于现有标定方法对鱼眼相机标定误差很大，故亟需一种能够适用于鱼眼相机的标定方法。

技术实现要素：

现有技术中，由于鱼眼镜头的视场角非常大，一般在180°～200°，并且镜头在边缘成像的畸变很大，基于现有标定方法对鱼眼相机标定误差很大，为了解决这种问题，本发明提供一种鱼眼相机标定方法，具体方案如下：

一种鱼眼相机标定方法，具体包括如下步骤：

步骤s1、利用鱼眼相机采集标定靶图像，并得到有畸变的子标定板图像；

步骤s2、将采集到的有畸变的子标定板图像进行透视投影变换，并提取所有有畸变的子标定板图像在成像平面内的特征点坐标；

步骤s3、利用相机标定模型并结合所述特征点坐标进行鱼眼相机的标定。

其中，在上述方法中，所述步骤s1中利用鱼眼相机采集不同视场的标定靶图像，并得到有畸变的子标定板图像具体包括：

所述标定靶包含有多个子标定板，各子标定板依次相连且相互呈一定角度；

所述鱼眼相机采集的标定靶图像数量为多张，并且每一次采集的标定靶图像的位置和角度均有变化。

其中，在上述方法中，所述子标定板上设有用于获取该子标定板图像的特征点坐标的图案，所述图案为棋盘格或阵列式圆点。

其中，在上述方法中，所述步骤s2中将采集到的有畸变的子标定板图像进行透视投影变换，并提取所有有畸变的子标定板图像在成像平面内的特征点坐标具体包括以下步骤：

步骤s21、对所有有畸变的子标定板图像进行透视投影变换，得到去畸变的子标定板图像；

步骤s22、计算有畸变的子标定板图像与无畸变的子标定板图像特征点坐标之间的坐标映射表，并提取无畸变的子标定板图像的特征点坐标；

步骤s23、将提取的无畸变的子标定板图像的特征点坐标映射回有畸变的子标定板图像。

其中，在上述方法中，所述步骤s21中对所有有畸变的子标定板图像进行透视投影变换，得到去畸变的子标定板图像具体包括：

设三维空间中的点为q，其坐标方程式为q＝[x，y，z]，该点q绕x轴旋转θ角、y轴旋转β角、z轴旋转γ角的旋转矩阵计算公式如下所示：

r＝rz×rx×ry

其中，rx表示绕x轴旋转的矩阵，ry表示绕y轴旋转的矩阵，rz表示绕z轴旋转的矩阵,r表示图像的透视变换矩阵；

计算图像的变化矩阵，设有畸变的子标定板图像为i(x，y),该图像的长和宽分别为h和w，在图像i上任意选取一点作为透视投影变换的投影中心点，该点用(centerx，centery)表示，则图像i绕x、y轴旋转的角度计算公式如下：

根据所获得图像i绕x、y轴的旋转角度θ与β后，根据上述的旋转矩阵计算公式可以得出图像的透视变换矩阵r。

其中，在上述方法中，所述步骤s22中计算有畸变的子标定板图像与无畸变的子标定板图像特征点坐标之间的坐标映射表，并提取无畸变的子标定板图像的特征点坐标具体包括：

设有畸变的子标定板图像的内参数矩阵为m1，畸变系数为k＝(k1，k2，k3，k4)，无畸变的子标定板图像的内参数矩阵为m2，映射大小为remp＝(sx，sy)，且

其中，fx表示相机在成像平面x方向的等效焦距，fy表示相机在成像平面y方向的等效焦距，(cx，cy)表示主点在成像平面x、y方向上的特征点坐标；

对无畸变图像中的任意一点o＝(u，v，1)^t，经过透视矩阵变换后的物理坐标为o′＝(x，y，z)^t，计算公式如下：

选取等距投影畸变模型对上述物理坐标求取畸变物理坐标，根据畸变物理坐标计算畸变的特征点坐标，即可获得有畸变的子标定板图像与无畸变的子标定板图像特征点坐标之间的坐标映射表，等距投影的畸变模型如下所示：

θd＝θ(1+k1θ²+k2θ⁴+k3θ⁶+k4θ⁸+…)

其中，θ表示无畸变的入射角，θd表示畸变入射角。

对畸变图像中的任意一点(uu，vv)，从无畸变的物理坐标获取畸变特征点坐标的计算方法如下：

根据上述方法即可获得无畸变特征点坐标与畸变特征点坐标之间的坐标映射表，用map1，map2表示，计算方法如下：

map1(u，v)＝uu

map2(u，v)＝vv

其中，在上述方法中，所述步骤s23中将提取的无畸变的子标定板图像的特征点坐标映射回有畸变的子标定板图像具体包括：

利用计算得到的坐标映射表将提取的畸变子标定板图像映射为无畸变的子标定板图像，对无畸变的子标定板图像提取特征点坐标，然后根据所述坐标映射表将提取的无畸变的子标定板图像的特征点坐标映射回有畸变的子标定板图像上，以获得有畸变的子标定板图像在成像平面内的特征点坐标。

其中，在上述方法中，所述步骤s3中利用相机标定模型并结合所述特征点坐标进行鱼眼相机的标定具体包括：

鱼眼相机标定模型的齐次坐标形式表示为：

其中，表示图像平面坐标系中特征点坐标，表示标定板坐标系下的特征点；m表示相机的内参数矩阵；w表示用于定位观测的物体平面的物理变换，所述w包括与观测到的图像平面相关的部分旋转r和部分平移t的和，且w＝[r|t]。

根据步骤s1中所采集的不同视场的标定靶图像，以及步骤s2中所提取的所有畸变的子标定板图像在成像平面内的特征点坐标，并结合所述相机标定模型，计算鱼眼相机内参数和外参数，以实现对鱼眼相机的标定。

本发明的鱼眼相机标定方法，通过包括如下步骤：首先，利用鱼眼相机采集标定靶图像，并得到有畸变的子标定板图像；然后，将采集到的有畸变的子标定板图像进行透视投影变换，并提取所有有畸变的子标定板图像在成像平面内的特征点坐标；最后，利用相机标定模型并结合所述特征点坐标进行鱼眼相机的标定。该方法采用从无畸变标定板中提取特征点然后映射回原有畸变的标定板中，可以确保有畸变的标定板图像的特征点提取的准确度，不会有特征点检测不到的情况出现，从而提高了鱼眼相机的标定精度。

根据本发明的另一个方面，本发明还提供了一种鱼眼相机标定系统，包括：

采集模块，用于利用鱼眼相机采集标定靶图像，并得到有畸变的子标定板图像；

提取模块，用于将采集到的有畸变的子标定板图像进行透视投影变换，并提取所有有畸变的子标定板图像在成像平面内的特征点坐标；以及

标定模块，用于利用相机标定模型并结合所述特征点坐标进行鱼眼相机的标定。

本发明的鱼眼相机标定系统，通过包括采集模块、提取模块和标定模块，使得本发明采用从无畸变标定板中提取特征点然后映射回原有畸变的标定板中，可以确保有畸变的标定板图像的特征点提取的准确度，不会有特征点检测不到的情况出现，从而提高了鱼眼相机的标定精度。

附图说明

图1是本发明鱼眼相机标定方法提供的一实例的方法流程图；

图2是本发明标定靶提供的一实施例的结构示意图；

图3是本发明获取有畸变的子标定板的特征点坐标的方法流程图；

图4是本发明鱼眼相机标定系统提供的一实例的结构框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

目前，相机标定的方法主要有传统相机标定方法以及相机自标定方法。

传统相机标定方法需要使用尺寸已知的标定物，通过建立标定物上已知坐标点与图像像素点之间的对应关系，利用一定的算法获得相机模型的内外参数。传统的标定方法采用的标定物可以是平面的棋盘格或圆点标定板，传统相机标定的方法受标定板的影响很大。

相机自标定算法主要是利用场景中的一些平行或者正交的信息，其中空间平行线在相机图像平面上的交点称为消失点。自标定方法灵活性强，可对相机进行在线标定，但是由于他是基于绝对二次曲线或曲面的方法，其算法的鲁棒性差，标定的精度不高。

由于鱼眼镜头的视场角非常大，一般在180°～200°，并且镜头在边缘成像的畸变很大，基于现有标定方法对鱼眼相机标定误差很大。

为了解决上述问题，以提高鱼眼相机的标定精度，本发明提供一种鱼眼相机标定方法及系统。

本发明提供的鱼眼相机标定方法，如图1所示，具体包括以下步骤：

步骤s1、利用鱼眼相机采集标定靶图像，并得到有畸变的子标定板图像；

步骤s2、将采集到的有畸变的子标定板图像进行透视投影变换，并提取所有有畸变的子标定板图像在成像平面内的特征点坐标；

步骤s3、利用相机标定模型并结合所述特征点坐标进行鱼眼相机的标定。

在上述方法中，所述步骤s1中利用鱼眼相机采集不同视场的标定靶图像，并得到有畸变的子标定板图像具体包括：

所述标定靶包含有多个子标定板，各子标定板依次相连且相互呈一定角度；

所述鱼眼相机采集的标定靶图像数量为多张，并且每一次采集的标定靶图像的位置和角度均有变化。

在本发明的一实施例中，利用鱼眼相机采集完整的标定靶图像，该实施例中标定靶图像采集数量为3至4张，并且每次采集的标定靶图像的位置和角度都要变化，这样可使得标定结果的准确度较高，且计算量适中。

在上述方法中，所述子标定板上设有用于获取该子标定板图像的特征点坐标的图案，所述图案为棋盘格或阵列式圆点。

本发明的一实施例中，该标定靶包含有3个子标定板，其标定靶的示意图如图2所示，每个子标定板的图案设置为黑白相间的棋盘格，使用该图案的标定靶，可以保证标定时能够找到足够数量的、分布均匀的足够精度且基本处于同一深度的特征点，可以理解的是，根据采集图像的需求，每个标定靶所包含的子标定板的数量也可以设置为其它值。

此外，利用鱼眼相机拍摄一次标定靶图像，可以采集到3张标定板图像，这样大大减少了图像采集所需的时间，提高了标定的效率。

进一步的，标定靶图像采集时，需确保每个子标定板的特征点数目适中，每个子标定板的特征点数目一般不低于15个，且鱼眼镜头每次都可以采集到完整的标定靶图像。

进一步的，子标定板的图案除棋盘格和阵列式圆点，还可以是其它的图案，只要采集的图像能够提取到足够数量的、分布均匀的足够精度且基本处于同一深度的特征点，同样能够实现标定结果。

对上述步骤s1中所采集到的所有标定靶图像，提取其中的子标定板图像，假设共采集了n张标定靶图像，每个标定靶包含了m个子标定板，则总共可以提取出n×m张标定板图像，且每个标定板图像的大小与原始标定靶图像的大小相同。

则上述提取出来的子标定板图像的边缘会不同程度的出现畸变，在进行特征点提取时，畸变较大的子标定板图像所提取的特征点会不准确或者提取不出来。

在本发明的实施例中，首先对提取到的畸变图像进行透视投影变换，得到去畸变的标定板图像；然后对去畸变的标定板图像检测特征点坐标；最后将检测到的特征点坐标映射到原始畸变图像，即可精确的提取到子标定板的特征点。

在上述方法中，如图3所示，所述步骤s2中将采集到的有畸变的子标定板图像进行透视投影变换，并提取所有有畸变的子标定板图像在成像平面内的特征点坐标具体包括以下步骤：

步骤s21、对所有有畸变的子标定板图像进行透视投影变换，得到去畸变的子标定板图像；

步骤s22、计算有畸变的子标定板图像与无畸变的子标定板图像特征点坐标之间的坐标映射表，并提取无畸变的子标定板图像的特征点坐标；

步骤s23、将提取的无畸变的子标定板图像的特征点坐标映射回有畸变的子标定板图像。

在上述方法中，所述步骤s21中对所有有畸变的子标定板图像进行透视投影变换，得到去畸变的子标定板图像具体包括：

设三维空间中的点为q，其坐标方程式为q＝[x，t，z]，该点q绕x轴旋转θ角、y轴旋转β角、z轴旋转γ角的旋转矩阵计算公式如下所示：

r＝rz×rxxry

其中，rx表示绕x轴旋转的矩阵，ry表示绕y轴旋转的矩阵，rz表示绕z轴旋转的矩阵,r表示图像的透视变换矩阵；

计算图像的变化矩阵，设有畸变的子标定板图像为i(x，y),该图像的长和宽分别为h和w，在图像i上任意选取一点作为透视投影变换的投影中心点，该点用(centerx，centery)表示，则图像i绕x、y轴旋转的角度计算公式如下：

根据所获得图像i绕x、y轴的旋转角度θ与β后，根据上述的旋转矩阵计算公式可以得出图像的透视变换矩阵r。

在上述方法中，所述步骤s22中计算有畸变的子标定板图像与无畸变的子标定板图像特征点坐标之间的坐标映射表，并提取无畸变的子标定板图像的特征点坐标具体包括：

设有畸变的子标定板图像的内参数矩阵为m1，畸变系数为k＝(k1，k2，k3，k4)，无畸变的子标定板图像的内参数矩阵为m2，映射大小为remp＝(sx，sy)，且

其中，fx表示相机在成像平面x方向的等效焦距，fy表示相机在成像平面y方向的等效焦距，(cx，cy)表示主点在成像平面x、y方向上的特征点坐标；

对无畸变图像中的任意一点o＝(u，v，1)^t，经过透视矩阵变换后的物理坐标为o′＝(x，y，z)^t，计算公式如下：

选取等距投影畸变模型对上述物理坐标求取畸变物理坐标，根据畸变物理坐标计算畸变的特征点坐标，即可获得有畸变的子标定板图像与无畸变的子标定板图像特征点坐标之间的坐标映射表，等距投影的畸变模型如下所示：

θd＝θ(1+k1θ²+k2θ⁴+k3θ⁶+k4θ⁸+…)

其中，θ表示无畸变的入射角，θd表示畸变入射角。

对畸变图像中的任意一点(uu，vv)，从无畸变的物理坐标获取畸变特征点坐标的计算方法如下：

根据上述方法即可获得无畸变特征点坐标与畸变特征点坐标之间的坐标映射表，用map1，map2表示，计算方法如下：

map1(u，v)＝uu

map2(u，v)＝vv

在上述方法中，所述步骤s23中将提取的无畸变的子标定板图像的特征点坐标映射回有畸变的子标定板图像具体包括：

利用计算得到的坐标映射表将提取的畸变子标定板图像映射为无畸变的子标定板图像，对无畸变的子标定板图像提取特征点坐标，然后根据所述坐标映射表将提取的无畸变的子标定板图像的特征点坐标映射回有畸变的子标定板图像上，以获得有畸变的子标定板图像在成像平面内的特征点坐标。

本发明的特征点坐标提取过程中，首先将获取的有畸变子标定板图像通过透视投影变换，结合鱼眼镜头的畸变系数和内参数矩阵，计算畸变图像与无畸变图像像素坐标之间的坐标映射表，然后利用坐标映射表将畸变子标定板图像映射变换为无畸变的子标定板图像，对无畸变的子标定板图像提取特征点坐标；最后将从无畸变的子标定板上提取的特征点映射回畸变子标定板图像。使得从无畸变子标定板中提取特征点可以确保特征点提取的准确度，不会有特征点检测不到的情况出现。

在上述方法中，所述步骤s3中利用相机标定模型并结合所述特征点坐标进行鱼眼相机的标定具体包括：

鱼眼相机标定模型的齐次坐标形式表示为：

其中，表示图像平面坐标系中特征点坐标，表示标定板坐标系下的特征点；m表示相机的内参数矩阵；w表示用于定位观测的物体平面的物理变换，所述w包括与观测到的图像平面相关的部分旋转r和部分平移t的和，且w＝[r|t]。

根据步骤s1中所采集的不同视场的标定靶图像，以及步骤s2中所提取的所有畸变的子标定板图像在成像平面内的特征点坐标，并结合所述相机标定模型，计算鱼眼相机内参数和外参数，以实现对鱼眼相机的标定。

本发明的鱼眼相机标定方法，通过包括如下步骤：首先，利用鱼眼相机采集标定靶图像，并得到有畸变的子标定板图像；然后，将采集到的有畸变的子标定板图像进行透视投影变换，并提取所有有畸变的子标定板图像在成像平面内的特征点坐标；最后，利用相机标定模型并结合所述特征点坐标进行鱼眼相机的标定。该方法采用从无畸变标定板中提取特征点然后映射回原有畸变的标定板中，可以确保有畸变的标定板图像的特征点提取的准确度，不会有特征点检测不到的情况出现，从而提高了鱼眼相机的标定精度。

根据本发明的另一个方面，还提供了一种鱼眼相机标定系统，用于鱼眼相机的标定，如图4所示，包括：

采集模块101，用于利用鱼眼相机采集标定靶图像，并得到有畸变的子标定板图像；

提取模块102，用于将采集到的有畸变的子标定板图像进行透视投影变换，并提取所有有畸变的子标定板图像在成像平面内的特征点坐标；以及

标定模块103，用于利用相机标定模型并结合所述特征点坐标进行鱼眼相机的标定。

本发明的鱼眼相机标定系统，通过包括采集模块、提取模块和标定模块，使得本发明可采用从无畸变标定板中提取特征点然后映射回原有畸变的标定板中，可以确保有畸变的标定板图像的特征点提取的准确度，不会有特征点检测不到的情况出现，从而提高了鱼眼相机的标定精度。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。