透视移轴相机的标定方法与流程

1.本发明涉及计算机视觉技术领域，尤其涉及一种透视移轴相机的标定方法。


背景技术：

2.对于在需要使用多个相机进行三维成像的场景中，相机与拍摄物体表面通常是呈一定角度。相机的景深在沿着相机方向上可以取得最大，但对于拍摄物体表面与相机呈一定倾斜角时会降低垂直于拍摄物体表面方向上的景深。因此，在三维成像中相机可以采用移轴镜头以增大拍摄物体表面方向的景深。
3.移轴镜头是利用了scheimpflug原理，让镜头与成像面呈一定的角度，可以使得在相机倾斜的情况下，增大垂直于拍摄物体表面上的景深，使得多个相机进行三维成像时也能获得更大的三维成像深度范围。
4.透视移轴相机的标定都是通过在视场范围内放置包含标靶点的标定板，再拍摄进行标定。目前现有的基于scheimpflug原理的透视成像相机标定的模型都是基于成像中心产生角度倾斜，但是实际成像面产生倾斜后，成像面中心位置并不一定在光轴上，而是可能产生一定的偏移。同时标定获得的结果大多与实际透视移轴相机的给出的实际物理参数相差较大，标定获得的scheimpflug成像角度与实际相机内部的scheimpflug成像角度不符，且标定重投影误差较大。因此，现有的标定模型不足以描述透视移轴相机的成像原理。


技术实现要素：

5.本发明实施例所要解决的技术问题在于，提供一种透视移轴相机的标定方法，以提升标定精度，减小重投影误差。
6.为了解决上述技术问题，本发明实施例提出了一种透视移轴相机的标定方法，包括：步骤1：在待标定的透视移轴相机的视场范围内，拍摄多幅不同角度下标定板的图像，并从标定板图像中提取出标靶点的像素坐标；步骤2：构建透视移轴相机的模型，从所述透视移轴相机的出厂默认参数中获取模型所需的参数作为内参初始值，同时根据内参初始值与提取出标靶点的像素坐标代入构建的透视移轴相机的模型中，计算出透视移轴相机的外参初始值；步骤3：在透视移轴相机的模型中加入畸变模型的影响，设定畸变参数初始值；步骤4：将内参初始值、外参初始值、畸变参数初始值代入模型进行优化，获得优化后的内参、外参、畸变参数。
7.进一步地，所述内参包括焦距、旋转中心距、相机主点、移轴角度，外参为标定板至透视移轴相机垂直坐标系的旋转平移变换。
8.进一步地，所述透视移轴相机的模型为：
；其中，为透视移轴相机成像的像素坐标，sx、sy分别为透视移轴相机成像面在x方向和y方向的像素宽度，为透视移轴相机的主点坐标，为从垂直坐标系下齐次坐标至倾斜坐标系下成像面的上点的变换矩阵，r表示外参的旋转矩阵，t表示外参的平移向量，为在标定板坐标系的点坐标，z为经过变换后z轴的坐标值。
9.进一步地，所述模型中从垂直坐标系下齐次坐标至倾斜坐标系下成像面的上点的变换矩阵为：；其中， 、分别为移轴的方向角度和倾斜角度，为垂直坐标系原点至z轴上旋转中心的距离，为透视移轴相机镜头的焦距。
10.进一步地，所述倾斜坐标系设定为z轴垂直于相机成像平面，同时z轴经过透视移轴相机镜头光轴上的旋转中心点，且倾斜坐标系原点在成像平面后的焦距处，倾斜坐标系的x轴与成像平面的x轴平行，y轴与成像平面的y轴平行；所述垂直坐标系满足z轴平行于镜头光轴方向，且坐标系原点距离旋转中心为。
11.进一步地，步骤2中，根据下式的映射关系计算标定板标靶点坐标至成像平面像素坐标的单应性矩阵：
其中，为标定板标靶点坐标至成像平面像素坐标的单应性矩阵;根据构建的标定模型，有如下关系：，；其中，为垂直坐标系下齐次坐标变换至倾斜坐标系后z轴的值， 为标定板坐标系标靶点至垂直坐标系标靶点齐次坐标的单应性矩阵；再通过标定板标靶点坐标至成像平面像素坐标的单应性矩阵计算得出透视移轴相机外参初始值。
12.进一步地，步骤3中，透视移轴相机的模型中加入畸变后，畸变发生在垂直坐标系齐次坐标至倾斜成像平面坐标的过程中，表达式有：，，；其中，为在垂直坐标系下的齐次坐标，表示垂直坐标系下的齐次坐标经过畸变效应后的坐标， 其中，畸变参数，表示径向畸变，表示切向畸变，，畸变参数的初值均设置为0。
13.进一步地，步骤4中，将获得的内参初始值、外参初始值、畸变参数初始值代入优
化，利用levenberg
–
marquardt算法优化，使得目标函数最小：；其中，表示实际成像点与标靶点经过透视移轴相机模型重投影点之间的误差，n表示拍摄姿态总数，m表示标定板标靶点总数，表示第i个姿态下，第j个标靶点的实际成像点，表示第i个姿态，参数下，第j个标靶点的重投影点；将参数分为两步进行优化，第一步优化如下参数：；；将第一步优化的参数结果作为第二步优化参数的初值，第二步优化如下参数：；；其中，为焦距，为移轴旋转中心位置至坐标原点的距离，、分别表示移轴的方向角度和倾斜角度，为透视移轴相机的主点坐标，为畸变参数，为第i个姿态下外参旋转矩阵对应的旋转向量，为第i个姿态下外参平移向量，为第一次优化的参数部分，为第二次优化的参数部分；再得到优化后的内参、外参、畸变参数。
14.本发明的有益效果为：本发明构建的透视移轴相机的模型中考虑到了成像面角度倾斜可能不是在相机镜头中心产生，而是将其看作按光轴上一点做为旋转中心进行旋转；本发明构建的透视移轴相机的模型的标定结果，其方向角度和倾斜角度与实际的角度更加接近，能够较好的反应实际成像方式，且标定精度更高、重投影误差更小。
附图说明
15.图1是本发明实施例的透视移轴相机的标定方法的流程示意图。
16.图2是本发明实施例构建的透视移轴相机的模型示意图。
具体实施方式
17.需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。
18.请参照图1，本发明实施例的透视移轴相机的标定方法包括步骤1～步骤4。
19.步骤1，在透视移轴相机的视场范围内，拍摄多幅不同角度下标定板的图像，并从标定板图像中提取出标靶点的像素坐标。
20.步骤2，构建如图2所示的透视移轴相机的模型，从透视移轴相机的出厂默认参数中获取模型所需的参数作为内参初值，同时根据初始内参值与提取出标靶点的像素坐标代入构建的透视移轴相机的模型中，计算出透视移轴相机的外参初始值。透视移轴相机模型内参包括焦距、旋转中心距、相机主点、移轴角度，外参为标定板至透视移轴相机垂直坐标系的旋转平移变换。
21.步骤3：在透视移轴相机的模型中加入畸变模型的影响，设定初始畸变参数。
22.步骤4：将内参初始值、外参初始值、畸变参数初始值代入模型进行优化，获得优化后的内参、外参、畸变参数。
23.本发明实施例的步骤2中构建的透视移轴相机的模型可以表示为：；其中，为透视移轴相机成像的像素坐标，sx、sy分别为透视移轴相机成像面在x方向和y方向的像素宽度，为透视移轴相机的主点坐标，为从垂直坐标系下齐次坐标至倾斜坐标系下成像面的上点的变换矩阵，r表示外参的旋转矩阵，t表示外参的平移向量，为在标定板坐标系的点坐标，z为经过变换后z轴的坐标值。
24.表达式为：
；其中，、分别为移轴的方向角度和倾斜角度，为垂直坐标系原点至z轴上旋转中心的距离，为透视移轴相机镜头的焦距。
25.根据透视移轴相机出厂参数可以获得透视移轴相机的模型内参的初始值，包括：，透视移轴相机的焦距；，移轴的方向角度；，移轴的倾斜角度；透视移轴相机的主点坐标假设为相机成像面的像素坐标系中心，旋转中心距初值设为与透视移轴相机焦距的初值相同。
26.倾斜坐标系和垂直坐标系的建立的方式为：所述透视移轴相机模型中成像面产生倾斜可以看作位于透视移轴相机镜头的光轴上某一点进行旋转的，则倾斜坐标系可以设定为z轴垂直于相机成像平面，同时z轴经过镜头光轴上的旋转中心点，且倾斜坐标系原点在成像平面后的焦距处，倾斜坐标系的x轴与成像平面的x轴平行，y轴与成像平面的y轴平行。由于倾斜坐标系是按照垂直坐标系在光轴中心距处按移轴角度、进行倾斜的，可以计算得到垂直坐标系的位置，同时垂直坐标系满足z轴平行于镜头光轴方向，且坐标系原点距离旋转中心为。
27.由于已经构建了透视移轴相机的模型，标定板标靶点实际坐标与拍摄图像标靶点成像像素坐标有如下关系：；根据标定板标靶点坐标至成像平面像素坐标的映射关系计算单应性矩阵：
则标定板标靶点实际坐标与拍摄图像标靶点成像像素坐标间的单应性矩阵和标定板坐标系标靶点至垂直坐标系标靶点齐次坐标的单应性矩阵有如下关系：。
28.初始内参已知，可以计算出标定板坐标系标靶点至垂直坐标系标靶点齐次坐标的单应性矩阵。
29.可以看作内参矩阵为单位矩阵的非透视移轴相机的单应性矩阵，将每个图像角度姿态下的外参初值计算出来，该角度下的单应性矩阵和外参有如下关系：，其中，，分别为单应性矩阵的列向量，，为该角度下外参的旋转矩阵的第一列和第二列，t为外参的平移向量， 为尺度因子。
30.由于：，尺度因子可以计算：该角度下外参旋转矩阵和平移矩阵的初值可以获得：，，，
，其中，分别为旋转矩阵的第一、二、三列，为外参的平移向量。
31.考虑畸变对透视移轴相机成像的影响，将畸变模型加在在垂直坐标系齐次坐标至倾斜成像平面坐标的过程中，相应过程可以表示为：，其中，为在垂直坐标系下的齐次坐标，表示垂直坐标系下的齐次坐标经过畸变效应后的坐标，设畸变初始值没有畸变效应，在本实施例中畸变模型的表达式为：；；其中，畸变参数，表示径向畸变，表示切向畸变，。畸变参数的初值均设置为0。
32.将获得的内参初值、外参初值、畸变参数初值代入优化，利用levenberg
–
marquardt算法优化，使得目标函数最小：；其中，表示实际成像点与标靶点经过透视移轴相机模型重投影点之间的误差，n表示不同拍摄角度姿态总数，m表示标定板标靶点总数，表示第i个姿态下，第j个标靶点的实际成像点，表示第i个姿态，参数下，第j个标靶点的重投影点。
33.在实施例中，将参数分为两步进行优化，第一步对参数进行如下优化：
；；将第一步优化的参数结果作为第二步优化的参数初值，第二步优化如下参数：；；其中，为焦距，为移轴旋转中心位置至坐标原点的距离，分别表示移轴的方向角度和倾斜角度，为透视移轴相机的主点坐标，为畸变参数，为第i个姿态下外参旋转矩阵对应的旋转向量，为第i个姿态下外参平移向量，为第一次优化的参数部分，为第二次优化的参数部分。得到优化后的内参、外参、畸变系数。
34.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同范围限定。