相机标定方法、系统、介质及装置与流程

1.本发明涉及相机标定技术领域，特别是涉及一种相机标定方法、系统、介质及装置。


背景技术：

2.在计算机视觉系统中，我们经常需要根据相机拍摄的图像来确定图像中物体在真实世界中的坐标，这就需要知道相机的焦距、偏心、畸变等参数(统称为内参)，同时也需要知道相机在真实世界中的位姿参数，包括旋转和平移(统称为外参)。
3.相机标定就是求取这些参数的过程。相机标定通常利用棋盘格或一组圆形点组成的图案板。首先设定标定点在空间中的位置w，然后用相机拍摄多角度的多组图案的照片，提取标定点在图像中的位置p，则可以用多个w和p点的坐标，根据空间点w成像到图像点p的过程列出方程，求解相机的内参和外参。
4.描述空间点w成像到图像点p的过程，需要引入几个坐标系。我们把物体所在的真实世界的坐标系称为世界坐标系；把以相机镜头主点为中心、z轴为光轴方向的坐标系称为相机坐标系。世界坐标系和相机坐标系都是三维坐标系。把在焦距处成像的成像平面称为图像坐标系，图像坐标系是二维坐标系，其坐标仍为真实物理坐标。最后把离散存储图像的二维平面坐标系称为像素坐标系，设图像的宽为w，高为h，则像素坐标系的坐标为从(1,1)到(w,h)的整数对。世界坐标系中的物理坐标，通过投影、径向畸变添加、切向畸变添加和离散化，最终得到像素坐标系中的坐标。需要说明的是，实际的做法一般认为图像坐标系在焦距为1处成像，将乘以焦距的过程放入离散化步骤中。下文亦采用此方法，即认为图像坐标系处在z＝1的平面上，下文的焦距也意指包括了图像离散化的焦距。
5.上述过程中，现有的切向畸变模型所描述的畸变的物理意义为:(一处)镜头组中镜片的中心并非完全共线，这种公差会同时导致切向和径向畸变，其中的切向分量即为上文的切向畸变(下文中称为镜头组切向畸变)。然而在实际的相机生产过程中，另一处可能产生相机镜头切向畸变的，是镜头中的图像传感器所在平面与光轴不完全垂直，这是镜头组装中不可避免的。然而目前没有模型解决这一部分(另一处)的畸变。现有技术中提出的模型在畸变之后又加入了一次线性变换，但只限于图像平面的二维旋转，没有解决图像坐标系和像素坐标系之间z轴维度上的不平行问题。
6.现有技术存在的另一个问题是需要拍摄多角度多张标定图案的图像，花费时间长，工序复杂，提高了相机标定工序的成本。
7.因此，希望能够解决如何更准确进行相机标定的问题。


技术实现要素：

8.鉴于以上所述现有技术的缺点，本发明的目的在于提供一种相机标定方法、系统、介质及装置，用于解决现有技术中如何准确地进行相机标定的问题。
9.为实现上述目的及其他相关目的，本发明提供一种相机标定方法，包括以下步骤：
基于相机标定装置获取n张图像，从所述n张图像中分别提取m个特征点；获取所述n张图像中各个特征点的世界坐标系的坐标，对所述世界坐标系的坐标进行投影变换、径向畸变和相机的镜头组切向畸变添加、传感器切向畸变添加、离散化转换得到对应的像素坐标系的坐标；基于所述世界坐标系的坐标和像素坐标系的坐标建立目标函数，最小化目标函数，求解得到相机的内参。
10.为实现上述目的，本发明还提供一种相机标定系统，包括：获取模块、修正模块和求解模块；所述获取模块用于基于相机标定装置获取n张图像，从所述n张图像中分别提取m个特征点；所述修正模块用于获取所述n张图像中各个特征点的世界坐标系的坐标，对所述世界坐标系的坐标进行投影变换、径向畸变和相机的镜头组切向畸变添加、传感器切向畸变添加、离散化转换得到对应的像素坐标系的坐标；所述求解模块用于基于所述世界坐标系的坐标和像素坐标系的坐标建立目标函数，最小化目标函数，求解得到相机的内参。
11.为实现上述目的，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现任一上述相机标定方法。
12.为实现上述目的，本发明还提供一种相机标定装置，包括：处理器和存储器；所述存储器用于存储计算机程序；所述处理器与所述存储器相连，用于执行所述存储器存储的计算机程序，以使所述相机标定装置执行任一上述的相机标定方法。
13.如上所述，本发明的一种相机标定方法、系统、介质及装置，具有以下有益效果：本发明提出的相机标定方法更贴合相机成像的物理过程，使用本发明提出的相机标定方法，标定结果更精确，重投影误差更小，标定结果更稳定。使用本发明提出相机标定方法对相机进行标定后，根据图像推算的某点的空间位置也会更加准确。使用本发明提出相机标定方法对相机进行标定后，对图像进行去畸变操作，也会有更好的效果。使用本发明提出的标定箱，可以简化标定流程，节约标定成本。
附图说明
14.图1a显示为本发明的相机标定方法于一实施例中的流程图；
15.图1b显示为本发明的相机标定方法于一实施例中的标定箱的结构示意图。
16.图1c显示为本发明的相机标定方法于又一实施例中的标定箱的结构示意图。
17.图1d显示为本发明的相机标定方法于再一实施例中的标定箱的结构示意图。
18.图1e显示为本发明的相机标定方法于一实施例中的图标图的结构示意图。
19.图1f显示为本发明的相机标定方法于又一实施例中的图标图的结构示意图。
20.图1g显示为本发明的相机标定方法于再一实施例中的图标图的结构示意图。
21.图1h显示为本发明的相机标定方法于另一实施例中的图标图的结构示意图。
22.图1i显示为本发明的相机标定方法于一实施例中的拍摄照片示意图。
23.图1j显示为本发明的相机标定方法于又一实施例中的拍摄照片示意图。
24.图1k显示为本发明的相机标定方法于再一实施例中的拍摄照片示意图。
25.图2显示为本发明的相机标定系统于一实施例中的结构示意图；
26.图3显示为本发明的相机标定装置于一实施例中的结构示意图。
27.元件标号说明
28.101
ꢀꢀꢀꢀꢀꢀꢀ
底面
29.102
ꢀꢀꢀꢀꢀꢀꢀ
侧面
30.21
ꢀꢀꢀꢀꢀꢀꢀꢀ
获取模块
31.22
ꢀꢀꢀꢀꢀꢀꢀꢀ
修正模块
32.23
ꢀꢀꢀꢀꢀꢀꢀꢀ
求解模块
33.31
ꢀꢀꢀꢀꢀꢀꢀꢀ
处理器
34.32
ꢀꢀꢀꢀꢀꢀꢀꢀ
存储器
具体实施方式
35.以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
36.需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，故图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
37.本发明的相机标定方法、系统、介质及装置，用于解决如何更准确地进行相机标定的问题。
38.如图1所示，于第一实施例中，本发明的相机标定方法，应用于鱼眼或广角镜头的相机，包括以下步骤：
39.步骤s11、基于相机标定装置获取n张图像，从所述n张图像中分别提取m个特征点。
40.具体地，例如相机拍摄相机标定装置获取n张图像，从所述n张图像中分别提取m个特征点。
41.步骤s12、获取所述n张图像中各个特征点的世界坐标系的坐标，对所述世界坐标系的坐标进行投影变换、径向畸变和相机的镜头组切向畸变添加、传感器切向畸变添加、离散化转换得到对应的像素坐标系的坐标，基于所述世界坐标系的坐标和像素坐标系的坐标建立目标函数。
42.具体地，所述获取所述n张图像中各个特征点的世界坐标系的坐标，对所述世界坐标系的坐标进行投影变换、径向畸变和相机的镜头组切向畸变添加、传感器切向畸变添加、离散化转换得到对应的像素坐标系的坐标，包括以下步骤：
43.步骤s121、获取特征点的世界坐标系的坐标，对所述世界坐标系的坐标基于第一旋转矩阵和第一平移向量的转换得到相机坐标系的坐标。具体地，设空间点w的世界坐标系坐标为w＝[x，y，z]，则其通过第一旋转矩阵r(对应的旋转向量为v)和第一平移向量t变换到相机坐标系的坐标为：
[0044]
(x，y，z)
t
＝r(x，y，z)
t
+t
[0045]
步骤s122、对所述相机坐标系的坐标进行第一投影得到第一归一化的坐标。具体地，三维物体成像到二维，会经历投影变换，进行第一投影得到第一归一化的坐标为(x
′
，y
′
)：
[0046][0047]
步骤s123、基于入射光线相对光轴的偏离程度对所述第一归一化的坐标进行径向畸变添加得到径向畸变添加的坐标。具体地，设所述入射光线与光轴之间的角度为，
[0048]
θ＝atan(r)，其中r为投影后，第一归一化中某点到原点的距离：
[0049][0050]
径向畸变添加后的光线角度变为：
[0051]
θ
d
＝θ(1+k
f1
θ2+k
f2
θ4+k
f3
θ6+k
f4
θ8)
[0052]
其中k
f1
，k
f2
，k
f3
，k
f4
代表鱼眼镜头的径向畸变参数。如果需要提高精度，可以使用更高阶的多项式对θ
d
进行关于θ的拟合。径向畸变添加后的归一化坐标系坐标为：
[0053][0054]
即得到径向畸变添加的坐标x
d1
，y
d1
。
[0055]
步骤s124、对所述径向畸变添加的坐标进行相机的镜头组切向畸变添加，得到相机的镜头组切向畸变添加的坐标。具体为：
[0056][0057]
其中k4，k5为相机的镜头组切向畸变参数。
[0058]
步骤s125、对所述相机的镜头组切向畸变添加的坐标进行两个方向焦距的相乘和图像偏心的转换得到像素坐标系的坐标。具体地，图像坐标系中的点在z＝1的平面上，经历两个方向焦距(f
x
，f
y
)的相乘，并将图像中心更变为像素坐标系中的图像偏心(u0.v0)，得到像素坐标系的坐标p＝(u，v)：
[0059]
u＝f
x
x
d2
+u0，v＝f
y
y
d2
+v0[0060]
步骤s13、基于所述世界坐标系的坐标和像素坐标系的坐标建立目标函数，最小化目标函数，求解得到相机的内参。
[0061]
整个投影过程，可以看作从w映射到p的函数l，世界坐标w＝[x，y，z]和像素坐标系中的坐标p＝(u，v)为已知数，所有内参和外参为未知数：
[0062]
p＝l(w；f
x
，f
y
，u0，v0，k，v，t)
[0063]
其中为k畸变系数，鱼眼和广角镜头k＝(k
f1
，k
f2
，k
f3
，k
f4
)。我们可以根据多组点对(w，p)，一次性求解所有内外参。本发明中只关心相机内参，解出的外参并不使用。
[0064]
为了求解相机内参，现有技术需要拍摄n张棋盘格或圆形点图案的图像，计算图案中特征点的世界坐标系的坐标w，并提取拍摄图像中的特征点p。假设每张图像中均提取了m个特征点，则求解内参的过程为一个非线性优化问题，目标函数为：
[0065][0066]
其中w
ij
和p
ij
为第i张拍摄图像上第j个特征点对应的世界坐标系的坐标和像素坐标系的坐标，α为任意正数。通过最小化目标函数f，求解相机内参。
[0067]
如果不是鱼眼或广角镜头按照以下步骤进行，于第二实施例中：
[0068]
获取特征点的世界坐标系的坐标，对所述世界坐标系的坐标基于第一旋转矩阵和
第一平移向量的转换得到相机坐标系的坐标。具体地，设空间点w的世界坐标系坐标为w＝[x，y，z]，则其通过第一旋转矩阵r(对应的旋转向量为v)和第一平移向量t变换到相机坐标系的坐标为：
[0069]
(x，y，z)
t
＝r(x，y，z)
t
+t
[0070]
对所述相机坐标系的坐标进行第一投影得到第一归一化的坐标。具体地，三维物体成像到二维，会经历投影变换，进行第一投影得到第一归一化的坐标为(x
′
，y
′
)：
[0071][0072]
投影之后的点经历径向畸变变为(x
d1
，y
d1
)，再经历相机的镜头组切向畸变变为(x
d2
，y
d2
)，其中，
[0073]
x
d1
＝x
′
(1+k1r2+k2r4+k3r6)，y
d1
＝y
′
(1+k1r2+k2r4+k3r6)
[0074][0075]
其中r为投影后，第一归一化中某点到原点的距离：
[0076][0077]
而k1，k2，k3，为相机的径向畸变参数，k4，k5为相机的镜头组切向畸变参数。如果需要提高精度，可以使用更高阶的多项式对x
d1
，y
d1
进行关于r的拟合。
[0078]
对所述相机的径向畸变和相机的镜头组切向畸变添加的坐标进行两个方向焦距的相乘和图像偏心的转换得到像素坐标系的坐标。具体地，图像坐标系中的点在z＝1的平面上，经历两个方向焦距(f
x
，f
y
)的相乘，并将图像中心更变为像素坐标系中的图像偏心(u0.v0)，得到像素坐标系的坐标p＝(u，v)：
[0079]
u＝f
x
x
d2
+u0，v＝f
y
y
d2
+v0[0080]
整个投影过程，可以看作从w映射到p的函数l，w(世界坐标w＝[x，y，z])和p像素坐标系中的坐标p＝(u，u)为已知数，所有内参和外参为未知数：
[0081]
p＝l(w；f
x
，f
y
，u0，v0，k，v，t)
[0082]
其中为k畸变系数，非鱼眼和非广角镜头k＝(k1，k2，k3，k4，k5)。我们可以根据多组点对(w，p)，一次性求解所有内外参。本发明中只关心相机内参，解出的外参并不使用。
[0083]
为了求解相机内参，现有技术需要拍摄n张棋盘格或圆形点图案的图像，计算图案中特征点的世界坐标系的坐标w，并提取拍摄图像中的特征点p。假设每张图像中均提取了m个特征点，则求解内参的过程为一个非线性优化问题，目标函数为：
[0084][0085]
其中w
ij
和p
ij
为第i张拍摄图像上第j个特征点对应的世界坐标系的坐标和像素坐标系的坐标，α为任意正数。通过最小化目标函数f，求解相机内参。
[0086]
于第三实施例中，修正传感器歪斜导致的切向畸变，步骤s125、对所述相机的镜头组切向畸变添加的坐标进行传感器切向畸变添加得到经过传感器切向畸变添加的坐标。
[0087]
具体地，所述对所述相机的镜头组切向畸变添加的坐标进行传感器切向畸变添加得到经过传感器切向畸变添加的坐标，包括以下步骤：对所述相机的镜头组切向畸变添加
的坐标基于第二旋转矩阵的转换，再进行第二投影得到第二归一化的坐标。
[0088]
步骤s126、对所述经过传感器切向畸变添加的坐标进行离散化转换得到对应的像素坐标系的坐标。
[0089]
修正传感器歪斜导致的切向畸变，具体地，所述对所述相机的镜头组切向畸变添加的坐标进行传感器切向畸变添加得到经过传感器切向畸变添加的坐标，包括以下步骤：对所述相机镜头组切向畸变添加的坐标基于第二旋转矩阵的转换，再进行第二投影得到第二归一化的坐标。具体地，上述过程发生在相机的径向畸变和相机的镜头组切向畸变之后，对
[0090]
u＝f
x
x
d2
+u0，v＝f
y
y
d2
+v0[0091]
中的(x
d2
，y
d2
)点继续旋转，r
p
为旋转矩阵(对应的旋转向量为v
p
＝[p1，p2，p3])。因为(x
d2
，y
d2
)
[0092]
在图像坐标系上，对应的z＝1：
[0093][0094]
上述第二投影过程将旋转后的点(x
p
，y
p
，z
p
)投影到第二归一化：
[0095][0096]
之后再变换到像素坐标系：
[0097]
u＝f
x
x
d3
+u0，v＝f
y
y
d3
+v0[0098]
具体地，在考虑传感器切向畸变时，可以证明，传感器围绕z轴的旋转的效果等同于镜头组切向畸变围绕z轴旋转，或外参围绕z轴旋转。也就是说，表征传感器围绕z轴旋转的变量p3与内参k4，k5和外参v存在相互耦合。所以，应设置p3＝0，只需要两个参数即可表征传感器歪斜，即v
n
＝[n1，n2，0]。于是投影公式变为
[0099]
p
′
＝l(w；f
x
，f
y
，u0，v0，k，v，t，v
n
)
[0100]
优化公式变为
[0101][0102]
其中w
ij
和p
′
ij
为第i张拍摄图像上第j个特征点对应的世界坐标系的坐标和像素坐标系的坐标，α为任意正数。通过最小化目标函数f
′
，求解相机内参。本发明提出的相机标定方法更贴合相机成像的物理过程，使用本发明提出的相机标定方法，标定结果更精确，重投影误差更小，标定结果更稳定。使用本发明提出相机标定方法对相机进行标定后，根据图像推算的某点的空间位置也会更加准确。使用本发明提出相机标定方法对相机进行标定后，对图像进行去畸变操作，也会有更好的效果。
[0103]
具体地，在所述对所述径向畸变添加的坐标进行相机的镜头组切向畸变添加，得到相机的畸变添加的坐标之后，还包括对所述相机的畸变添加的坐标进行传感器切向畸变添加得到经过传感器切向畸变添加的坐标，所述对所述相机的畸变添加的坐标进行传感器切向畸变添加得到经过传感器切向畸变添加应用的相机镜头可以是鱼眼或广角镜头，也可以是非鱼眼和非广角镜头。
[0104]
由于镜头组产生的切向畸变和传感器歪斜产生的切向畸变虽然原理不同、前者为非线性后者为线性，然而在畸变轻微的情况下，二者表征的畸变扭曲是比较相似的，存在可以相互替换的成分。所以在切向畸变轻微的情况下，只使用其中一个，也会得到比较好的标定重投影误差。但这时得到的镜头组切向畸变参数k4，k5或者传感器歪斜畸变参数v
n
不再仅仅包含其本身的物理成分，也包括了对方的成分。
[0105]
值得注意的是，如果采用了本发明的切向畸变模型，在后续涉及相机内参的算法和流程中(如多相机图像拼接等)，也都需要使用该模型。本发明从相机成像原理出发，通过分析相机的传感器歪斜(即传感器平面与光轴不完全垂直)情况下的成像过程，引入描述传感器歪斜因素的2个内参。本发明弥补了相机标定模型中传感器歪斜导致的切向畸变这一畸变因素，使得整个相机的标定模型更完整，效果更好。在实验使用的相机中，使用提出的模型，进一步减小了标定的重投影误差。
[0106]
具体地，本发明还包括一种相机标定设备：所述相机标定设备包括：相机标定装置、相机和标定箱；所述标定箱包括：一底面和与所述底面连接的侧面；所述底面为多边形；所述侧面数量与所述底面的边的数量一致；所述每个侧面与所述底面的每个边一一对应连接，所述侧面与所述底面连接的连接边与所述底面的边长一致；所述底面和所述侧面构成了一面为敞口面的标定箱；所述底面和侧面中的任意两个或两个以上的面的内侧设有标定图。
[0107]
所述相机标定装置，包括：处理器和存储器；所述存储器用于存储计算机程序；所述处理器与所述存储器相连，用于执行所述存储器存储的计算机程序，以使所述相机标定装置执行上述任一所述的相机标定方法。
[0108]
请参阅图1b，本发明提供一种标定箱，包括：一底面101和与所述底面101连接的侧面102；所述底面101为多边形；所述侧面102数量与所述底面101的边的数量一致；所述每个侧面102与所述底面101的每个边一一对应连接，所述侧面102与所述底面101连接的连接边与所连接的底面101的边的边长一致；所述底面101和所述侧面102构成了一面为敞口面的标定箱；所述底面101和侧面102中的任意两个或两个以上的面的内侧设有标定图；所述标定图为重复间隔排列的图标图。
[0109]
具体地，所述底面101为多边形。
[0110]
具体地，如图1b所示，所述底面101为正方形，所述侧面102的数量与所述底面101的边数量一致，所述侧面102有四个，所述侧面102也为正方形。所述每个侧面102与所述底面101的每个边一一对应连接，所述侧面102与所述底面101连接的连接边与所述底面101的边长一致，都是正方形的边长。
[0111]
具体地，所述底面101为多边形，所述多边形包括：四边形、五边形、六边形。
[0112]
具体地，如图1c所示，所述底面101为正方形，所述侧面102的数量与所述底面101的边数量一致，所述侧面102有四个，所述侧面102也为正方形。所述每个侧面102与所述底面101的每个边一一对应连接，所述侧面102与所述底面101连接的连接边与所连接的底面101的边的边长一致，都是正方形的边长。但是侧面102其他与所述底面101不连接的边的边长与所述底面101的边长无关，所以所述侧面102不是矩形，所述侧面102可以为梯形，所述侧面102与所述底面101的夹角大于等于0度且小于180度，此时，侧面102与所述底面101的夹角大于90度，即不等于90度。
[0113]
具体地，所述底面101为多边形，如图1d所示，所述底面101为六边形，所述侧面102的数量与所述底面101的边数量一致，所述侧面102有五个。所述每个侧面102与所述底面101的每个边一一对应连接，所述侧面102与所述底面101连接的连接边与所连接的底面101的边的边长一致，即侧面102与所述底面101连接的连接边的长度等于与所连接的底面101的边的边长。但是侧面102其他与所述底面101不连接的边的边长与所述底面101的边长无关。
[0114]
具体地，所述图标包括：三角形、正方形、圆形。
[0115]
具体地，如图1e所示，所述标定图为重复间隔排列的图标图，所述图标图为重复间隔排列的方块，且所述图标图的相邻列的方块错位排列。具体地，所述方块每间隔一个方块的距离间隔排列，且相邻列的沿行向错开一个方块的宽度排列。
[0116]
具体地，如图1f所示，所述标定图为重复间隔排列的图标图，所述图标为圆形，所述图标图的圆形阵列排布。
[0117]
具体地，如图1g所示，所述标定图为重复间隔排列的图标图，所述图标为三角形，所述图标图的三角形重复间隔排列。所述图标图的相邻列的图标错位排列，相邻列的沿行向错开半个图标的宽度排列。
[0118]
具体地，如图1h所示，所述标定图为任意多个点图任意排列构成的图标图。
[0119]
具体地，所述标定图为重复间隔排列的图标图。
[0120]
具体地，所述标定图通过投影、粘贴或显示屏显示于所述底面和侧面的内侧。具体地，所述标定图通过投影仪投影到所述底面和侧面的内侧，从而显示所述标定图。所述标定图通过粘贴图纸的方式粘贴到所述底面和侧面的内侧，从而展示所述标定图。所述标定图通过底面和侧面的显示屏，以显示屏显示的方式展现于所述底面和侧面的内侧，从而展示所述标定图。
[0121]
具体地，所述侧面102形状相同。使用本发明提出的标定箱，可以简化标定流程，节约标定成本。
[0122]
本实例在本发明所提出的图1b所示的标定箱装置中，左、右、下三个面各放置了两个棋盘格，正面放置了四个棋盘格，上面放置了一个棋盘格，共11个棋盘格。灯箱上方设有光源和匀光板。使用某型号鱼眼镜头对灯箱进行拍摄，得到图1i。
[0123]
使用图像处理手段提取每个棋盘格中两个黑格子相交处的角点，具体包括：对每个棋盘格区域进行自适应二值化处理，提取二值图像中的图案轮廓，将各个图案轮廓近似为四边形，寻找距离较近的四边形顶点，并将这些四边形联系起来。当一系列四边形符合既定规格的棋盘格图案时，就确定了棋盘格的存在。各个角点坐标可以根据这一系列四边形的顶点来求出，进而根据图像灰度可以得到角点的亚像素位置。当找不到一系列四边形符合既定规格的棋盘格图案时，则对二值图像进行图像膨胀操作，重复上述步骤，直到找到棋盘格为止。
[0124]
设求出的图像中角点坐标为p
i
＝(u
i
，v
i
)，其中i为角点序号，i＝1，2，
…
n，第i个角点对应的其在世界坐标系中的位置为w
i
＝(x
i
，y
i
，z
i
)。本例中11个棋盘格，每个棋盘格88个角点，所以n＝968。对第一、第三实施例分别对镜头进行标定，并分析结果。
[0125]
使用第一实施例的步骤，在第一实施例中，使用镜头组切向畸变模型，再次对相机进行标定。通过第一实施例的投影过程，建立起w
i
和p
i
之间的联系，用高斯
‑
牛顿法非线性优
化优化目标函数求解相机内参，结果为：焦距参数：(f
x
，f
y
)＝(305.95812，305.46536)，偏心参数(u0，v0)＝(644.34442，479.43549)，径向畸变参数(k
f1
，k
f2
，k
f3
，k
f4
)＝(0.16949，
‑
0.02523，0.00087，
‑
0.00074)。镜头组切向畸变参数为(k4，k5)＝(
‑
0.00021，0.00041)。11个棋盘格的重投影误差为分别为：0.140859，0.159506，0.123647，0.143212，0.200718，0.123358，0.130520，0.114622，0.132868，0.226277，0.312604，总体平均重投影误差为0.164381，单位为像素。
[0126]
使用本发明提出的第三实施例的完整标定模型即考虑传感器歪斜导致的切向畸变，再次对相机进行标定。通过第三实施例的投影过程，建立起w
i
和p
i
之间的联系，用高斯
‑
牛顿法非线性优化优化目标函数求解相机内参，结果为：焦距参数：(f
x
，f
y
)＝(305.96695，305.46455)，偏心参数(u0，v0)＝(641.81833，477.53676)，径向畸变参数(k
f1
，k
f2
，k
f3
，k
f4
)＝(0.16819，
‑
0.02362，0.00044，
‑
0.00076)。镜头组切向畸变参数为(k4，k5)＝(
‑
0.00459，
‑
0.00345)，传感器歪斜导致的切向畸变参数为(p1，p2)＝(
‑
0.01519，0.01314)。11个棋盘格的重投影误差为分别为：0.132079，0.156331，0.121565，0.158459，0.184585，0.122487，0.128353，0.125202，0.141917，0.217218，0.290304，总体平均重投影误差为0.161682，单位为像素。
[0127]
因为镜头组切向畸变和传感器歪斜导致的切向畸变包含对方成分，所以第一实施例的结果已经校准了绝大部分切向畸变，第三实施例从重投影误差上的改进并不明显，但仍有提高。第三实施例所述模型能够将镜头组切向畸变和传感器歪斜切向畸变分离开来。从结果来看，镜头组产生的切向畸变由(k4，k5)＝(
‑
0.00459，
‑
0.00345)表征，传感器歪斜的旋转向量为v
p
＝(
‑
0.01519，0.01314，0)，对应的歪斜角度为1.1
°
。
[0128]
比较两组标定结果，可见使用不同的模型时，校准结果中的焦距、偏心、径向畸变参数均有较小的变化。我们使用同一个镜头稍微改变位置，拍摄多个角度的多张标定图像进行标定，发现本发明提出的新模型对不同角度拍摄图像得出的标定结果更加稳定，即焦距、偏心、径向畸变参数的变化更小，这种稳定性的提升也是模型的精度提高导致的。
[0129]
本实例在本发明所提出的图1b所示的标定箱中，右、下两个面各放置了两个棋盘格，正面放置了三个棋盘格，上、左两面各放置了一个棋盘格，共9个棋盘格。使用鱼眼镜头对灯箱进行拍摄，得到图1j。
[0130]
提取各个棋盘格的角点坐标p
i
＝(u
i
，v
i
)，其中f为角点序号，i＝1，2，
…
n，第i个角点对应的其在世界坐标系中的位置为w
i
＝(x
i
，y
i
，z
i
)。本例中9个棋盘格，每个棋盘格88个角点，所以n＝792。
[0131]
使用第一实施例的步骤，在第一实施例中，使用镜头组切向畸变模型，再次对相机进行标定。标定结果为：焦距参数：(f
x
，f
y
)＝(305.83611，305.63292)，偏心参数(u0，v0)＝(642.34964，477.89027)，径向畸变参数(k
f1
，k
f2
，k
f3
，k
f4
)＝(0.17817，
‑
0.03327，0.00415，
‑
0.00124)，镜头组切向畸变参数为(k4，k5)＝(
‑
0.00035，0.00006)。9个棋盘格的重投影误差为分别为：0.152423，0.148573，0.130934，0.131510，0.163572，0.119831，0.131532，0.191987，0.283132，总体平均重投影误差为0.161499，单位为像素。
[0132]
使用本发明提出的第三实施例的完整标定模型，再次对相机进行标定。标定结果为：焦距参数：(f
x
，f
y
)＝(306.10843，306.10646)，偏心参数(u0，v0)＝(640.25690，476.35322)，径向畸变参数(k
f1
，k
f2
，k
f3
，k
f4
)＝(0.17280，
‑
0.02767，0.00162，
‑
0.00078)，镜
头组切向畸变参数为(k4，k5)＝(
‑
0.00354，
‑
0.00422)，传感器歪斜导致的切向畸变参数为(p1，p2)＝(
‑
0.01103，0.01509)。9个棋盘格的重投影误差为分别为：0.144813，0.140658，0.115242，0.148435，0.154532，0.135552，0.13334，0.188383，0.270387，总体平均重投影误差为0.159038，单位为像素。
[0133]
本实例在本发明所提出的图1b所示的标定箱，左、右、上、下、正面各放置了一个棋盘格，共5个棋盘格。使用鱼眼镜头对灯箱进行拍摄，得到图像1k。
[0134]
使用和前文中相同的方法提取各个棋盘格的角点坐标p
i
＝(u
i
，v
i
)，其中i为角点序号，i＝1，2，
…
n，第i个角点对应的其在世界坐标系中的位置为w
i
＝(x
i
，y
i
，z
i
)。本例中5个棋盘格，每个棋盘格88个角点，所以n＝440。进行相机标定，并给出结果。
[0135]
使用第一实施例的步骤，在第一实施例中，使用镜头组切向畸变模型，再次对相机进行标定。标定结果为：焦距参数：(f
x
，f
y
)＝(304.72398，304.21963)，偏心参数(u0，v0)＝(645.46477，475.06807)，径向畸变参数(k
f1
，k
f2
，k
f3
，k
f4
)＝(0.20339，
‑
0.06539，0.02256，
‑
0.00508)，镜头组切向畸变参数为(k4，k5)＝(
‑
0.00018，
‑
0.00032)。5个棋盘格的重投影误差为分别为：0.145411，0.133137，0.094655，0.125546，0.234981，总体平均重投影误差为0.146746，单位为像素。
[0136]
使用本发明提出的第三实施例的完整标定模型，再次对相机进行标定。标定结果为：焦距参数：(f
x
，f
y
)＝(304.95886，304.53399)，偏心参数(u0，v0)＝(643.92334，474.05307)，径向畸变参数(k
f1
，k
f2
，k
f3
，k
f4
)＝(0.20103，
‑
0.06273，0.02145，
‑
0.00495)，镜头组切向畸变参数为(k4，k5)＝(
‑
0.00350，
‑
0.00325)，传感器歪斜导致的切向畸变参数为(p1，p2)＝(
‑
0.01181，0.01063)。11个棋盘格的重投影误差为分别为：0.14161，0.126257，0.114981，0.12709，0.222918，总体平均重投影误差为0.146571，单位为像素。本实例中使用棋盘格数量较少，所得结果的准确度也较低。
[0137]
如图2所示，于一实施例中，本发明的相机标定系统，包括：获取模块21、修正模块22和求解模块23；所述获取模块用于基于相机拍摄标定箱获取n张图像，从所述n张图像中分别提取m个特征点；所述修正模块用于获取所述n张图像中各个特征点的世界坐标系的坐标，对所述世界坐标系的坐标进行投影变换、径向畸变和相机的镜头组切向畸变添加、传感器切向畸变添加、离散化转换得到对应的像素坐标系的坐标；所述求解模块用于基于所述世界坐标系的坐标和像素坐标系的坐标建立目标函数，最小化目标函数，求解得到相机的内参。
[0138]
具体地，所述修正模块用于获取所述n张图像中各个特征点的世界坐标系的坐标，对所述世界坐标系的坐标进行投影变换、径向畸变和相机的镜头组切向畸变添加、传感器切向畸变添加、离散化转换得到对应的像素坐标系的坐标包括：获取特征点的世界坐标系的坐标，对所述世界坐标系的坐标基于第一旋转矩阵和第一平移向量的转换得到相机坐标系的坐标；对所述相机坐标系的坐标进行第一投影得到第一归一化的坐标；基于入射光线相对光轴的偏离程度对所述第一归一化的坐标进行径向畸变添加得到径向畸变添加的坐标；对所述径向畸变添加的坐标进行相机的镜头组切向畸变添加，得到相机的镜头组切向畸变添加的坐标；对所述相机的镜头组切向畸变添加的坐标进行两个方向焦距的相乘和图像偏心的转换得到像素坐标系的坐标。
[0139]
具体地，在所述对所述径向畸变添加的坐标进行相机的镜头组切向畸变添加，得
到相机的畸变添加的坐标之后，还包括对所述相机的畸变添加的坐标进行传感器切向畸变添加得到经过传感器切向畸变添加的坐标。
[0140]
具体地，所述对所述相机的畸变添加的坐标进行传感器切向畸变添加得到经过传感器切向畸变添加的坐标，包括对所述图像坐标系的坐标基于第二旋转矩阵的转换，再进行第二投影得到第二归一化的坐标。
[0141]
需要说明的是，获取模块21、修正模块22和求解模块23的结构和原理与上述相机标定方法中的步骤一一对应，故在此不再赘述。
[0142]
需要说明的是，应理解以上系统的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，x模块可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上x模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
[0143]
例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(application specific integrated circuit，简称asic)，或，一个或多个微处理器(micro processor uint，简称mpu)，或，一个或者多个现场可编程门阵列(field programmable gate array，简称fpga)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(central processing unit，简称cpu)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system
‑
on
‑
a
‑
chip，简称soc)的形式实现。
[0144]
于本发明一实施例中，本发明还包括一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一所述相机标定方法。
[0145]
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
[0146]
如图3所示，于一实施例中，本发明的相机标定装置包括：处理器31和存储器32；所述存储器32用于存储计算机程序；所述处理器31与所述存储器32相连，用于执行所述存储器32存储的计算机程序，以使所述相机标定装置执行任一所述的相机标定方法。
[0147]
具体地，所述存储器32包括：rom、ram、磁碟、u盘、存储卡或者光盘等各种可以存储程序代码的介质。
[0148]
优选地，所述处理器31可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(digital signal processor，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现场可编程门阵列(field programmable gate array，
简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
[0149]
综上所述，本发明相机标定方法、系统、介质及装置，本发明提出的相机标定模型更贴合相机成像的物理过程，使用本发明提出的相机标定模型，标定结果更精确，重投影误差更小，标定结果更稳定。使用本发明提出模型对相机进行标定后，根据图像推算的某点的空间位置也会更加准确。使用本发明提出模型对相机进行标定后，对图像进行去畸变操作，也会有更好的效果。使用本发明提出的标定箱，可以简化标定流程，节约标定成本。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
[0150]
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。