一种基于Tsai氏相机平面标定算法的解析方法与流程

一种基于tsai氏相机平面标定算法的解析方法
技术领域
1.本发明涉及相机标定技术领域，具体为一种基于tsai氏相机平面标定算法的解析方法。


背景技术：

2.相机用于图像三维重建时，需要事先明确图像上点的位置与空间物体表面相应点几何位置关系。通过相机成像几何模型，并借助空间物体表面某点的世界坐标系与其在图像中对应点之间的相互关系来确定几何模型参数的过程称为相机标定。相机标定是计算机视觉工作中必不可少的步骤，相机标定结果的精度及标定过程操作难易度分别会影响到相机生产结果的准确性和方便性。自1971年至今，有多种相机标定方法出现。由最早的horaud标定方法到zhuang等增加畸变的改进，静态、动态扫描成像标定方法和经典的kruppa方程的自标定法，还有张正友和tsai标定算法。tsai给出了一种基于径向约束的平面标靶标定两步法标定方法，该方法具有精度高的优势，但存在优化程序复杂，速度较慢，结果精度取决于图像中心的初始值。本方法通过引入相机线性针孔模型和畸变模型，借鉴tsai式相机平面标定算法，提出一种改进tsai式相机平面标定算法的方法。


技术实现要素：

3.本发明的目的在于提供一种基于tsai氏相机平面标定算法的解析方法，以解决上述背景技术中提出的问题。
4.为实现上述目的，本发明提供如下技术方案：
5.一种基于tsai氏相机平面标定算法的解析方法，包括：
6.获取标靶的照片；
7.提取照片原点中心的二维图像坐标值，求得二维图像坐标值的畸变系数；
8.求解畸变系数矩阵；
9.对结果评估。
10.进一步的，获取标靶的照片包括：
11.设定相机线性针孔模型和相机畸变模型；
12.提取照片原点中心的二维图像坐标值包括：
13.转换相机内部参数关系；
14.求得二维图像坐标值的畸变系数包括：
15.根据已知点的综合模型；
16.设定标定板；
17.标定畸变系数。
18.进一步的，设定相机线性针孔模型包括：
19.设定针孔相机成像过程转换坐标包括世界坐标系owx
wywzw
、相机坐标系ocxcyczc、理想成像的物理坐标系o
ud
x
uyu
、实际成像物理坐标系o
ud
xdyd、以及实际图像像素坐标系oiuv；
20.以右手坐标系来设置相机坐标系；
21.世界坐标系中的点在相机坐标系中的坐标值可以：
22.得到
23.设定镜头畸变模型包括：
24.假定d
x
和dy分别表示x和y方向的畸变量，k1,k2分别被称为1阶、2阶径向畸变系数，则
25.表示像点与实际成像物理坐标原点间距离的平方；
26.径向畸变满足所表达的约束条件；
27.相机内部参数关系具体包括：
28.pu和pd都是相机成像模型中的抽象概念，而pd与实际图像像素坐标(u,v,f)之间满足
29.dx,dy分别表示单个像素在x(u)和y(v的逆)方向的物理尺寸，c
x
和cy分别表示坐标系oiuv和o
ud
xdyd之间以像素为单位的偏移量得到：
30.已知点的综合模型具体包括：
31.在世界坐标系中设置已知点的集合p
wi
＝(x
wi
,y
wi
,z
wi
,1),它们在相机坐标系中可表示为p
ci
＝(x
ci
,y
ci
,z
ci
),投影成像后的对应像素坐标位置是可计测的(ui,vi)，综合以上各式可得
32.从而得到
33.设定标定板具体包括：
34.采用圆点设置方式，所设计的平面标定图案；
35.所述的畸变系数标定具体包括：
36.由4个共线控制点即可求得其畸变系数k1；
37.根据p
w0
,p
w1
,p
w2
,p
w3
交比
38.根据透视投影的交比不变性，其理想图像点的对应交比根据透视投影的交比不变性，其理想图像点的对应交比从而得到
39.为了使解出来的k1更准确，采用残差最小约束进行求解；
40.每一条直线都能得到两个关于k1的一元二次方程，将n条直线得到的2n个方程左边平方后进行求和：转换成了求f(k1)的最小值；
41.用泰勒方法解出k1的值；
42.其中；rij：i＝1,2,3；j＝1,2,3分别表示3
×
3旋转矩阵中的9个元素，i表示行序号，j表示列序号。
43.进一步的，矩阵求解具体包括：
44.设图像中心点(c
x
,cy)设置一个合理的估计，取图像中心点处的对应值；
45.根据综合模型可得其中
46.由畸变模型和综合模型可知，使用可以天然的消除畸变对方程的影响；
47.当设并用旋转平移矩阵r
t
的分量展开后其中
48.当标定靶是平面的时候，矩阵r
t
的分量可表示为：的分量可表示为：是线性齐次方程；
49.比较|u
0-c
x
|和|v
0-cy|值的大小，
50.当|u
0-c
x
|》|v
0-cy|时，方程两边同时除以sy
t
，经过推导可得
[0051][0052]
通过最小二乘法解得的值；
[0053]
将的值，通过旋转矩阵的正交性可以得到的值，通过旋转矩阵的正交性可以得到从而可以求s、z
t
的值；
[0054]
结合y
t
,s,z
t
,的值，可求出r
1i
,r
2i
,r
3i
,x
t
,的值；
[0055]
同理，当|u
0-c
x
|≤|v
0-cy|时，方程两边同时除以x
t
，求解s、z
t
相应的值；
[0056]
其中，其中，zt表示在z方向的平移量。
[0057]
进一步的，对结果评估包括：选取两台不同相机进行标定对比，已知各个相机参数；从重投影误差方面和图像中心误差，距离误差以及运行时间进行评估对比。
[0058]
进一步的，平面标定图案所用标靶的靶面中有20个标定点圆，将计算得到的内参和外参带入
[0059]
计算出新的一组像素点数据记为(u
′
,v
′
)和图像中获取的真是像素点(u,v)数据之间的误差平方和开根号后取平均记为
[0060]
已知的图像中心和将计算出内参和外参带入计算出的畸变中心，记为c
′
x
,c
′y之间的误差；
[0061]
设定的畸变中心c
x
,cy和计算出c
′
x
,c
′y的误差记为
[0062]
将计算出的相机内参和外参带入计算出世界坐标系中的点p
wi
在相机坐标系下的点p
ci
,通过控制轴将标定板移动一定的距离，再次计算出移动后世界坐标系中的点p
wi
在相机坐标系下的点集为：p
′
ci
，此时的误差记为e3＝|d
′‑
d|。
[0063]
为实现上述目的，本发明还提供如下技术方案：
[0064]
一种基于tsai氏相机平面标定算法的解析装置，包括：
[0065]
获取模块，用于获取标靶的照片；
[0066]
处理模块，用于提取照片原点中心的二维图像坐标值，求得二维图像坐标值的畸变系数；
[0067]
求解模块，用于求解畸变系数矩阵；
[0068]
输出模块，用于对结果评估。
[0069]
为实现上述目的，本发明还提供如下技术方案：
[0070]
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如上述中任一项所述方法的步骤。
[0071]
为实现上述目的，本发明还提供如下技术方案：
[0072]
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述中任一项所述的方法的步骤。
[0073]
与现有技术相比，本发明的有益效果是：
[0074]
与tsai氏相机标定算法相比，本方法需要的已知条件少，计算简单，并且计算过程完全是非迭代的。因此该方法降低了计算复杂度，提高了标定速度以及标定精度，标定过程简单易于操作，而且可以避免其他非线性优化方法中可能遇到的不稳定性。与张正友相机标定算法相比，本方法只需一张图像就能完成相机标定，对动态标靶位姿高精度实时计测方法有一定的参考价值。与其他相机标定算法类似标定结果依赖于图像中心坐标值的选取。本方法在标定时间上节约了35％左右，在精度上至少提高了15％，标定过程简单易于操作，而且可以避免其他非线性优化方法中可能遇到的不稳定性。
附图说明
[0075]
图1为本发明提供的一种基于tsai氏相机平面标定算法的解析方法的流程示意图。
[0076]
图2为本发明提供的相机成像模型。
[0077]
图3为本发明提供的标定靶上的图案。
[0078]
图4为本发明的一种基于tsai氏相机平面标定算法的解析装置框图。
[0079]
图5为本发明的计算机设备的内部结构图。
具体实施方式
[0080]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于
本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0081]
请参阅图1-5，本发明提供一种技术方案：
[0082]
一种基于tsai氏相机平面标定算法的解析方法，包括：
[0083]
s101、提取标靶拍照；
[0084]
s102、提取原点中心的二维图像坐标值，带入到公式求得畸变系数；
[0085]
s103、矩阵求解；
[0086]
s104、通过本算法与tsai方法进行对比。
[0087]
所述的提取标靶拍照具体包括：
[0088]
设定针孔相机成像过程转换坐标如图2所示，发现了旋转矩阵的如下性质：
[0089]r31
＝r
12r23-r
13r22
[0090]r32
＝r
13r21-r
11r23
[0091]r33
＝r
11r22-r
12r23
[0092]r13
＝r
21r32-r
31r22
[0093]r23
＝r
31r12-r
11r32
[0094]
其中，rij(i＝1,2,3；j＝1,2,3)分别表示3
×
3旋转矩阵中的9个元素(i表示行序号，j表示列序号)。
[0095]
所述的提取原点中心的二维图像坐标值具体包括：
[0096]
假定d
x
和dy分别表示x和y方向的畸变量，k1,k2分别被称为1阶、2阶径向畸变系数，则
[0097]
表示像点与实际成像物理坐标原点间距离的平方；
[0098]
径向畸变满足所表达的约束条件；
[0099]
应用透视投影中的交比不变性质和泰勒方法求得畸变系数；
[0100]
按照操作步骤4中的推导方法，可以快速、准确、鲁棒的解出相机的内参和外参。
[0101]
1)根据公式通过该方程使用最小二乘法可以解得的值。
[0102]
其中，x
t
，y
t
，s分别表示在x方向的平移量、y方向的平移量、s表示信号受扰后的成像像素的长宽比。
[0103]
2)将的值，通过旋转矩阵的正交性可以得到的值，通过旋转矩阵的正交性可以得到从而可以求s、z
t
的值。
[0104]
其中，z
t
表示在z方向的平移量，其余符号含义与前述内容相同。
[0105]
通过本算法与tsai方法进行对比。
[0106]
选取两台不同相机进行标定对比，已知各个相机参数；从重投影误差方面和图像中心误差，距离误差以及运行时间进行评估对比。
[0107]
下面结合实施例和附图进一步说明：
[0108]
改进方法，包括：
[0109]
设定相机线性针孔模型；
[0110]
设定相机畸变模型；
[0111]
相机内部参数关系；
[0112]
已知点的综合模型；
[0113]
设定标定板；
[0114]
畸变系数标定；
[0115]
矩阵求解；
[0116]
通过本算法与tsai方法进行对比。
[0117]
进一步的，所述的线性针孔模型具体包括：
[0118]
设定针孔相机成像过程转换坐标如图2所示；
[0119]
包括世界坐标系owx
wywzw
、相机坐标系ocxcyczc、理想成像的物理坐标系o
ud
x
uyu
、实际成像物理坐标系o
ud
xdyd、以及实际图像像素坐标系oiuv；
[0120]
为便于确保测量所得到的深度值均为正值，本文以右手坐标系来设置相机坐标系；
[0121]
世界坐标系中的点在相机坐标系中的坐标值可以：
[0122]
得到
[0123]
进一步，所述的设定镜头畸变模型具体包括：
[0124]
假定d
x
和dy分别表示x和y方向的畸变量，k1,k2分别被称为1阶、2阶径向畸变系数，则
[0125]
表示像点与实际成像物理坐标原点间距离的平方；
[0126]
径向畸变满足所表达的约束条件；
[0127]
进一步的，所述的相机内部参数关系具体包括：
[0128]
pu和pd都是相机成像模型中的抽象概念，而pd与实际图像像素坐标(u,v,f)之间满足
[0129]
dx,dy分别表示单个像素在x(u)和y(v的逆)方向的物理尺寸。c
x
和cy分别表示坐标系oiuv和o
ud
xdyd之间以像素为单位的偏移量得到：
[0130]
进一步的，所述的已知点的综合模型具体包括：
[0131]
在世界坐标系中设置已知点的集合p
wi
＝(x
wi
,y
wi
,z
wi
,1),它们在相机坐标系中可表示为p
ci
＝(x
ci
,y
ci
,z
ci
),投影成像后的对应像素坐标位置是可计测的(ui,vi)，综合以上各式可得
[0132]
从而得到
[0133]
进一步的，所述的设定标定板具体包括：
[0134]
采用圆点设置方式，所设计的平面标定图案，如图3所示。
[0135]
进一步的，所述的畸变系数标定具体包括：
[0136]
参考贺俊吉的方法则只需要知道4个共线控制点即可求得其畸变系数k1；
[0137]
根据图3中p
w0
,p
w1
,p
w2
,p
w3
交比
[0138]
根据透视投影的交比不变性，其理想图像点的对应交比根据透视投影的交比不变性，其理想图像点的对应交比从而得到
[0139]
为了使解出来的k1更准确，采用残差最小约束进行求解；
[0140]
每一条直线都能得到两个关于k1的一元二次方程，将n条直线得到的2n个方程左边平方后进行求和：转换成了求f(k1)的最小值；
[0141]
用泰勒方法解出k1的值。
[0142]
进一步的，所述的矩阵求解具体包括：
[0143]
设图像中心点(c
x
,cy)设置一个合理的估计，取图像中心点处的对应值；
[0144]
根据综合模型可得其中
[0145]
由畸变模型和综合模型可知，使用可以天然的消除畸变对方程的影响；
[0146]
当设并用旋转平移矩阵r
t
的分量展开后其中
[0147]
当标定靶是平面的时候，矩阵r
t
的分量可表示为：的分量可表示为：是线性齐次方程；
[0148]
比较|u
0-c
x
|和|v
0-cy|值的大小，
[0149]
当|u
0-c
x
|》|v
0-cy|时，方程两边同时除以sy
t
，经过推导可得
[0150][0151]
通过最小二乘法解得的值；
[0152]
将的值，通过旋转矩阵的正交性可以得到的值，通过旋转矩阵的正交性可以得到从而可以求s、z
t
的值。
[0153]
结合y
t
,s,z
t
,的值，可求出r
1i
,r
2i
,r
3i
,x
t
,
的值；
[0154]
同理，当|u
0-c
x
|≤|v
0-cy|时，方程两边同时除以x
t
，求解s、z
t
相应的值。
[0155]
进一步的，所述的通过本算法与tsai方法进行对比具体包括：
[0156]
选取两台不同相机进行标定对比，各个相机参数已知；
[0157]
所用标靶如图3，靶面中有20个标定点圆；
[0158]
拟从重投影误差方面和图像中心误差，距离误差以及运行时间进行评估；
[0159]
将计算得到的内参和外参带入
[0160]
计算出新的一组像素点数据记为(u
′
,v
′
)和图像中获取的真是像素点(u,v)数据之间的误差平方和开根号后取平均记为
[0161]
已知的图像中心和将计算出内参和外参带入计算出的畸变中心，记为c
′
x
,c
′y之间的误差；
[0162]
设定的畸变中心c
x
,cy和计算出c
′
x
,c
′y的误差记为
[0163]
将计算出的相机内参和外参带入计算出世界坐标系中的点p
wi
在相机坐标系下的点p
ci
,通过控制轴将标定板移动一定的距离，再次计算出移动后世界坐标系中的点p
wi
在相机坐标系下的点集为：p
′
ci
，此时的误差记为e3＝|d
′‑
d|。
[0164]
本发明的解析方法，包括如下步骤：
[0165]
s101、对着标靶拍照，获取标靶的照片；
[0166]
s102、提取出原点中心的二维图像坐标值；
[0167]
s103、带入到公式求得畸变系数；
[0168]
s104、求解矩阵；
[0169]
s105、结果评估。
[0170]
具体的，本方法是对于tsai氏相机平面标定算法的改进。该算法分为五部分，第一部分是对着标靶拍照，第二部分是提取出原点中心的二维图像坐标值，第三部分是带入到公式求得畸变系数，第四部分是求解矩阵，第五部分是本算法与tsai氏算法进行实验结果对比。
[0171]
改进算法的整体流程。
[0172]
第一步，对着标靶图案图3拍照；
[0173]
第二步，获取原点中心的二维图像坐标值；
[0174]
第三步，带入到公式求得畸变系数；
[0175]
第四步，求解矩阵；
[0176]
程序开始时先对着标靶图案拍照，分析取得原点中心的二维图像坐标值，利用透视投影中的交比不变性公式得到畸变系数；利用旋转矩阵的如下性质，实现了将非线性问题解耦为线性问题，同时可以直接得到解析解法，提高了精度和效率。
[0177]r31
＝r
12r23-r
13r22
[0178]r32
＝r
13r21-r
11r23
[0179]r33
＝r
11r22-r
12r23
[0180]r13
＝r
21r32-r
31r22
[0181]r23
＝r
31r12-r
11r32
[0182]
第五步，结果评估，本算法与tsai氏方法进行对比。
[0183]
根据获得的相机内、外参数，从重投影误差方面和图像中心误差，距离误差以及运行时间进行评估。
[0184]
本发明中，计算机设备可以包括存储器、存储控制器、一个或多个(图中仅示出一个)处理器等，各元件之间直接或间接地电连接，以实现数据的传输或交互。例如，这些元件之间可以通过一条或多条通讯总线或信号总线实现电连接。基于tsai氏相机平面标定算法的解析方法分别包括至少一个可以以软件或固件(firmware)的形式存储于存储器中的软件功能模块，例如所述基于tsai氏相机平面标定算法的解析装置包括的软件功能模块或计算机程序。存储器可以存储各种软件程序以及模块，如本技术实施例提供的基于tsai氏相机平面标定算法的解析方法及装置对应的程序指令/模块。处理器通过运行存储在存储器中的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现本技术实施例中的解析方法。
[0185]
本发明的系统运行的硬件环境是cpu：intel(r)core(tm)i3-6300 cpu@3.80ghz、内存：4gb、硬盘：240gb(固态硬盘)；系统运行的系统环境是windows10专业版；系统运行的软件环境是visual studio 2017。
[0186]
本方法主要有以下几个方面的功能：
[0187]
(1)发现旋转矩阵的性质
[0188]r31
＝r
12r23-r
13r22
[0189]r32
＝r
13r21-r
11r23
[0190]r33
＝r
11r22-r
12r23
[0191]r13
＝r
21r32-r
31r22
[0192]r23
＝r
31r12-r
11r32
；
[0193]
(2)利用(1)的性质，结合正交性，能使有效解除各参数之间的耦合关系，将非线性求解问题转换为线性求解问题；
[0194]
(3)按照操作步骤4求解矩阵，可以快速、准确、鲁棒地计算机相机的内参和外参。
[0195]
本发明，是一种简单快速的相机标定方法。本方法假设图像中心点与ccd或cmos传感器中心重合的前提下，将相机的内外参数和相机模型的畸变参数分离，使得相机标定可以进一步的线性进行。
[0196]
首先设定相机线性针孔模型、畸变模型，根据透视投影的交比不变性原理标定镜头的畸变系数，然后根据旋转变换关系和平移变换关系，充分利用径向畸变约束、旋转变换
的正交性和旋转矩阵特有的性质约束线性，求解出相机的内参和外参，通过本算法与tsai算法进行对比。
[0197]
本发明避免了非线性优化带来的误差，降低了算法复杂度，可适当提高标定精度，节约计算时间。最后本方法与tsai方法进行对比，该方法在标定时间上节约了35％左右，在精度上至少提高了15％。
[0198]
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。