一种双远心镜头的简化成像模型及其标定方法与流程

1.本发明本发明属于计算机视觉领域，具体涉及一种双远心镜头的简化成像模型及其标定方法。


背景技术：

2.立体视觉在非接触式三维测量中起着至关重要的作用。非接触式三维测量使用两台相机或多视图来实现视觉合成、地形测量、变形检测等应用。在对精度要求较高的小物体的三维测量中，需要减小镜头的工作距离，以达到小视场和大数值孔径的目的。远心透镜经常用于基于视觉图像的测量应用。它们可以为小视场测量提供光路。远心特性确保在有效景深范围内，该镜头提供固定尺寸、更高分辨率和更低失真的成像。这些特性对显微视场下的三维测量具有重要意义。
3.为了方便地利用schiempflug条件来提高多视点三维传感的成像质量，通过建立物体的三维坐标点与相机传感器之间的直接映射关系。基于镜头的成像模型中，schiempflug表示为主体平面、镜头片面和影像平面相交于一条直线。传统方法，利用这个定律，可以通过安装一个倾斜传感器来倾斜透镜前面的物体表面，从而显著地扩展清晰成像区域的轴向分布。


技术实现要素：

4.本发明的目的在于在schiempflug条件下实现双远心镜头的标定，本发明提出了一个双远心镜头简化的成像模型，并提出了不需要求解旋转和倾斜角度的标定方法。
5.本发明的技术方案如下：一种双远心镜头的简化成像模型及其标定方法，步骤如下：步骤一：建立schiempflug双远心相机的成像模型的简化成像模型；步骤二：求解单应性矩阵左上角2
×
2数值，根据外参单位正交性建立内参方程组，非线性优化求解内参方程组；步骤三：结合单应性矩阵求解外参，排除外参歧义性。
6.优选的，步骤一中，schiempflug双远心相机的成像模型为：通过在理想双远心相机成像模型中添加一个旋转矩阵，可将倾斜的传感器成像坐标与理想的非倾斜成像坐标关联起来。最终在理想远心成像模型中，图像点q(u，v)与目标点p(x，y，z)的最终关系为:h＝a
m
r
t
是新的单应矩阵，式(1)的a
m
中存在一个偏移量(u0，v0)，直接把相机坐标系的原点o
c
设置为像素坐标的原点(u，v)。
7.优选的，步骤一中，简化成像模型为：
在固有参数标定过程中不考虑镜头畸变，(u0，v0)可以设置为任意值，将传感器的第一个像素作为(u0，v0)，通过传感器平面π绕其第一个像素旋转两个角度α和β，得到垂直平面π
p
，镜头的本征矩阵变成：t
x
和t
y
改变以符合新o
c
，成像模型变成：
8.优选的，步骤二具体为：标定板以特定姿势放置，获取标定图案后，利用椭圆拟合函数提取n个圆标记点的中心坐标，提取的中心坐标记为p
c
:p
c1
(u
c1
，v
c1
),p
c2
(u
c2
，v
c2
),
…
,p
cn
(u
cn
，v
cn
)，相应地每次标定姿势的世界坐标系由其特征点确定，这些特征点的三维坐标分布为p
c
:p
c1
(x
c1
，y
c1
，0),p
c2
(x
c2
，y
c2
，0),
…
,p
cn
(x
cn
，y
cn
，0)，每个点的z
c
为0，因此p
c
被缩短为r
t
被缩短为为将标定图案的成像模型进一步简化为：其中，
9.优选的，步骤二中，双远心镜头的相机参数计算，分为如下三步：第一步，计算单应性矩阵；求解h
s
中的h
11
,h
12
,h
21
,h
22
，每个特征点的世界坐标(x
c
，y
c
)与其在图像中的像素坐标(u
c
，v
c
)之间的关系提供了两个方程，标定图中各点所提供的方程可以形成一个方程系统，如式(12)所示，h
s
中的所有变量都可以用最小二乘法直接求解：
第二步，根据旋转矩阵的单位正交性求解j,k,l；首先，将旋转参数r
11
,r
12
,r
21
,r
22
表示为h
11
,h
12
,h
21
，h
22
与j,k,l之间的关系，表示为：因此，然后使用r的单位正交性，即将式(14)代入式(15)，能够得到：即：在s(s1，s2，s3，s4)中有四个未知数:s1＝j2k2,s2＝k2+l2,s3＝j2,s4＝jl，至少需要四组标定图像来求解s，求解s后，得到包含三个未知内参数的四个方程，j,k,l的符号根据s(s1，s2，s3，s4)来确定，j,k,l的初值通过以下计算：l
‑
m算法的目标函数f
opt
是：
其中f＝[j2k2，k2+l2，j2，jl]
t
和s＝[s1
，
s2，s3，s4]
t
；第三步，从j,k,l得到α和β；由公式(11)，得出：求解式(20)，得到旋转角度α，由式(11)得到β。
[0010]
优选的，步骤三具体为：获取内在参数后，各标定图案的r2×2(r
11
,r
12
,r
21
,r
22
)由式(14)计算，r是单一和正交的，r的剩余元素通过以下公式再获得：利用平移台在世界坐标系z轴上提供一个已知的平移位移z
d
，从而可以确定r
13
和r
23
的符号，与位移前获取的图像一起，确定r
13
和r
23
的符号。
[0011]
本发明与现有技术相比，其显著优点是：本发明提出了不需要求解旋转和倾斜角度的标定方法，，实现了在schiempflug条件下实现双远心镜头的标定。
附图说明
[0012]
图1为实施例中schiempflug条件下双远心镜头的简化成像模型及其标定方法的流程图。
[0013]
图2为实施例中schiempflug下双远心镜头的坐标系。
[0014]
图3为实施例中schiempflug下双远心相机(u0，v0)为0的坐标系。
[0015]
图4为实施例中实验过程中标定板捕获的五幅图像及提取的标记物。
[0016]
图5为实施例中实验过程中五个图案的二次投影误差分布。
具体实施方式
[0017]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
[0018]
本实施例提出了一种schiempflug条件下双远心镜头的简化成像模型及其标定方法，具体步骤如下所示。
[0019]
步骤一：建立双远心镜头的简化成像模型。
[0020]
第一步，schiempflug双远心相机的成像模型。
[0021]
相机传感器是图像坐标所在的二维平面，通过在理想双远心相机成像模型中添加一个旋转矩阵，可将倾斜的传感器成像坐标与理想的非倾斜成像坐标关联起来。如图2所示，平面π是传感器平面，传感器平面相交光轴于点o
c
,o
c
是镜头的光心，o
c
‑
x
c
y
c
z
c
是远心镜头的坐标系。π
p
是理想平面，理想平面也相交于光轴于点o
c
，也垂直于z
c
轴。(u
p
，v
p
)和(u，v)分别是平面π和平面π
p
的图像坐标。假设入射光垂直照射平面π
p
，并分别相交平面π和平面π
p
于点p(u
p
，v
p
)和q(u，v)。平面п
p
是一个辅助表面并不存在，关于平面п和平面п
p
的联
系可以通过相继的旋转x
c
轴和y
c
轴来联系在一起。z
c
轴的旋转可以被当作镜头的旋转，并且不影响成像过程的数学模型。
[0022]
成像坐标p(u
p
，v
p
)对应于非倾斜平面π
p
，可以被看作中间过渡变量。最终像素坐标q(u，v)是通过p(u
p
，v
p
)分别旋转x
c
轴的α角度和旋转y
c
轴的β角度获得的。
[0023]
由o
c
‑
x
c
y
c
z
c
坐标系，旋转矩阵记为r
xy
，表示为：
[0024]
平面π
p
的(u
p
，v
p
)的单位方向向量是u
p
(1，0，0)和v
p
(0，1，0)。经过r
xy
旋转后，平面π的u和v的单位方向向量：
[0025]
以像素坐标为单位，p(u
p
，v
p
)可以表示为q(u，v)，光学中心o
c
的像素坐标在两个平面都是相同的，它可以被看作(u0，v0)。参考o
c
‑
x
c
y
c
z
c
坐标系，点q空间坐标可以表示为：
[0026]
由于有远心性，点q在x
c
和y
c
方向上的坐标值与点p相同，因此式(3)前两行与(u
p
‑
u0，v
p
‑
v0)相同：
[0027]
基于公式(4)，能够得到用p(u
p
，v
p
)表示q(u，v)的表达式：
[0028]
将式(5)引入到理想远心成像模型中，可推导得图像点q(u，v)与目标点p(x，y，z)的最终关系为:
[0029]
这里h＝a
m
r
t
是新的单应矩阵。唯一改变的部分是固有矩阵a变成了a
m
。与原来的固有矩阵a相比，a
m
的变化相当于在图像坐标两个方向上的放大变化了1/cosβ和1/cosα，以及表示切向变形的参数
‑
mtanαtanβ。
[0030]
由式(6)可知，a
m
中存在一个偏移量(u0，v0)，直接把相机坐标系的原点o
c
设置为像
素坐标的原点(u，v)。在随后的标定,在a
m
的(u0，v0)都设置为0,以方便计算过程。
[0031]
第二步，双远心镜头的简化成像模型。
[0032]
在固有参数标定步骤中不考虑镜头畸变，(u0，v0)可以设置为任意值。将传感器的第一个像素作为(u0，v0)，通过传感器平面π绕其第一个像素旋转两个角度α和β，即可得到垂直平面π
p
，如图3所示。镜头的本征矩阵就变成：
[0033]
t
x
和t
y
将会改变以符合新o
c
，成像模型因此变成：
[0034]
步骤二：求解单应性矩阵左上角2
×
2数值，根据外参单位正交性建立内参方程组，非线性优化求解内参方程组。
[0035]
标定板以特定姿势放置，以确保整个平面处于场的成像深度范围内，获得清晰的图案图像。获取标定图案后，利用椭圆拟合函数提取n个圆标记点的中心坐标。因为没有透视畸变，椭圆中心的偏置不需要补偿。提取的中心坐标记为p
c
:p
c1
(u
c1
，v
c1
),p
c2
(u
c2
，v
c2
),
…
p
cn
(u
cn
，v
cn
)。相应地，每次标定姿势的世界坐标系由其特征点确定，这些特征点的三维坐标分布为p
c
:p
c1
(x
c1
，y
c1
，0),p
c2
(x
c2
，y
c2
，0),
…
p
cn
(x
cn
，y
cn
，0)，由于每个点的z
c
为0，因此p
c
被缩短为r
t
被缩短为被缩短为
[0036]
因此，将标定图案的成像模型进一步简化为：其中，
[0037]
双远心镜头的相机参数计算，分为如下三步：
[0038]
第一步，计算单应性矩阵。
[0039]
这一步是求解h
s
中的h
11
,h
12
,h
21
,h
22
。每个特征点的世界坐标(x
c
，y
c
)与其在图像中的像素坐标(u
c
，v
c
)之间的关系提供了两个方程。标定图中各点所提供的方程可以形成一个广泛的方程系统，如式(12)所示。h
s
中的所有变量都可以用最小二乘法直接求解：
[0040]
第二步，根据旋转矩阵的单位正交性求解j,k,l。
[0041]
首先，将旋转参数r
11
,r
12
,r
21
,r
22
表示为h
11
,h
12
,h
21
，h
22
与j,k,l之间的关系。由式(10)可以写为：因此，
[0042]
然后，使用r的单位正交性，即将式(14)代入式(15)，能够得到可以写成：
[0043]
注意，在s(s1，s2，s3，s4)中有四个未知数:s1＝j2k2,s2＝k2+l2,s3＝j2,s4＝jl。因此，至少需要四组标定图像来求解s。求解s后，得到包含三个未知内参数的四个方程。这里采用神经网络算法得到优化结果。由于放大倍数m为负值，且α和β的绝对值小于90度，因此，j,k,l的符号可以根据s(s1，s2，s3，s4)来确定。j,k,l的初值可以通过以下公式计算l
‑
m算法的目标函数f
opt
是：
其中f＝[j2k2，k2+l2，j2，jl]
t
和s＝[s1，s2，s3，s4]
t
。
[0044]
第三步，从j,k,l得到α和β。
[0045]
由公式(11)，能够推导出：通过求解式(20)，可以得到旋转角度α，然后由式(11)也可以得到β。
[0046]
步骤三：结合单应性矩阵求解外参，排除外参歧义性。
[0047]
得到内在参数后，各标定图案的r2×2(r
11
,r
12
,r
21
,r
22
)可由式(14)计算。由于r是单一和正交的，r的剩余元素通过以下公式再获得：
[0048]
然而，成像过程的远心性有其自然的缺点，透镜的姿势具有模糊性，这可能导致基于立体远心系统的三维结果错误。为了解决这个问题，利用平移台在世界坐标系z轴上提供一个已知的平移位移z
d
，从而可以确定r
13
和r
23
的符号。与位移前获取的图像一起，确定r
13
和r
23
的符号。
[0049]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。