一种基于精密二轴转台和激光跟踪仪的大视场相机标定方法与流程

文档序号:16120757发布日期:2018-11-30 23:10阅读:714来源:国知局

本发明涉及传感器标定技术,具体涉及一种基于精密二轴转台和激光跟踪仪的大视场相机标定方法。

背景技术

大视场视觉测量的测量空间范围从几米到几十米乃至上百米,是精密航空视觉导航、大型机械装备定位、大型构件制造与装配等先进技术领域中的重要测量手段。大视场视觉测量以其测量范围大,测量过程非接触等优势,在测量领域具有不可替代的地位。

大视场相机标定方法及其应用的研究,旨在解决大视场视觉测量中相机标定困难、标定精度不高的问题。相机标定技术作为视觉测量的核心技术,其精度直接影响测量精度,但常规相机标定方法由于受到视场范围有限、视场空间变化、靶标制作困难等诸多因素的制约,已无法满足大视场高精度的测量需求。

大视场相机标定与普通视场相机标定的理论基础相同,而大视场标定过程中,不可避免的问题是获取大尺寸的精密靶标变得较为困难,即使能够制作这样的靶标或构造虚拟靶标,也面临成本问题,以及难以适应相机测量空间和测量视场的变化问题,难以满足高精度需求的问题。一维靶标以其加工成本低,加工精度高等优点而得到广泛研究,但是一维靶标所含信息量少,精度会受到制约;采用小平面靶标多位置标定的方法,尽管能够灵活布置充满相机测量空间,但是各个位置之间缺乏联系与约束,不能有效描述整个测量空间的相机模型,影响标定精度,同时操作流程也往往较为复杂。在测绘领域,对于中高空工作的航空和卫星测绘相机一般在实验室内采取精密转台,平行光管或星点板的精密测角法来标定相机的内方位元素,这些方法需要精密调校平行光管的光轴和转台、相机的位姿关系,使用不够便捷。在大视场视觉测量和摄影测量领域常采用自标定方法实现摄像标定,该方法虽然布置较为灵活,但运算量较大,方程求解的鲁棒性较差,且标定精度通常无法与光学实验室校准方法相比。此外,基于非参数模型的标定方法不使用传统相机模型,而是用类似穷举的方式对相机靶面上的每个测量角度进行一一映射,虽然精度高,但工作量极为庞大。

申请号为cn201611094763.2的发明专利公开了一种基于单led发光点和二维转台的复眼系统标定装置及标定方法,通过一维平移调整led位置的方式实现标定;论文“二轴转台测角法用于线阵相机几何参数标定”提出一种基于二轴转台测角法的线阵相机标定方法,通过简单的设备高精度求取线阵相机的内参数和畸变参数,但是两者并未使用激光跟踪仪,无法建立大视场标定控制场,无法实现大视场下相机高精度的标定;论文“基于虚拟平面靶标的大视场摄像机标定技术研究”和论文“构建虚拟立体靶标的大视场高精度视觉标定”都构建出大尺度的虚拟靶标,但是没有用到转台,需要多次移动标定特征以布满测量空间才能进一步完成标定。



技术实现要素:

本发明技术解决问题:克服现有技术的不足,提供一种基于精密二轴转台和激光跟踪仪的大视场相机标定方法,解决在大视场测量深度变化范围大、标定精度要求高的场合中,难以设计标定靶标与视场相适应的问题。

为达到上述目的,本发明的技术方案是这样实现的:

一种基于精密二轴转台和激光跟踪仪的大视场相机标定方法,该方法包括:

a、精密二轴转台与激光跟踪仪靶球一同做旋转运动,激光跟踪仪测量多个位置的靶球球心坐标,解算激光跟踪仪坐标系到精密二轴转台坐标系的转换矩阵;

b、跟踪仪靶球放置于精密二轴转台和激光跟踪仪前方,激光跟踪仪测量跟踪仪靶球坐标;光学反射球与跟踪仪靶球能实现精度无损互换,作为相机标定的光学参考点,则根据激光跟踪仪坐标系到精密二轴转台坐标系的转换矩阵,建立光学参考点在精密二轴转台坐标系下的位置;

c、相机与精密二轴转台一同做二维转动,拍摄光学参考点,并同步记录各转动位置的角度值;根据光学参考点在精密二轴转台初始位置下的位置以及转台转动角度,建立起虚拟标定控制场;

d、在虚拟标定控制场各转动位置下采集的光学参考点图像中,拟合光学参考点的椭圆轮廓,获取椭圆中心,消除透视投影畸变,计算标定光学参考点圆心的图像位置;

e、基于相机成像理论模型以及各转动位置下光学参考点圆心的图像位置,建立最小化目标函数,通过非线性优化方法得到目标函数的最优解。

步骤a中精密二轴转台与激光跟踪仪靶球一同做旋转运动,激光跟踪仪测量多个位置的靶球球心坐标,解算激光跟踪仪坐标系到精密二轴转台坐标系的转换矩阵;实现步骤如下:

(1)将跟踪仪靶球置于精密二轴转台任意位置,控制转台以设定角度间隔做旋转运动,激光跟踪仪采集并存储各转动位置下靶球球心坐标,得到一系列球心坐标,拟合空间圆,建立转台坐标系;

(2)根据转台坐标系原点在跟踪仪坐标系中的坐标位置,解算跟踪仪坐标系到转台坐标系的转换矩阵。

步骤b中跟踪仪靶球放置于精密二轴转台和激光跟踪仪前方,激光跟踪仪测量跟踪仪靶球坐标;光学反射球与跟踪仪靶球能实现精度无损互换,作为相机标定的光学参考点,则根据激光跟踪仪坐标系到精密二轴转台坐标系的转换矩阵,建立光学参考点在精密二轴转台坐标系下的位置;具体如下:

(1)将跟踪仪靶球置于精密二轴转台与激光跟踪仪前方,距离和位置可以根据应用要求自由调整,激光跟踪仪测量跟踪仪靶球球心的三维坐标;

(2)将跟踪仪靶球替换为直径相同,球心尺寸和位置精度相同,并带有高反光圆形特征平面的光学反射球,实现无精度损失的替换,作为相机标定的光学参考点,通过激光跟踪仪坐标系到精密二轴转台坐标系的转换矩阵,建立光学参考点中心位置在转台坐标系下的三维坐标。

步骤c中相机与精密二轴转台一同做二维转动,拍摄光学参考点,并同步记录各转动位置的角度值;根据光学参考点在精密二轴转台初始位置下的位置以及转台转动角度,建立起虚拟标定控制场,过程为:

(1)按照设定的角度间隔,相机与精密二轴转台一同做二维转动,在各转动位置下拍摄光学参考点,并同步记录各转动位置的角度值;

(2)根据标定光学参考点在精密二轴转台初始位置下的三维坐标,以及记录的转台转动角度,建立起虚拟的大尺度三维标定控制场。

步骤d中在虚拟标定控制场各转动位置下采集的光学参考点图像中,拟合光学参考点的椭圆轮廓,获取椭圆中心,消除透视投影畸变,计算标定光学参考点圆心的图像位置,过程为:

(1)在虚拟标定控制场各转动位置下采集的光学参考点图像中,采用canny算子和steger方法相结合的方式来提取光学参考点的边缘点;

(2)剔除无法形成封闭圆环的噪声点之后,使用椭圆拟合算法,拟合光学参考点子像素级的椭圆轮廓,进而计算椭圆中心位置在图像坐标系下的坐标;

(3)根据空间圆中心在相机平面上的畸变误差模型,消除相机透视投影畸变引起的偏心误差,计算标定参考点平面圆圆心精确的图像位置。

步骤e中基于相机成像理论模型以及各转动位置下光学参考点圆心的精确图像位置,通过非线性优化方法得到目标函数最优解,采用lm非线性优化方法求解精密二轴转台到相机的旋转矩阵、平移向量和相机内方位元素在最大似然准则下的最优解。

本发明与现有技术相比的优点在于:本发明提出的一种基于精密二轴转台和激光跟踪仪的大视场相机标定方法,使用精密二轴转台作为角度溯源基准,激光跟踪仪作为长度溯源基准,转台带动相机作二维运动,采用单个固定不动的光学参考点作为参照,由相机在每个转动位置下进行拍摄,最终实现标定。期间相机在转台内框自由安装,并且转台转动控制程序、图像采集程序与标定程序由pc端一键式mfc自动完成,中间过程无需人工干预。转台转动幅度以及参考点与相机距离可根据应用视场需求任意灵活配置。本发明适合在大视场环境下,完成高精度相机内参标定;尤其适合相机测量空间尺度大,传统标定靶标难以设计制作的场合。

附图说明

图1为本发明实施例中基于精密二轴转台和激光跟踪仪的大视场相机标定方法流程图;

图2为本发明实施例中大视场相机标定系统示意图;

图3为本发明实施例中跟踪仪坐标系到转台坐标系的标定示意图;

图4为本发明实施例中作为标定参考可与激光跟踪仪靶球机械互换的光学反射球的机械尺寸图;

图5为本发明实施例中大视场虚拟三维靶标效果示意图。

具体实施方式

本发明的基本思想是:通过转台及跟踪仪虚拟出满足大视场要求的精密大尺寸立体靶标,进而根据相机成像模型建立最小化目标函数,采用lm非线性优化方法求解转台到相机的旋转矩阵、平移向量和相机内参最优解,即实现相机的标定。

下面结合附图及由精密二轴转台、相机、激光跟踪仪和圆形光学参考点组成的具体实施例,对本发明作进一步详细说明。

如图1所示,本发明基于精密二轴转台和激光跟踪仪的大视场相机标定方法主要包括以下步骤:

步骤11:精密二轴转台与激光跟踪仪靶球一同做旋转运动,激光跟踪仪测量多个位置的靶球球心坐标,解算激光跟踪仪坐标系到精密二轴转台坐标系的转换矩阵。

具体包括以下步骤:

步骤111:将跟踪仪靶球置于精密二轴转台任意位置,控制转台以设定角度间隔做旋转运动,激光跟踪仪采集并存储各转动位置下靶球球心坐标,得到一系列球心坐标,拟合空间圆,建立转台坐标系。

标定系统示意图如图2所示,其中精密二轴转台包括三个部分,即固定基座4、外框2和内框3,1为内框转轴,5为外框转轴,标定参考点6放置于固定架7上,8为激光跟踪仪。其中所用的精密二轴转台的步长值应小于相机单像素所占视场角。在图中将相机部分放大,具体建立转台坐标系(orxryrzr)在转台内框上,与内框固连,随内框转动而转动,将世界坐标系与转台坐标系重合,相机坐标系(ocxcyczc),跟踪仪坐标系(otxtytzt)。跟踪仪靶球分别固定于精密二轴转台外框的任意位置a处和内框的任意位置b处,控制转台外框做旋转运动,内框不转动,每隔一定角度记录跟踪仪坐标系下靶球球心坐标,转动结束后将转台回归零位。用同样的方式控制内框做旋转运动,并每隔设定角度记录靶球球心坐标。两次单轴转动得到两组点,依次进行空间圆拟合,得到的两个圆分别称为圆oa、圆ob,并可得出跟踪仪坐标系下两圆圆心坐标oa=[xta,yta,zta]t和ob=[xtb,ytb,ztb]t、两圆平面通过各自圆心的单位法向量nx和ny。将两个法向量的交点作为转台坐标系的原点oc,nx作为转台坐标系x轴方向,ny作为转台坐标系y轴方向,两个法向量的叉乘nx×ny=nz作为转台坐标系z轴方向,正向如图。

步骤112:根据转台坐标系原点在跟踪仪坐标系中的坐标位置,解算跟踪仪坐标系到转台坐标系的转换矩阵。

跟踪仪坐标系到转台坐标系的标定示意图如图3所示,设初始位置处跟踪仪坐标系到转台坐标系的变换关系由旋转矩阵rtr和平移向量ttr表示,转台坐标系到跟踪仪坐标系的变换关系由旋转矩阵rrt和平移向量trt表示。根据拟合的精密二轴转台外框圆形转动轨迹10、内框圆形转动轨迹9,计算圆平面单位法向量直线的交点坐标并将其作为转台坐标系原点,另外设该交点在跟踪仪坐标系下的坐标则有:

显然trt=[xtc,ytc,ztc]t,又转台坐标系到跟踪仪坐标系的旋转矩阵为rrt=[nx,ny,nz],可计算得到rtr=[nx,ny,nz]-1,ttr=-[nx,ny,nz]-1[xtc,ytc,ztc]t

步骤12:跟踪仪靶球放置于精密二轴转台和激光跟踪仪前方,激光跟踪仪测量跟踪仪靶球坐标;光学反射球与跟踪仪靶球能实现精度无损互换,作为相机标定的光学参考点,则根据激光跟踪仪坐标系到精密二轴转台坐标系的转换矩阵,建立光学参考点在精密二轴转台坐标系下的位置。

具体包括以下步骤:

步骤121:将跟踪仪靶球置于精密二轴转台与激光跟踪仪前方,距离和位置可以根据应用要求自由调整,激光跟踪仪测量跟踪仪靶球球心的三维坐标。

将跟踪仪靶球置于精密二轴转台与激光跟踪仪前方,激光跟踪仪测量固定不动的跟踪仪靶球三维精密坐标,具体测量场朝向前方,测得初始位置处跟踪仪靶球中心在跟踪仪坐标系下的坐标,设为pt0=[xt0,yt0,zt0]t,测量方法在激光跟踪仪的使用说明中有详细描述。

步骤122:将跟踪仪靶球替换为直径相同,球心尺寸和位置精度相同,并带有高反光圆形特征平面的光学反射球,实现无精度损失的替换,作为相机标定的光学参考点,通过激光跟踪仪坐标系到精密二轴转台坐标系的转换矩阵,建立光学参考点中心位置在转台坐标系下的三维坐标。

具体将相机固定安装在精密二轴转台的内框上,其测量视场与激光跟踪仪测量场的方向大致相同。将跟踪仪靶球替换为直径相同,球心尺寸和位置精度相同,并带有高反光圆形特征平面的光学反射球,实现无精度损失的精密替换,作为相机标定光学参考点。作为标定参考点可与激光跟踪仪靶球机械互换的光学反射球的机械尺寸图如图4所示,左图为正视图,反光区域的位置误差为右图为侧视图,反光区域的尺寸误差为跟踪仪靶球和光学反射球都属于精密标准器件,忽略加工误差,理论上光学反射球与跟踪仪靶球球心坐标相同,即零位处光学反射球球心在跟踪仪坐标系下的坐标为pt0=[xt0,yt0,zt0]t,又定义转台坐标系下光学反射球球心的坐标为pr0=[xr0,yr0,zr0]t,两坐标之间的关系为:

步骤13:相机与精密二轴转台一同做二维转动,拍摄光学参考点,并同步记录各转动位置的角度值;根据光学参考点在精密二轴转台初始位置下的位置以及转台转动角度,建立起虚拟标定控制场。

具体包括以下步骤:

步骤131:按照设定的角度间隔,相机与精密二轴转台一同做二维转动,在各转动位置下拍摄光学参考点,并同步记录各转动位置的角度值。

相机在精密二轴转台的带动下实现水平方向和垂直方向的精密旋转,根据镜头焦距f、相机分辨率pix按照公式计算视场角,设计实验转动站位数量,进而得到转动间隔。大视场虚拟三维靶标效果示意图如图5所示,使标定光学参考点轨迹覆盖相机全幅视场,同时记录转动角度,该过程等价于生成一块大的三维立体靶标,且靶标精度很高,由跟踪仪精度和转台精度共同决定。

步骤132:根据标定光学参考点在精密二轴转台初始位置下的三维坐标,以及记录的转台转动角度,建立起虚拟的大尺度三维标定控制场。

当精密二轴转台内框和外框分别旋转ψi和时,标定参考点在转台坐标系下的坐标变为:

其中,

表示转台坐标系相对零位或固定基座变化的旋转矩阵。带入可得旋转后标定参考点在转台坐标系下的坐标为:

根据标定光学参考点在精密二轴转台初始位置下的三维坐标,以及记录的转台转动角度,建立起虚拟的大尺度三维标定控制场。

步骤14:在虚拟标定控制场各转动位置下采集的光学参考点图像中,拟合光学参考点的椭圆轮廓,获取椭圆中心,消除透视投影畸变,计算标定光学参考点圆心的图像位置。

具体包括以下步骤:

步骤141:在虚拟标定控制场各转动位置下采集的光学参考点图像中,采用canny算子和steger方法相结合的方式来提取光学参考点的边缘点。

在虚拟标定控制场各转动位置下采集的光学参考点图像中,标定光学参考点具有高反光效果,圆形特征在图像上显示为白色区域,而周边具有黑色圆圈,需要对黑白区域交界的边缘进行检测,利用灰度的梯度信息检测非常合适,采用canny算子和steger方法相结合的方式来提取边缘中心点。首先对光学参考点的局部区域使用canny算子进行梯度计算,梯度计算后数值范围不定,以梯度的最大值和最小值为界,进行线性变化,将梯度值变化至[0-255]的灰度范围内。使用steger方法对线性变化后的梯度图像进行子像素级提取。

步骤142:剔除无法形成封闭圆环的噪声点之后,使用椭圆拟合算法,拟合光学参考点子像素级的椭圆轮廓,进而计算椭圆中心位置在图像坐标系下的坐标。

从提取的子像素级图像可以看到,边缘光条中心点包括一些噪声点,宫政的博士论文“现场分布式视觉测量关键技术研究”第三章中设计简单的剔除噪声方法:设置阈值处理下限,当光条中心点所在的像素值小于该阈值时,认为该点是噪声点;阈值处理后仍然存在高梯度值的噪声点,以像素灰度值最高的光条中心为起点,沿着梯度的垂直方向进行搜索,依次连接光条中心点,若无法封闭则认为起点为高梯度值的噪声点。剔除无法形成封闭圆环的噪声点之后,提取到完整的椭圆轮廓,使用椭圆拟合算法,得到椭圆中心位置。

步骤143:根据空间圆中心在相机平面上的畸变误差模型,消除相机透视投影畸变引起的偏心误差,计算标定参考点平面圆圆心精确的图像位置。

相机像面与空间圆所在平面不平行情形下,空间圆在图像平面上的投影不是一个标准的圆,存在透视投影畸变,基于透视投影变换和空间解析几何理论,建立了透视投影变换下空间圆中心在摄像机像平面上的畸变误差模型,进而消除透视投影畸变引起的偏心误差,计算标定参考点平面圆圆心精确的图像位置。

步骤15:基于相机成像理论模型以及各转动位置下光学参考点圆心的精确图像位置,通过非线性优化方法得到目标函数最优解,采用lm非线性优化方法求解精密二轴转台到相机的旋转矩阵、平移向量和相机内方位元素在最大似然准则下的最优解。

具体步骤如下:

由公式(5)可知,跟踪仪坐标系到转台坐标系的旋转矩阵是rirtr,平移向量rittr,设转台坐标系到相机坐标系的变换关系由旋转矩阵rrc和平移向量trc表示,则此时标定参考点在相机坐标系下的坐标为:

对应的相机坐标系(ocxcyczc)下的点,进行归一化(xn,vn)=(xc/zc,yc/zc),像点到主点距离无畸变条件下像点在以像素为单位的图像坐标系下的点为(ui,vi),根据相机成像模型,有:

其中,ax是u轴上的归一化焦距;同理ay称为v轴上的归一化焦距。(u0,v0)为像平面上的主点在像素坐标系下的坐标。上述模型是建立在理想的小孔成像线性模型基础上的,考虑径向畸变参数(k1,k2,k3)、切向畸变参数(p1,p2)、仿射和非正交变形参数(b1,b2)

因此,世界坐标系下的点在相机平面上的像素投影可以被修正为:

根据图像坐标系下检测值等于计算值,内方位元素、外方位元素为未知量,理论上差值等于零,由于误差的存在,实际上需要建立最小化目标函数:

其中xins=[ax,ay,u0,v0,k1,k2,k3,p1,p2,b1,b2]t

为在采集的图像中解算出水平、垂直方向的像素坐标。

采用lm非线性优化方法,选用合理的初值保证优化过程的计算速度和收敛性,进而求解旋转矩阵rtr、平移向量ttr和相机内参xins在最大似然准则下的最优解,完成标定。

以上所述,仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1