一种基于精密二轴转台的双目立体视觉传感器一体式标定方法与流程

文档序号:15640819发布日期:2018-10-12 22:02阅读:289来源:国知局

本发明涉及传感器标定技术,具体涉及一种基于精密二轴转台的双目立体视觉传感器一体式标定方法。



背景技术:

大视场立体视觉三维测量的测量空间范围从几米到几十米乃至上百米,是精密航空视觉引导、大型机械装备定位、大型构件制造与装配等先进技术领域中的重要测量手段。大视场视觉测量以其测量范围大,测量过程非接触等优势,在测量领域具有不可替代的地位。针对非合作目标的三维视觉测量,关键技术在于如何实现同名对应点的立体匹配,进而得到精确的视差图。为提高匹配精度,缩短双目基线距,减小相机视角变化,获取高精度的视差值,同时保证较大的公共测量视场。

基于大视场三维测量的应用需求、短基线距的结构需求,以视差法为测量原理的短基线距大视场双目立体视觉测量设备,成为当前视觉三维测量的研究热点,涌现出Bumble bee深度相机、ZED 2K立体相机等产品。短基线距大视场双目标定方法及其应用的研究,旨在解决短基线距大视场视觉测量中标定精度不高、靶标制作困难的问题。双目标定技术作为视觉测量的核心技术,其精度直接影响测量精度,但常规双目标定方法由于受到视场范围有限、视场空间变化、靶标制作困难等诸多因素的制约,已无法满足短基线距大视场高精度的测量需求。

大视场双目标定与普通视场双目标定的理论基础相同,而大视场标定过程中,不可避免的问题是获取大尺寸的精密靶标变得较为困难,即使能够制作这样的靶标或构造虚拟靶标,也面临成本问题,以及难以适应双目测量空间和测量视场的变化问题,难以满足高精度的要求。短基线距双目立体视觉传感器的标定中,靶标在深度方向的多位置变化会引入计算误差,进而影响标定精度。大视场标定中,一维靶标以其加工成本低,加工精度高等优点而得到广泛研究,但是一维靶标所含信息量少,精度会受到制约;采用小平面靶标多位置标定的方法,尽管能够灵活布置充满双目测量空间,但是各个位置之间缺乏联系与约束,不能有效描述整个测量空间的双目立体模型,影响标定精度,同时操作流程也往往较为复杂。

申请号为CN201611094763.2的发明专利公开了一种基于单LED发光点和二维转台的复眼系统标定装置及标定方法,通过一维平移调整LED位置的方式实现标定,但是并未使用激光跟踪仪,无法建立大视场标定控制场,无法实现大视场下相机高精度的标定;论文“基于虚拟平面靶标的大视场摄像机标定技术研究”、论文“面向大视场视觉测量的摄像机标定技术”和论文“构建虚拟立体靶标的大视场高精度视觉标定”都构建出大尺度的虚拟靶标,但是没有用到转台,需要多次移动标定特征以布满测量空间才能进一步完成标定。



技术实现要素:

本发明技术解决问题:克服现有技术的不足,提供一种基于精密二轴转台的双目立体视觉传感器一体式标定方法,解决在短基线距大视场条件下测量深度变化范围大、标定精度要求高的场合中,难以设计标定靶标与视场相适应的问题。

为达到上述目的,本发明的技术方案是这样实现的:

一种基于精密二轴转台的双目立体视觉传感器一体式标定方法,该方法包括:

a、精密二轴转台与激光跟踪仪靶球一同做旋转运动,激光跟踪仪测量多个位置的靶球球心坐标,解算跟踪仪坐标系到精密二轴转台坐标系的转换矩阵;

b、跟踪仪靶球放置于精密二轴转台和激光跟踪仪前方,激光跟踪仪测量跟踪仪靶球坐标;光学反射球与跟踪仪靶球能实现精度无损互换,作为双目立体视觉传感器标定的光学参考点,则根据激光跟踪仪坐标系到精密二轴转台坐标系的转换矩阵,建立光学参考点在精密二轴转台坐标系下的位置;

c、双目立体视觉传感器与精密二轴转台一同做二维转动,拍摄光学参考点,并同步记录精密二轴转台各转动位置的角度值;根据光学参考点在精密二轴转台坐标系下的位置以及精密二轴转台转动角度,建立虚拟标定控制场;

d、在虚拟标定控制场各转动位置下采集的光学参考点的图像中,拟合双目立体视觉传感器图像中光学反射球的椭圆轮廓,获取椭圆中心,消除透视投影畸变,计算标定光学参考点的圆心在双目立体视觉传感器中的图像位置;

e、基于双目立体视觉传感器成像理论模型以及精密二轴转台各转动位置下光学参考点圆心的图像位置,建立最小化目标函数,通过非线性优化方法得到目标函数的最优解,从而完成标定。

步骤a中解算激光跟踪仪坐标系到精密二轴转台坐标系的转换矩阵;实现步骤如下:

(1)将激光跟踪仪靶球置于精密二轴转台任意位置,控制转台以5-10角度间隔做旋转运动,激光跟踪仪采集并存储激光跟踪仪靶球在各转动位置下的球心坐标,拟合空间圆,建立精密二轴转台坐标系;

(2)根据精密二轴转台坐标系原点在激光跟踪仪坐标系中的坐标位置,解算激光跟踪仪坐标系到精密二轴转台坐标系的转换矩阵。

步骤b中建立光学参考点在精密二轴转台坐标系下的位置;具体如下:

(1)将激光跟踪仪靶球置于精密二轴转台与激光跟踪仪前方,距离根据应用要求在2m-7m之间自由调整,激光跟踪仪测量跟踪仪靶球球心的三维坐标;

(2)将激光跟踪仪靶球替换为直径相同,球心尺寸和位置精度相同,并带有反光圆形特征平面的光学反射球,实现无精度损失的替换,作为双目立体视觉传感器标定的光学参考点,通过激光跟踪仪坐标系到精密二轴转台坐标系的转换矩阵,建立光学参考点中心位置在转台坐标系下的三维坐标。

步骤c中建立虚拟标定控制场,过程为:

(1)按照设定的1-2角度间隔,双目立体视觉传感器与精密二轴转台一同做二维转动,在精密二轴转台各转动位置下拍摄光学参考点,并同步记录精密二轴转台各转动位置的角度值;

(2)根据标定光学参考点在精密二轴转台初始位置下的三维坐标,以及记录的转台转动角度,建立起虚拟的三维标定控制场。

步骤d中计算标定光学参考点圆心在双目立体视觉传感器中的图像位置,过程为:

(1)在虚拟三维标定控制场各转动位置下采集的光学参考点图像中,采用Canny算子和Steger方法相结合的方式来提取光学参考点的边缘点;

(2)剔除无法形成封闭圆环的噪声点之后,使用椭圆拟合算法,拟合光学参考点子像素级的椭圆轮廓,进而计算椭圆中心位置在图像坐标系下的坐标;

(3)根据空间圆中心在相机平面上的畸变误差模型,消除相机透视投影畸变引起的偏心误差,计算标定光学参考点圆心在双目立体视觉传感器中的图像位置。

步骤e中基于双目立体视觉传感器成像理论模型以及各转动位置下光学参考点圆心的精确图像位置,通过非线性优化方法得到目标函数最优解,采用LM非线性优化方法求解精密二轴转台到左相机的旋转矩阵、平移向量和双目立体视觉传感器内外方位元素在最大似然准则下的最优解,完成标定。

本发明与现有技术相比的优点在于:本发明一种基于精密二轴转台的双目立体视觉传感器一体式标定方法,使用精密二轴转台作为角度溯源基准,激光跟踪仪作为长度溯源基准,转台带动双目作二维旋转,采用单个固定不动的光学参考点作为参照,由双目在每个转动位置下进行拍摄,最终实现标定。短基线距的双目立体视觉传感器尺寸小、体积紧凑,正适合转台有限的安装空间,期间双目立体传感器在转台内框自由安装,并且标定过程由程序自动完成,无需人工干预,标定完成后,可以根据应用需求将双目立体传感器与转台分离。转台转动幅度以及参考点与双目立体视觉传感器距离可根据应用视场需求任意灵活配置。本发明适合在短基线距大视场条件下,完成高精度双目标定;尤其适合双目测量空间尺度大,传统标定靶标难以设计制作的场合。

附图说明

图1为本发明实施例中基于精密二轴转台的双目立体视觉传感器一体式标定方法流程图;

图2为本发明实施例中双目视觉传感器内外参一体式标定系统示意图;

图3为本发明实施例中跟踪仪坐标系到转台坐标系的标定示意图;

图4为本发明实施例中作为标定参考可与激光跟踪仪靶球机械互换的光学反射球的机械尺寸图;

图5为本发明实施例中双目大视场虚拟三维靶标效果示意图。

具体实施方式

本发明的基本思想是:通过精密二轴转台及跟踪仪虚拟出满足短基线距大视场要求的精密大尺寸立体靶标,进而根据双目立体成像模型建立最小化目标函数,采用LM非线性优化方法求解双目立体视觉传感器内外方位元素,即实现标定。

下面结合附图及由精密二轴转台、双目立体视觉传感器、激光跟踪仪和光学圆形参考点组成的具体实施例,对本发明作进一步详细说明。

如图1所示,本发明基于精密二轴转台的双目立体视觉传感器一体式标定方法主要包括以下步骤:

步骤11:精密二轴转台与激光跟踪仪靶球一同做旋转运动,激光跟踪仪测量多个位置的靶球球心坐标,解算跟踪仪坐标系到精密二轴转台坐标系的转换矩阵。

这里,具体包括以下步骤:

步骤111:将跟踪仪靶球置于精密二轴转台任意位置,控制转台以设定角度间隔做旋转运动,激光跟踪仪采集并存储各转动位置下靶球球心坐标,得到一系列球心坐标,拟合空间圆,建立转台坐标系。

双目视觉传感器内外参一体式标定系统示意图如图2所示,将跟踪仪靶球置于精密二轴转台任意位置,其中精密二轴转台包括三个部分,即固定基座4、外框3和内框2,1为内框转轴,5为外框转轴,标定参考点6放置于固定架7上,8为激光跟踪仪,9为双目立体视觉传感器,在图中将9放大,建立转台坐标系(ORXRYRZR)在转台内框上,与内框固连,随内框转动而转动,跟踪仪坐标系(OTXTYTZT),左摄像机坐标系(OC_lXC_lYC_lZC_l),右摄像机坐标系(OC_rXC_rYC_rZC_r),将世界坐标系与转台坐标系重合。跟踪仪靶球分别固定于外框的任意位置A处和内框的任意位置B处,控制转台外框做旋转运动,内框不转动,每隔一定角度记录跟踪仪坐标系下靶球球心坐标,转动结束后将转台回归零位。用同样的方式控制内框做旋转运动,并每隔一定角度记录靶球球心坐标。两次单轴转动得到两组点,依次进行空间圆拟合,得到的两个圆分别称为圆OA、圆OB,并可得出跟踪仪坐标系下两圆圆心坐标OA=[xTA,yTA,zTA]T和OB=[xTB,yTB,zTB]T、两圆平面通过各自圆心的单位法向量nx和ny。将两个法向量的交点作为转台坐标系的原点OC,nx作为转台坐标系X轴方向,ny作为转台坐标系Y轴方向,两个法向量的叉乘nx×ny=nz作为转台坐标系Z轴方向,正向如图。

步骤112:根据转台坐标系原点在跟踪仪坐标系中的坐标位置,解算跟踪仪坐标系到转台坐标系的转换矩阵。

激光跟踪仪坐标系到转台坐标系的标定示意图如图3所示,设初始位置处跟踪仪坐标系到转台坐标系的变换关系由旋转矩阵RTR和平移向量tTR表示,转台坐标系到跟踪仪坐标系的变换关系由旋转矩阵RRT和平移向量tRT表示。根据拟合的精密二轴转台外框圆形转动轨迹11、内框圆形转动轨迹12,计算圆平面单位法向量直线的交点坐标并将其作为转台坐标系原点,另外设该交点在跟踪仪坐标系下的坐标则有:

显然tRT=[xTC,yTC,zTC]T,又转台坐标系到跟踪仪坐标系的旋转矩阵为RRT=[nx,ny,nz],可计算得到RTR=[nx,ny,nz]-1,tTR=-[nx,ny,nz]-1[xTC,yTC,zTC]T

步骤12:激光跟踪仪靶球放置于精密二轴转台和激光跟踪仪前方,激光跟踪仪测量跟踪仪靶球坐标;光学反射球与跟踪仪靶球能实现精度无损互换,作为双目立体视觉传感器标定的光学参考点,则根据激光跟踪仪坐标系到精密二轴转台坐标系的转换矩阵,建立光学参考点在精密二轴转台坐标系下的位置。

具体包括以下步骤:

步骤121:将跟踪仪靶球置于精密二轴转台与激光跟踪仪前方,距离和位置可以根据应用要求自由调整,激光跟踪仪测量跟踪仪靶球球心的三维坐标。

将跟踪仪靶球置于精密二轴转台与激光跟踪仪前方,激光跟踪仪测量固定不动的跟踪仪靶球三维精密坐标,具体测量场朝向前方,测量初始位置处跟踪仪靶球中心在跟踪仪坐标系下的坐标定义为pT0=[xT0,yT0,zT0]T,测量方法在激光跟踪仪的使用说明中有详细描述。

步骤122:将跟踪仪靶球替换为直径相同,球心尺寸和位置精度相同,并带有高反光圆形特征平面的光学反射球,实现无精度损失的替换,作为双目立体视觉传感器标定的光学参考点,通过激光跟踪仪坐标系到精密二轴转台坐标系的转换矩阵,建立光学参考点中心位置在转台坐标系下的三维坐标。

具体将双目立体视觉传感器安装在精密二轴转台内框上,其测量视场与跟踪仪测量场的方向大致相同。将跟踪仪靶球替换为直径相同,球心尺寸和位置精度相同,并带有高反光圆形特征平面的光学反射球,实现无精度损失的精密替换,作为相机标定光学参考点。作为标定参考点可与激光跟踪仪靶球机械互换的光学反射球的机械尺寸图如图4所示,跟踪仪靶球和光学反射球都属于精密标准器件,忽略加工误差,理论上光学反射球与跟踪仪靶球球心坐标相同,即零位处光学反射球球心在跟踪仪坐标系下的坐标为pT0=[xT0,yT0,zT0]T,又定义转台坐标系下光学反射球球心的坐标为pR0=[xR0,yR0,zR0]T,两坐标之间的关系为

步骤13:双目立体视觉传感器与精密二轴转台一同做二维转动,拍摄光学参考点,并同步记录精密二轴转台各转动位置的角度值;根据光学参考点在精密二轴转台坐标系下的位置以及精密二轴转台转动角度,建立虚拟标定控制场。

具体包括以下步骤:

步骤131:按照设定的角度间隔,双目立体视觉传感器与精密二轴转台一同做二维转动,在各转动位置下拍摄光学参考点,并同步记录各转动位置的角度值。

双目立体视觉传感器在在精密二轴转台的带动下实现水平方向和垂直方向的精密旋转,根据镜头焦距f、相机分辨率PIX按照公式计算视场角,设计实验转动站位数量,进而得到转动间隔。双目立体视觉传感器大视场虚拟三维靶标效果示意图如图5所示,使标定光学参考点轨迹覆盖相机全幅视场,同时记录转动角度,该过程等价于生成一块大的三维立体靶标,且靶标精度很高,由跟踪仪精度和转台精度共同决定。

步骤132:根据标定光学参考点在精密二轴转台初始位置下的三维坐标,以及记录的转台转动角度,建立起虚拟的大尺度三维标定控制场。

当精密二轴转台内框和外框分别旋转ψi和φi时,标定参考点在转台坐标系下的坐标变为:

其中,

表示转台坐标系相对零位或固定基座变化的旋转矩阵。带入可得旋转后标定参考点在转台坐标系下的坐标为:

步骤14:在虚拟标定控制场各转动位置下采集的光学参考点的图像中,拟合双目立体视觉传感器图像中光学反射球的椭圆轮廓,获取椭圆中心,消除透视投影畸变,计算标定光学参考点的圆心在双目立体视觉传感器中的图像位置。

具体包括以下步骤:

步骤141:在虚拟标定控制场各转动位置下采集的光学参考点图像中,采用Canny算子和Steger方法相结合的方式来提取光学参考点的边缘点。

在虚拟标定控制场各转动位置下采集的光学参考点图像中,标定光学参考点具有高反光效果,圆形特征在图像上显示为白色区域,而周边具有黑色圆圈,需要对黑白区域交界的边缘进行检测,利用灰度的梯度信息检测非常合适,采用Canny算子和Steger方法相结合的方式来提取边缘中心点。首先对光学参考点的局部区域使用Canny算子进行梯度计算,梯度计算后数值范围不定,以梯度的最大值和最小值为界,进行线性变化,将梯度值变化至[0-255]的灰度范围内。使用Steger方法对线性变化后的梯度图像进行子像素级提取。

步骤142:剔除无法形成封闭圆环的噪声点之后,使用椭圆拟合算法,拟合光学参考点子像素级的椭圆轮廓,进而计算椭圆中心位置在图像坐标系下的坐标。

从提取的子像素级图像可以看到,边缘光条中心点包括一些噪声点,宫政的博士论文“现场分布式视觉测量关键技术研究”第三章中设计简单的剔除噪声方法:设置阈值处理下限,当光条中心点所在的像素值小于该阈值时,认为该点是噪声点;阈值处理后仍然存在高梯度值的噪声点,以像素灰度值最高的光条中心为起点,沿着梯度的垂直方向进行搜索,依次连接光条中心点,若无法封闭则认为起点为高梯度值的噪声点。剔除无法形成封闭圆环的噪声点之后,提取到完整的椭圆轮廓,使用椭圆拟合算法,得到椭圆中心位置。

步骤143:根据空间圆中心在相机平面上的畸变误差模型,消除相机透视投影畸变引起的偏心误差,计算标定参考点平面圆圆心精确的图像位置。

相机像面与空间圆所在平面不平行情形下,空间圆在图像平面上的投影不是一个标准的圆,存在透视投影畸变,“张广军.机器视觉:科学出版社”第三章中,基于透视投影变换和空间解析几何理论,建立了透视投影变换下空间圆中心在摄像机像平面上的畸变误差模型,进而消除透视投影畸变引起的偏心误差,计算标定参考点平面圆圆心精确的图像位置。

步骤15:基于双目立体视觉传感器成像理论模型以及各转动位置下光学参考点圆心的精确图像位置,通过非线性优化方法得到目标函数最优解,采用LM非线性优化方法求解精密二轴转台到左相机的旋转矩阵、平移向量和双目立体视觉传感器内外方位元素在最大似然准则下的最优解,完成标定。

具体步骤如下:

由(5)式可知,跟踪仪坐标系到转台坐标系的旋转矩阵是RiRTR,平移向量RitTR,设转台坐标系到左摄像机坐标系的变换关系由旋转矩阵RRC_l和平移向量tRC_l表示,则此时标定参考点在左摄像机坐标系下的坐标为:

对应的左摄像机坐标系(OC_lXC_lYC_lZC_l)下的点,进行归一化(xn,vn)=(xc_l/zc_l,yc_l/zc_l),像点到主点距离无畸变条件下像点在以像素为单位的图像坐标系下的点为(ui,vi),根据双目立体视觉传感器成像模型,有:

其中,ax是u轴上的归一化焦距;同理ay称为v轴上的归一化焦距。(u0,v0)为像平面上的主点在像素坐标系下的坐标。上述模型是建立在理想的小孔成像线性模型基础上的,考虑径向畸变参数(k1,k2,k3)、切向畸变参数(p1,p2)、仿射和非正交变形参数(b1,b2)

因此,标定参考点在相机平面上的像素投影可以被修正为:

上述转台坐标系到摄像机坐标系之间的转换关系同样适用于右摄像机坐标系。设左摄像机坐标系到右摄像机坐标系的转换矩阵为[RC_lC_r tC_lC_r],即为双目视觉传感器的结构参数。根据图像坐标系下检测值等于计算值,转台坐标系到左摄像坐标系的旋转矩阵、平移变量,双目视觉传感器的结构参数及双目内参为未知量,理论上差值等于零,由于误差的存在,实际上需要建立最小化目标函数:

其中xins=[ax,ay,u0,v0,k1,k2,k3,p1,p2,b1,b2]T为相机内参,下标_l为左相机参数,_r为右相机参数,为在采集图像中解算出水平、垂直方向的像素坐标。

采用LM非线性优化方法,选用合理的初值保证优化过程的计算速度和收敛性,进而分别求得了转台坐标系到左摄像机坐标系的转换矩阵[RRC_l tRC_l]、双目立体视觉传感器的结构外部[RC_lC_r tC_lC_r]、左摄像机的内参xins_l、右摄像机的内参xins_r在最大似然准则下的最优解,完成双目立体视觉传感器内外参一体式标定。

以上所述,仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1