本发明属于计算机视觉与移动机器人的技术领域,特别是涉及一种轮式移动机器人外参数无标定视觉伺服跟踪控制方法。
背景技术:
视觉传感器已被广泛应用于轮式移动机器人等智能代理,具有信息量大,外形美观,可靠性高等优点。在过去的几十年里,机器人系统给人类生活带来了巨大的社会经济影响,例如在社会生活,工业工程和生物工程等方面。移动机器人和视觉传感器的结合增强了其外部环境感知能力,并使机器人能够完成一些艰巨的任务。与人类视觉感受的相似性以及其拥有非接触式测量环境的能力使得视觉传感器成为各类机器人非常有用的一部分。机器人视觉伺服系统可以将视觉数据集成到机器人控制器中,提高了控制性能,使机器人更加灵活。通常,视觉伺服框架可以分为三类,即基于位置的视觉伺服,基于图像的视觉伺服和混合视觉伺服。对于系统中的不确定参数和环境扰动,已经有很多关于参数估计的研究,并且还有关于如何处理环境扰动的工作,例如zhao等人解决模糊的图像问题。
在经典的视觉伺服过程中,校准视觉系统的内在和外在参数一直是一个乏味和必要的过程。在用于移动机器人系统的典型视觉伺服框架中,通常要求把相机放置在机器人上适当的位置,以便具有良好的可用视野。因此,相机与机器人之间存在外在参数。而且,由于在将摄像机放置在机器人平台上时存在不可避免的安装错误,因此会导致引入未知的外部参数。因此,对于轮式移动机器人的特定视觉伺服跟踪问题,处理未校准的外部相机以及其对应机器人参数是非常有趣的并且也是具有挑战性的。
视觉伺服策略已被广泛用于机器人操纵器,它们通常必须处理环境和控制系统中的未知因素。视觉伺服策略已被广泛用于机器人操纵器,它们通常必须处理环境和控制系统中的未知因素。wang等人设计自适应法则来估计在线对象的曲线参数,该对象基于视觉的机器人操纵系统。在文献[19]中,作者对机器人操纵器使用了主动照明控制,以保证环境的照明质量。在[20]中,鲁棒自适应未校准视觉伺服控制器设计用于机器人终端效应器的渐近调节。文献[21]提出了一种立体视觉-惯性测距算法,用不同的分离卡尔曼滤波器组装。wang等人利用cosserat棒理论和kelvin模型设计了一种硅橡胶软机械手的新机制。文献[24]提出了一种运输多种生物细胞的新策略,该策略包括一个用于系统参数识别的自动在线校准算法。与机器人机器人相比,由于非完整约束和欠驱动性质,未知参数对轮式移动机器人的影响更为严重,给控制器设计和稳定性分析带来很大困难。
对于轮式移动机器人的视觉调节,应考虑非完整约束和视觉不确定性,如[26]中的工作。li等人使用并发学习策略和单应性分解技术来调节移动机器人所需的姿势。在[28]中,自适应视觉伺服策略被设计用于驱动具有自然行为的移动机器人。还有一些关于移动机器人视觉调节的工作,如工作[29]等未经校准的参数。采用自适应控制器和反步法,在[30]中精心设计了一种新型的两级控制器,完成了机器人调节任务,具有未知的外部摄像机-机器人参数和未知深度。
除了视觉伺服调节之外,视觉伺服跟踪控制(视觉伺服的另一领域)现在也越来越重要。与移动机器人的姿态调节控制相比,轨迹跟踪方案可以与运动规划和多系统约束相结合,因此更适合于实现复杂任务。例如,chen等人在[32]中成功地完成了配备视觉的移动机器人的轨迹跟踪任务。在机器人视觉伺服跟踪任务中已经做了一些工作,即关于处理由未知参数引起的困难。在[33]中,深度无关的图像雅可比矩阵框架被开发用于机器人跟踪控制方案,该方案没有位置和速度测量。在[34]和[35]中,自适应控制器被设计为分别补偿视觉跟踪过程中的未知相机系统和机械参数。liang等人在相机参数和精确特征位置都未知的环境下,设计了一种适用于轮式移动机器人的自适应轨迹跟踪控制器。遗憾的是,现有方法很少考虑到用于视觉伺服跟踪任务的系统模型中不确定的相机到机器人参数。
受到文献[37]中的轨迹跟踪方法的启发,本文提出了一种新的自适应跟踪控制器,用于未校准平移摄像机对机器人参数的轮式移动机器人。在对该机器人系统的运动学模型进行分析并利用单应性分解后,获得可测量的信号以构建系统跟踪误差,然后推导出开环动力学。随后,针对非完整约束下的轨迹跟踪目标开发了运动控制器,同时仔细设计了自适应更新规律,以补偿未知的平移参数。稳定性分析严格地通过使用lyapunov技术和扩展的babalart引理进行。收集仿真和比较实验结果以测试所提出的策略的有效性。本文的主要贡献在于轮式移动机器人成功完成了视觉伺服跟踪任务,尽管转换外部摄像机参数以及场景深度未知。
技术实现要素:
本发明的目的是提供一种方法解决轮式移动机器人外参数无标定视觉伺服跟踪的情况。
本文提出了一种新的自适应跟踪控制器,用于未校准平移摄像机对机器人参数的轮式移动机器人。在对该机器人系统的运动学模型进行分析并利用单应性分解后,获得可测量的信号以构建系统跟踪误差,然后推导出开环动力学。随后,针对非完整约束下的轨迹跟踪目标开发了运动控制器,同时仔细设计了自适应更新规律,以补偿未知的平移参数。稳定性分析严格地通过使用lyapunov技术和扩展的babalart引理进行。收集仿真和比较实验结果以测试所提出的策略的有效性。本文的主要贡献在于轮式移动机器人成功完成了视觉伺服跟踪任务,尽管转换外部摄像机参数以及场景深度未知。
一种外参数无标定轮式移动机器人的视觉伺服跟踪,其特征包括以下步骤:
第1,系统及运动学模型
第1.1,系统描述
图1为原理图,与固定单目摄像机正好在轮式移动机器人的中心上方的传统假设不同,摄像机相对于机器人的平移外部参数被引入到该方案中。当前相机帧由
而且,针对姿势对比介绍,
第1.2,运动学模型
将
其中v和w分别为
v:=[0,0,vr]t,w:=[0,-wr,0]t(5)
其中vr(t)和wr(t)分别为移动机器人的线速度和角速度.将(2)代入(1)可得
为方便起见,将未知的平移外参数定义为rtcx:=a,rtcz:=b.将
其中
接下来,由(4)可得:
其中
类似地,可得
其中dt*z(t),dt*x(t)分别表示
第2,控制发展
第2.1,开环误差方程
首先分析系统中的可测信号.假设空间中存在若干共面特征点,利用单应矩阵的估计与分解,根据参考图像和期望轨迹上的图像,可以得到比例意义下的
根据上述可测位姿信号,定义轨迹跟踪的误差为
可知当e1,e2,e3收敛于0时,机器人即跟踪上了期望轨迹.对(9)两端关于时间求导,并将(7)(8)代入,有
其中利用了机器人的角度运动学方程
此外
第2.2,自适应控制器设计
首先,深度估计误差
其中
其中
其中
利用自适应控制框架,上述未知参数的更新规律如下:
其中γ1,γ2,γ3∈r+
为了实现轨迹跟踪任务,移动机器人的运动控制器设计如下:
其中kv;kw∈r+是控制增益,并且χ(t)∈r表示为
第3,稳定性分析
定理1:在(16)中设计的控制输入和参数更新定律(15)驱动轮式移动机器人跟踪期望的轨迹,具有未知的平移外部参数,在某种意义上
假设期望的轨迹满足以下条件:
证明:非负lyapunov函数v(t)选择如下:
在取v(t)的时间导数并代入开环动力学(10)和设计的控制器(16)后,我们有以下关系:
通过将(15)代入(21),通过取消常用术语获得以下表达式:
根据式(15)(21)可得e1(t),e2(t),e3(t),
根据上述分析,进一步,根据(10)可得
为了便于以下分析,定义函数f(t)为f(t):=kve12+kw(e3+χ)2≥0,对其两端关于时间求导并考虑(17)有:
再由
然后可以推出
将控制律(16)带入开环误差方程(10)的
进而将(26)带入(27)和(15)可得
为了能对
其中辅助符号
对角速度wr(t)求导,并利用(16)(17)有:
由于假设
由于假设
另一方面,对
由(28)可知
为了证明
由于假设
进而可知
考虑到
根据式(33)(38)可知
将(39)带入χ(t)的定义(17)可得
将(40)带入(26)可得
综上所述,系统误差e1(t),e2(t),e3(t)均渐近收敛于0,说明移动机器人可以跟踪上期望轨迹.
附图说明:
图1为外参数无标定视觉跟踪控制中的坐标系定义
图2为系统框图
图3为仿真图:在车架
图4为仿真图:模拟结果
图5为仿真图:系统误差的演变
图6为仿真图:移动机器人的速度。
图7为移动机器人平台和实验的特征点,以及相机具有未知的平移外在参数。
图8为实验图:当前和所需相机帧的运动路径。
图9为实验图:特征点的图像轨迹(虚线:期望轨迹;实线:当前轨迹)。
图10为实验图:轨迹跟踪误差的演变(虚线:零值)。
图11为实验图:机器人速度的演变
图12为实验图:当前和所需相机帧的运动路径。
图13为实验图:特征点的图像轨迹
图14为实验图:跟踪错误的演变
图15为实验图:机器人速度的演变
具体实施方式:
1、一种轮式移动机器人外参数无标定视觉伺服跟踪系统,其特征包括以下步骤:
第1,系统及运动学模型
第1.1,系统描述
图1为原理图,与固定单目摄像机正好在轮式移动机器人的中心上方的传统假设不同,摄像机相对于机器人的平移外部参数被引入到该方案中。当前相机帧由
而且,针对姿势对比介绍,
第1.2,运动学模型
将
其中v和w分别为
v:=[0,0,vr]t,w:=[0,-wr,0]t(8)
其中vr(t)和wr(t)分别为移动机器人的线速度和角速度.将(2)代入(1)可得
为方便起见,将未知的平移外参数定义为rtcx:=a,rtcz:=b.将
其中
接下来,由(4)可得:
其中
类似地,可得
其中dt*z(t),dt*x(t)分别表示
第2,控制发展
第2.1,开环误差方程
首先分析系统中的可测信号.假设空间中存在若干共面特征点,利用单应矩阵的估计与分解,根据参考图像和期望轨迹上的图像,可以得到比例意义下的
根据上述可测位姿信号,定义轨迹跟踪的误差为
可知当e1,e2,e3收敛于0时,机器人即跟踪上了期望轨迹.对(9)两端关于时间求导,并将(7)(8)代入,有
其中利用了机器人的角度运动学方程
此外
第2.2,自适应控制器设计
首先,深度估计误差
其中
其中
其中
利用自适应控制框架,上述未知参数的更新规律如下:
其中γ1,γ2,γ3∈r+
为了实现轨迹跟踪任务,移动机器人的运动控制器设计如下:
其中kv;kw∈r+是控制增益,并且χ(t)∈r表示为
第3,稳定性分析
定理1:在(16)中设计的控制输入和参数更新定律(15)驱动轮式移动机器人跟踪期望的轨迹,具有未知的平移外部参数,在某种意义上
假设期望的轨迹满足以下条件:
证明:非负lyapunov函数v(t)选择如下:
在取v(t)的时间导数并代入开环动力学(10)和设计的控制器(16)后,我们有以下关系:
通过将(15)代入(21),通过取消常用术语获得以下表达式:
v=-kve12-kw(e3+χ)2(22)
根据式(15)(21)可得e1(t),e2(t),e3(t),
根据上述分析,进一步,根据(10)可得
为了便于以下分析,定义函数f(t)为f(t):=kve12+kw(e3+χ)2≥0,对其两端关于时间求导并考虑(17)有:
再由
然后可以推出
将控制律(16)带入开环误差方程(10)的
进而将(26)带入(27)和(15)可得
为了能对
其中辅助符号
对角速度wr(t)求导,并利用(16)(17)有:
由于假设
由于假设
另一方面,对
由(28)可知
为了证明
由于假设
进而可知
考虑到
根据式(33)(38)可知
将(39)带入χ(t)的定义(17)可得
将(40)带入(26)可得
综上所述,系统误差e1(t),e2(t),e3(t)均渐近收敛于0,说明移动机器人可以跟踪上期望轨迹.
第4,模拟结果和结论
第4.1,模拟结果
在这一部分中,收集仿真结果以验证所提出策略的可行性。任意安排四个共面特征点进行模拟,虚拟摄像机的内部参数设置如下:
控制参数选择为kv=0.2;kw=0.1;γ1=4;γ2=0:1;γ3=8。外部摄像机到机器人参数设置为a=0:05m;b=0:08m。
轮式移动机器人的运动路径如图3所示,表示在
准备参考图像和期望的图像序列,并且将期望的轨迹设置为蛇形曲线,最终速度变为零。期望轨迹
实验1(所提出的策略的验证):相机帧
kv=0.4;kw=0.1;γ1=8;γ2=2;γ3=8
(43)
由于机器入和车载摄像机之间存在未知的外部参数,因此该移动机器人系统的运动路径由帧
实验2(与一种经典方法的比较):为了进一步验证所提出的策略,进行了以下实验,即[37]中的工作,以进行比较。摄像机配置和所需轨迹设置与实验1中的相同。控制参数调整为kv=0.4;kw=0.1;γ1=30.
图12示出了当前和期望的相机帧的运动路径,并且可以看出在该过程中存在一定的轨迹跟踪误差。图13显示了当前图像特征如何跟踪所需图像。系统误差的演变如图14所示。图15为机器人的速度。比较结果后,表明当系统中存在平移的摄像机到机器人参数时,所提出的方法有一个更好的性能。
第4.3,结论
针对轮式移动机器人,当平移相机到机器人参数未知时,提出了一种新的视觉伺服跟踪方案。使用基于单应性的算法,获得缩放的相对姿势,其用于构造轨迹跟踪误差。虽然摄像机到机器人的平移参数和场景深度未经校准,但机器人仍然可以使用所提出的自适应控制器成功地跟踪所需的轨迹,所述自适应控制器是为了补偿那些未知参数和在非完整约束下驱动移动机器人而精心开发的。通过采用lyapunov技术,严格分析系统稳定性。仿真和对比实验结果表明了该策略的有效性。
参考文献
[1]f.chaumetteands.hutchinson,“visualservocontrolpartii:advancedapproaches,”ieeerobot.autom.mag.,vol.14,no.2,pp.109-118,mar.2007.
[2]j.suandw.xie,“motionplanningandcoordinationforrobotsystemsbasedonrepresentationspace,”ieeetrans.syst.mancybern.partb-cybern.,vol.41,no.1,pp.248-259,feb.2011.
[3]x.zhang,r.wang,y.fang,b.li,andb.ma,“acceleration-levelpseudo-dynamicvisualservoingofmobilerobotswithbacksteppinganddynamicsurfacecontrol,”ieeetrans.syst.mancyber.:syst.,onlinepublised,dol:10.1109/tsmc.2017.2777897.
[4]g.hu,w.p.tay,andy.wen,“cloudrobotics:architecture,challengesandapplications,”leeenetw.,vol.26,no.3,pp.21-28,may.2012.
[5]n.sun,y.wu,y.fang,andh.chen,“nonlinearantiswingcontrolforcranesystemswithdouble-pendulumswingeffectsanduncertainparameters:designandexperiments,”ieeetrans.aurom.sci.eng.,doi:10.1109/tase.2017.2723539.
[6]h.chenandd.sun,“movinggroupsofmicroparticlesintoarraywitharobot-tweezersmanipulationsystem,”ieeetransrobot.,vol.28,no.5,pp.1069-1080,oct.2012.
[7]z.maandj.su,“robustuncalibratedvisualservoingcontrolbasedondisturbanceobserver,”isatransactions.vol.59,pp.193-204,nov.2015.
[8]n.sun,y.fang,h.chen,y.fu,andb.lu,“nonlinearstabilizingcontrolforship-mountedcraneswithshiprollandheavemovements:design,analysis,andexperiments,”ieeetrans.syst.mancybern.:syst.,onlinepublished,doi:10.1109/tsmc.2017.2700393
[9]s.hutchinson,g.d.hager,andp.i.corke,“atutorialonvisualservocontrol,”ieeetrans.robot.aurom.,vol.12,no.5,pp.651-670,oct.1996.
[10]f.janabi-sharifi,l.deng,andw.j.wilson,“comparisonofbasicvisualservoingmethods,”ieee/asmetrans.mechatronics,vol.16,no.5,pp.967-983,oct.2011.
[11]f.ke,z.li,h.xiao,andx.zhang,“visualservoingofconstrainedmobilerobotsbasedonmodelpredictivecontrol,”ieeetrans.syst.mancyber.:syst.,vol.47,no.7,pp.1428-1438,2017.
[12]a.hajiloo,m.keshmiri,w.-f.xie,andt.-t.wang,“robustonlinemodelpredictivecontrolforaconstrainedimage-basedvisualservoing,”ieeetrans.ind.electron.,vol.63,no.4,pp.2242-2250,apr.2016.
[13]d.chwa,a.p.dani,andw.e.dixon,“rangeandmotionestimationofamonocularcamerausingstaticandmovingobjects,”ieeetrans.controlsyst.technol.,vol.24,no.4,pp.1174-1183,jul.2016.
[14]a.p.dani,n.r.fischer,andw.e.dixon,“singlecamerastructureandmotion,”ieeetrans.autom.control,vol.57,no.1,pp.241□246,jan.2012.
[15]m.liu,c.pradalier,andr.siegwart,“visualhomingfromscalewithanuncalibratedomnidirectionalcamera,”ieeetrans.robot.,vol.29,no.6,pp.1353-1365,dec.2013.
[16]h.zhao,y.liu,x.xie,y.liao,andx.liu,“filteringbasedadaptivevisualodometrysensorframeworkrobusttoblurredimages,”sensors,vol.16,no.7,pp.1040,jul.2016.
[17]h.wang,y.-h.liu,andwchen,“uncalibratedvisualtrackingcontrolwithoutvisualvelocity,”ieeetrans.controlsyst.technol.,vol.18,no.6,pp.1359-1370,nov.2010.
[18]h.wang,b.yang,j.wang,w.chen,x.liang,andy.liu,“adaptivevisualservoingofcontourfeatures,”ieee/asmetrans.mechatronics,vol.23,no.2,pp.811-822,apr.2018.
[19]s.y.chen,j.zhang,h.zhang,n.m.kowk,andy.f.li,“intelligentlightingcontrolforvision-basedroboticmanipulation,”ieeetrans.ind.electron.,vol.59,no.8,pp.3254-3263,aug.2012.
[20]g.hu,w.mackunis,n.gans,w.e.dixon,j.chen,a.behal,andd.dawson,“homography-basedvisualservocontrolwithimperfectcameracalibration,”ieeetrans.autom.control,vol.54,no.6,pp.1318-1324,jun.2009.
[21]y.liu,r.xiong,y.wang,h.huang,x.xie,x.liu,andg.zhang,“stereovisual-inertialodometrywithmultiplekalmanfiltersensemble,”ieeetrans.ind.electron.,vol.63,no.10,pp.6205-6216,oct.2016.
[22]h.wang,b.yang,y.liu,w.chen,x.liang,andr.pfeifer,“visualservoingofsoftrobotmanipulatorinconstrainedenvironmentswithanadaptivecontroller,”ieee/asmetrans.mechatronics,onlinepublished,doi:10.1109/tmech.2016.2613410.
[23]h.wang,c.wang,w.chen,x.liang,andy.liu,“threedimensionaldynamicsforcable-drivensoftmanipulator,”ieee/asmetrans.mechatronics,vol.22,no.1,pp.18-28,2017.
[24]h.chen,c.wang,x.j.li,andd.sun,“transportationofmultiplebiologicalcellsthroughsaturation-controlledopticaltweezersincrowdedmicroenvironments,”ieee/asmetrans.mechatronics,vol.21,no.2,pp.888-899,apr.2016.
[25]n.sun,y.fang,h.chen,andb.lu,“amplitude-saturatednonlinearoutputfeedbackantiswingcontrolforunderactuatedcraneswithdoublependulumcargodynamics,”ieeetrans.ind.electron.,vol.64,no.3,pp.2135-2146,mar.2017.
[26]y.fang,x,liu.andx.zhang,“adaptiveactivevisualservoingofnonholonomicmobilerobots,”ieeetrans.ind.electron.,vol.59,no.1,pp.486-497,jan.2012.
[27]b.li,x.zhang,y.fang,andw.shi,“visualservoregulationofwheeledmobilerobotswithsimultaneousdepthidentification,”ieeetrans.ind.electron.,vol.65,no.l,pp.460-469,jan.2018.
[28]x.zhang,y.fang,andn.sun,“visualservoingofmobilerobotsforposturestabilization:fromtheorytoexperiments,”int.j.robustnonlinearcontrol,vol.25,no.1,pp.1-15,jan.2015.
[29]h.wang,d.guo,h.xu,w.chen,t.liu,andk.leang,“eye-inhandtrackingcontroloffree-floatingspacemanipulator,”ieeetrans.aerosp.electron.syst.,vol.53,no.4,pp.1855-1865,2017.
[30]x.zhang,y.fang,b.li,andj.wang,“visualservoingofnonholonomicmobilerobotswithuncalibratedcamera-to-robotparameters,”ieeetrans.ind.electron.,vol.64,no.l,pp.390□400,jan.2017.
[31]a.cherubiniandf.chaumette,“visualnavigationofamobilerobotwithlaser-basedcollisionavoidance,”int.j.robot.res.,vol.32,no.2,pp.189□205,feb.2013.
[32]j.chen,b.jia,andk.zhang,“trifocaltensor-basedadaptivevisualtrajectorytrackingcontrolofmobilerobots,”ieeetrans.cybernetics,onlinepublished,doi:10.1109/tcyb.2016.2582210.
[33]x.liang,h.wang,y.h.liu,andw.chen,“formationcontrolofnonholonomicmobilerobotswithoutpositionandvelocitymeasurements,”ieeetrans.robot.,vol.34,no.2,pp.434□446,apr.2018.
[34]w.e.dixon,d.m.dawson,e.zergeroglu,a.behal,“adaptivetrackingcontrolofawheeledmobilerobotviaanuncalibratedcamerasystem,”ieeetrans.syst.mancybern.:cybern.,vol.31,no.3,pp.341□352,jun.2001.
[35]h.chen,c.wang,z.liang,d.zhang,andh.zhang,“robustpracticalstabilizationofnonholonomicmobilerobotsbasedonvisualservoingfeedbackwithinputssaturation,”asianjournalofcontrol,vol.16,no.3,pp.692□702,may.2014.
[36]x.liang,h.wang,y.-h.liu,w.chen,andj.zhao,“aunifieddesignmethodforadaptivevisualtrackingcontrolofrobotswitheyein-hand/fixedcameraconfiguration,”automatica,vol.59,pp.97□105,sep.2015.
[37]j.chen,w.dixon,m.dawson,andm.mcintyre,“homography-basedvisualservotrackingcontrolofawheeledmobilerobot,”ieeetrans.robot.,vol.22,no.2,pp.406-415,apr.2006.
[38]a.d.luca,goriolo,andp.r.giordano,“featuredepthobservationforimage-basedvisualservoing:theoryandexperiments,”int.j.robot.res.,vol.27,no.10,pp.1093-1116,oct.2008.
[39]j.j.craig,introductiontorobotics:mechanicsandcontrol,3rded.,nj:prentice-hall,2005.