一种距离空间和图像特征空间融合的混合视觉伺服方法与流程

文档序号:21369614发布日期:2020-07-04 06:11阅读:324来源:国知局
一种距离空间和图像特征空间融合的混合视觉伺服方法与流程

本发明涉及视觉伺服技术领域,特别是涉及一种距离空间和图像特征空间融合的混合视觉伺服方法。



背景技术:

视觉伺服技术是智能机器人发展领域的研究热点之一,在工业中得到广泛应用。为了能够使机器人完成更复杂的工作,机器人需要具有良好性能的控制系统和感知复杂环境变化的能力。

传统的控制方法中,基于位置的视觉伺服(pbvs)的控制精度依赖于模型的校准和相机的标定结果,鲁棒性较差,需要经常校准。基于图像的视觉伺服(ibvs)较基于位置的视觉伺服而言,对模型参数和图像噪声具有更强的鲁棒性。基于ibvs发展的控制方法中,绝大多数算法依靠视觉传感器获得的二维图像特征信息,然后使用获得的图像信息去完成伺服控制,对于三维空间的伺服任务而言,缺乏关于机器人末端姿态的信息量,导致环境感知不足,伺服效果无法进一步提升。

为了使机器人能够更加全面的感知环境,对机器人视觉系统采集的信息起补充作用,可以在机器人视觉系统中加入多种传感器,从而克服机器人视觉系统的不足。如今,高精度的测距传感器得到迅速的发展。为环境检测提供了新的方案。将测距传感器与相机融合,使得对目标物体位置和姿态进行高精度定位提供了可能。但是多传感器的引入,需要研究解决系统的信息融合和信息冗余问题。

针对上述背景与问题,需要提出一种新的视觉伺服方法,将测距传感器与视觉传感器相结合,实现距离空间信息与图像特征空间信息的相互补充,解决多信息融合和信息冗余问题,使得机器人能够全面感知环境变化,实现目标物体的精确定位,完成伺服任务。



技术实现要素:

本发明的目的是提供一种距离空间和图像特征空间融合的混合视觉伺服方法,解决多信息融合和信息冗余问题,使得机器人能够全面感知环境变化,实现目标物体的精确定位,完成伺服任务。

为实现上述目的,本发明提供了如下方案:

一种距离空间和图像特征空间融合的视觉伺服方法,所述方法包括:

构建图像雅克比矩阵;

构建深度雅克比矩阵;

将所述图像雅克比矩阵和所述深度雅克比矩阵融合,得到混合视觉伺服雅克比矩阵;

基于所述混合视觉伺服雅克比矩阵采用控制算法得到机器人运动的控制量,从而使得机器人运动到目标位置,完成精确定位。

可选的,所述构建图像雅克比矩阵具体包括:

获取目标图像;

将所述目标图像转换为灰度图,并进行二值化处理,得到二值化图片;

对所述二值化图片进行均值滤波,并对滤波后的二值化图片进行边缘检测,得到边缘检测图片;

采用霍夫直线检测算法对所述边缘检测图片进行检测,得到两条最长且相交的直线,将两条所述直线还原到所述目标图像中,得到两条直线的交点;其中一条直线的两个坐标点为(ax,ay),(bx,by),另一条直线的两个坐标点为(cx,cy),(dx,dy),所述交点用o(u,v)表示;

根据所述交点和其中一条直线上的点确定末端相对于目标物体的期望姿态偏转角度;所述偏转角度用θ表示;

基于所述交点和所述偏转角度确定图像雅克比矩阵。

可选的,所述构建深度雅克比矩阵具体包括:

确定第i个传感器与测量平面的交点在装置坐标系下的位置向量;

基于所述第i个传感器与测量平面的交点在装置坐标系下的位置向量确定所测平面的法向量;

基于所述法向量确定深度雅克比矩阵。

可选的,所述基于所述混合视觉伺服雅克比矩阵采用控制算法得到机器人运动的控制量,从而使得机器人运动到目标位置,完成精确定位具体包括:

确定伺服视觉系统的误差量;

基于所述误差量确定确定机器人的末端速度量;

基于所述机器人末端速度量,使得机器人运动到目标位置,完成精确定位。

可选的,所述根据所述交点和其中一条直线上的点确定末端相对于目标物体的期望姿态偏转角度具体采用以下公式:

可选的,基于所述交点和所述偏转角度确定图像雅克比矩阵具体采用以下公式:

v其中,λ代表相机焦距,u,v分别代表目标点在图像中的横纵坐标,z为目标点在相机坐标系的深度值,j1表示图像雅克比矩阵,v=[vx,vy,vz,ωx,ωy,ωz]t,v表示装置的速度量,vx,vy,vz,ωx,ωy,ωz分别为沿着x、y、z方向轴的线速度和角速度。

可选的,所述确定第i个传感器与测量平面的交点在装置坐标系下的位置向量具体包括:

其中,表示第1个传感器与测量平面的交点在装置坐标系下的位置向量,表示第2个传感器与测量平面的交点在装置坐标系下的位置向量,表示第3个传感器与测量平面的交点在装置坐标系下的位置向量,d表示是三个测距传感器中心轴间的固定距离,3个传感器为等边三角形分布,距离均为d,rz是绕相机中心轴的旋转矩阵。

可选的,基于所述第i个传感器与测量平面的交点在装置坐标系下的位置向量确定所测平面的法向量具体采用以下公式:

可选的,所述基于所述法向量确定深度雅克比矩阵具体采用以下公式:

s(nz)是nz构成的反对称矩阵。

可选的,基于所述误差量确定确定机器人的末端速度量具体采用以下公式:

v=-kj+e,其中,j+表示混合视觉雅可比矩阵的逆矩阵,e表示误差量,e=fd-f,k表示比例系数,v为机器人末端装置速度量。

根据本发明提供的具体实施例,本发明公开了以下技术效果:

本发明中的测距传感器获得的距离信息量,弥补了视觉传感器反馈信息量不足的问题,距离信息与视觉信息相结合,两者信息相互补充实现了三维空间的全测量,同时避免了产生信息融合的冗余问题。本发明中采用空间融合形成的混合雅可比矩阵成6维满秩矩阵,避免了矩阵的伪逆求解,解决了传统ibvs中的局部最小值、奇异问题,同时使得系统具有全局渐近稳定性。在视觉伺服过程中,系统满足准确、快速跟踪目标点的特性,同时该方法的提出为视觉伺服控制的发展提供了新的研究方向。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。

图1为本发明实施例距离空间和图像特征空间融合的视觉伺服方法流程图;

图2为本发明实施例机器人及装置和目标物平面图;

图3为本发明实施例图像特征空间信息量示意图;

图4为本发明实施例传感器安装示意图;

图5为本发明实施例相机视野示意图;

图6为本发明实施例视觉伺服结果图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

本发明的目的是提供一种距离空间和图像特征空间融合的混合视觉伺服方法,解决多信息融合和信息冗余问题,使得机器人能够全面感知环境变化,实现目标物体的精确定位,完成伺服任务。

为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。

本发明中的上述方法首先使用视觉传感器和相关图像处理算法得:目标中心点(u,v,θ),其中(u,v)表示目标物体中心点的图像坐标,θ表示末端与物体间图像信息相对于期望姿态的偏转角度(见图3),3个测距传感器得出距离信息(h1,h2,h3)(见图4(a)和图4(b)),将两者组合作为视觉伺服中的特征量,得出关于特征量的雅可比矩阵(用于描述特征量与固定于机器人末端的装置之间的速度关系)。

然后设计相应的控制算法,得出机器人运动的控制量,从而使得机器人运动到目标位置,完成精确定位任务。

图1为本发明实施例距离空间和图像特征空间融合的视觉伺服方法流程图,如图1所示,所述方法包括:

步骤101:构建图像雅克比矩阵。

本节以v=[vx,vy,vz,ωx,ωy,ωz]t,表示装置的速度量,分别为沿着x、y、z方向轴的线速度和角速度,以f=[u,v,θ,h1,h2,h3]t表示系统的特征量,分别表示目标物体的图像横纵坐标、末端与物体间相对于期望姿态的偏转角度和三个测距传感器的距离测量值,fd=[ud,vd,θd,h1d,h2d,h3d]t表示系统的期望特征量。

首先利用末端装置集成的普通rgb工业相机获取图像;

将所述目标图像转换为灰度图,并进行二值化处理,得到二值化图片;

对所述二值化图片进行均值滤波,去掉图片中的噪声点,并对滤波后的二值化图片采用canny算法进行边缘检测,得到边缘检测图片;

采用霍夫直线检测算法对所述边缘检测图片进行检测,检测时,不同的直线长度以及置信度参数会得到不同数量的直线。根据实际目标物体的长度调整参数(直线的长度,置信度),同时根据两条直线相交的条件,可以得到两条最长且相交的直线,将直线画在原图片上,如图5中两条直线所示;

经过上一步骤得到的两条直线会以直线起点和终点的坐标给出,假设两条相交直线为a和b,其中直线a的两个坐标点为(ax,ay),(bx,by),直线b的坐标点为(cx,cy),(dx,dy),则两条直线的交点可表示为o(u,v):

u=(ax+a0·r11+cx+a1·r21)/2

v=(ay+a0·r12+cy+a1·r22)/2

其中,r11=bx-ax,r12=by-ay,r21=cx-dx,r22=cy-dy;

根据所述交点和其中一条直线上的点确定末端相对于目标物体的期望姿态偏转角度;所述偏转角度用θ表示;

基于所述交点和所述偏转角度确定图像雅克比矩阵:

图像特征的交点(u,v)即为目标中心点的图像坐标(u,v),夹角θ即为末端与物体间相对于期望姿态的偏转角度。进而通过已知量得出用于描述相机速度和特征量变化速度的图像雅克比矩阵j1。

其中,λ代表相机焦距,u,v分别代表目标点在图像中的横纵坐标,z为目标点在相机坐标系的深度值,v=[vx,vy,vz,ωx,ωy,ωz]t,v表示装置的速度量,vx,vy,vz,ωx,ωy,ωz分别为沿着x、y、z方向轴的线速度和角速度。

步骤102:构建深度雅克比矩阵。

测距传感器装配如图4(a)所示。三个测距传感器以视觉传感器轴向所在方向为中心轴,呈正三角形安装,其轴向间距离为定值且相等。三个测距传感器用于实时采集距离信息,用于深度雅可比矩阵的计算。

确定第i个传感器与测量平面的交点在装置坐标系下的位置向量:

其中,表示第1个传感器与测量平面的交点在装置坐标系下的位置向量,表示第2个传感器与测量平面的交点在装置坐标系下的位置向量,表示第3个传感器与测量平面的交点在装置坐标系下的位置向量,d表示是三个测距传感器中心轴间的固定距离,3个传感器为等边三角形分布,距离均为d,rz是绕相机中心轴的旋转矩阵。

基于所述第i个传感器与测量平面(目标物体所处的平面为测量平面)的交点在装置坐标系下的位置向量确定所测平面的法向量:

从而得出深度测量值hi(其中,i取1,2,3)与装置速度间的雅可比矩阵j2。

s(nz)是nz构成的反对称阵。

假设nz=[n1,n2,n3]t,则其构成的反对称矩阵为:

步骤103:将所述图像雅克比矩阵和所述深度雅克比矩阵融合,得到混合视觉伺服雅克比矩阵。

分析可知得出的雅可比矩阵是维度为6的满秩矩阵,其满足jj+>0,从而系统具有全局渐渐稳定性。

步骤104:基于所述混合视觉伺服雅克比矩阵采用控制算法得到机器人运动的控制量,从而使得机器人运动到目标位置,完成精确定位。

通过设计相应的控制算法,结合上述雅可比矩阵,给出末端装置速度控制量。fd=[ud,vd,θd,h1d,h2d,h3d]t表示系统的期望特征量,为系统达到目标位置时的各个特征量的测量值。

确定伺服视觉系统的误差量e=fd-f:令,k表示比例系数,v为机器人末端装置速度量,即机器人末端速度量。

基于所述误差量确定确定机器人的末端速度量:

v=-kj+e,j+表示混合视觉雅可比矩阵的逆矩阵,e表示误差量。

基于所述机器人末端速度量,使得机器人运动到目标位置,完成精确定位:

得到机器人末端速度v后,将末端速度直接发送给机器人,机器人运动。同时当达到目标位置时,根据e=fd-f将得到0,则计算的v将为0,因此机器人将停止运动。即机器人运动到目标位置后停止运动,完成精确定位任务。

本发明的混合视觉伺服方法的6维满秩雅可比矩阵,避免了传统雅可比矩阵的奇异和局部最小值等问题。融合了互补的图像特征空间和距离空间,在信息不冗余的情况下,弥补了视觉信息中的不足。系统实时采集数据,在简单的控制算法下,即可快速完成视觉伺服任务。

本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1