基于视觉融合的目标分步定位方法、应用、装置及系统与流程

本发明属于视觉定位技术领域，特别涉及一种基于视觉融合的目标分步定位方法、应用、装置及系统。

背景技术：

利用视觉引导机器人进行自动化锁螺丝是目前自动化组装生产的一个热门解决方案，视觉技术结合工业机器人能够提高机器人柔性，在现有的技术方案中，机器人上装配了单视觉系统能够完成更高精度的锁螺丝任务，以及允许待组装工件在视觉视野范围内进行一定的移动。

针对现有的螺丝机定位方法，在工件移动范围比较大的时候，对这类工件的螺丝孔进行定位精度会下降，甚至无法完成组装任务，如果出现安装工件的螺丝孔比较多的情况时，视觉系统重复拍照的时间又会占用比较长的时间，导致无法满足实际生产效率的要求，现阶段技术没有明确的方法解决该问题。

技术实现要素：

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的一个目的是提供基于视觉融合的目标分步定位方法、装置及系统，适用于在大范围内对多种工件进行视觉定位。

本发明所采用的技术方案是：

一种基于视觉融合的目标分步定位的方法，包括以下步骤：

采集含有目标特征点信息的第一图像，以实现所述目标特征点的粗定位；

根据所述第一图像中包含的坐标信息，采集含有所述目标特征点信息的第二图像，以进行精定位；

获取所述第二图像中包含的坐标信息，经过标定结果转换，进而获得所述目标特征点的精定位坐标。

进一步地，所述根据所述第一图像中包含的坐标信息，采集含有所述目标特征点信息的第二图像，以进行精定位的方法具体为：

获取含有目标特征点信息的第一图像后，通过改变图像采集视野的范围，以对所述目标特征点进行再次图像采集，并获得所述第二图像。

进一步地，所述方法包括：

获取目标特征点在第一参照系下的坐标；

获取目标特征点在第二参照系下的精定位坐标；

获得所述第二参照系下的坐标与所述第一参照系下的坐标的变换量。

进一步地，所述方法包括：

根据第一参照系下其他目标点与所述目标特征点之间的位置关系，通过所述变换量，定位其余目标点在所述第二参照系下的坐标位置。

进一步地，使用具有短焦距镜头的eye-to-hand相机进行粗定位，所述第一图像中包含的坐标信息指目标特征点在所述eye-to-hand相机坐标系下的坐标；

使用具有长焦距镜头的eye-in-hand相机进行精定位，所述第二图像中包含的坐标信息指所述目标特征点在所述eye-in-hand相机坐标系下的坐标。

进一步地，所述方法还包括：当所述定位目标有至少两个时，通过增加所述进行粗定位的相机数量，以进行至少两个定位目标的粗定位。

另一方面，本发明还提供利用上述任一种基于视觉融合的目标分步定位的方法在引导螺丝机对放置于底板上的工件进行螺丝孔定位中的应用。

另一方面，本发明还提供一种基于视觉融合的目标分步定位装置，包括设有目标特征点的底板，还包括第一相机和第二相机、微处理器和机器人，所述第二相机安装在机器人上，所述第一相机安装在底板上；所述微处理器的输出端与所述机器人的输入端连接；所述微处理器分别与第一相机和第二相机连接；

所述微处理器用于发送采集图像指令，控制所述第一相机和第二相机采集待测目标图像，所述机器人用于接收微处理器发送的移动指令以进行位置移动；

所述第一相机用于对底板上所述待测目标进行粗定位；所述第二相机用于对底板上所述待测目标进行精定位。

进一步地，所述第一相机为采用短焦距镜头的eye-to-hand相机，所述第二相机为采用长焦距镜头的eye-in-hand相机。

进一步地，所述微处理器与第一相机和第二相机之间分别采用usb通信方式；所述微处理器与机器人之间采用串口或网口通信方式。

另一方面，本发明还提供一种基于视觉融合的目标分步定位系统，包括：

图像获取模块，采集含有目标特征点信息的第一图像，以实现所述目标特征点的粗定位，并根据所述第一图像中包含的坐标信息，采集含有所述目标特征点信息的第二图像，以进行精定位；

标定转换模块，获取所述第一和第二图像中包含的坐标信息，经过标定结果转换，进而获得所述目标特征点的粗定位坐标和精定位坐标；

坐标定位模块，用于通过计算进行所述第一参照系下目标点在第二参照系下的坐标定位。

本发明的有益效果是：

本方案提供的一种基于视觉融合的目标分步定位方法，通过将定位精度和大视场的条件分离的方法实现分步定位，解决了现有定位技术中工件移动范围比较大的时候，对该类工件的螺丝孔进行定位时精度较低，甚至无法完成组装任务的问题。

其中eye-to-hand相机负责对待测工件进行大视野粗定位，其采用短焦距镜头，成像视野范围大，能够满足大范围定位的要求，eye-in-hand相机负责小视场的精定位，其定位精度取决于小视场相机，也就是eye-in-hand相机，其采用长焦距，具有镜头畸变小的优点，其标定的误差也较小，解决了工件大范围内移动的时候，精度下降的问题。

当出现安装工件的螺丝孔比较多的情况时，视觉系统重复拍照的时间又会占用比较长的时间，导致无法满足实际生产效率的要求的问题，与现有技术相比，本发明在工件移动范围比较大的时候，其定位精度也能达到打螺丝的精度要求。该技术方案中对目标工件的摆放没有要求，无须工件放置在比较精确的位置，工件可以有旋转和平移，只需其处于eye-to-hand相机的拍摄范围内即可，这样有大的作用范围，并且在螺丝孔较多时，无需对螺丝孔进行重复拍照，可以减少拍照次数，提高了生产效率，并且具有精度高的优点。

附图说明

图1是本发明一种实施例的基于视觉融合的目标分步定位方法流程图；

图2是本发明一种实施例的基于视觉融合的目标分步定位装置组成框图；

图3是本发明一种实施例的基于视觉融合的目标分步定位系统组成图；

图4是本发明一种实施例的机械手坐标系和双相机坐标系示意图；

图5是本发明一种实施例的基于视觉融合的目标分步定位方法示意图；

图6是本发明一种实施例中用到的坐标系示意图；

图7是本发明一种实施例的底板上cad图纸坐标系示意图；

图8是本发明一种实施例适用于多种工件的定位示意图；

图9是本发明一种实施例的多个特征点圆心提取示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

实施例一：

参照图1，是本发明实施例一的基于视觉融合的目标分步定位方法的流程图。本实施例的基于视觉融合的目标分步定位方法包括下列步骤：

s1、采集含有目标特征点信息的第一图像实现所述目标特征点的粗定位；

s2、根据所述第一图像中包含的坐标信息，在粗定位的位置，采集含有所述目标特征点信息的第二图像，以进行精定位，具体为：获取含有目标特征点信息的第一图像后，通过改变图像采集视野的范围，以对目标特征点进行再次图像采集，并获得第二图像；

s3、获取所述第二图像中包含的坐标信息，经过标定结果转换，进而获得所述目标特征点的精定位坐标。

s4：根据目标特征点在第一参照系下的坐标和精定位坐标，获得第二参照系下的精定位坐标与第一参照系下的坐标的变换量。

s5：根据第一参照系下其他目标点与目标特征点之间的位置关系，通过第二参照系下的坐标与第一参照系下的坐标的变换量，定位其余目标点在第二参照系下的坐标位置。

其中粗定位的具体过程为，通过使用具有短焦距镜头的eye-to-hand相机进行定位，对放置在底板上并处于该相机拍摄范围内的目标特征点进行粗定位，并从获取的目标特征点图像中获取其在该相机坐标系中的坐标。

精定位的具体过程为，通过移动具有长焦距镜头的eye-in-hand相机至所述粗定位获得的目标特征点的坐标处，对其进行精定位。

图2是本发明实施例一的基于视觉融合的目标分步定位装置组成框图，其中包括第一相机、第二相机、微处理器、机器人、待测目标和底板，其中第二相机安装在机器人上，第一相机安装在底板上，所述待测目标放置在底板上，微处理器与第一相机和第二相机均采用usb通信方式；微处理器与机器人采用串口或网口通信方式。

所述第一相机即为eye-to-hand粗定位相机，其与底板连接，所述第二相机为eye-in-hand精定位相机，其与机器人连接，两个相机均与微处理器连接，微处理器可以从其拍摄的目标特征点图像中获取目标特征点在其相机坐标系中的坐标值，微处理器与机器人之间通信，可以引导机器人移动第二相机至目标特征点处，坐标系转换也在微处理器中完成。

图3是本发明实施例一的基于视觉融合的目标分步定位系统组成图，其中包括图像获取模块、标定转换模块和坐标定位模块。

本发明所述机器人不限定为scrar机械手，4轴机械手或6轴机械手或直角坐标机器人，下面以在引导螺丝机对放置于底板上的工件进行螺丝孔定位的应用，所述机器人以scara机械手为例，详细说明本发明的基于视觉融合的目标分步定位方法的具体实施方式。

实施例二：

图4是本发明实施例二的机器人坐标系和相机坐标系示意图。其中scara机械手包括机械手基座13和机械手末端14，还包括底板15，机械手末端坐标系原点101，第一相机11是一种eye-to-hand相机，采用短焦距镜头，第二相机12是一种eye-in-hand相机，采用长焦距镜头，第一相机11负责大视场粗定位，第二相机12负责小视场精定位，其中第二相机12和机械手末端14是刚体结构连接，当机械手末端14移动时，第二相机12也会移动。

图5是本发明实施例二的基于视觉融合的目标分步定位方法示意图，以单个工件为例说明，其中包括第一相机11、第二相机12、机械手基座13、机械手末端14、底板15、工件102和特征点103。

根据图1中所述步骤s1采集含有目标特征点信息的第一图像实现所述目标特征点的粗定位，具体包括：

其中eye-to-hand第一相机11在其拍摄视野内获得工件102的粗定位图像，第一相机11需要安装的是焦距比较小的镜头，用以满足工件102进行大范围移动的情况，第一相机11对目标在底板15上的具体位置无要求，只需处于其拍摄范围内即可，首先通过eye-to-hand标定建立第一相机11与机械手基座13坐标系之间的坐标转化参数，通过获取的图像提取其特征点103的特征与先验知识进行模型匹配，得到图像坐标，实现对目标的检测。

第二相机12和机械手末端14的坐标转化关系是固定的，而与机械手基座13的坐标系转换关系会发生变化，第一相机11与底板15连接，其与机械手基座13的坐标系之间转换关系可以标定出来。

上述通过eye-to-hand标定建立第一相机11与机械手基座13坐标系之间的坐标转化参数的过程为：

第一相机11与机械手基座13的标记方式为eye-to-hand方式，第一相机11的图像坐标(u1,v1,1)与机械手基座13的基坐标(xw,yw,1)之间关系简化表示如下：

其中m2为仿射变换矩阵，(u1,v1)为第一相机11坐标系中的图像坐标，m2矩阵可以通过最小二乘法求解得到，由公式(1)可以获得第一相机11的图像坐标转换到机械手基座13的基坐标下的坐标，根据该坐标移动机械手末端14上第二相机12至此处。

第二相机12对于机械手末端14来说相当于一个工具，因此首先需要对其进行机械手末端14的工具标定，进行工具标定的时候，标定对象是第二相机2图像中心的坐标，例如像素分辨率为(w,h)，则其相机图像中心坐标为(w/2,h/2)。

第二相机12安装的是焦距比较大的镜头，视场范围小，精度高。首先第二相机12在其拍摄视野内获得工件的精定位图像，图像中的特征点的中心是通过图像处理算法进行拟合得到，得到中心图像坐标(u2,v2,z2)后，即特征点在所述eye-in-hand第二相机12坐标系下的坐标，由于机械手末端14与第二相机12通过eye-in-hand的手眼标定算法，即可得到第二相机12中特征点的图像坐标在该机械手末端14坐标系下的坐标。

图6是本发明实施例二中用到的坐标系示意图。

其中包括底板15、第二相机12、特征点104、机械手基座13和机械手末端14，其中第二相机12坐标系为(x,y,z)，第二相机12的图像坐标系为(xu,yu,zu)，机械手末端14坐标系为(xu,yu,zu)，所述eye-in-hand标定过程如下：

首先在拍照平面上贴一张标志点，该标志点可为圆形，也可为其他可用于标识的形状，即图6中的工件的特征点104；

其次通过在机械手末端14装一根探针，示教得到特征点104在机械手末端14坐标系下的坐标p(u2,v2)；

然后移动机械手末端14改变拍摄姿态，并获取得到新的机械手基座13坐标(xw,yw)，并提取圆形标记物即特征点104的中心坐标图像坐标(u2,v2)，移动9次得到9对坐标点对，从而得到第二相机12的标定参数。

最后进行手眼标定算法计算。

如图6中所述eye-in-hand标定模型中，第二相机12中特征点104的图像坐标转化为在该机械手末端14坐标系下的坐标的过程如下述。

其转化关系用矩阵表示如下：

其中min为第二相机12的内参数，mex为第二相机12的外参数，(xe,ye)为机械手末端14的坐标，其中，

kx＝dx/f(4)

ky＝dy/f(5)

dx和dy分别为第二相机12的x和y方向上像元尺寸大小，f为第二相机12的焦距，可以由第二相机12的芯片参数获得。

mex为旋转平移矩阵，其中，

(x,y)为特征点在第二相机12坐标系的图像坐标，第二相机12垂直安装在机械手末端14上，该标定方法中不考虑第二相机12与机械手末端14坐标系平面不平行的情况，因此最后mex的最后一行为[0,0,1]。

上述模型中展开，将常数项比例因子zcam放到等式右边，可以表示为：

k'x＝dx*zcam/f(9)

k'y＝dy*zcam/f(10)

其中(xe,ye)为特征点104在机械手末端14坐标系下的坐标，(u0,v0)为第二相机12成像光心的坐标。

将机械手末端14的坐标转换为机械手基座13坐标的坐标转换关系为：

其中(xf,yf)是机械手末端14法兰面的坐标，即机械手末端14位置的原点坐标，上述参数α通过读取scara机械手的关节信息可知得到。

通过上述公式(8)，进行eye-in-hand第二相机12的手眼标定算法，计算出矩阵min和mex中的参数，获得第二相机12坐标系和机械手末端14坐标系的转换关系，最后通过公式(11)得到将特征点104在第二相机12坐标系中的图像坐标转换到机械手基座13坐标系下的坐标。

由上述过程通过第二相机12标定参数将特征点104在第二相机12坐标系中的图像坐标转化到了机械手基座13坐标系(o-xwywzw)下的坐标，所述机械手基座13坐标系即为第二参照系，即所述将目标特征点在所述eye-in-hand相机坐标系下的坐标转换到第二参照系中。

获取目标特征点在第一参照系下的坐标，在该实施例中指的是读取目标的cad图纸，所述图纸坐标系即为所述第一参照系，在底板上建立其工件cad图纸坐标系(o-xtytzt)，获取目标特征点在其底板上cad图纸坐标系中的坐标，目标特征点在其底板上cad图纸坐标系中的坐标即视为目标在第一参照系下的坐标。

所述获得所述第二参照系下的坐标与所述第一参照系下的坐标的变换量的方法如下所述。

如图5中所述机械手基座13坐标系(o-xwywzw)和底板15上工件102图纸坐标系(o-xtytzt)的转化关系可以通过一个矩阵hwt来表示：

上述hwt的参数可以使用最小二乘法得到。

因此建立约束方程，先求解出hwt，再通过hwt^-1转化得到工件102上待定位的其余目标点在机械手基座13坐标系下的坐标：

其中(xt,yt)为特征点102在底板15上工件图纸坐标系(o-xtytzt)上的坐标，(x't,y't)为工件102上其他目标位置在工件图纸坐标系上的坐标，(x'w,y'w)代表计算出的其余目标的坐标，即通过hwt矩阵可以将工件图纸坐标系中的点转换到其在实际机械手基座13坐标系下的坐标，所述变换量为hwt矩阵。

图7是本发明实施例二的底板上cad图纸坐标系示意图。通过hwt矩阵，微处理器即可引导机械手到机械手基座坐标系中待测目标的相应位置完成工件上每一个目标的定位。

如果待测工件位置移动，超出第一相机的拍摄范围，则重复s1至s3，如图5中，第一相机11对特征点102进行粗定位后，引导机械手末端14上的第二相机12到第一相机11图像坐标转换到机械手基座13的基坐标下的坐标位置处拍照，该特征点102可以与第二相机12在同一个视野范围内，也可以不在同一个视野范围，对于特征点102不能出现在第二相机12视野范围内的情况，需要引导机械手末端14到不同拍照位置去，从而获得不同视野范围内的特征点102在第二相机12坐标系下的图像坐标。

图8是本发明实施例二的两个工件的定位场景示意图，其中包括第一相机11、第二相机12、第三相机105、机械手基座13、机械手末端14、第一工件106、第一特征点107、第二工件108、第二特征点109和底板15。

第一工件106和第二工件108放置在底板15上，第一相机11和第三相机105为同一种相机，均为eye-to-hand相机，第一相机11用于对第一工件106的第一特征点107进行粗定位，第三相机105用于对第二工件108的第二特征点109进行粗定位，利用第二相机12根据粗定位坐标分别依次对两个工件进行精定位，从图8可以得出在同一个机械臂需要对多个工件进行目标定位的应用场景，可以通过增加eye-to-hand相机个数，分别实现对不同工件的上目标特征点的定位，工件一经放置，无需在定位过程中对其进行移动，提高了定位工作效率，本实施例中选用两个工件，但是该方法不限定工件的数目和类型，这使得发明能够很好地应用在柔性自动化组装螺丝孔的场景中。

图9是本发明实施例二的多个特征点圆心提取示意图，如图9所示，当第二相机在精定位时，同一个视野范围内出现3个特征点，第一特征点111、第二特征点112和第三特征点113，此时可通过图像处理算法进行拟合得到多个特征点的中心图像坐标，并存储于微处理器中，本实施例中选取特征点为3个，但是该方法不限定特征点个数。

本发明方法可以应用在引导螺丝机对放置于底板上的工件进行螺丝孔定位，当其应用于引导螺丝机对放置于底板上的工件进行螺丝孔定位时，需要在机械手上安装电动螺丝批，该电动螺丝批需要与机械手进行工具标定，采用本发明的双相机融合分步定位方法，特征点为单个螺丝孔，定位出螺丝孔在机械手基座坐标系的坐标后，需要经过机械手与螺丝批的工具坐标转化后，即可使得电动螺丝批对准定位的螺丝孔，进而可通过机械手的io控制完成组装等工作。

本方案提供的一种基于视觉融合的目标分步定位方法，通过将定位精度和大视场的条件分离的方法，采用两个不同类型相机来实现分步定位，解决了现有定位技术中工件移动范围比较大的时候，对这类工件的螺丝孔进行定位精度会下降，甚至无法完成组装任务，当出现安装工件的螺丝孔比较多的情况时，视觉系统重复拍照的时间又会占用比较长的时间，导致无法满足实际生产效率的要求的问题。

该技术方案中对目标工件的摆放没有要求，无须工件放置在比较精确的位置，工件可以有旋转和平移，只需其处于eye-to-hand相机的拍摄范围内即可，这样有大的作用范围，并且在螺丝孔较多时，无需对螺丝孔进行重复拍照，可以减少拍照次数，提高了生产效率，并且具有精度高的优点。

以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。