基于视觉的机器人动态跟踪抓取方法及系统与流程

【技术领域】

本发明涉及一种机器人抓取技术，尤其是指一种基于视觉的机器人动态跟踪抓取方法及系统。

背景技术：

工件抓取是生产线上机器人的一项重要技术，目前，生产线上大部分的机器人仅能在严格定义的结构化环境中执行预定的指令，一旦工件的状态发生改变，机器人往往不能做出正确的应变，近年来，视觉引导与定位技术已经成为机器人获得作业周围环境信息的主要手段，它可以使机器人在实际作业中具有自主判断能力，从而使机器人应用灵活性和工作质量大大提高。当前基于视觉的机器人抓取系统已有的研究主要有两种：

(1).基于单目视觉的机器人抓取方法：该类方法一般采用将相机安装在机器人工作空间的上方，目标工件和机械手末端同时出现在相机视野中，通过相机的媒介作用建立起目标与机器人之间的关系。

(2).基于立体视觉的机器人抓取方法：该类方法一般是使用两台相机对目标工件同时进行拍摄，利用视差和立体匹配技术获取目标的空间位姿，从而引导机器人实现抓取动作。

不管是在单目视觉还是立体视觉，怎样能实现机器人精确抓取目标工件及在跟踪及抓取过程中实现平滑性，以及怎样防止机器人在跟踪与抓取目标工件的过程中引起振动，是当前需要解决的问题。

因此，有必要设计一种基于视觉的机器人的动态跟踪抓取方法及系统，以克服上述问题。

技术实现要素：

本发明的创作目的在于提供一种基于视觉的机器人动态跟踪抓取方法及系统，通过识别算法和跟踪算法定位和抓取目标工件，使机器人在抓取目标工件的过程中可实现跟踪及抓取平滑性，减少机器人在跟踪与抓取目标工件的过程中引起的振动，且目标工件的定位精度高、实时性好。

为了达到上述目的，本发明采用如下技术方案：

一种基于视觉的机器人动态跟踪抓取方法，包括以下步骤：

步骤s1：根据相机和机器人的位置关系建立两者之间的坐标映射公式，通过相机建立目标工件与机器人之间的相对位姿关系，并确定机器人的末端执行器在传送带上的工作安全范围；

步骤s2：图像处理器对相机采集到的目标工件图像进行处理，并进行特征检测，确定目标工件的特征模板，作为用以识别算法的依据；

步骤s3：传送带以速度v帶携载工件在运行方向平移移动，相机对进入其视场的目标工件进行图像采集传送至图像处理器，采用模板匹配识别算法图像处理器在图像中搜索目标工件，得到目标工件在拍照时刻的位置和偏转角度，根据步骤s1的标定结果将拍照时刻的位置及偏转角度映射到机器人的坐标系中，并将目标工件的位置信息传送给机器人控制器；

步骤s4：机器人控制器根据出现在相机视场中的目标工件位置信息，预测目标工件处于待抓取时的位置与偏转角度，机器人控制器判定预测的待抓取位置位于机器人的工作安全范围内则发出抓取命令，反之则放弃抓取；

步骤s5：对预测出现在工作安全范围内的目标工件，机器人控制器根据计算选取位于待抓取位置上游的第一位置，机器人的末端执行器位于第一位置时，目标工件与第一位置之间的距离s在可追踪距离范围内，机器人控制器根据第一位置和目标点位置规划机器人的末端执行器运动轨迹，机器人的末端执行器按照规划的运动轨迹先于目标工件运动到达第一位置且速度为零，机器人的末端执行器在目标工件的运行方向上加速运动与目标工件在第二位置以相同的速度相遇，并在待抓取位置抓取目标工件后放置到目标点位置。

进一步，在步骤s3中，图像处理器识别、定位出现在相机视场中的一个目标工件作为相机的跟踪目标，并以此跟踪目标作为执行滤波算法的基准，且不断刷新跟踪目标的位姿，跟踪目标确定后在其周围进行目标工件搜索，对搜索识别到的目标工件作为非跟踪目标，建立非跟踪目标与跟踪目标之间的定位关系，并将跟踪目标与非跟踪目标的位姿输出至机器人控制器，图像处理器对此后拍照的图像中满足与跟踪目标之间定位关系的非跟踪目标将被过滤掉，不再重复输出非跟踪目标的位姿信息给机器人控制器，机器人控制器根据已获得的目标工件的位姿信息预测最靠近工作安全范围的目标工件处于待抓取时的位置与偏转角度，跟踪目标移动出了相机视场后，图像处理器重新寻找进入相机视场还未识别的目标工件作为相机的新跟踪目标，重复上述操作。

进一步，相机视场根据目标工件在传送带上的运行方向分为三个不重叠的视场区域，依次为第一视场区域、第二视场区域及第三视场区域，图像处理器在第一视场区域进行跟踪目标确定及其位姿更新，跟踪目标进入第二视场区域后，图像处理器在跟踪目标周围进行多目标工件搜索，建立非跟踪目标与跟踪目标之间的定位关系，并将跟踪目标与非跟踪目标的位姿信息传送给机器人控制器，在进入第三视场区域后，机器人控制器根据已获得的目标工件的位姿信息预测最靠近工作安全范围的目标工件处于待抓取时的位置与偏转角度。

进一步，第一视场区域与第二视场区域的分界线为整个相机视场的二分之一处，第二视场区域与第三视场区域的分界线为整个相机视场的四分之三处。

进一步，在步骤s3之前，测传送带的空间速度v帶矢量，当目标工件刚进入相机视场后，点击拍照记录目标工件在一个点的时刻及其在机器人坐标系下的坐标(t1，x1，y1)，当目标工件即将离开相机视场时，点击拍照记录目标工件在另一个点的时刻及其在机器人坐标系下的坐标(t2，x2，y2)，利用两组坐标计算得到传送带的空间速度v帶矢量。

进一步，在传送带上安装测量传送带速度的编码器，编码器连接于机器人控制器并将编码器测到的传送带速度v帶传送给机器人控制器，在步骤s3中，图像处理器读取机器人控制器中的v帶进行相关滤波计算。

进一步，在步骤s5中，机器人的末端执行器从第一位置运动到第二位置的过程中，其与目标工件的关系符合：其中a为机器人的末端执行器的加速度，t为机器人的末端执行器从第一位置运动到第二位置的时间。

进一步，在步骤s5中，用户根据需求选择机器人的末端执行器以相同的速度在运行方向上跟踪待抓取的目标工件到达待抓取位置的时间，然后使机器人的末端执行器抓取目标工件以后在运行方向上减速地快速运动至第三位置时速度为零，最后一起从后第三位置运动到目标点位置。

进一步，在步骤s5中，当机器人的末端执行器到达第一位置后，机器人控制器根据此时目标工件的位置与第二位置从新优化机器人的末端执行器从第一位置到第二位置所需的时间，使机器人的末端执行器准确抓取目标工件。

一种实现权利要求1所述的基于视觉的机器人动态跟踪抓取方法的系统，包括：传送带、光源、相机、工业计算机、机器人和目标工件，机器人安装于传送带的一端，相机安装于传送带另一端的相机支架上，相机位于机器人的上游且垂直正对传送带上的目标工件，光源安装于相机支架的下方，相机、光源、机器人及工业计算机电气连接，工业计算机包括图像处理器、机器人控制器及存储器，存储器用以保存目标工件的模板图像。

与现有技术相比，本发明通过图像处理器预测目标工件处于待抓取的位置，且机器人控制器先选取位于待抓取位置上游的第一位置，使机器人的末端执行器从目标点位置先于待抓取的目标工件运动到第一位置且速度为零，通过机器人的末端执行器在目标工件的运行方向上加速运动，然后使待抓取的目标工件追击机器人的末端执行器使两者在第二位置以相同的速度相遇，之后运动到待抓取位置时机器人的末端执行器抓取待抓取的目标工件，完成抓取后最后一起运动到目标点位置，通过识别算法和跟踪算法定位和抓取目标工件，末端执行器按上述设定的抓取路径轨迹可在抓取目标工件的过程中实现平滑性运行，减少机器人在跟踪与抓取目标工件的过程中引起的振动，且对目标工件的定位精度高、实时性好。

【附图说明】

图1为本发明基于视觉的机器人动态跟踪抓取系统的立体示意图；

图2为图1的结构框架图；

图3为本发明基于视觉的机器人动态跟踪抓取方法的流程图；

图4为图3机器人的末端执行器在抓取目标工件的运动轨迹示意图；

图5为图3中图像处理器及相机的工作原理示意图。

具体实施方式的附图标号说明：

传送带1光源2相机3

工业计算机4图像处理器41机器人控制器42

存储器43机器人5末端执行器51

目标工件6相机支架7运行方向f

相机视场a第一视场区域a1第二视场区域a2

第三视场区域a3第一分界线l1第二分界线l2

跟踪目标gbase非跟踪目标garo工作安全范围w

工作上游点w1工作下游点w2第一位置p1

第二位置p2第三位置p3目标点位置pend

【具体实施方式】

为便于更好的理解本发明的目的、结构、特征以及功效等，现结合附图和具体实施方式对本发明作进一步说明。

请参阅图1和图2，本发明的一种基于视觉的机器人动态跟踪抓取的系统，包括：传送带1、光源2、相机3、工业计算机4、机器人5和目标工件6。机器人5为六自由度机器人，且安装于传送带1的一端，在机器人5的末端法兰盘上装有末端执行器51，在本实施例中，末端执行器51为一抓手。相机3安装于传送带1的一端的相机支架7上，相机3位于机器人5的上游且垂直正对传送带1上的目标工件6。光源2安装于相机3的下方，在本实施例中，光源2为一种光电开关。光源2、相机3、工业计算机4和机器人5依次电气连接。工业计算机4包括图像处理器41、机器人控制器42及存储器43，存储器43连接图像处理器41，图像处理器41连接机器人控制器42。

请参阅图3，一种基于视觉的机器人动态跟踪抓取方法，包括以下步骤：

请参阅图1、图2和图3，步骤s1：根据相机3和机器人5的位置关系建立两者之间的坐标映射公式，通过相机3建立目标工件6与机器人5之间的相对位姿关系，并确定末端执行器51在传送带1上的工作安全范围w。

请参阅图1，相机3的标定方法有针标定、双相机标定及激光标定等，在本实施例中，对相机3用平面标靶标定法进行标定，并通过其中一副标定板图像在传送带1上建立一个参考坐标系(0refxrefyrefzref)，得到参考坐标系和相机坐标系之间的相对位姿^camhref，同时通过离线测量的方式得到参考坐标系和机器人坐标系(0wxwywzw)之间的相对位姿^basehref，以参考坐标系(0refxrefyrefzref)为中间媒介可得到相机坐标系和机器人坐标系之间的位姿关系：

^basehcam＝^basehref·(^camhref)^-1，

通过目标定位得到^basehobj，则目标工件6与机器人5的相对位姿关系为：

^basehobj＝^basehcam·^camhobj，

以建立目标工件6和机器人5之间的联系。

请参阅图1，用户根据机器人5的工作环境，定义末端执行器51在传送带1上的工作安全范围为w，其中w1为工作上游点，w2为工作下游点。

请参阅图2和图3，步骤s2：图像处理器41对相机3采集到的目标工件图像进行处理，并进行特征检测，确定目标工件6的特征模板，作为用以识别算法的依据。

请参阅图1和图2，光源2开启，当目标工件6通过时，触发相机3采集经传送带1送入相机视场a的多帧目标工件图像并记录每帧图像的拍照时刻，将图像传送到工业计算机4进行图像平滑滤波操作，系统噪声主要是由传送带1反光、ccd电路和工业现场环境引起的随机噪声。图像滤波采用均值滤波方法，降低噪声的影响，均值滤波方法是将原图中一个像素的灰度值和它周围邻近8个像素的灰度值相加，然后求得的平均值。经过均值滤波后，图像噪声得到平滑。在预处理后的图像中提取目标工件6的灰度特征模板，并进行特征检测，确定目标工件6的特征模板，并将特征模板存放于存储器43中，作为步骤s3中识别算法的依据。当然在自然光充足的情况下，光源2也可不用开，相机3也可对进入相机视场a的目标工件6进行拍照。

请参阅图1、图2和图3，步骤s3：传送带1以速度v帶携载工件以一运行方向f平移移动，相机3对进入相机视场a的目标工件6进行图像采集传送至图像处理器41，采用模板匹配识别算法图像处理器41在图像中搜索目标工件6，得到目标工件6在拍照时刻的位置和偏转角度，根据步骤s1的标定结果将拍照时刻的位置及偏转角度映射到机器人5的坐标系中，并将目标工件6的位置信息传送给机器人控制器42。

请参阅图1、图2和图3，步骤s4：机器人控制器42根据出现在相机视场a中的目标工件6位置信息，预测目标工件6处于待抓取时的位置与偏转角度，机器人控制器42判定预测的位置位于机器人5的工作安全范围w内则发出抓取命令；反之则放弃抓取。

上述步骤s3和步骤s4均是目标工件6在相机视场a中需要完成的处理计算。

请参阅图1、图2和图3，其中，传送带1的速度v帶可通过两种方式：一种是在传送带1上安装测量传送带速度的编码器，编码器连接于机器人控制器42并将编码器测到的传送带速度v帶传送给机器人控制器42，在步骤s3中，图像处理器41读取机器人控制器42中的v帶进行相关滤波计算；另一种是通过目标工件6刚进入相机视场a后，点击拍照记录目标工件6在一个点的时刻及其在机器人坐标系下的坐标(t1，x1，y1)，当目标工件6即将离开相机视场a时，点击拍照记录目标工件6在另一个点的时刻及其在机器人坐标系下的坐标(t2，x2，y2)，利用两组坐标计算得到传送带1的空间速度v帶矢量。在本实施例中，采用第二种方式测得传送带1的速度v帶。

请参阅图1和5，在本实施例中，相机视场a根据目标工件6在传送带1上的运行方向f分为三个不重叠的视场区域，依次为第一视场区域a1、第二视场区域a2及第三视场区域a3，第一视场区域a1与第二视场区域a2的第一分界线l1为整个相机视场a的二分之一处，第二视场区域a2与第三视场区域a3的第二分界线l2为整个相机视场a的四分之三处。

请参阅图1、图2和图5，图像处理器41首先识别定位出现在第一视场区域a1中的一个目标工件6作为相机3的跟踪目标gbase，跟踪目标gbase为最靠近第一分界线l1的目标工件6，并以此跟踪目标gbase作为执行滤波算法的基准，图像处理器41暂不将跟踪目标gbase的位置信息和偏转角度传给机器人控制器42，且在第一视场区域a1中不断刷新跟踪目标gbase的位姿，在第一视场区域a1中确定了跟踪目标gbase，如果有其它目标工件6也进入第一视场区域a1，图像处理器41暂时不识别定位其它目标工件6。

请参阅图1、图2和图5，当跟踪目标gbase进入第二视场区域a2后，图像处理器41以跟踪目标gbase为基准在其周围进行目标工件6搜索，对搜索识别到的目标工件6作为非跟踪目标garo，建立非跟踪目标garo与跟踪目标gbase之间的定位关系，例如作为非跟踪目标garo在跟踪目标gbase的什么方位及两者之间的距离为多长，图像处理器41对此后拍照的图像中满足与跟踪目标gbase之间定位关系的非跟踪目标garo将被过滤掉，不再重复输出非跟踪目标garo的位姿信息给机器人控制器42，同时根据步骤s1的标定结果将跟踪目标gbase与跟踪目标gbase在拍照时刻的位置(x，y，z)及偏转角度θ映射到机器人5的坐标系中，得到跟踪目标gbase与跟踪目标gbase的位姿在机器人坐标系中的表示(xb，yb，zb)和θb，并将跟踪目标gbase及非跟踪目标garo的位姿信息输出至机器人控制器42。在本实施例中，搜索范围可以随着跟踪目标gbase的移动发生变化，主要以第一分界线l1为界限，如当跟踪目标gbase完全出了相机视场a的那一刻，对除了第一视场区域a1的其它视场区域的目标工件6都与跟踪目标gbase确定了定位关系。

请参阅图1、图2和图5，当跟踪目标gbase进入第三视场区域a3后，机器人控制器42根据已获得的目标工件6的位姿信息预测最靠近工作安全范围w的目标工件6处于待抓取时的位置与偏转角度，若机器人控制器42判定预测的待抓取位置位于机器人5的工作安全范围w内则发出抓取命令；反之则放弃抓取。其中，放弃抓取则有两种情况，第一种情况是待抓取位置位于工作下游点w2的下游，则机器人控制器42不会发出命令去抓取预测的目标工件6，即该预测的目标工件6将会丢失；第二种情况是待抓取位置位于工作上游点w1的上游，则机器人控制器42将会等待，当预测的目标工件6运行一段距离使之后使待抓取位置进入工作安全范围w，再发出命令使末端执行器51开始运动。

请参阅图1、图2和图5，当跟踪目标gbase移动出了相机视场a后，图像处理器41重新寻找进入相机视场a还未匹配识别的目标工件6作为相机3的新跟踪目标gbase，重复上述操作。

请参阅图2、图3和图4，步骤s5：对预测出现在工作安全范围w内待抓取的目标工件6，机器人控制器42根据计算选取位于待抓取位置上游的第一位置p1，末端执行器51位于第一位置p1时，待抓取的目标工件6与第一位置p1之间的距离s在可追踪距离范围内，可追踪距离是机器人控制器42根据目标点位置pend、及末端执行器51在目标点位置pend准备运动时待抓取的目标工件6的当前位置来计算决定的最优距离。机器人控制器42根据第一位置p1和目标点位置pend规划末端执行器51运动轨迹，末端执行器51按照规划的运动轨迹先于待抓取的目标工件6到达第一位置p1且速度为零，末端执行器51在运行方向f上加速运动与待抓取的目标工件6在第二位置p2以相同的速度相遇，因此，末端执行器51从第一位置p1运动到第二位置p2的过程中，其与待抓取的目标工件6的关系符合：

vrobot＝at

v帶＝vrobot

其中：a为末端执行器51的加速度，t为末端执行器51从第一位置p1运动到第二位置p2的时间，vrobot为末端执行器51在第二位置p2的速度。

满足上述条件限制可得：

t＝2s/v帶

如此当末端执行器51到达第一位置p1后，机器人控制器42根据此时待抓取的目标工件6的当前位置与第二位置p2得到两者之间的距离s的确定值，从而可重新计算得到末端执行器51从第一位置p1到第二位置p2所需的时间t，进而使末端执行器51准确地在待抓取位置抓取待抓取的目标工件6。

请参阅图3和图4，用户根据需求选择末端执行器51以相同的速度在运行方向f上跟踪待抓取的目标工件6到达待抓取位置的时间，然后使末端执行器51抓取待抓取的目标工件6以后在运行方向f上减速地快速运动至第三位置p3时速度为零，最后一起从后第三位置p3运动到目标点位置pend。

综上所述，本发明的基于视觉的机器人动态跟踪抓取方法及系统具有以下有益效果：

1、图像处理器41预测目标工件6处于待抓取的位置，且机器人控制器42先选取位于待抓取位置上游的第一位置p1，使末端执行器51从目标点位置pend先于待抓取的目标工件6运动到第一位置p1且速度为零，通过末端执行器51在目标工件6的运行方向f上加速运动，然后使待抓取的目标工件6追击末端执行器51使两者在第二位置p2以相同的速度相遇，之后运动到待抓取位置时末端执行器51抓取待抓取的目标工件6，完成抓取后最后一起运动到目标点位置pend，通过识别算法和跟踪算法定位和抓取目标工件6，末端执行器51按上述设定的抓取路径轨迹可在抓取目标工件6的过程中实现平滑性运行，减少机器人5在跟踪与抓取目标工件6的过程中引起的振动，且对目标工件6的定位精度高、实时性好。

2、图像处理器41在相机视场a中选择相机3的跟踪目标作gbase，并以此跟踪目标gbase作为执行相关滤波算法的基准，在跟踪目标作gbase的周围进行目标工件6搜索，对搜索识别到的目标工件作为非跟踪目标garo，建立非跟踪目标garo与跟踪目标gbase之间的定位关系，图像处理器41对此后多次拍照所得图像中满足与跟踪目标gbase之间定位关系的非跟踪目标garo将被过滤掉，不再重复输出非跟踪目标garo的位姿信息给机器人控制器42，如此可避免对同一目标工件6的重复输出给机器人控制器42，进而避免机器人控制器42对同一目标工件6进行重复预测其待抓取位置等计算及机器人5作出重复抓取动作，也可对相机视场a侧边进入的目标工件6进行识别定位，后期满足抓取条件也可对侧边进入相机视场a的目标工件6进行抓取。

以上详细说明仅为本发明之较佳实施例的说明，非因此局限本发明之专利范围，所以，凡运用本创作说明书及图示内容所为之等效技术变化，均包含于本创作之专利范围内。