一种机器人动态抓取方法及系统与流程

本发明涉及机器人视觉伺服技术领域，具体涉及一种机器人动态抓取方法及系统。

背景技术：

食品、药品及电子制造行业的分拣工序是劳动密集型工作，近年来随着人力成本的提高及工业机器人成本的降低，越来越多的机器人被应用到流水线上的分拣工序中。机器人视觉伺服及动态抓取技术，是指通过工业相机实时采集真实物体的图像，通过目标跟踪或模式识别技术对待抓取物体进行跟踪及运动信息建模，反馈给机器人系统，做进一步的运动控制及路径规划以成功抓取物体。

目前，计算机视觉领域的运动目标跟踪方法主要有光流法、帧间差分法及背景建模法等，工业分拣流水线上，由于其背景内容变化较小，适用于背景建模法，但运动目标跟踪算法只能确定存在运动物体，而无法识别精确计算出其物体中心及旋转角度；故工业上多采用基于区域特征(边缘梯度或灰度特征)的模板匹配算法进行物体识别，再结合速度及时间信息对待抓取物体进行跟踪建模。

现有技术缺点：

1)针对工业分拣流水线，采用基于背景建模的前景运动目标提取，其算法复杂度低，能高效地确定运动目标，但无法判断物体的类别及仿射变换；

2)基于特征建模的二维模板匹配算法，能准确的对图像中存在物体进行分类，并计算其位置及旋转角度，但算法需对整张图片进行遍历查找，对于多种类目标的跟踪及抓取问题，算法的计算消耗极大，有限的计算资源下，难以实现高帧率实时识别，影响视觉伺服的精度。

技术实现要素：

有鉴于此，为了解决现有技术中的上述问题，本发明提出一种机器人动态抓取方法及系统，利用工业相机采集生产线上实时图像，结合基于多线索建模的目标跟踪算法及基于边缘梯度的模板匹配算法，对待抓取目标进行识别及定位，并采用随机采样一致性算法对运动信息建模，结合摄像机标定及手眼标定参数，实时反馈给机器人进行动态抓取。

本发明通过以下技术手段解决上述问题：

一种机器人动态抓取方法，包括如下步骤：

s1、实时接收工业相机传输而来的采集图像，并对所得图像进行预处理；

s2、利用基于多线索的模板跟踪算法确定前景目标区域；

s3、采用基于边缘梯度的模板匹配算法对前景目标进行精确识别；

s4、采用随机采样一致性算法对视场内该物体的运动信息建模；

s5、结合摄像机标定及手眼标定参数，实时反馈给机器人进行动态抓取。

进一步地，步骤s1中，对所得图像进行预处理包括图像去噪及建立图像金字塔。

进一步地，步骤s2具体包括：

对采集图像金字塔的顶端图像，进行多线索码本模型的建模，“多线索”具体指图像区域纹理、色彩、区域轮廓距、区域面积特征的线索；先由纹理线索的码本模型建立候选区域，再经色彩、轮廓距及区域面积特征等线索依次对候选区域进行筛选；最终得到前景目标区域。

进一步地，步骤s3具体包括：

首先对各待抓取物体建立模板图像；其次对每一种模板图像，建立图像金字塔；然后对金字塔的每一层，利用边缘梯度算子建立基于边缘梯度的归一化特征，并对归一化特征进行旋转建模；执行模板匹配算法时，从特征金字塔的顶端自上而下对采集图像的前景目标区域进行匹配，得到特定种类物体的图像位置；所述边缘梯度算子包括canny算子和sobel算子。

进一步地，步骤s4具体包括：

工业分拣流水线上，随机采样一致性算法的输入是一组观测数据，包括待抓取物体的种类及相应运动时刻所处的位置，传送带的抖动及视觉识别的误差是观测数据中的“局外点”，随机采样一致性算法可以从一组包含“局外点”的观测数据集中，反复选择数据中的一组随机子集，通过迭代方式得到物体运动模型的正确参数。

一种机器人动态抓取系统，包括依次连接的图像采集预处理模块、多线索目标跟踪模块、目标识别精确定位模块、运动信息建模模块以及机器人动态抓取模块；

所述图像采集预处理模块用于实时接收工业相机传输而来的采集图像，并对所得图像进行预处理；

所述多线索目标跟踪模块用于利用基于多线索的模板跟踪算法确定前景目标区域；

所述目标识别精确定位模块用于采用基于边缘梯度的模板匹配算法对前景目标进行精确识别；

所述运动信息建模模块用于采用随机采样一致性算法对视场内该物体的运动信息建模；

所述机器人动态抓取模块用于结合摄像机标定及手眼标定参数，实时反馈给机器人进行动态抓取。

进一步地，对所得图像进行预处理包括图像去噪及建立图像金字塔。

进一步地，所述多线索的模板跟踪算法具体为：

对采集图像金字塔的顶端图像，进行多线索码本模型的建模，“多线索”具体指图像区域纹理、色彩、区域轮廓距、区域面积特征的线索；先由纹理线索的码本模型建立候选区域，再经色彩、轮廓距及区域面积特征等线索依次对候选区域进行筛选；最终得到前景目标区域。

进一步地，边缘梯度的模板匹配算法具体为：

首先对各待抓取物体建立模板图像；其次对每一种模板图像，建立图像金字塔；然后对金字塔的每一层，利用边缘梯度算子建立基于边缘梯度的归一化特征，并对归一化特征进行旋转建模；执行模板匹配算法时，从特征金字塔的顶端自上而下对采集图像的前景目标区域进行匹配，得到特定种类物体的图像位置；所述边缘梯度算子包括canny算子和sobel算子。

进一步地，随机采样一致性算法具体为：

工业分拣流水线上，随机采样一致性算法的输入是一组观测数据，包括待抓取物体的种类及相应运动时刻所处的位置，传送带的抖动及视觉识别的误差是观测数据中的“局外点”，随机采样一致性算法可以从一组包含“局外点”的观测数据集中，反复选择数据中的一组随机子集，通过迭代方式得到物体运动模型的正确参数。

与现有技术相比，本发明的有益效果如下：

1)、本发明采用基于多线索的目标跟踪算法，能高效、准确地提取运动目标前景区域；

2)、本发明结合目标跟踪算法及基于边缘梯度的模板匹配算法，只对感兴趣区域进行多种类物体的模板匹配识别，提高目标识别算法的运行速度及精度，实现多种类高帧率实时识别，在相同计算资源下能有效提高视觉伺服的精度；

3)、本发明采用随机采样一致性算法(ransac)对运动信息建模，可以从一组包含误差“局外点”的观测数据集中，反复选择数据中的一组随机子集，通过迭代方式得到物体运动模型的正确参数；

4)、本发明在机器人分拣的应用场景下，能有效的提高视觉运动目标跟踪算法的运行速度，实现高帧率实时识别，进而提高视觉伺服的精度。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明机器人动态抓取方法的流程图；

图2是本发明机器人动态抓取方法的具体流程图；

图3是本发明机器人动态抓取系统的结构示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面将结合附图和具体的实施例对本发明的技术方案进行详细说明。需要指出的是，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

如图1、图2所示，本发明提供一种机器人动态抓取方法，包括如下步骤：

s1、实时接收工业相机传输而来的采集图像，并对所得图像进行预处理；

上位机(一般为pc机)实时接收工业相机传输而来的采集图像，并对所得图像进行预处理，具体包括图像去噪及建立图像金字塔以提高算法运行速度。

s2、利用基于多线索的模板跟踪算法确定前景目标区域；

对采集图像金字塔的顶端图像，进行多线索码本模型的建模，“多线索”具体指图像区域纹理、色彩、区域轮廓距、区域面积特征的线索；先由纹理线索的码本模型建立候选区域，再经色彩、轮廓距及区域面积特征等线索依次对候选区域进行筛选；最终得到前景目标区域roi。

s3、采用基于边缘梯度的模板匹配算法对前景目标进行精确识别；

首先对各待抓取物体建立模板图像；其次对每一种模板图像，建立图像金字塔；然后对金字塔的每一层，利用边缘梯度算子(canny、sobel等算子)建立基于边缘梯度的归一化特征，并对归一化特征进行旋转建模；执行模板匹配算法时，从特征金字塔的顶端自上而下对采集图像的前景目标区域进行匹配，得到特定种类物体的图像位置。

s4、采用随机采样一致性算法对视场内该物体的运动信息建模；

对前一步骤得到的待抓取物体信息，区分不同种类，根据其时间跟空间数据，采用随机采样一致性算法(ransac)进行运动信息建模：工业分拣流水线上，随机采样一致性算法的输入是一组观测数据，包括待抓取物体的种类及相应运动时刻所处的位置，传送带的抖动及视觉识别的误差是观测数据中的“局外点”，随机采样一致性算法可以从一组包含“局外点”的观测数据集中，反复选择数据中的一组随机子集，通过迭代方式得到物体运动模型的正确参数。

s5、结合摄像机标定及手眼标定参数，实时反馈给机器人进行动态抓取；

结合摄像机标定及手眼标定参数，将图像坐标转换为机器人末端执行器坐标；视觉系统实时更新其运动信息，上位机与机器人系统通过tcp/ip协议通讯，待抓取物体进入机器人运动空间范围内时，机器人对物体执行动态抓取；其中，摄像机标定是指得到摄像机的内参数，包括焦距、镜头畸变、像元尺寸、主相点及采集图像尺寸；手眼标定是指得到摄像机坐标系与机器人末端工具坐标系的位姿关系。

实施例2

如图3所示，本发明还提供一种机器人动态抓取系统，包括依次连接的图像采集预处理模块、多线索目标跟踪模块、目标识别精确定位模块、运动信息建模模块以及机器人动态抓取模块；

所述图像采集预处理模块用于实时接收工业相机传输而来的采集图像，并对所得图像进行预处理；

上位机(一般为pc机)实时接收工业相机传输而来的采集图像，并对所得图像进行预处理，具体包括图像去噪及建立图像金字塔以提高算法运行速度。

所述多线索目标跟踪模块用于利用基于多线索的模板跟踪算法确定前景目标区域；

对采集图像金字塔的顶端图像，进行多线索码本模型的建模，“多线索”具体指图像区域纹理、色彩、区域轮廓距、区域面积特征的线索；先由纹理线索的码本模型建立候选区域，再经色彩、轮廓距及区域面积特征等线索依次对候选区域进行筛选；最终得到前景目标区域roi。

所述目标识别精确定位模块用于采用基于边缘梯度的模板匹配算法对前景目标进行精确识别；

所述运首先对各待抓取物体建立模板图像；其次对每一种模板图像，建立图像金字塔；然后对金字塔的每一层，利用边缘梯度算子(canny、sobel等算子)建立基于边缘梯度的归一化特征，并对归一化特征进行旋转建模；执行模板匹配算法时，从特征金字塔的顶端自上而下对采集图像的前景目标区域进行匹配，得到特定种类物体的图像位置。

动信息建模模块用于采用随机采样一致性算法对视场内该物体的运动信息建模；

对前一步骤得到的待抓取物体信息，区分不同种类，根据其时间跟空间数据，采用随机采样一致性算法(ransac)进行运动信息建模：工业分拣流水线上，随机采样一致性算法的输入是一组观测数据，包括待抓取物体的种类及相应运动时刻所处的位置，传送带的抖动及视觉识别的误差是观测数据中的“局外点”，随机采样一致性算法可以从一组包含“局外点”的观测数据集中，反复选择数据中的一组随机子集，通过迭代方式得到物体运动模型的正确参数。

机器人动态抓取模块用于结合摄像机标定及手眼标定参数，实时反馈给机器人进行动态抓取；

结合摄像机标定及手眼标定参数，将图像坐标转换为机器人末端执行器坐标；视觉系统实时更新其运动信息，上位机与机器人系统通过tcp/ip协议通讯，待抓取物体进入机器人运动空间范围内时，机器人对物体执行动态抓取；其中，摄像机标定是指得到摄像机的内参数，包括焦距、镜头畸变、像元尺寸、主相点及采集图像尺寸；手眼标定是指得到摄像机坐标系与机器人末端工具坐标系的位姿关系。

本发明拟结合基于多线索建模的目标跟踪算法及基于边缘梯度的模板匹配算法。首先，采用算法复杂度较低的目标跟踪算法确定前景目标的感兴趣区域；其次，根据感兴趣区域的有无及面积特征减少一些尺度较小的特征模板识别；最后，对剩余的特征模板，遍历感兴趣区域以识别出待抓取物体，并根据时间及速度信息，采用随机采样一致性算法估计视场内该物体的运动信息，视觉伺服反馈并联机器人，进行动态抓取。

与现有技术相比，本发明的有益效果如下：

1)、本发明采用基于多线索的目标跟踪算法，能高效、准确地提取运动目标前景区域；

2)、本发明结合目标跟踪算法及基于边缘梯度的模板匹配算法，只对感兴趣区域进行多种类物体的模板匹配识别，提高目标识别算法的运行速度及精度，实现多种类高帧率实时识别，在相同计算资源下能有效提高视觉伺服的精度；

3)、本发明采用随机采样一致性算法(ransac)对运动信息建模，可以从一组包含误差“局外点”的观测数据集中，反复选择数据中的一组随机子集，通过迭代方式得到物体运动模型的正确参数；

4)、本发明在机器人分拣的应用场景下，能有效的提高视觉运动目标跟踪算法的运行速度，实现高帧率实时识别，进而提高视觉伺服的精度。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。