一种基于双目视觉的工件抓取方法与流程

本发明涉及机器视觉的技术领域，尤其涉及到一种基于双目视觉的工件抓取方法。

背景技术：

随着生产制造业不断发展，人们对自动化要求不断提高，传统的制造方法(人工操作或者简单的机械生产)不断受到挑战。工业机器人是面向工业领域的多关节机械手或多自由度的机器装置，它能自动执行工作，是靠自身动力和控制能力来实现各种功能的一种机器，可以接受人类指挥，因而在工业领域受到了越来越广泛应用，但现在工业机器人一般都需要按照预先编排的程序运行，需要前期复杂的调试，不满足更加灵活地柔性生产。

近年来，机器视觉在一些不适于人工作业的危险工作环境或者人工视觉难以满足要求的场合，常用机器视觉来替代人工视觉。同时，在大批量重复性工业生产过程中，用机器视觉检测方法可以大大提高生产的效率和自动化程度。因而，在制造生产中，利用机器视觉引导机器人作业逐渐成为一种主流趋势。

在工业生产中，工件自动上下料，工件自动分选或者自动装备等工序都需要对工件进行准确地抓取。而工件能否准确地被识别和定位，是工件能否被准确抓取地最关键技术环节之一。现有方法采用单目摄像机采集工件图像，对工件进行识别和定位，再把工件的位姿信息传送给工业机器人，让机器人后续处理，但单目视觉得不到工件的三维信息，所以这只适合于对厚度较小并且一致好的工件进行抓取，通用性不强。采用视觉采集图像，工件出现在工业摄像机的视野中有可能是不一样的，因此图像识别算法要解决图像中的工件缩放、旋转或者亮度不一致的难题，现有的识别算法方法还是不能很好地解决这些问题。

技术实现要素：

本发明的目的在于克服现有技术的不足，提供一种实时性和适用性强、抓取准确、工作效率高的基于双目视觉的工件抓取方法。

为实现上述目的，本发明所提供的技术方案为：其包括以下步骤：

(1)对双目视觉系统进行标定；

(2)左右摄像机同时采集图像并对图像进行校正；

(3)采用模板匹配算法识别定位左右图像的工件；

(4)根据左右摄像机图像工件的识别定位信息计算工件的三维位姿；

(5)工业机器人根据工件的三维位姿信息对工件自动抓取。

进一步地，步骤(1)标定双目视觉系统具体步骤如下：

1)单摄像机标定：利用标定板对每个摄像机作单摄像机标定，确定其摄像机畸变系数和摄像机内参矩阵，以矫正图像，输出无畸变图像；

2)摄像机校正：调整左右摄像机间的角度和距离，保证输出的图像行对齐；

3)立体标定：利用标定板标定，识别摄像机焦距f，左右摄像头中心距t，以及左右主光线与图像平面相交的主点(cx，cy)和(c′x，c′y)等参数；知道这些参数后，如图2所示，令z为三维空间里点p的深度坐标，ol和or为左右摄像机的坐标系，(x，y)和(x′，y′)为点p在左右摄像机的成像坐标，即视差d＝x-x′，由三角几何关系，可得以下等式：

可以求出从而可以得出空间的p的三维坐标。

4)立体校正：通过bouguet算法校正双目视觉系统，使得两个摄像头在数学上完全平行放置，并且左右摄像头的cx，cy和f相同；

5)重投影矩阵:根据上述得到的参数，按照图2的三角几何关系，求出4x4的重投影矩阵q：

以左摄像机坐标系为世界坐标系，给定一个左成像坐标点p(x,y)和其关联的视差d＝x-x′，x′为p点在右成像坐标系的横坐标，通过

得到p点的三维坐标(x/w，y/w，z/w)。

进一步地，步骤(3)中，采用视觉软件包halcon的可变形模板匹配算子识别定位左右图像中的工件，具体步骤如下：

(1离线采集包含工件的图像并截取工件部分的图像；

(2利用halcon工具把截取的工件部分制作成模板文件；

(3利用创建好的模板文件在线识别定位图像的工件，并输出工件在左右图像中的轮廓和中心。

进一步地，步骤(4)求取工件三维位姿的具体步骤如下：

1))求取工件的中心位置：由左右图像的工件模板匹配中心，通过步骤(1)中的重投影矩阵q求出工件中心位置在左摄像机坐标系的三维坐标；

2))求取工件的法向方向：由左右图像的工件轮廓各种匹配点，通过步骤(1)中的重投影矩阵q拟合工件轮廓的空间平面，求取该平面的法向量。

进一步地，步骤(5)具体步骤如下：

((1手眼标定：利用标定板采用tsai的手眼标定算法离线求取左摄像机坐标系相对机器人基座标的位姿关系x；

((2利用位姿关系x，把工件的三维世界坐标系转化为工业机器人的基坐标；

((3工业机器人在线根据工件在基坐标下的位姿进行轨迹规划，自动抓取工件。

与现有技术相比，本方案原理和优点如下：

对工件识别和定位，得出工件在工业机器人的基座标的三维位姿信息，工业机器人根据工件的三维位姿信息进行轨迹规划自动抓取工件，通用性好；图像识别定位算法采用可变形的模板匹配算法，工件在图像中缩放、旋转或者亮度不一致等情况下，还能够对工件准确地识别定位；并且双目系统，可测量出工件的准确三维位姿信息，因而在测量过程中，对工件的摆放没有任何约束，具有强鲁棒性，并且速度快，满足工业实时性要求。

附图说明

图1为本发明实施例中一种基于双目视觉的工件抓取方法的流程图；

图2为本发明实施例中摄像机标定的示意图。

具体实施方式

下面结合具体实施例对本发明作进一步说明：

参见附图1所示，本实施例所述的一种基于双目视觉的工件抓取方法，包括以下步骤：

(1)对双目视觉系统进行标定，具体步骤如下：

1)单摄像机标定：利用标定板对每个摄像机作单摄像机标定，确定其摄像机畸变系数和摄像机内参矩阵，以矫正图像，输出无畸变图像；

2)摄像机校正：调整左右摄像机间的角度和距离，保证输出的图像行对齐；

3)立体标定：利用标定板标定，识别摄像机焦距f，左右摄像头中心距t以及左右主光线与图像平面相交的主点(cx，cy)和(c′x，c′y)；

4)立体校正：通过bouguet算法校正双目视觉系统，使得两个摄像头在数学上完全平行放置，并且左右摄像头的cx，cy和f相同；

5)重投影矩阵:根据得到的参数，求出4x4的重投影矩阵q：

以左摄像机坐标系为世界坐标系，给定一个左成像坐标点p(x,y)和其关联的视差d＝x-x′，x′为p点在右成像坐标系的横坐标，通过

得到p点的三维坐标(x/w，y/w，z/w)。

(2)左右摄像机同时采集图像并对图像进行校正；

(3)采用模板匹配算法识别定位左右图像的工件：

采用视觉软件包halcon的可变形模板匹配算子识别定位左右图像中的工件，具体步骤如下：

(1离线采集包含工件的图像并截取工件部分的图像；

(2利用halcon工具把截取的工件部分制作成模板文件；

(3利用创建好的模板文件在线识别定位图像的工件，并输出工件在左右图像中的轮廓和中心。

(4)根据左右摄像机图像工件的识别定位信息计算工件的三维位姿，具体步骤如下：

1))求取工件的中心位置：由左右图像的工件模板匹配中心，求出工件中心位置在左摄像机坐标系的三维坐标；

2))求取工件的法向方向：由左右图像的工件轮廓各种匹配点，拟合工件轮廓的空间平面，求取该平面的法向量。

(5)工业机器人根据工件的三维位姿信息对工件自动抓取，具体步骤如下：

((1手眼标定：利用标定板采用tsai的手眼标定算法离线求取左摄像机坐标系相对机器人基座标的位姿关系x；

((2利用位姿关系x，把工件的三维世界坐标系转化为工业机器人的基坐标；

((3工业机器人在线根据工件在基坐标下的位姿进行轨迹规划，自动抓取工件。

本实施例对工件识别和定位，得出工件在工业机器人的基座标的三维位姿信息，工业机器人根据工件的三维位姿信息进行轨迹规划自动抓取工件，通用性好；图像识别定位算法采用可变形的模板匹配算法，工件在图像中缩放、旋转或者亮度不一致等情况下，还能够对工件准确地识别定位；并且双目系统，可测量出工件的准确三维位姿信息，因而在测量过程中，对工件的摆放没有任何约束，具有强鲁棒性，并且速度快，满足工业实时性要求。

以上所述之实施例子只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。