一种基于双目视觉的快递包裹抓取装置的制作方法

本实用新型涉及一种快递包裹抓取装置，尤其涉及一种基于双目视觉的快递包裹抓取装置。

背景技术：

抓取动作是工业机器人应用中的一个常见任务。传统定位方法必须经过精确的人工定位后，按照“示教式”程序一步一步实现标准位姿工件的抓取和放置，但很多情况下工件位姿无法预知，没有规律可循。这就对机器人物体识别的智能化程度提出了需求。基于视觉识别的机器人模仿人的视觉，可以实现对目标物体的识别，获得场景深度信息，近年来得到了很快的发展。

机械臂的视觉识别指的是用摄像机模拟人眼来控制机械臂的动作。随着机器人人工智能化的程度的提升和图像处理的高速发展，计算机图像处理技术与工业机器人技术的交互利用日益频繁且技术日趋成熟^[1]。法国Aldebaran Robotics公司研制出的机器人NAO配有多种传感器，可通过边缘检测以及颜色分割完成对目标的识别^[2]。Burget F等人通过图像处理技术来获得目标物体的三维信息，然后制定相应的抓取姿态对目标物体进行抓取^[3]。日本本田公司研制的仿生机器人基于视觉识别与定位技术，成功完成端茶倒水的任务^[4]。另外，日本Fanuc公司、瑞士的ABB公司和德国KUKA公司都推出了“拣选”系统^[5]。日本的Murakami利用CCD相机传感技术，研制出机器人跟踪控制系统^[6]。澳大利亚Western大学用CCD相机配合六自由度机器人开发出三维码垛机器人实现三维空间的码垛，瑞士SIG利用代视觉识别的并联机器人，应用与流水输送线上的搬运^[7]。上海大学何永义教授的团队研发的家具服务轮式机器人，通过三目摄像头，实现对物体的识别抓取等功能^[8]；华中科技大学提出基于视觉引导和超声被测距的手眼机器人系统实现了对运动目标的跟踪和抓取^[9]。

[1]焦恩章，杜荣工业机器人分拣技术的实现【J】组合机床与自动化加工技术。2010

[2]Muller J，Frese U，Rofer T.Grab a mug-Object detection and grasp motion planning with the Nao robot[C]//Ieee-Ras International Conference on Humanoid Robots.IEEE，2012：349-356.

[3]Dalibard S，bastien，El Khoury A，et al.Dynamic Walking and Whole-Body Motion Planning for Humanoid Robots：an Integrated Approach[J].International Journal of Robotics Research，2013，32(9-10)：1089-1103.

[4]Gienger M，Toussaint M，Goerick C.Whole-body Motion Planning-Building Blocks for Intelligent Systems[M]//Motion Planning for Humanoid Robots.Springer London，2010：67-98.

[5]权欢欢，张洛平.装配线零件图像识别与系统实现.[D].洛阳：河南科技大学，2008

[6]chaumette F，malisE.2D 1/2visual servoing：A possible solution to image-based and position-based and position-based visual servoings[C].IEEE International Conference on Robotics and Automation，San Francisco，2000：630-635

[7]Goshtasby A，Gage S H，Bartholic J F，A two-stage cross correlation approach to template matching[J]，Pattern Analysis and Machine Intelligence，IEEE Transaction on，1984(3)：374-384

[8]刘鹏玉.服务机器人手眼协调仿生控制研究[D].上海大学，2012.

[9]王敏.基于视觉与超声技术机器人自动识别抓取系统[J].华中科技大学学报(自然科学版)，2001，29(1)：73-75。

技术实现要素：

本实用新型的目的在于提供一种基于双目视觉的快递包裹抓取装置和抓取方法，解决现有技术存在的缺憾。

本实用新型采用如下技术方案实现：

一种基于双目视觉的快递包裹抓取方法，其特征在于，该方法包括如下步骤：

1)建立坐标系：对双目摄像机进行标定，建立相机坐标系、世界坐标系和机械臂坐标系，并明确各坐标系之间的关系，完成双目摄像机内外参数的标定；

2)图像预处理：对图像进行包括二值化、轮廓提取的操作预处理；

3)角点检测：采用harris算子对图像进行角点检测，完成特征点提取；

4)轮廓提取：采用链码方法以检测到角点为起点寻找一个封闭的四边形，并得到封闭四边形四个角的平面坐标，完成轮廓提取，封闭四边形是某个包裹的一个完整表面，按照常规属于最容易抓取的表面。

5)确定机器人抓取位姿：根据双目摄像机的内外参数，将提取的平面轮廓转化为空间位置和姿态数据，作为机器人抓取的目标。

一种基于双目视觉的快递包裹抓取装置，该装置具有一个支架，所述支架的顶端安装有双目摄像机，在所述双目摄像机的下方设置有笼车，在所述笼车的一侧设置有六轴机械臂，所述六轴机械臂上安装有机械抓手。

本实用新型的有益技术效果是：操作对象为快递包裹，形状基本近似于长方体，装置的主要功能包括图像中的关键点识别、包裹轮廓识别、抓取机器人末端抓取位姿计算、抓取轨迹控制等，实现了功能一体化，节省工作空间，保证操作精度，提升工作的智能化水平，后续可与更大范围的快递分拣系统集成应用。

附图说明

图1是本实用新型的总体流程图。

图2是抓取装置的结构示意图。

图3是角点识别结果。

图4是轮廓提取结果。

图5是目标识别结果。

具体实施方式

通过下面对实施例的描述，将更加有助于公众理解本实用新型，但不能也不应当将申请人所给出的具体的实施例视为对本实用新型技术方案的限制，任何对部件或技术特征的定义进行改变和/或对整体结构作形式的而非实质的变换都应视为本实用新型的技术方案所限定的保护范围。

一种基于双目视觉的快递包裹抓取方法，该方法包括如下步骤：1)建立坐标系：对双目摄像机进行标定，建立相机坐标系、世界坐标系和机械臂坐标系，并明确各坐标系之间的关系，完成双目摄像机内外参数的标定；2)图像预处理：对图像进行包括二值化、轮廓提取的操作预处理；3)角点检测：采用harris算子对图像进行角点检测，完成特征点提取；4)轮廓提取：采用链码方法以检测到角点为起点寻找一个封闭的四边形，并得到封闭四边形四个角的平面坐标，完成轮廓提取，封闭四边形是某个包裹的一个完整表面，按照常规属于最容易抓取的表面。5)确定机器人抓取位姿：根据双目摄像机的内外参数，将提取的平面轮廓转化为空间位置和姿态数据，作为机器人抓取的目标。在图5中，虚线框内的封闭四边形即为目标的识别结果。

机器人抓取位姿计算：深度检测是基于视差原理的，通常在双目摄像机拍摄的两张图中存在着视觉差，我们通过视差以及摄像机成像原理就能得到该点的深度。

目标包裹的二维平面上的点P(x1，y1)在右相机上的坐标为(Xr，Yr)，平行双目摄像机的左右两幅图在同一个平面上yi＝yr，所以：

p点在左相机下的三维坐标为

带入得：

按照上述方法，可以得到矩形轮廓的的四个顶点坐标A(x1，y1，z1)、B(x2，y2，z2)、C(x3，y3，z3)、D(x4，y4，z4)，由此计算该矩形在空间中的位姿描述，进而确定目标物品的抓取位置。

机器人抓取位姿确定：目标物品的抓取位置我们可以用上述A、B、C、D四个点的坐标来进行描述得出。

机器人执行端对目标物品的抓取位置取空间矩形两条长边的中点，具体坐标为机器人执行端的抓取姿态用空间矩形几何中心的法线方向。矩形几何中心位置坐标为：

则执行端抓取方向为：

上述得出的抓取位置E、F以及执行端抓取方向：

后续可作为控制参数发送至机器人控制器或进行仿真研究，利用DH方法建立六自由度机器人的逆运动学方程，并推算出各个关节的转角。

一种基于双目视觉的快递包裹抓取装置，该装置具有一个支架1，支架1的顶端安装有双目摄像机2，在双目摄像机2的下方设置有笼车5，在笼车5的一侧设置有六轴机械臂4，六轴机械臂4上安装有机械抓手3。

当然，本实用新型还可以有其他多种实施例，在不背离本实用新型精神及其实质的情况下，熟悉本领域的技术人员可以根据本实用新型做出各种相应的改变和变形，但这些相应的改变和变形都应属于本实用新型所附的权利要求的保护范围。