一种基于双目立体视觉的机械手抓取控制系统的控制方法
【专利摘要】一种基于双目立体视觉的机械手抓取控制系统的控制方法，包括以下步骤：标定相机参数，然后通过示教机械手，实现相机坐标系和机械手坐标系的转换；线激光做弧面扫描云运动，同时相机采集图像；对相机拍摄的图像分别提取激光线；利用亚像素算法精确定位激光线的位置；对图片中提取到的激光线进行同名点匹配；通过三角测量原理计算激光线上每个点的三维空间坐标，完成对场景内工件的扫描，获得相机视野内的点云数据；建立工件点云模板，选取机械手抓取点位，将获得的点云数据与工件点云模板匹配，并计算出两者间的转换关系；将点云模板中机械手抓取点位置换算成当前坐标，并将其转换为机械手坐标系下的坐标，然后传递给机械手，机械手执行动作。
【专利说明】
一种基于双目立体视觉的机械手抓取控制系统的控制方法
技术领域
[0001 ]本发明涉及机械手抓取控制领域，具体涉及一种能实时获取料箱内工件的3D点云 数据，并通过模板匹配，引导机械手抓取和摆放工件的基于双目立体视觉的机械手抓取控 制系统的控制方法。
【背景技术】
[0002] 目前，工业自动化装配受到越来越多的关注，由视觉引导机械手进行工业装配是 实现工业自动化的重要途径。在机械手执行任务的过程中，控制机械手定位到目标位置是 一个非常关键的问题。CN103963058A基于多方位视觉定位的机械手臂抓取控制方法及方 法、CN104331894A-种基于双目立体视觉的机器人拆垛方法以及CN104677330A-种小型双 目立体视觉测距系统都公开了一种视觉引导机械手抓取方法。但这些方法都存在对不同型 号产品识别率差、定位精度难以满足抓取摆放要求的缺陷。
【发明内容】
[0003] 本发明提出了一种基于双目立体视觉的机械手抓取控制系统的控制方法，由双目 立体视觉系统根据目标物的二维图像计算出目标物的三维坐标，然后根据此三维坐标去控 制机械手自动运动到目标位置，实现料箱内任意摆放工件的抓取，进而实现工件的摆放或 装配，解决工业装配或上下料的自动化问题，从而降低人力成本，提高生产效率，消除人力 操作潜在的安全隐患。
[0004] 本发明的目的及解决其技术问题是采用以下技术方案来实现的。依据本发明提出 的一种基于双目立体视觉的机械手抓取控制系统的控制方法，包括以下步骤：1)标定相机 的内参数和外参数，然后通过示教机械手，实现相机坐标系和机械手坐标系的转换;2)线激 光做弧面扫描运动，同时位于线激光两侧的相机分别从左右两个视角拍摄图像;3)对双相 机拍摄的两幅图像分别提取激光线;4)利用亚像素算法精确定位激光线的位置;5)对两相 机图片中提取到的激光线进行同名点匹配;6)通过三角测量原理计算激光线上每个点的三 维空间坐标，完成对场景内工件的扫描，获得相机视野内的点云数据；7)建立工件点云模 板，选取机械手抓取点位，然后将获得的点云数据与工件点云模板匹配，从而找到目标工件 并计算出两者间的转换关系;8)将点云模板中设置的机械手抓取点位置通过步骤(7)计算 出的转换关系换算成当前坐标，并将该坐标转换到机械手坐标系下的坐标，将坐标传递给 机械手，若坐标值在机械手的运动范围之内，则机械手执行抓取工件和摆放工件的动作，然 后相机开始拍摄图像，进入先一个拍摄抓取循环。
[0005] 本发明的目的及解决其技术问题还可采用以下技术措施进一步实现。
[0006] 前述的根据权利要求1所述的控制方法，其特征在于，其中所述的步骤1中，通过编 码后的圆形标志点标定相机，示教机械手时通过示教编码后的圆形标志点的位置完成对机 械手的示教，实现相机坐标系和机械手坐标系的转换。
[0007] 前述的控制方法，其中所述的步骤3中，提取激光线条时，采用激光线条光照无关 提取方法，即结合灰度阈值和图片每行像素最值的方法实现激光线条光照无关的初步提 取。
[0008] 前述的控制方法，其中所述的步骤3中，在激光线条提取过程中，采用激光线条列 像素偏差限制的方法剔除因工件表面反射光线引起的激光线散乱。
[0009] 前述的控制方法，其中所述的步骤4中，采用灰度重心的方法精确的定位激光线的 线条中心，从而实现激光线条的亚像素的定位。
[0010]前述的控制方法，其中所述的步骤6中，通过三角测量原理计算激光线上点的三维 空间坐标，具体计算过程为：
[0011]相机拍摄图像后，相机上的一个像点与相机镜头中心确定一条直线，像点与镜头 中心这两点的坐标都在相机坐标系下，这两点组成的空间直线方程为：
[0012]
[0013]
[0014]其中，X，Y，Z为目标点的三维坐标;X，y，f为像点坐标;Xs，Ys，Zs是镜头中心坐标； ai、bi、Ci为坐标系变换参数；
[0015] 选取两张图像上的一对同名点，代入上述直线方程可得4个方程式组成的方程组， 从而得到X，Y，Z的值，即算出激光线上点的三维空间坐标。
[0016] 前述的控制方法，其中所述的步骤7具体包括以下步骤：1)启动双相机系统，扫描 工件点云数据，然后在界面删除错误的点云数据，即得到完成的工件点云模型；2)将步骤6 得到的点云数据与所述工件点云模型依据工件表面数据的曲率信息进行点云匹配，得到目 标工件;3)计算出点云数据与工件点云模型的转换关系。
[0017] 本发明与现有技术相比具有明显的优点和有益效果。借由上述技术方案，本发明 基于双目立体视觉的机械手抓取控制系统的控制方法可达到相当的技术进步性及实用性， 并具有产业上的广泛利用价值，其至少具有下列优点：1)本系统通过双目视觉和线激光扫 描结合的方式获得工件点云数据，并通过点云建模和匹配，得到工件抓取位置，进而指引机 械手抓取和摆放工件，本系统实现了机械手抓取摆放工件的自动化，提高了企业生产效率， 增加企业竞争力。
[0018] 2)本系统通过与机械手相结合，仅需要操控人员在电脑端设定工件抓取和摆放场 景，便可实现现场环境内的无人化操作，保证了操作人员的安全性。
[0019] 3)本系统能直观的显示点云扫描过程，以及工件扫描结果。便于操作人员了解系 统的运行状况，使操作人员实时掌握系统的工作状态，提高了系统的可维护性。
【附图说明】
[0020] 图1为本发明系统的硬件构成图；
[0021]图2为本发明标志点编码图；
[0022]图3为本发明点云模板图。
[0023]图4为本发明系统的工作流程图；
[0024]图5本发明三角测量原理图。
[0025] 【主要元件符号说明】
[0026] 01-xyz:相机坐标系
[0027] 02-xyz:相机坐标系
[0028] Pl:相机坐标中的点 [0029] P2:相机坐标中的点
[0030] SI:相机镜头中心位置 [0031] S2:相机镜头中心位置
[0032] W:真实空间中的点
【具体实施方式】
[0033] 为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合 附图及较佳实施例，对依据本发明提出的一种基于双目立体视觉的机械手抓取控制系统的 控制方法其具体方法、步骤及其功效，详细说明如后。
[0034] 请参阅图1-5,本发明一种基于双目立体视觉的机械手抓取控制系统的控制方法， 包括以下步骤：
[0035] 1)标定相机的内参数和外参数，然后通过示教机械手，实现相机坐标系和机械手 坐标系的转换。在本发明实施中，通过编码后的圆形标志点标定相机，示教机械手时通过对 通过编码后的圆形标志点位置的示教完成对机械手的示教，实现相机坐标系和机械手坐标 系的转换。
[0036] 本发明实施例将8个圆形点组成一个圆形编码点组，每一组编码点位置关系均不 相同，且被赋予一个唯一的编号。图2为编码点组织图，使用过程中，将编码点按照编码点组 裁剪开，并粘贴到标定板上。利用编码点来标定相机的内参数和外参数，以及实现相机坐标 系和机械手坐标系的转换。本方法具有高的标定精度，且能适应多种图像形变，适应多种图 像形变是因为编码点提取时同时考虑了圆形点的形状和亮度信息，而高的标定精度是由于 圆形点圆心的提取以圆的外边界作为支撑域，这比方格形标定板采用角点提取的方法具有 更高的准确性。同时，发明中的标定方法同时矫正了相机镜头切向畸变和径向畸变，进一步 保证了测量精度。
[0037] 2)线激光做弧面扫描运动，同时位于线激光两侧的相机分别从左右两个视角拍摄 工作。本发明机械手抓取控制系统的硬件包括两个相机和一个位于两相机之间的线激光 器，其构成图请参阅图1。
[0038] 3)对双相机拍摄的两幅图像分别提取激光线。提取投射到工件上的激光线条时， 采用激光线条光照无关提取方法，即结合灰度阈值和图片每行像素最值的方法实现激光线 条光照无关的初步提取，该方法保证了在环境光照下激光线条的稳定提取，实现了激光线 条提取对光照变化的弱敏感性。
[0039]在激光线条提取过程中，需要将激光线离群点移除，本发明采用激光线条列像素 偏差限制的方法剔除因工件表面反射光线引起的激光线散乱，该方法有效剔除了非激光线 上的离群点，为后续激光同名点的匹配提供准确的种点。
[0040] 4)利用亚像素算法精确定位激光线的位置。本发明对于激光线上点的亚像素的定 位，采用灰度重心的方法精确的定位激光线的线条中心，从而实现激光线条的亚像素的定 位。该方法的应用提高了算法的定位精度。
[0041 ] 5)对两相机图片中提取到的激光线进行同名点匹配。
[0042] 6)通过三角测量原理计算激光线上每个点的三维空间坐标，完成对场景内工件的 扫描，获得相机视野内的点云数据。
[0043]请参阅图2,01-xyz与02-xyz分别是两相机空间坐标系；P1，P2是一对儿同名点； SI，S2是相机镜头的中心位置;W是真实空间中的一个点。Pl，Sl确定了空间中一条直线，P2， S2确定了另一条直线，它们在空间中相较于W。
[0044] 空间直线:相机拍摄图像后，相机CCD上的一个像点与相机镜头中心可以确定一条 直线。像点与镜头中心这两点的坐标都在相机坐标系下，这两点组成的空间直线方程为：
[0045]
[0046]
[0047] 其中，X，Y，Z为目标点的三维坐标，是未知数；
[0048] x，y，f为像点坐标，是已知量(通过分析图像得到）；
[0049] Xs，Ys，Zs是镜头中心坐标，为已知量(在相机标定过程得到）；
[0050] ai 为坐标系变换参数，为已知量(在相机标定过程得到）；
[0051 ] -张图像可以列一个直线方程，两张图像就可以列两个直线方程，共4个方程组， 而式中的未知数只有三个(三维点坐标X，Y，Z)，因此，可算出三个未知数。
[0052] 7)建立工件点云模板，选取机械手抓取点位，然后将获得的点云数据与工件点云 模板匹配，从而找到目标工件并计算出两者间的转换关系。
[0053]不同于已有系统采用cad数据导入的方法，本发明采用工件点云自建模的方式设 定机械手抓取工件的位置。建模过程如下：启动双相机系统，扫描工件点云数据，然后在界 面删除错误的点云数据，即得到完成的工件点云模型，然后从中选取机械手抓取点位，点云 模板图以及设定的机械手抓取工件位置请参阅图3,该图显示的是3D点云数据的一个视角， 在开发的系统界面可以3D查看。
[0054]建立工件的点云模板后，就可以进行后续工件的扫描和机械手的控制。通过双目 相机激光系统扫面工件获得工件的3D数据，然后与点云模板自动匹配。本发明采用的匹配 方法是依据工件表面数据的曲率信息进行点云匹配，进而将模板点云中设定的工件抓取位 置转换到当前工件坐标系下，指引机械手抓取和摆放工件。采用工件表面点云数据的曲率 信息作为匹配项是因为工件表面的曲率信息是一个不变特征，只要工件表面不发生形变， 工件的曲率信息也不会发生改变。不同于已有的点、线、曲面匹配方法，本发明采用工件表 面数据曲率信息匹配工件，具有不依赖于工件形状特征的优势，即使工件部分特征发生改 变，只要工件部分曲率能够与模板工件相匹配，就能准确的得到变换后的工件抓取位置。最 后根据点云匹配计算出点云数据与工件点云模型的转换关系。
[0055] 8)将点云模板中设置的机械手抓取点位置通过步骤(7)计算出的转换关系换算成 当前坐标，并将该坐标转换到机械手坐标系下的坐标，将坐标传递给机械手，若坐标值在机 械手的运动范围之内，则机械手执行抓取工件和摆放工件的动作，然后相机开始拍摄图像， 进入先一个拍摄抓取循环。
[0056]以上所述，仅是本发明的较佳实施例而已，并非对本发明做任何形式上的限制，虽 然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人 员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容做出些许更动或修饰 为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本发明的技术实质 对以上实施例所做的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。
【主权项】
1. 一种基于双目立体视觉的机械手抓取控制系统的控制方法，其特征在于，包括以下 步骤： 1) 标定相机的内参数和外参数，然后通过示教机械手，实现相机坐标系和机械手坐标 系的转换； 2) 线激光做弧面扫描运动，同时位于线激光两侧的相机分别从左右两个视角拍摄图 像； 3) 对双相机拍摄的两幅图像分别提取激光线； 4) 利用亚像素算法精确定位激光线的位置； 5) 对两相机图片中提取到的激光线进行同名点匹配； 6) 通过三角测量原理计算激光线上每个点的三维空间坐标，完成对场景内工件的扫 描，获得相机视野内的点云数据； 7) 建立工件点云模板，选取机械手抓取点位，然后将获得的点云数据与工件点云模板 匹配，从而找到目标工件并计算出两者间的转换关系； 8) 将点云模板中设置的机械手抓取点位置通过步骤(7)计算出的转换关系换算成当前 坐标，并将该坐标转换到机械手坐标系下的坐标，将坐标传递给机械手，若坐标值在机械手 的运动范围之内，则机械手执行抓取工件和摆放工件的动作，然后相机开始拍摄图像，进入 下一个拍摄抓取循环。2. 根据权利要求1所述的控制方法，其特征在于，其中所述的步骤1中，通过编码后的圆 形标志点标定相机，示教机械手时通过示教该编码后圆形标志点位置完成对机械手的示 教，实现相机坐标系和机械手坐标系的转换。3. 根据权利要求1所述的控制方法，其特征在于，其中所述的步骤3中，提取激光线条 时，采用激光线条光照无关提取方法，即结合灰度阈值和图片每行像素最值的方法实现激 光线条光照无关的初步提取。4. 根据权利要求1所述的控制方法，其特征在于，其中所述的步骤3中，在激光线条提取 过程中，采用激光线条列像素偏差限制的方法剔除因工件表面反射光线引起的激光线散 乱。5. 根据权利要求1所述的控制方法，其特征在于，其中所述的步骤4中，采用灰度重心的 方法精确的定位激光线的线条中心，从而实现激光线条的亚像素的定位。6. 根据权利要求1所述的控制方法，其特征在于，其中所述的步骤6中，通过三角测量原 理计算激光线上点的三维空间坐标，具体计算过程为:相机拍摄图像后，相机上的一个像点 与相机镜头中心确定一条直线，像点与镜头中心这两点的坐标都在相机坐标系下，这两点 组成的空间直线方程为：其中，X，Y，Z为目标点的三维坐标;x，y，f为像点坐标;Xs，Ys，Zs是镜头中心坐标;ai、bi、 Ci为坐标系变换参数； 选取两张图像上的一对同名点，代入上述直线方程可得4个方程式组成的方程组，从而 得到X，Y，Z的值，即算出激光线上点的三维空间坐标。7.根据权利要求1所述的控制方法，其特征在于，其中所述的步骤7具体包括以下步骤： 1) 启动双相机系统，扫描工件点云数据，然后在界面删除错误的点云数据，即得到完成 的工件点云模型； 2) 将步骤6得到的点云数据与所述工件点云模型依据工件表面数据的曲率信息进行点 云匹配，得到目标工件； 3) 计算出点云数据与工件点云模型的转换关系。
【文档编号】B25J9/16GK106041937SQ201610676653
【公开日】2016年10月26日
【申请日】2016年8月16日
【发明人】崔庆, 王志飞, 张卓辉, 向宇, 李晓亮, 夏璐璐, 高梓翔
【申请人】河南埃尔森智能科技有限公司