一种基于双目视觉的运动目标跟踪定位与抓取系统的制作方法

文档序号:11478210阅读:599来源:国知局

本实用新型属于目标抓取设备技术领域,具体涉及一种基于双目视觉的运动目标跟踪定位与抓取系统。



背景技术:

在生产线中,对于流水线上的工件,机器人存在着对其进行操作的需求。传统工业生产线上是通过机械手设定固定位姿对运动目标工件进行抓取,实现对运动目标工件的抽样检测。在实际生产过程中,由于工件的外形、工件所处的位置不确定等因素,导致在利用传统机器人进行目标工件抓取时出现抓取失败的情况。为了解决这一问题,采用单目相机提取视觉信息进行目标工件的抓取,这种方法省时、简单;但是当运动目标是未知的情况时,深度视觉信息的丢失限制了伺服操作和复杂的控制设计等,还是存在不能精确快速的对目标工件的跟踪和抓取。



技术实现要素:

本实用新型的目的是提供一种基于双目视觉的运动目标跟踪定位与抓取系统,解决了现有生产线上目标工件不能够快速定位和抓取的问题。

本实用新型一种基于双目视觉的运动目标跟踪定位与抓取系统所采用的技术方案是,包括工作台,工作台两端分别设置有机械臂和光源,机械臂通过导线依次连接有电控柜、显示屏、工控机和电源,工控机通过导线连接有摄像机,摄像机位于工作台的顶端,光源通过导线连接电源。

本实用新型的特征还在于,

机械臂为四自由度机械臂,且机械臂的自由度与电控柜内的伺服端子数量相同。

工控机内还设置有图像采集卡和运动控制卡。

摄像机与机械臂、光源位于工作台同侧,且摄像机为双目摄像机。

图像采集卡为Matrox图像采集卡。

运动控制卡为GT-400-SG运动控制卡。

本实用新型的有益效果是:本实用新型一种基于双目视觉的运动目标跟踪定位与抓取系统,通过采用使用摄像机和图像采集卡的结合,对运动目标工件位置进行实时跟踪定位,然后通过工控机对位置信息分析后将目标工件位置信息传送给运动控制卡,运动控制卡通过给伺服端子发出指令信息使机械臂做出动作、同时快速抓取工件,结构简单、克服了现有生产线上目标工件不能够快速定位和抓取的问题,有很好的实用价值。

附图说明

图1是本实用新型一种基于双目视觉的运动目标跟踪定位与抓取系统的结构示意图。

图中,1.工作台,2.机械臂,3.电控柜,4.工控机,5.光源,6.显示屏,7.电源,8.摄像机,9.导线,10.图像采集卡,11.运动控制卡,12.伺服端子。

具体实施方式

下面结合附图和具体实施方式对本实用新型进行详细说明。

本实用新型一种基于双目视觉的运动目标跟踪定位与抓取系统,如图1所示,包括工作台1,工作台1上有运动的目标工件,工作台1两端分别设置有机械臂2和光源5,机械臂2通过导线9依次连接有电控柜3、显示屏6、工控机4和电源7,工控机4通过导线9连接有摄像机8,摄像机8位于工作台1的顶端,光源5通过导线9连接电源7,光源5为普通的LED灯。

机械臂2为四自由度机械臂,且机械臂2的自由度与电控柜3内的伺服端子12数量相同。

工控机4内还设置有图像采集卡10和运动控制卡11。图像采集卡10与摄像机8配合工作,将工件位置信息传送给工控机4;工控机4通过计算将结果显示在显示屏6上,同时将指令信息发送至运动控制卡11,运动控制卡11接收到工控机4的信息后,通过伺服端子12使机械臂2做出抓取的动作。

摄像机8与机械臂2、光源5位于工作台10同侧,且摄像机8为双目摄像机。

图像采集卡10为Matrox图像采集卡。

运动控制卡11为GT-400-SG运动控制卡。

本实用新型的使用过程:

步骤1,接通电源,打开光源5和摄像机8,对工作台1上方的摄像机8进行标定,标定时采用经典张正友标定方法,对于摄像机8采集的图像,选取3个标定位图像、每个标定位图像分别取6个点,即可求取摄像机8的内外参数;

步骤2,通过摄像机8采集工作台1上的运动目标工件的图像信号,然后实时传输给图像采集卡10、工控机4;

步骤3,工控机4实时获取步骤2中传输过来的运动目标工件图像信息,利用背景差分法进行运动目标工件检测;

步骤4,根据步骤3的检测结果提取目标工件轮廓,工控机4利用Kalman滤波预测Camshift搜索窗口的初始位置,然后利用Camshift算法计算目标工件的位置和大小,再以此位置作为观测值更新Kalman滤波信息,当目标发生大面积遮挡时,Camshift算法得出的目标位置和大小不准确,可使用Kalman滤波信息预测值作为观测值更新Kalman滤波信息,实现对运动目标的跟踪定位;

步骤5,根据步骤1中摄像机8的标定信息、步骤4中的对运动目标工件的跟踪位置信息,确定运动目标的实际抓取位置,具体为:根据摄像机8标定的结果,获得摄像机8图像像素位置与场景点位置之间的关系,通过立体匹配获得图像的深度信息,结合背景差分法与形态学检测到的轮廓信息,确定运动目标的三维信息,完成对目标的定位,确定抓取的位置;将此位置传给运动控制卡11,运动控制卡11通过运动学反解,求取机械臂2各个关节的运动参数,同时发出指令信息给伺服端子12使机械臂2完成抓取动作。

本实用新型通过采用使用摄像机8和图像采集卡10的结合,对运动目标工件位置进行实时跟踪定位,然后通过工控机4对位置信息分析后将目标工件位置信息传送给运动控制卡11,运动控制卡11通过给伺服端子12发出指令信息使机械臂2做出动作、同时快速抓取工件,结构简单、克服了现有生产线上目标工件不能够快速定位和抓取的问题,有很好的实用价值。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1