一种具有视觉系统的工业机器人及其控制方法与流程

本发明涉及机器人领域，特别涉及一种具有视觉系统的工业机器人及其控制方法。

背景技术：

搬运机器人作为最早应用于生产的两种工业机器人之一，在工业生产自动化中，一直扮演着非常重要角色。并且在现有的工业机器人已装机总数中，搬运机器人也占着较大的比例。伴随着工业机器人应用范围的不断扩展，搬运机器人呈现向食品饮料、家用电器、半导体晶圆、液晶面板等多元行业发展的趋势，成为工业机器人领域发展的一个新增长点。

目前生产线上应用的搬运工业机器人大多是通过示教再现或预编程来实现机器人的操作，这样物体的初始位姿和终止位姿都是严格限定的，机器人只是完成点到点的任务动作，外部参数变化的物体发热操作则是无能为力。这样一来，生产线的柔性就差，满足不了柔性生产系统对物料输送和搬运的要求。在这种情况下，为保证机器人顺利高效的完成工作任务和减少生产准备时间，引入机器视觉技术来实现对工作目标物体的识别和定位就显得很有必要。

在现代自动化生产的过程中，计算机视觉技术正成为一种保证产品质量和提高生产效率的关键技术手段，如实现智能机器人的控制、对机械零件的自动加工和检测和柔性生产线的自动监控等。本发明所作的成果就是对于机器人控制系统进行视觉判断和控制设计，将计算机视觉技术应用于搬运工业机器人的工作领域，利用机器视觉技术获取工件及其周围环境的信息，从中识别出所要的操作的目标物体，并能做出决策来引导工业机器人完成对目标物体的抓取、放置等操作。这不但提高了产品的质量和生产效率，同时对增强工业机器人对环境的适应能力以及拓展机器人应用范围都具有十分重要的意义。

技术实现要素：

本发明的目的在于针对上述存在的问题和不足，提供一种具有视觉系统的工业机器人及其控制方法，以解决上述技术问题。

为实现上述目的本发明采用以下技术方案：

一种具有视觉系统的工业机器人，包括机器人本体、机器人视觉系统、机器人工控机以及控制柜；控制柜内安装了机器人的五个伺服驱动器，变压器，继电器和i/o端子板，机器人工控机采用控制器型号为hnc-210b，工机器人控机为外部提供接口功能，将五个交流伺服电机连接好的五个交流伺服驱动单元分别通过进给驱动装置的接口xs30、xs31、xs34、xs35和xs36接入到工控机上，机器人各个关节上的行程开关、限位开关等系统外部的开关量则通过接到电柜里的i/o端子板上后，再经过一一对应从端子板引线通过xs10这个开关量输入接口接到工控系统中；

该工业机器人的控制系统是由两个子控制系统组成的，下位机为工业机器人控制系统，用于控制机器人，上位机为机器视觉控制系统，用于控制ccd摄像机和图像的处理；

该机器人视觉系统为基于单目视觉的eye-to-hand系统，将ccd摄像机安装在机器人工作台的正上方并安装在固定墙上的悬架上，通过ccd摄像机的usb2.0接口与pc机相联接，在pc机上安装好artcam130miccd摄像机的驱动程序；

机器人本体结构上主要由底座、腰、大臂、小臂和手腕五个部件组成；各部件之间的连接部分被称为机器人的关节或轴；底座与腰之间为关节1，腰与大臂之间为关节2，大臂与小臂之间为关节3，小臂和手腕之间为关节4，手腕部件还包含关节5，关节1到关节3为定位关节，手腕的位置主要由这三个关节决定；关节4和关节5为定向关节，用于改变手腕姿态，机器人每个关节均由伺服电机驱动，以实现机器人的整体运动。

机器人视觉系统包括视频采集设备，视频采集设备需要给其提供5v的直流电源，功耗为2瓦，图像尺寸大小可调，最大图像分辨率为1280×1024像素，并且提供bnc插头和usb2.0接口，当usb2.0接口与外部pc机连接时，就在给ccd摄像机提供外部电源的同时又能完成视频的采集功能，从usb2.0接口输出的信号是数字信号计算机视觉软件就能通过调用安装的摄像机驱动程序中特定的api接口函数来控制电子快门实现ccd摄像机图像的采集控制操作；

机器人视觉系统包括图像获取模块、图像处理模块、图像理解模块、图像存储模块，摄像机输出的信号是数字信号，直接由计算机处理，图像处理部分主要实现了图像的灰度化、图像的二值化、图像轮廓的提取以及中心点的生成功能模块。

伺服驱动器采用的是华中数控研发的型号为hsv-16的全数字交流伺服驱动单元。

具有视觉系统的工业机器人的控制方法:利用摄像机来获取目标物体的位置信息，经过运算变换转化成机器人手爪的抓取信息，然后再利用工业机器人运动学的逆解算法计算出一组机械臂各个关节的转角，再通过控制机器人各个关节的转动，使机器人的手爪以特定的姿态到达目标物体的位置并实现对目标物体的准确抓取。

本发明的是利用视觉传感器反馈的位姿信息，使得工业机器人的末端执行器即手爪，能够自动对准目标物体，并对目标物体进行抓取。

附图说明

图1是本发明工控机为外部提供接口示意图。

图2是本发明通过操作控制面板上设定的特定按键实现视觉控制流程图。

图3是本发明系统原理流程图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。

如图所示，一种具有视觉系统的工业机器人，包括机器人本体、机器人视觉系统、机器人工控机以及控制柜；控制柜内安装了机器人的五个伺服驱动器，变压器，继电器和i/o端子板，伺服驱动器采用的是华中数控研发的型号为hsv-16的全数字交流伺服驱动单元，工机器人控机为外部提供接口功能，将五个交流伺服电机连接好的五个交流伺服驱动单元分别通过进给驱动装置的接口xs30、xs31、xs34、xs35和xs36接入到工控机上，机器人各个关节上的行程开关、限位开关等系统外部的开关量则通过接到电柜里的i/o端子板上后，再经过一一对应从端子板引线通过xs10这个开关量输入接口接到工控系统中；

该工业机器人的控制系统是由两个子控制系统组成的，下位机为工业机器人控制系统，用于控制机器人，上位机为机器视觉控制系统，用于控制ccd摄像机和图像的处理；

该机器人视觉系统为基于单目视觉的eye-to-hand系统，将ccd摄像机安装在机器人工作台的正上方并安装在固定墙上的悬架上，通过ccd摄像机的usb2.0接口与pc机相联接，在pc机上安装好artcam130miccd摄像机的驱动程序；

机器人本体结构上主要由底座、腰、大臂、小臂和手腕五个部件组成；各部件之间的连接部分被称为机器人的关节或轴；底座与腰之间为关节1，腰与大臂之间为关节2，大臂与小臂之间为关节3，小臂和手腕之间为关节4，手腕部件还包含关节5，关节1到关节3为定位关节，手腕的位置主要由这三个关节决定；关节4和关节5为定向关节，用于改变手腕姿态，机器人每个关节均由伺服电机驱动，以实现机器人的整体运动。

机器人视觉系统包括视频采集设备，视频采集设备需要给其提供5v的直流电源，功耗为2瓦，图像尺寸大小可调，最大图像分辨率为1280×1024像素，并且提供bnc插头和usb2.0接口，当usb2.0接口与外部pc机连接时，就在给ccd摄像机提供外部电源的同时又能完成视频的采集功能，从usb2.0接口输出的信号是数字信号计算机视觉软件就能通过调用安装的摄像机驱动程序中特定的api接口函数来控制电子快门实现ccd摄像机图像的采集控制操作；

机器人视觉系统包括图像获取模块、图像处理模块、图像理解模块、图像存储模块，摄像机输出的信号是数字信号，直接由计算机处理，而不需要像传统摄像机那样需要通过图像采集卡对其进行a/d转换后形成数字图像，才能被计算机处理。图像处理部分主要实现了图像的灰度化、图像的二值化、图像轮廓的提取以及中心点的生成功能模块。

图像的获取：

ccd摄像机通过usb2.0接口输出到计算机中的是数字信号，并且可以通过计算机来完成采集视频中的单帧图像(数字图像)，数字图像在计算机中是以二维数组m×n的形式存储起来的，m表示图像在水平方向上的像素点个数，n表示图像在垂直方向上的像素点个数。m×n也就是该单帧图像像素的大小。

视觉控制软件是通过调用安装在计算机中的相机驱动程序中的cacammi130sdk::capture()这个接口函数，来完成摄像机单帧图像的采集。

图像的灰度化：

图像的灰度化就是将彩色图像转化为黑白图像。因为转化为黑白图像后，就会更容易对所采集的数字图像进行后续的处理和运算，所以在视觉图像处理中经常会把采集到的彩色图像转化成灰度图像。

图像的二值化：

在实现了图像的灰度化操作之后，我们还要对图像进行二值化操作。图像的二值化就是在显示图像时，图像只显示有两种颜色，通常都是黑色和白色。图像二值化的方法有很多种，较常用到的是阈值判别法。阈值判别法就是通过区分灰度图像中各个像素点亮度值的大小来判定该像素点二值化后是白色或是黑色。当我们使用阈值判别法来对灰度化后的图像进行二值化时操作时，就需要给定一个具体的判别数值，当灰度图像中的像素点亮度值小于这个设定值时，就把像素点设置成为黑色，而当图像中的像素点亮度值大于这个设定值时，就会把像素点设置成为白色。

阈值的选取方法分为自动和手动阈值选取法。在自动阈值选取法中，首先是对灰度图像进行扫描，再根据得到的图像中点的亮度情况，自动地为其设定了一个阈值。而手动阈值得设定比较简单，就是通过人为的设定一个阈值，但这就需要我们在设定之前对整个图像中各部分的亮度有大致地了解。在本实验中，工件为白色，工作台是是深灰色，色差很大，所以采用手动选取阈值的方法。

图像轮廓的提取和中心点的生成，实现了图像的二值化后，就要对图像进行分析运算，进行边缘的检测、轮廓的提取以及图像轮廓中心点的提取。在opencv中通过调用接口函数intcvfindcontours()来实现对轮廓的提取，通过调用cvrectcvboundingrect(cvarr*points,intupdate＝0)来实现对中心点的提取。

具有视觉系统的工业机器人的控制方法:利用摄像机来获取目标物体的位置信息，经过运算变换转化成机器人手爪的抓取信息，然后再利用工业机器人运动学的逆解算法计算出一组机械臂各个关节的转角，再通过控制机器人各个关节的转动，使机器人的手爪以特定的姿态到达目标物体的位置并实现对目标物体的准确抓取。

本发明采用如下两种方法来实现机器人的视觉控制：

(1)通过操作控制面板上设定的特定按键实现视觉控制。

首先我们选择一个操作面板上的备用按键，在系统程序中将其定义为so_vision_ctrl，作为“视觉控制按钮”，通过按键灯的“亮”和“灭”来控制视觉控制的“开”和“关”。

系统程序中具体实现流程如下所述：

在机器人控制系统程序中定义一个变量ngovisionposi作为系统程序识别视觉控制的开关，用系统提供的接口函数isignaltbl.readbit(syso,so_vision_ctrl)来读取按键灯的亮灭。

ngovisionposi＝::isignaltbl.readbit(syso,so_vision_ctrl)；/*视觉控制信号*/；

当设定的视觉控制按键按下，扫描到变量ngovisionposi＝1时，下位机就会立即给视觉系统发送“下位机准备好”的信号，再扫描建立的通信数据接收缓存区；当接收到“上位机准备好”信号时，就发送“请求拍照指令”；上位机拍完照后就会将处理生成的目标物体位姿数据发送到程序建立的通信数据接收缓存区，系统扫描到位姿数据后就进行分析处理，进行抓取规划。再将抓取规划后生成的手爪位姿信息调用到系统程序所提供的“虚轴控制”接口函数中，实现机器人的虚轴控制，也就是运动学的逆解的实现。

(2)通过执行宏变量程序实现视觉控制。

系统定义工位的位姿信息依次为：

x＝#0,y＝#1,z＝#2,

i＝#3,j＝#4,k＝#5,

h＝#6,comand＝#8,num＝#9,

其中，num代表工位号，共设计了9个工位。comand指令则代表机器人请求发送位姿数据的需求信息，定义值为111。当系统通过接口函数interpctrl::readvariable(8)＝＝111扫描到#8＝111时，就发送指令信息，视觉系统接收后就拍照、处理生成的位姿信息并进行夹持规划后再将夹持规划的位姿信息发送到下位机。但此时针对长方体手爪的抓取规划责移到上位机中运算，将规划好的位姿等信息再发送给机器人控制系统，这样就可以通过执行上述特定的宏程序，实现机器人的对目标物体的抓取动作。

以上所述为本发明较佳实施例，对于本领域的普通技术人员而言，根据本发明的教导，在不脱离本发明的原理与精神的情况下，对实施方式所进行的改变、修改、替换和变型仍落入本发明的保护范围之内。