一种基于机器视觉的智能示教系统的制作方法

本实用新型涉及工业机器人智能操作技术领域，尤其涉及一种基于机器视觉的智能示教系统。

背景技术：

现有示教模式包括：直接示教、离线示教和虚拟示教。目前在国内外生产中应用的机器人大多为示教再现型，即在机器人现场由操作者将机器人的终端移动至目标位置，并将此位置对应的机器人关节角度信息记录进存储器，然后当要求复现这些动作时，顺序控制器从内存读出相应的位置，机器人就可重复示教时的轨迹和操作，由于其面向作业环境，机器人在线示教编程简单方便，适用于大批量生产，所完成的任务简单单一此即所谓的直接示教，就是指由人直接搬动机器人的手臂对机器人进行示教，如示教盒示教或操作杆示教等。在这种示教中，为了示教方便以及获取信息的快捷而准确，操作者可以选择在不同坐标系下示教，例如，可以选择在关节坐标系(Joint Coordinates)、直角坐标系(Rectangular Co2ordinates)以及工具坐标系(Tool Coordinates)或用户坐标系(Us2er Coordinates)下进行示教。这需要具备一定工程能力的人员才可以操作，且切换模式控制时耗费时间长。总结直接示教编程的缺点为：1、占用机器人的作业时间；2、很难规划复杂的运动轨迹以及准确的直线运动；3、编程质量取决于编程员的经验，且编程员处于机器人工作空间的危险环境中；4、机器人系统是一个相对独立的单元，难与其它系统或生产过程实现无缝集成。

机器人离线编程是机器人编程语言的拓广，它利用计算机图形学，建立机器人及其工作环境的几何模型，然后对机器人所完成的任务进行离线规划和编程，并对编程的结果进行动态图形仿真，最后将满足要求的编程结果传给机器人控制柜，使机器人完成指定的任务；离线示教时，操作者不对实际作业的机器人直接进行示教，而是脱离实际作业环境生成示教数据，间接地对机器人进行示教。在离线示教法(离线编程)中，通过使用计算机内存储的机器人模型(CAD模型)，不要求机器人实际产生运动，便能在示教结果的基础上对机器人的运动进行仿真，从而确定示教内容是否恰当及机器人是否按人们期望的方式运动。此种示教模式对于操作者的计算机水平有一定要求，特别是对计算机图形学有一定研究，且要能有充足的经验可以保证实际运行时误差小，在作业描述上不能简单直接，对使用者来说要求较高，所需的能补偿机器人系统误差的功能、坐标系数据仍难以得到。

虚拟示教编程充分利用了上述两种示教方法的优点，也就是借助于虚拟现实系统中的人机交互装置(例如：数据手套、游戏操纵杆、力觉笔杆等)操作计算机屏幕上的虚拟机器人动作，利用应用程序界面记录示教点位姿、动作指令并生成作业文件，最后下载到机器人控制器后，完成机器人的示教。机器人虚拟示教编程是新一代机器人编程技术的一个很有应用潜力的发展方向。

技术实现要素：

本实用新型要解决的技术问题在于，提供一种基于机器视觉的智能示教系统，运用了虚拟示教控制技术，不需要额外的示教装置，即可直接由人体控制机械臂的运动。

为解决上述技术问题，本实用新型提供如下技术方案：一种基于机器视觉的智能示教系统，包括体感设备、机械臂控制设备、双目视觉设备以及PC客户端，所述体感设备、机械臂控制设备和双目视觉设备均与所述PC客户端连接，其中

所述体感设备用于检测操作者的手部动作，并将手部动作信息反馈至所述PC客户端处理；

所述PC客户端处理用于根据手部动作信息对机械臂控制设备作出相关操作指令；

所述机械臂控制设备用于操作机械臂的运动；

所述双目视觉设备用于跟踪机械臂的运动轨迹，以及为后期机械臂获取运动指令后监测其运动状态。

进一步地，所述体感设备包括立体摄像机和红外LED，所述立体摄像机和红外LED结合使用用于检测操作者的手部动作及位置。

进一步地，所述立体摄像机的数量为2，所述红外LED的数量为3。

进一步地，所述体感设备采用Leap motion体感控制器。

进一步地，所述双目视觉设备包括双目摄像头和图像采集卡，所述双目摄像头用于采集机械设备的动作及位置图像信息并反馈至所述图像采集卡，所述图像采集卡用于将动作及位置图像信息发送至所述PC客户端处理。

采用上述技术方案后，本实用新型至少具有如下有益效果：

1、本实用新型基于虚拟示教控制技术，不需要额外的示教装置，完全由手部控制，节省材料费用，并且控制过程简单快速；

2、本实用新型对于操作者的知识水平大大降低，可充分利用人才资源对控制方式进行深入研究，获取更大的利益；

3、本实用新型工作空间与操作空间分离，减少事故发生，同时又能保证在远程控制情况下，精确度没有降低，达到最佳效果。

附图说明

图1为本实用新型一种基于机器视觉的智能示教系统的结构框图；

图2为本实用新型一种基于机器视觉的智能示教系统的双目视觉设备的控制流程图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本申请作进一步详细说明。

如图1所示，本实用新型的目的是为了克服直接示教与离线示教产生的缺点而提供的一种基于机器视觉的智能示教系统，包括体感设备、机械臂控制设备、双目视觉设备以及PC客户端，体感设备、机械臂控制设备和双目视觉设备均与所述PC客户端连接。

机械臂控制设备包括：

动力系统：伺服驱动电机及其驱动器；传动系统：各轴减速器及同步传动装置(如同步带)；执行系统：对作业对象进行检测、度量等以进行生产或达到其它预定要求的装置(如编码器)；支撑系统：包括基础件(如床身、底座、立柱等)和支承构件(如轴、轴承、支架箱体等)，用于安装和支承动力系统、传动系统、执行系统、操纵控制系统等；操纵控制系统：为了使动力系统，传动系统、执行系统彼此协调运行，并准确可靠地完成整机功能的装置(如控制器、I/O转接板、机器人专用端子板、安全模块等)。

双目视觉系统包括：拥有成像镜头的双目摄像头；用于采集双目摄像头图像的图像采集卡；用于处理图像采集卡采集的图像的PC端图像处理软件，PC端图像处理软件也属于PC客户端的一部分。

双目摄像头基于立体视觉原理与仿生学原理，通过标定后的双摄像头得到同步曝光图像，然后计算获取的二维图像像素点的第三维深度信息，即可获取三维场景距离信息，再运用双目视觉的三维重构及空间三维立体跟踪，对世界坐标系和图像坐标系进行标定，动态跟踪目标物体的运动轨迹，以及为后期机械臂获取运动指令后监测其运动状态。

图像采集卡是将双目摄像头同步曝光得到的图像信息、二维图像像素点的第三维深度信息、运动物体动态跟踪轨迹信息、机械臂坐标变换结果这些信息汇集在一起，通过机械臂的控制器读取后传回PC端图像处理软件进行综合处理。

PC端图像处理软件基于opencv和opengl库分别对传回信息进行处理，得到机械臂运动中的三维重建或运动物体坐标变动情况、工作目标位置及加工区域的图像识别、完成目标机械臂的运动方式及最优路径规划。

体感设备采用Leap motion体感控制器，其包括：所述2个立体摄像机和3个红外LED，用于检测手部动作及位置，通过设备处理完成后得出手部动态变化及位置变化的信息，再将其传输到PC客户端监测Leap motion体感控制器的软件，并将其转化成点在空间坐标系的位置坐标。

本实用新型所述基于机器视觉的智能示教系统构成为：

机械臂控制设备负责最终执行命令；双目视觉设备负责检测机械臂控制设备的运动情况、目标运动情况和作业对象的同步曝光图像，经由图像处理系统处理完毕后反馈出机械臂的运动规划路径，同时输送数据至机械臂以完成目标动作；Leap motion体感控制器负责在操作者示教时，检测操作者的手部动作并记录手部坐标的变化，反馈给PC端控制软件，实时显示三维模型手臂的运动状态。

如图2所示，本实用新型的双目视觉设备的控制流程图，过程包括：双目摄像机获取机械臂各关节位置坐标的变化、目标物体的静态或动态图像信息；图像采集卡将双目摄像头同步曝光的图像信息传输到PC端图像处理软件进行处理；PC端图像处理软件负责将接受到的图像信息进行处理并实时监测机械臂的运动状态。

如图1所示，本实用新型智能系统的使用步骤流程为：操作者在示教时提供手的位置坐标变化，模拟机械臂的运动，这些信息则发送至Leap motion体感控制器；Leap motion体感控制器将人手部动作捕捉后，处理为一系列点的位置坐标，并将这些信息传递给PC端控制软件；PC端控制软件在Leap motion将手部动作传换成系列点坐标后，控制软件对这些信息进行处理，自动规划最优路径并仿真机械臂的运动，同时可控制机械臂一起运动；双目视觉设备对机械臂及作业对象进行视觉监测，实现监测数据传送至PC端处理。

尽管已经示出和描述了本实用新型的实施例，对于本领域的普通技术人员而言，可以理解的是，在不脱离本实用新型的原理和精神的情况下可以对这些实施例进行多种等效的变化、修改、替换和变型，本实用新型的范围由所附权利要求及其等同范围限定。