一种基于增强现实技术的机器人示教装置的制作方法

本实用新型涉及机器人示教领域，更具体地说，涉及一种基于增强现实技术的机器人示教装置。

背景技术：

随着《中国制造2025》的推出，机器人行业得到了飞速发展，工业机器人市场前景非常广阔，工业机器人相关领域具有极高的研究价值。增强现实是指将虚拟模型准确的注册到现实的场景之中,对虚拟物体和真实环境进行虚实融合的技术，增强现实技术可以使操作者同时感觉到真实世界和虚拟世界。机器人示教是指对机器人的作业任务进行编程的过程，其主要功能是规划机器人的作业方式和作业流程，是机器人领域的一项重要研究内容。随着工业机器人工作环境多样化和完成任务复杂化的日益加剧，需要人们设计出新的示教方式，以满足现代的生产要求。为此本实用新型提出基于增强现实技术进行机器人示教的方法。增强现实示教的示教过程是在真实环境下进行的，可以实现动态环境下的示教，并具有建模工作量小、沉浸感强、示教过程真实自然的优点。

技术实现要素：

本实用新型要解决的技术问题在于，针对现有技术的缺陷，提供一种基于增强现实技术的机器人示教系统。

本实用新型解决其技术问题所采用的技术方案是构造一种基于增强现实技术的机器人示教装置，包括设于示教台上的真实机器臂和示教器，以及用于捕捉并传输示教器运动轨迹数据的若干台摄像机；所述机器人示教装置还包括依次连接的计算机处理装置和终端显示装置；其中：

所述示教器上设有若干个标志物和设于示教器尾端的示教操作模型；其中，所述标志物，用于标识示教器，使得示教器在运动的过程中，能够被所述动作捕捉装置捕捉到；

所述计算机处理装置连接到每台摄像机上，用于接收示教器运动轨迹数据，并根据接收到的数据进一步计算出示教器的三维位姿坐标位置；其中经过处理后的数据会进一步传输到终端显示装置；

所述终端显示装置，用于制作虚拟机械臂，并根据接收到的数据，将所述虚拟机械臂与所述真实机械臂进行虚实融合，通过所述虚拟机械臂对示教器的运动轨迹进行显示。

进一步的，所述若干个标志物构成一个标志物刚体，摄像机在工作时，对所述标志物刚体质心的三维坐标点进行捕捉，根据捕捉到的数据，进一步计算得到示教器的三维位姿坐标点。

进一步的，所述标志物设为反光的球体，通过所述反光的球体来标识示教器，使得示教器在运动的过程中，能够被摄像机捕捉到。

进一步的，在计算机处理装置中采用三维渲染显示系统软件，对每台摄像机传来的数据进行处理，并将处理后的数据传输到终端显示装置中。

进一步的，终端显示装置为带有摄像头的显示终端。

进一步的，终端显示装置为平板电脑、笔记本电脑或台式计算机，通过所述终端显示装置对示教器的运动轨迹进行高亮显示。

在本实用新型所述的一种基于增强现实技术的机器人示教装置中，通过动作捕捉装置获取示教器运动轨迹，将示教器轨迹的三维位姿进行进一步计算，通过三维渲染显示系统软件生成高亮显示的全息路线，在显示终端中进行显示，进而提示操作者规划好的机器人运动轨迹。

实施本实用新型的一种基于增强现实技术的机器人示教装置，具有以下有益效果：

1、使用sift算法对虚拟机械臂进行识别和定位，然后通过opengl将虚拟机械臂和运动轨迹叠加到终端显示装置的摄像头图像下，实现增强现实显示，用于提示操作员已规划的机器人路径信息，简化机器人示教的过程；

2、通过使用摄像头对示教器从多个角度进行三维位姿捕捉，提高了捕捉精度。

附图说明

下面将结合附图及实施例对本实用新型作进一步说明，附图中：

图1是机器人示教装置的结构原理图；

图2是实现机器人示教的方法流程图；

图3是操作对象结构图；

图4是示教器结构图；

图5是多台摄像机的空间结构设置图。

具体实施方式

为了对本实用新型的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本实用新型的具体实施方式。

本实施例中，以激光焊接为例，对本实用新型公开的一种机器人示教装置进行详细说明。

请参考图1，其为机器人示教装置的结构原理图，本实用新型公开的一种基于增强现实技术的机器人示教装置，包括示教器l1、若干台摄像机l2、计算机处理装置l3、终端显示装置l4和真实机器臂l5，其中：

本实施例中，所述示教器上设有八个标志物，其中，八个标志物构成一个标志物刚体；

在示教器的尾端设有示教操作装置，由于在进行激光焊接的过程中，在真实机械臂的末端，挟持有一只激光笔，本实施例中所述示教操作装置采用激光笔模型，由其代替机械臂激光笔，进而模拟了真实的工作环境；

为避免在示教过程中，所述示教器被焊接物遮挡，而无法被摄像机捕捉到的弊端，本实施例中，在每个标志物与示教器之间，固定一标志物延伸杆，对标志物进行空间延伸；

本实施例中，所述标志物设为反光的球体，所述球体用于标识示教器，使得示教器在运动的过程中，能够被摄像机捕捉到。

所述摄像机l2用于捕捉并传输示教器运动轨迹数据；本实施例中，利用六个动作捕捉摄像头，对标志物刚体质心的三维坐标位置进行实时和无死角的捕捉；其中，摄像头的分辨率均为：1280×1024，最大帧速：240fps。

所述计算机处理装置l3，用于接收示教器运动轨迹数据，并根据接收到的数据进一步计算出示教器的三维位姿坐标位置；其中，经过处理后的数据会进一步传输到终端显示装置l4；本实施例中，考虑在计算机处理装置l3中利用三维渲染显示系统软件，对摄像机传来的数据进行处理，其中，通过摄像机传来的标记物刚体质心的三维位姿坐标点，计算激光笔模型端点的三维位姿坐标点，具体的计算公式为：

其中，tx、ty和tz分别是标记物刚体质心的三维位姿坐标点，mx、my和mz分别是激光笔模型尾端的三维位姿坐标点，k是激光笔模型尾端与标记物刚体质心之间的距离，x、y和z分别是标记物刚体质心与坐标系之间的夹角角度；

本实施例中，根据计算机处理装置l3记录下激光笔模型尾端的三维位姿坐标点mx、my和mz，以及标记物刚体质心与坐标系之间的夹角角度x、y和z，利用该组信息通过离线方式生成实体工业机器人作业的可执行代码，通过无线或有线网络将上述可执行代码传输到实体工业机器人的控制器之中，进一步控制真实机械臂的运动方向；其中，计算机处理装置l2记录的内容均记录在寄存器之中。

所述终端显示装置l5，用于对示教器的运动轨迹进行显示。本实施例中考虑在平板电脑中，对示教器的运动轨迹进行高亮显示；其中，在平板电脑中，利用opengl软件制作虚拟机械臂，根据接收到的示教器三维位姿数据，将虚拟机械臂与所述真实机械臂进行虚实融合，使得操作员从显示终端中，更直观的从平板电脑上看到真实机械臂的实际工作情况；

在对示教器的运动轨迹进行高显示前，需对显示终端的摄像头的坐标位置进行标定；并将标定后的摄像头坐标位置与示教器的三维位姿坐标位置进行统一。

请参考图2，其为实现机器人示教的方法流程图，其中，具体包括以下步骤：

s1、示教器模拟激光笔工作，设有的6个摄像头开始对示教器的运动轨迹进行捕捉；

s2、每个摄像头捕捉到示教器上的反光球体，进一步识别标志物刚体的运动轨迹；

s3、摄像头将识别到的标志物刚体质心的三维位姿坐标传入计算机中，在计算机中通过三维渲染显示系统软件，计算激光笔模型端点的三维位姿坐标，并传入平板电脑；

s4、对平板电脑的相机进行坐标标定，获取相机内参数a和失真系数b，根据参数a和b计算出相机的旋转矩阵和平移矩阵，并进一步用opengl进行来渲染三维物体；将已进行过相机标定的平板电脑，与激光笔模型的三维位姿坐标进行统一；其中，坐标统一的效果为：将虚拟机械臂，以及示教器的运动轨迹叠加到相机图像下，实现增强现实显示；

s5、利用sift算法对真实机械臂进行识别和定位；其中，使用sift算法进行识别，根据识别出来的原目标和帧图像匹配关系得到变化矩阵，来显示三维物体，具体为使用opengl来绘制；

s6、在平板电脑中，使用opengl工具制作虚拟机械臂，根据步骤s5得到的定位信息，将所述虚拟机械臂定位到所述真实机械臂的一侧；驱动虚拟机械臂跟随示教器末端的激光笔模型进行运动，当前操作员即可从显示终端中，观察到真实机械臂的实际工作情况。

请参考图3，其为操作对象结构图，具体在实施过程中，所述操作对象为各种实际待焊接器件，将操作对象放置在操作台，本实施例中，采用的操作台的长为200cm，宽为100cm，以及高为100cm，进一步通过示教器进行激光焊接；其中，操作台即是现实中的焊接平台，在进行示教之前，需要读取焊接平台的实际尺寸，进而根据该尺寸在计算机处理装置l3中对虚拟焊接激光笔进行轨迹范围的限制，以防止计算机处理装置l3中的虚拟激光笔出现越界的现象；所述待焊接器件在进行具体实施过程中，需对其反光部分进行涂黑，或者遮挡等处理，防止影响摄像头对激光笔模型进行轨迹坐标获取。

本实用新型针对现有项目进行现场引导布局时，其中，操作对象及待焊接器件为t型待加工工件。

请参考图4，其为示教器结构图，其中，所述示教器模型由5个部分组成；其中，4.1为总开关；4.2为示教工作开关；4.3为标志物延伸杆；4.4为标志物；4.5为激光笔模型。为了保证示教器可以被动作捕捉系统随时从各个角度捕捉到，本实用新型将在示教器的中部添加标志物，并对标志物进行了延伸处理，以在复杂工业环境中仍可以被动作捕捉系统的摄像头拍摄到。

请参考图5，其为多台摄像机的空间结构设置图，其中，多台摄像机的搭建空间为5.5×3m，捕获空间为5×3m，在上述的空间结构设置下，本装置可以同时捕捉到五个标志物刚体。

上面结合附图对本实用新型的实施例进行了描述，但是本实用新型并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本实用新型的启示下，在不脱离本实用新型宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本实用新型的保护之内。