一种机器人示教编程系统及方法与流程

本发明涉及一种机器人示教编程系统及方法，属于计算机控制与机器人领域，可用于机器人焊接、涂胶、喷漆、打磨、抛光、装配等作业用的示教编程。

背景技术：

当前机器人在焊接、涂胶、去毛刺、装配、喷漆等领域中广泛应用，机器人编程是机器人应用中的关键问题之一，当前主要有离线编程和在线示教的方式。离线示教需要在计算机中建立机械手及其工作环境的模型，通过人机交互操作和控制，离线计算和规划出作业轨迹，在确认无误后将作业轨迹发送到机械手，实现机械手编程。离线示教方式需要在计算机中建立工作环境的三维模型，需要操作人员具备一定的技术知识，普通工人需要经过长时间的培训后才能熟练使用。另外离线示教的方式难以将一线工人积累的工艺经验和知识（如焊接、涂胶、喷漆、打磨等）融入到轨迹规划中。传统的示教盒示教和牵引末端示教操作不便，例如，采用体感传感器追踪人体骨骼点运动轨迹的方式进行示教编程，示教过程中记录的是各关节的旋转角度而不是末端执行器（即手持式示教工具）的方位，而且该类方法也无法将复杂的操作工艺融入到路径规划中，有些机器人还不具备牵引示教功能。

同时，现有的编程方法使用难度大、操作不便、对操作人员的专业知识要求高。由于一线工人不能熟练地操作离线编程软件或示教器进行编程，他们长期积累的一线操作经验和技能难以融入到机器人操作程序中，机器人的编程效率低。因此当前有些复杂小批量的焊接、涂胶、喷漆、打磨、装配等操作，仍然依赖经验丰富的工人手工完成。

技术实现要素：

为了解决上述技术问题，本发明提供一种机器人示教编程系统和方法，由一线工人在线示教，通过位姿跟踪系统和示教系统，将一线工人的操作经验和技能融入到机器人编程中，且大大提高了机器人编程的效率和方便性，同时，在示教过程中物理机器人不参与，属于半实物示教。

本发明所采用的技术方案如下：

技术方案一：

一种机器人示教编程系统，包括示教系统、位姿跟踪系统、物理机器人系统以及计算机；

所述示教系统包括手持式示教工具、示教控制器以及示教数据采集器，所述示教数据采集器用于采集手持式示教工具在被操作部件上操作时的工艺参数，所述手持式示教工具连接示教控制器，所述示教数据采集器分别连接所述示教控制器和计算机；

所述位姿跟踪系统包括摄像机组、跟踪标识物以及位姿计算单元，所述摄像机组至少包含两个摄像机，所述摄像机组固定于所述被操作部件的上方，所述摄像机组连接所述位姿计算单元，所述位姿计算单元连接所述计算机，所述跟踪标识物固定于所述手持式示教工具上；

物理机器人系统包括物理机器人和物理机器人控制器，所述物理机器人连接所述物理机器人控制器，所述物理机器人控制器连接所述计算机。

更优地，还包括头戴式增强现实显示器，所述位姿跟踪系统还包括注册标识物，所述头戴式增强现实显示器连接所述计算机，所述注册标识物固定于所述头戴式增强现实显示器上。

更优地，所述手持式示教工具的数量为至少一个。

更优地，所述跟踪标识物为至少个4跟踪标志点。

更优地，所述跟注册标识物为至少4个注册标志点。

技术方案二

一种机器人示教编程方法，该方法是基于权利要求所述机器人示教编程系统实现的，具体步骤如下：

步骤10、建立坐标系：包括

建立位姿跟踪系统坐标系：在所述位姿计算单元上建立所述位姿跟踪系统坐标系，并且使其与物理机器人坐标系重合；所述物理机器人坐标系为所述物理机器人自带固有的；

建立手持式示教工具坐标系：将手持式示教工具安装在所述物理机器人上，将跟踪标识物固定在手持式示教工具上，把手持式示教工具的刀位点定义为所述手持式示教工具坐标系的原点，并使所述手持式示教工具在所述物理机器人坐标系下的姿态为（0,0,0）时，使所述手持式示教工具坐标系的坐标轴方向与所述位姿跟踪系统坐标系的坐标轴及坐标轴方向一致；

步骤20、交互示教：示教人员手握所述手持式示教工具对被操作部件进行实际操作，所述摄像机组将拍摄到图像传递至位姿计算单元，由位姿计算单元计算跟踪所述跟踪标识物的位姿，得到所述手持式示教工具的实时位置和姿态；所述位姿计算单元将所述手持式示教工具的实时位置和姿态发送至计算机；同时，通过示教数据采集器采集示教控制器上的实时工艺参数，然后发送至计算机；计算机记录所述手持式示教工具的实时位置和姿态以及各时刻对应的实时工艺参数；

步骤30、数据后处理：示教完成后，计算机根据实时位置和姿态生成手持式示教工具的路径轨迹点、操作姿态、操作速度，对所述操作路径轨迹点进行筛选编辑，形成路径轨迹；

步骤40、物理机器人控制：计算机将所述路径轨迹和工艺参数按照物理机器人编程系统的指令格式生成程序代码，用于控制物理机器人，实现批量生产

更优地，所述方法还包括增强现实仿真过程，通过头戴式增强现实显示器和注册标识物实现，具体实现方法如下：

执行所述步骤10的同时还执行如下内容：

建立机器人仿真模型：在计算机中根据物理机器人的结构和参数建立物理机器人正运动学方程和逆运动学方程，建立与物理机器人对等的虚拟机器人三维模型，并使所述虚拟机器人模型的坐标系与虚拟场景的世界坐标系重合；

建立头戴式增强现实显示器坐标系：将所述注册标识物固定在所述头戴式增强现实显示器上，将两眼中间的位置定义为所述头戴式增强现实显示器坐标系的原点，所述头戴式增强现实显示器姿态为（0,0,0）时，该头戴式增强现实显示器坐标系的坐标轴方向与所述物理机器人坐标系的坐标轴方向相同；

执行所述步骤20；

执行所述步骤30；

执行步骤31、路径轨迹及工艺过程的增强现实仿真：计算机依次根据所述路径轨迹上各轨迹点的位置和姿态，利用所述逆运动学方程计算物理机器人各关节的旋转角度，使用所述各关节旋转角度驱动所述虚拟机器人模型的各关节运动，在虚拟场景中模拟物理机器人的工作过程；在此过程中，示教人员戴上头戴式增强现实显示器，所述摄像机组将拍摄到包含所述头戴式增强现实显示器的图片发送至所述位姿计算单元，所述位姿计算单元跟踪所述头戴式增强现实显示器上的注册标识物，计算头部位姿；计算机将该头部位姿作为虚拟视点生成虚拟机器人模拟工作的显示场景，并发送到头戴式增强现实显示器上显示，从而使示教人员看到一个虚实融合的场景，示教人员可以在不同的方位观察虚拟机器人是否与真实场景存在干涉，检查物理机器人操作过程是否满足要求；

执行步骤32、工艺路径编辑：若所述路径轨迹或工艺参数不满足要求，在计算机中交互调整所述路径轨迹上的轨迹点和该轨迹点对应的操作工艺参数，直至满足要求为止，生成仿真编辑后的路径轨迹和工艺参数；

执行步骤33、仿真后的物理机器人控制：计算机将所述仿真编辑后的路径轨迹和工艺参数按照物理机器人编程系统的指令格式生成程序代码，用于控制物理机器人，实现批量生产；

结束。

更优地，所述步骤中，计算机按照时间标签记录所述手持式示教工具的实时位置和姿态以及各时刻对应的实时工艺参数。

更优地，所述跟踪标识物为至少个4跟踪标志点。

更优地，所述注册标识物为至少个4注册标志点。

本发明具有如下有益效果：

1、示教编程过程中，示教人员使用手持式示教工具对被操作部件进行实际操作，因此，能够将一线工人的操作经验和技能体现在程序中；

2、通过位姿跟踪系统获取手持式示教工具的位姿、通过示教数据采集器获取工艺参数，最后通过计算机处理得到手持式示教工具的路径轨迹和实时工艺参数，整个示教编程过程不需要操作物理机器人本体，编程方便且编程效率高；

3、通过头戴式增强现实显示器和计算机对路径轨迹和工艺过程进行增强现实仿真，使示教人员可以观察虚拟机器人是否与真实场景存在干涉，检查虚拟机器人操作过程是否满足要求，及时发现并修正示教编程中的不足，大大提高机器人示教编程的品质；

4、计算机根据一线工人的实际操作自动生成机器人程序，可以用以控制机器人完成焊接、涂胶、喷漆、打磨、抛光、装配等操作。

附图说明

图1为本发明一种机器人示教编程系统的示意图；

图2是图1的局部放大图；

图3为本发明一种机器人示教编程方法的流程示意图。

图中附图标记表示为：

11-手持式示教工具、12-示教控制器、13-示教数据采集器、21-摄像机组、22-跟踪标识物23-位姿计算单元、24-注册标识物、31-物理机器人、32-物理机器人控制器、40-计算机、50-被操作部件、60-示教人员、70-头戴式增强现实显示器。

具体实施方式

下面结合附图和具体实施例来对本发明进行详细的说明。

实施例一

请参阅图1和图2，一种机器人示教编程系统，包括示教系统、位姿跟踪系统、物理机器人系统以及计算机40。

所述示教系统包括手持式示教工具11、示教控制器12以及示教数据采集器13，所述示教数据采集器13用于采集手持式示教工具11在被操作部件50上操作时的工艺参数，所述手持式示教工具11连接示教控制器12，所述示教数据采集器13分别连接所述示教控制器12和计算机40。所述手持式示教工具11的数量为至少一个，例如焊枪、胶枪、喷头、打磨工具、被装配零件等，选用一个或多个；所述被操作部件50是指将要用物理机器人31焊接、喷漆或涂胶的零部件；所述示教数据采集器13将采集到的实时工艺参数等工作状态传输给所述计算机40，例如，进行焊接示教编程时，采集到的焊接工艺参数包括：焊接电压、焊接电流、焊接开关信号、焊丝喂料速度、保护器开关信号等。

所述位姿跟踪系统包括摄像机组21、跟踪标识物22以及位姿计算单元23，所述摄像机组21至少包含两个摄像机，图1中显示五个摄像机，所述摄像机组21固定于所述被操作部件50的上方，所述摄像机组21连接所述位姿计算单元23，所述位姿计算单元23连接所述计算机40，所述跟踪标识物22固定于所述手持式示教工具11上；所述跟踪标识物22为至少4个跟踪标志点，所述跟踪标识物22还可以是图案等，跟踪标识物22的类型由所采用的位姿跟踪系统决定；现有位姿跟踪系统，如optitrack位置跟踪系统，该系统包含摄像机和位置跟踪软件（一般地，位置跟踪软件加载于所述位姿计算单元23中）等，位置跟踪精度可达0.1mm，方向跟踪精度0.1度。所述位姿计算单元23接收来自所述摄像机组21发来的图片并进行图像处理，识别图像中的跟踪标识物22，计算并跟踪所述跟踪标识物22的位姿，得到手持式示教工具11的位置和姿态，然后将实时位置和姿态传输给计算机40。在本实施例中，采用跟踪标志点作为跟踪标识物22，则可以根据跟踪标志点之间的已知位置关系，计算跟踪标识物22的位姿。在本发明中，至少需要两台摄像机才可以需要得到六自由度的位置和姿态（简称位姿）。

物理机器人系统包括物理机器人31和物理机器人控制器32，所述物理机器人31连接所述物理机器人控制器32，所述物理机器人控制器32连接所述计算机40。在本发明中，所述物理机器人31在示教过程中不参与，在确定手持式示教工具坐标系时，所述手持式示教工具11安装于所述物理机器人31上。在进行交互示教时，所述手持式示教工具11由示教人员60握持操作。所述示教人员60一般为经验丰富的一线操作工人。

在示教完成后，还可以通过计算机40对路径轨迹点进行筛选编辑，如去掉手持式示教工具11关闭的路径节点、路径节点平滑处理等，形成路径轨迹。计算机根据编辑后的路径轨迹和工艺参数，按照物理机器人编程系统的指令格式生成程序代码，用于控制机器人实现批量生产。

本实施例一的工作原理是：

首先，在位姿计算单元23上建立位姿跟踪系统坐标系，使其与物理机器人坐标系重合，其次建立手持式示教工具坐标系，该手持式示教工具坐标系与所述位姿跟踪系统坐标系的坐标轴方向一直，其目的是：使位姿计算单元23在跟踪手持式示教工具11时，能够在相同的坐标系下进行跟踪并生成数据，保持位姿的一致性。一线工人握持手持式示教工具11对被操作部件50进行操作时，通过摄像机组21进行拍摄。摄像机组21将拍摄到的图像传输至所述位姿计算单元23，位姿计算单元23对图像处理后识别图像中的跟踪标识物22，计算并跟踪该跟踪标识物22的位姿，即可得到手持式示教工具11的位置和姿态，并将其实时发送给计算机40，在计算机40端形成操作的路径轨迹点、操作姿态、操作速度等信息。与此同时，所述示教数据采集器13采集示教控制器上12的工艺参数，然后将工艺参数传送给计算机40。计算机40同时记录实时的位置和姿态以及对应的工艺参数，处理并生成40得到手持式示教工具11的路径轨迹点、操作姿态、操作速度，对所述操作路径轨迹点进行筛选编辑，形成路径轨迹，最后计算机根据编辑后的路径轨迹和工艺参数，按照物理机器人编程系统的指令格式生成程序代码，用于控制机器人实现批量生产。

实施例二

本实施例较实施例一的区别技术特征在于：所述机器人示教编程系统还包括头戴式增强现实显示器70，所述位姿跟踪系统还包括注册标识物24，所述注册标识物24为至少4个注册标志点；所述头戴式增强现实显示器70连接所述计算机40，所述注册标识物24固定于所述头戴式增强现实显示器70上。所述头戴式增强现实显示器70与所述计算机40通信，接收并显示计算机40发送的场景。一般地，所述头戴式增强现实显示器70可以选用光学穿透式增强现实显示器。

本实施例二的工作原理是：在计算机上40建立物理机器人31的仿真模型——虚拟机器人，计算机40读取所述路径轨迹上控制点的位姿，利用物理机器人31的逆运动学方程计算虚拟机器人各关节的旋转角度，然后驱动虚拟机器人模型各关节运动。示教人员60戴上所述头戴式增强现实显示器70，所述位姿跟踪系统跟踪所述头戴式增强现实显示器70上的注册标识物24，计算示教人员60头部位姿；计算机40将该头部位姿作为虚拟视点生成机器人模拟工作的显示场景，并发送到头戴式增强现实显示器70显示，从而使示教人员60看到一个虚实融合的场景（虚拟的焊接机器人和真实的被操作部件），实现增强现实注册。示教人员60可以在不同的方位观察虚拟机器人是否与真实场景存在干涉，检查虚拟机器人操作过程是否满足要求等。

本发明一种机器人示教编程系统，通过示教人员60使用手持式示教工具11完成示教编程，位姿跟踪系统获取一线工人实际操作时的位置和姿态，再由示教系统提供实际操作时的工艺参数，最后由计算机40处理得到手持式示教工具11的路径轨迹，按照物理机器人编程系统的指令格式将路径轨迹和工艺参数生成程序代码，即可用于控制机器人实现批量生产。因此，本发明的优点在于：示教过程不需要操作物理机器人本体，编程方便，且编程效率高；同时，由于本发明是一种根据一线工人的实际操作自动生成机器人程序的机器人示教编程系统，因此，本发明还能够将操作工人的经验和技能体现在程序中。除此之外，本发明通过计算机40、位姿跟踪系统以及头戴式增强现实显示器70，还能够实现增强现实仿真，及时发现机器人与工作场景的干涉，检查机器人操作过程是否满足要求，大大提升示教编程的品质和生产应用时合格率。

实施例三

请参阅图1至图3，一种机器人示教编程方法，该方法是基于所述机器人示教编程系统实现的，具体步骤如下：

步骤10、建立坐标系：包括

建立位姿跟踪系统坐标系：在所述位姿计算单元23上建立所述位姿跟踪系统坐标系，并且使其与物理机器人坐标系重合，这样保证位姿跟踪系统跟踪的位姿均是在物理机器人坐标系下的坐姿；所述物理机器人坐标系为所述物理机器人31自带固有的；现有的位姿跟踪系统，如optitrack位置跟踪系统，该系统包含摄像机和位置跟踪软件等，位置跟踪精度可达0.1mm，方向跟踪精度0.1度。

建立手持式示教工具坐标系：将手持式示教工具11安装在所述物理机器人31上，将跟踪标识物22固定在手持式示教工具11上，把手持式示教工具11的刀位点（如焊枪头端、喷漆或涂胶的喷嘴等）定义为所述手持式示教工具坐标系的原点，通过控制物理机器人运动，使所述手持式示教工具11在所述物理机器人坐标系下的姿态为（0,0,0）时，并使所述手持式示教工具坐标系的坐标轴方向与所述位姿跟踪系统坐标系的坐标轴及坐标轴方向一致；

步骤20、交互示教：示教人员60手握所述手持式示教工具11对被操作部件50进行实际操作，所述摄像机组21将拍摄到图像传递至位姿计算单元23，由位姿计算单元23计算跟踪所述跟踪标识物22的位姿，得到所述手持式示教工具11的实时位置和姿态；所述位姿计算单元23将所述手持式示教工具11的实时位置和姿态发送至计算机40；同时，通过示教数据采集器13采集示教控制器12上的实时工艺参数（例如，进行焊接示教编程时，采集到的焊接工艺参数包括：焊接电压、焊接电流、焊接开关信号、焊丝喂料速度、保护器开关信号等），然后发送至计算机40；计算机40记录所述手持式示教工具11的实时位置和姿态以及各时刻对应的实时工艺参数；一般地，计算机(40)可以按照时间标签记录所述手持式示教工具(11)的实时位置和姿态以及各时刻对应的实时工艺参数；

具体地，所述跟踪标识物(24)为至少4个跟踪标志点，由4个跟踪标志点确定六自由度位姿；所述跟踪标识物22还可以是图案等，跟踪标识物22的类型由所采用的位姿跟踪系统决定；但选用4个跟踪标志点作为跟踪标识物22时，所述位姿计算单元对来自摄像机组的图像处理后识别图像中的所述跟踪标志点和所述跟踪标志点的坐标，并根据跟踪标志点之间的已知位置关系，计算跟踪所述跟踪标识物的位姿，即可得到所述手持式示教工具11的位置和姿态；

步骤30、数据后处理：示教完成后，计算机40根据实时位置和姿态生成手持式示教工具11的路径轨迹点、操作姿态、操作速度，对所述操作路径轨迹点进行筛选编辑，形成路径轨迹；所述筛选编辑，如去除掉手持式示教工具关闭的路径节点、路径节点平滑处理等；

步骤40、物理机器人控制：计算机40将所述路径轨迹和工艺参数按照物理机器人编程系统的指令格式生成程序代码，用于控制物理机器人31，实现批量生产。

在本实施例三中，所述手持式示教工具11的数量为至少一个，所述手持式示教工具11包括焊枪、胶枪、喷头、打磨工具、被装配零件等，选用一个或多个。

本发明一种机器人示教编程方法，计算机40根据示教人员60的实际操作自动生成机器人程序，用以控制机器人完成焊接、涂胶、喷漆、打磨、抛光、装配等操作，该编程方法效率高，且能够模拟示教人员的操作经验和技巧等优点，既能够用于实验室编程也可用于车间编程。

实施例四

本实施例四一种机器人示教编程方法与实施例三的区别技术特征在于，所述机器人示教编程方法还包括增强现实仿真过程，该过程还需要用到头戴式增强现实显示器70和注册标识物24，所述注册标识物24为至少4个注册标志点，图2中显示4个，具体实现方法如下：

执行所述步骤10中建立位姿跟踪系统坐标系和建立手持式示教工具坐标系的步骤，同时还执行如下内容：

建立机器人仿真模型：在计算机40中根据物理机器人31的结构和参数建立物理机器人31正运动学方程和逆运动学方程，建立与物理机器人31对等的虚拟机器人三维模型，并使所述虚拟机器人模型的坐标系与虚拟场景的世界坐标系重合；需要说明的是：建立机器人仿真模型时，必须建立与所述物理机器人31以及安装在上面的手持式示教工具11对等的虚拟机器人三维模型，因此，在建立正运动学方程和逆运动学方式时，必须包括物理机器人31以及手持式示教工具11的结构和参数，例如物理机器人使用的焊枪、胶枪、喷嘴、打磨器或待打磨的零部件等；

建立头戴式增强现实显示器坐标系：将所述注册标识物24固定在所述头戴式增强现实显示器70上，将两眼中间的位置定义为所述头戴式增强现实显示器坐标系的原点，所述头戴式增强现实显示器姿态为（0,0,0）时，该头戴式增强现实显示器坐标系的坐标轴方向与所述物理机器人坐标系的坐标轴方向相同；

执行所述步骤20、交互示教；

执行所述步骤30、数据后处理；

执行步骤31、路径轨迹及工艺过程的增强现实仿真：计算机40依次根据所述路径轨迹上各轨迹点的位置和姿态，利用所述逆运动学方程计算物理机器人31各关节的旋转角度，使用所述各关节旋转角度驱动所述虚拟机器人模型的各关节运动，在虚拟场景中模拟物理机器人31的工作过程；在此过程中，示教人员60戴上头戴式增强现实显示器70，所述摄像机组21将拍摄到包含所述头戴式增强现实显示器70的图片发送至所述位姿计算单元23，所述位姿计算单元23跟踪所述头戴式增强现实显示器70上的注册标识物24，计算头部位姿；计算机40将该头部位姿作为虚拟视点生成虚拟机器人模拟工作的显示场景，并发送到头戴式增强现实显示器70上显示，从而使示教人员60看到一个虚实融合的场景，示教人员60可以在不同的方位观察虚拟机器人是否与真实场景存在干涉，检查物理机器人31操作过程是否满足要求；

执行步骤32、工艺路径编辑：若所述路径轨迹或工艺参数不满足要求，在计算机40中交互调整所述路径轨迹上的轨迹点和该轨迹点对应的操作工艺参数，直至满足要求为止，生成仿真编辑后的路径轨迹和工艺参数；

执行步骤33、仿真后的物理机器人控制：计算机40将所述仿真编辑后的路径轨迹和工艺参数按照物理机器人编程系统的指令格式生成程序代码，用于控制物理机器人31，实现批量生产；

结束。

在本实施例四中，通过增强现实仿真进一步发现示教编程中的不足，及时修正，大大提高机器人示教编程的品质。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。