技术特征：
1.一种用于通过人类演示对机器人进行编程以执行操作的方法，所述方法包括：通过人手演示对工件的操作；通过计算机分析演示对所述工件的所述操作的所述人手的相机图像以创建演示数据；分析新工件的相机图像以确定所述新工件的初始位置和取向；基于所述演示数据和所述新工件的所述初始位置和取向，生成使所述机器人对所述新工件执行所述操作的机器人运动命令；以及通过所述机器人对所述新工件执行所述操作。2.根据权利要求1所述的方法，其中，通过所述人手演示对所述工件的所述操作和通过所述机器人对所述新工件执行所述操作都在机器人工作单元中执行，并且所述相机图像由单个相机拍摄。3.根据权利要求2所述的方法，其中，所述相机是三维相机，其直接捕获图像以及所述图像中的所述人手上的多个可识别点的x、y和z坐标。4.根据权利要求2所述的方法，其中，所述相机是二维相机，并且其中，所述人手的多个手指部分的真实长度已经使用人手尺寸图像分析步骤先前确定。5.根据权利要求4所述的方法，其中，所述人手尺寸图像分析步骤包括提供所述人手在aruco标记的网格上的图像，分析所述图像以计算从标记坐标系到屏幕坐标系的变换，在神经网络卷积层中处理所述图像以识别所述图像中的所述人手上的各个关键点，使用所述变换来计算所述标记坐标系中的所述各个关键点的坐标，以及计算所述人手的所述多个手指部分的真实长度。6.根据权利要求4所述的方法，其中，分析演示对所述工件的所述操作的所述人手的相机图像包含在神经网络卷积层中处理所述图像以识别所述图像中的所述人手上的各个关键点，使用所述图像中的所述人手上的所述各个关键点和所述人手的所述多个手指部分的先前确定的真实长度来执行透视n点计算，以及计算所述多个手指部分的三维姿态。7.根据权利要求1所述的方法，其中，分析演示所述操作的所述人手的相机图像包括识别所述人手上的多个点的位置，所述多个点包括拇指和食指中的每一个的指尖、基指节和第二指节。8.根据权利要求7所述的方法，其中，所述演示数据包括在所述操作的抓持步骤处的人手坐标系的位置和取向、对应于所述人手坐标系的夹持器坐标系和工件坐标系。9.根据权利要求8所述的方法，其中，所述演示数据还包括用于所述操作的中间步骤的所述人手坐标系和所述工件坐标系的位置，以及用于所述操作的最后步骤的所述工件坐标系的位置和取向。10.根据权利要求8所述的方法，其中，所述人手坐标系具有在所述拇指和所述食指的基指节之间的中间点处的原点、穿过所述拇指和所述食指的指尖之间的中间点的z轴、以及与包含所述拇指和所述食指的平面垂直的y轴。11.根据权利要求1所述的方法，其中，在通过所述机器人进行所述操作之前所述新工件乘坐在传送机上，并且所述新工件的初始位置是传送机位置索引的函数。12.根据权利要求1所述的方法，其中，生成机器人运动命令包括由具有处理器和存储器的机器人控制器基于所述新工件的所述初始位置和取向以及机器人夹持器相对于所述演示数据中包含的所述工件的位置和取向，生成使所述机器人夹持器移动到抓持位置和取
向的命令。13.根据权利要求12所述的方法，其中，生成机器人运动命令还包括生成使所述机器人夹持器将所述新工件从所述抓持位置移动到在所述演示数据中包含的其他位置的命令。14.根据权利要求12所述的方法，其中，所述机器人夹持器是指型夹持器或使用吸力或磁力的表面夹持器。15.一种用于通过人类演示对机器人进行编程以执行操作的方法，所述方法包括：通过人手演示对工件的操作；分析演示对所述工件的所述操作的所述人手的相机图像以创建演示数据，包括识别所述人手上的多个点的位置并且确定机器人夹持器相对于所述工件的位置和取向；分析新工件的相机图像以确定所述新工件的初始位置和取向，包括基于传送机位置索引来调整所述新工件的所述初始位置和取向；由具有处理器和存储器的机器人控制器基于所述演示数据以及所述新工件的所述初始位置和取向来生成使所述机器人对所述新工件执行所述操作的机器人运动命令，所述机器人运动命令包括基于所述新工件的所述初始位置和取向以及所述夹持器相对于所述演示数据中包含的所述工件的所述位置和取向的使所述夹持器移动到抓持位置和取向的运动命令；以及通过所述机器人对所述新工件执行所述操作。16.根据权利要求15所述的方法，其中，通过所述人手演示对所述工件的所述操作和通过所述机器人对所述新工件执行所述操作都在机器人工作单元中执行，并且所述相机图像由单个二维或三维相机拍摄。17.一种用于通过人类演示对机器人进行编程以执行操作的系统，所述系统包括：相机；工业机器人；以及机器人控制器，其具有处理器和存储器，所述控制器与所述机器人通信并且从所述相机接收图像，所述控制器被配置成执行包括以下的各个步骤；分析演示对工件的操作的人手的相机图像以创建演示数据；分析新工件的相机图像以确定所述新工件的初始位置和取向；基于所述演示数据和所述新工件的所述初始位置和取向，生成使所述机器人对所述新工件执行所述操作的机器人运动命令；以及通过所述机器人对所述新工件执行所述操作。18.根据权利要求17所述的系统，其中，分析演示所述操作的所述人手的相机图像包括识别所述人手上的多个关键点的位置，所述多个关键点包括拇指和食指中的每一个的指尖、基指节和第二指节。19.根据权利要求18所述的系统，其中，所述相机是三维相机，其直接捕获多个图像以及在所述多个图像的每个图像中的所述人手上的所述多个关键点的x、y和z坐标。20.根据权利要求18所述的系统，其中，所述相机是二维相机，并且其中，所述人手的多个手指部分的真实长度已经使用人手尺寸图像分析步骤先前确定。21.根据权利要求20所述的系统，其中，所述人手尺寸图像分析步骤包括提供所述人手在aruco标记的网格上的图像，分析所述图像以计算从标记坐标系到屏幕坐标系的变换，在
神经网络卷积层中处理所述图像以识别所述图像中的所述人手上的各个关键点，使用所述变换计算所述标记坐标系中的所述各个关键点的坐标，以及计算所述人手的所述多个手指部分的真实长度。22.根据权利要求20所述的系统，其中，分析演示对所述工件的所述操作的所述人手的相机图像包括在神经网络卷积层中处理所述图像以识别所述图像中的所述人手上的所述多个关键点，使用所述图像中的所述人手上的所述多个关键点和所述人手的所述多个手指部分的先前确定的真实长度来执行透视n点计算，以及计算所述多个手指部分的三维姿态。23.如权利要求18所述的系统，其中所述演示数据包括在所述操作的抓持步骤处的人手坐标系的位置和取向、对应于所述人手坐标系的夹持器坐标系和工件坐标系。24.根据权利要求23所述的系统，其中，所述演示数据还包括用于所述操作的中间步骤的所述人手坐标系和所述工件坐标系的位置，以及用于所述操作的最后步骤的所述工件坐标系的位置和取向。25.根据权利要求23所述的系统，其中，所述人手坐标系具有在所述拇指和所述食指的基指节之间的中间点处的原点、穿过所述拇指和所述食指的指尖之间的中间点的z轴、以及与包含所述拇指和所述食指的平面垂直的y轴。26.根据权利要求17所述的系统，还包括传送机，其中，在通过所述机器人进行所述操作之前所述新工件乘坐在所述传送机上，并且所述新工件的初始位置是传送机位置索引的函数。27.根据权利要求17所述的系统，其中，生成机器人运动命令包括基于所述新工件的所述初始位置和取向以及所述夹持器相对于所述演示数据中包含的所述工件的位置和取向来生成使机器人夹持器移动到抓持位置和取向的命令，并且生成使所述机器人夹持器将所述新工件从所述抓持位置移动到所述演示数据中包含的其他位置的命令。28.根据权利要求17所述的系统，其中，所述机器人夹持器是指型夹持器或使用吸力或磁力的表面夹持器。
技术总结
一种用于基于人类演示利用来自相机的图像来示教机器人以执行操作的方法。该方法包括示教阶段，其中2D或3D相机检测抓持和移动工件的人手，并且分析人手和工件的图像以确定机器人夹持器姿态和位置，其等同于人手的姿态和位置以及工件的对应姿态和位置。然后，根据计算出的相对于工件姿态和位置的夹持器姿态和位置，生成机器人编程命令。在重现阶段，相机识别工件姿态和位置，并且编程命令使机器人如演示那样移动夹持器以拾取、移动和放置工件。还公开了一种远程操作模式，其中使用人手的相机图像来实时控制机器人的移动。像来实时控制机器人的移动。像来实时控制机器人的移动。
技术研发人员：王凯濛 加藤哲朗
受保护的技术使用者：发那科株式会社
技术研发日：2021.04.08
技术公布日：2021/10/11