对工业机器人编程的方法与流程

本发明涉及根据权利要求1的前序部分的对工业机器人编程的方法。

背景技术：

工业机器人是可以被编程以并入其端执行器（end-effector）（像抓取器（gripper）或焊接工具等）的空间运动来执行不同操纵任务的自动化机器。传统上，工业机器人采用具有运动控制功能的过程编程语言来编程，通常具有作为输入参数的位置和速度。这要求有关编程语言和功能用法的知识和技能。另外，定义机器人的适当和准确的位置数据和速度曲线可能是困难并且耗时的。

商业工业机器人通常供应有示教器（teachpendant），操作员可借助该示教器使机器人“慢跑（jog）”以移动至期望位置，并将其作为针对运动功能的输入参数。尽管此技术减少了手动数据输入的量，但是机器人的慢跑要求大量的技能和经验，并且仍然是耗时的。

用于对一些机器人编程的另一种技术是所谓的“引导（lead-through）”，其中，用手携带机器人并且机器人跟随人手的运动。这只能应用于满足对应安全要求并支持这种操作模式的机器人。

“通过演示编程”是另外的技术，通过该技术可以追踪和解释人的动作以获得机器人指令。该技术涉及的一个问题是，以不足的可靠性来解释人类姿势，并且不能以必要的精度获得用于控制机器人运动的期望参数。此外，该方法的另一缺点是，在演示小组件的组装期间，这些组件经常被人手自身遮挡视野。

使用基于视觉的对象本地化的面向对象技术通常还要求对适当的视觉作业编程，这对提供应用工程师而言更难以学习和执行。

申请人的wo2018050307a1描述了一种对工业机器人编程的方法，其中利用数字相机捕获机器人的工作区和要由机器人操纵的工件的图像，并且所捕获的图像是传输到计算装置并显示在与其关联的显示器上。工件显示在显示屏上，并由操作员利用标记-对象手动标记。在标记后，借助于人机界面在与机器人命令相关联的后续操纵步骤的序列中操纵工件。操纵步骤的序列包括坐标系中用于在显示器上显示标记-对象的标记-对象的二维位置信息。随后将操纵步骤的序列中的标记-对象的位置信息转换成机器人的目标坐标系中的工件的位置，以及根据转换后的位置信息和用于控制机器人的相关联机器人命令生成控制代码。

尽管该系统简单且直观上处置，并且不要求复杂的计算硬件，但由于缺少深度信息，因此在初始位置抓取对象并将对象投放在目标位置中时，没有提供高精度。为了在拾取初始位置中的工件并将工件定位在目标位置中时获得更高精度，机器人必须能够应对这种不确定性，这进而要求更复杂且更昂贵的机器人系统。

us2012/072023a1公开了一种控制机器人的方法，其中由两个摄像机捕获机器人所见的二维图像，并将该二维图像传送到以手持移动电话装置的形式的人机界面设备。在人机界面设备的显示屏上，机器人所见的二维图像与动作支持工具库和对象识别支持工具库一起显示，所述动作支持工具库包含有关与已注册对象相关联的对象操纵模式的信息，所述对象识别支持工具库包含原始形状属性，其用于注册机器人已遇到的未注册对象。存储在对象识别支持工具库中的原始形状属性由用户选择，该用户可以将原始形状属性分配给机器人无法自动识别的对象。

为了从二维图像中检测对象，人-机器人界面设备试图自动识别与所选对象相关联的存储在对象识别支持工具库中的对象形状图案。为此，利用基于图像的对象识别算法对hri编程，其接收所选对象的图像并将其与已注册对象形状图案进行比较。

借助于基于图像的对象识别算法来识别已注册对象要求高的计算性能以及复杂的相机系统和计算硬件，因为其通常不仅仅是放置在工作区中的一个对象。因此，该系统昂贵且难以处置。

技术实现要素：

因此，本发明的目的是提供一种方法，该方法虑及以具有高精度的直观的方式便于对机器人编程，而无需涉及复杂的硬件。

该目的通过包括如权利要求1所要求保护的特征的方法来实现。

本发明的另外的目的包括在从属权利要求中。

根据本发明，一种对工业机器人编程的方法，所述工业机器人具有机器人臂，所述机器人臂具有安装到其上的端执行器，所述端执行器由机器人控制单元控制以操纵布置在机器人的工作区中的工件，其中，目标坐标系与工作区相关联，并且工作区和工件的图像由图像捕获装置捕获并传送到具有人机界面的计算装置以生成用于控制机器人的控制代码，所述控制代码传送到机器人控制单元，所捕获的图像被传输到计算装置并显示在与计算装置相关联的显示器上。显示器上显示的工件被标记有显示器上的标记-对象，借助于人机界面在与显示器上的机器人命令相关联的至少两个后续操纵步骤的序列中操纵标记-对象，其中，操纵步骤的序列包括标记-对象在用于在显示器上显示标记-对象的坐标系中的位置，操纵步骤的序列中的标记-对象的位置被转换成工件在目标坐标系中的位置，以及用于控制机器人的控制代码是从转换后的位置和相关联的机器人命令生成的。该方法包括以下步骤：

测量位于工件上方的参考点与工件上的第一测量位置之间的第一距离值，测量参考点和工作区上的第二测量位置之间的第二距离值，将与工件相关联的工件高度值确定为所测量的第一距离值与所述所测量的第二距离值之间的差，以及基于工件高度值来生成控制代码和相关联的机器人命令，以用于控制机器人。

根据本发明的另一个目的，该方法的特征在于：根据工件高度值将工件抓取高度值确定为小于，优选地是50％小于，工件高度值的值。工件抓取高度值表示从工作区的平面计算的位置，其中，机器人的端执行器的抓取器预期在执行另外的操纵步骤之前抓取工件。该值可以借助于hmi自动设置为工件高度的50％，但是如果操作员希望机器人在某个位置处抓取工件，则可优选地由操作员通过经由hmi输入比例因子来可选地手动改变，所述位置是在高度的50％处穿过工件的水平中心平面的偏移。

在本发明的优选实施例中，操纵步骤的序列包括：在显示器上提供两个平行杆，借助于人机界面将两个平行杆移动到标记-对象，旋转平行杆并将平行杆朝向彼此和远离彼此移动，以便限定抓取杆的抓取位置，在所述抓取位置处工件由机器人抓取，将抓取位置与相关联的工件抓取高度值一起存储，将抓取位置和相关联的工件抓取高度值转换成目标坐标系中的工件的相关联的工件抓取高度值和转换后的抓取位置，以及基于所述转换后的抓取位置和抓取高度值来生成控制代码，以用于控制机器人。

因为将工件的高度确定为与工件的实际高度对应的测量值，所以当将其中包括的位置的操纵步骤的序列从用于在显示器上显示标记-对象的坐标系转换成目标坐标系中的工件的转换后的位置时，工件高度值和由此计算出的工件抓取高度值有利地保持相同。

为了在控制机器人时也考虑到工件的目标高度，如果工件必须被定位在最终目标位置中工作区上的另一个对象之上，则这是重要的，确定参考点与工作区上的第三测量位置之间的第三距离值。在执行操纵步骤的序列之后，该第三测量位置对应于工件在工作区上的所提出的目标位置。根据所测量的第三距离值，将与目标位置中的工件相关联的工件定位高度值确定为所测量的第三距离值和所测量的第二距离值之间的数学差，即，参考点与邻近目标位置的工作区的平整平面之间所测量的距离。以与上文关于工件高度值所述相同方式，随后工件定位高度值用于生成控制代码和用于控制机器人的相关联机器人命令。它表示本发明的另外的优点，即，工件定位高度值也是绝对值，其由于工作区的基础是工件和其他对象所位于的平整平面，因此不需要从一个坐标系转换到另一个坐标系。

在本发明的第一实施例中，图像捕获装置是3d相机，所述3d相机捕获工作区的图像连同与所捕获的图像的像素中的至少一些相关联的所测量的距离值。在已捕获图像并将标记-对象已经定位在图像中的工件周围之后，工件高度值被确定为第一距离值与第二距离值之间的差。第一距离值与所捕获的图像的位于第一测量位置的第一像素相关联。第二距离值与所捕获的图像的位于第二测量位置的第二像素相关联。

有利地，由操作员在视觉上确定其中第一像素在显示的图像中所位于的第一测量位置并且在标记工件之后利用hmi在标记-对象内部选择该第一测量位置，这直观地允许操作员识别工件的最上面顶表面区域，所述工件没有均匀平整顶表面，像附图中所示的表面那样。第二测量位置优选地还由操作员在视觉上确定并且借助于hmi来选择，并且所捕获的图像中的相关联的指针位于标记-对象外部，但是距离某个位置处与它紧邻，所述位置例如距标记-对象的边缘若干毫米，在执行操纵步骤的序列之前，由用户在视觉上将其识别为工作区的平整表面的最初放置工件的区域。

这虑及优点是，没有所捕获图像的资源密集型数字图像处理已经完成，以便识别工件上和工作区的平整平面上的第一测量位置和第二测量位置。此外，由于操作员可以手动选择图像中的第一测量位置和第二测量位置的事实，因此获得的优点是，两个位置之间的距离可以尽可能地最小化。结果，即使由于3-d相机在捕获图像时并非直接位于工件上方，3-d相机所在的参考点与第一测量位置或第二测量位置之间的角度不接近于零，也可以将工件高度/抓取高度的测量误差保持为低。

根据本发明的另一个目的，计算装置是像蜂窝电话或移动触摸板之类的手持装置，其具有触摸屏显示器，该触摸屏显示器充当在捕获图像之后在其上显示图像的显示器。在此实施例中，3d相机可以集成在手持装置中，并且可以是相机，其用于在访问手持设备的用户界面时识别用户的脸部，就像在利用移动电话的情况那样。

备选地，该3-d相机也可以机械地连接至手持装置，或者作为另外的备选方案，固定地或暂时地安装在工作区上方，如在此之前已经提到的那样，优选地包括平整表面，该平整表面上定位工件和其他对象，所述其他对象像其上具有必须借助于机器人1定位工件的目标对象。在该实施例中，将数字2-d图像和与2-d图像的所捕获的像素中的至少一些相关联的所测量的深度信息传送到手持设备或已知个人计算机内部的计算装置，并显示在与其连接的显示屏上。

根据本发明的又另一备选实施例，借助于已知的测距仪来所测量的第一距离值和第二距离值，该测距仪包括光源，尤其是激光，所述光源发射光束，所述光束适合于当相应地在工件或工作区上定向测距仪时，生成工件上的第一光斑和工作区上的第二光斑。激光测距仪在本领域中是已知的，并测量激光束的飞行时间，以便确定测距仪与反射光束的表面之间的距离。为了测量距参考点的第一距离和第二距离，将测距仪定位在工作区上方，优选地定位在工件正上方的位置，以便在第一测量位置和第二测量位置处光束与法线之间的角度在工件和工作区上尽可能小。

在该方法的最优选实施例中，当通过之前将光束直接对准在屏幕上的所捕获的图像上可能已经或可能尚未被标记有标记-对象的工件上来测量第一距离时，测距仪位于工件正上方。随后，使测距仪略微倾斜而不在竖直方向上移动，直到光斑位于工作区的平整表面上的工件外部，以便在第二测量位置执行第二距离的测量。

在测量第一距离值和第二距离值之后，其测量顺序也可以颠倒，借助于人机界面将所测量的第一距离值和所测量的第二距离值手动输入到计算装置中，所述人机界面然后优选地通过将这些值相减来计算工件高度值，并相应地将其与第一测量位置和第二测量位置的相关联的位置信息一起存储。

根据备选实施例，工件高度值也可以由之前可能已经进行减去测量值的操作员直接作为数字输入到计算装置中。

尽管也可以在利用标记-对象标记对象之前将工件高度值指配给工件的初始位置的未知值并与其一起存储，但是优选地在坐标系中将工件高度值指配给的标记-对象的初始位置，以便由操作员利用标记-对象已经标记工件后在显示屏上显示所捕获的图像。

附图说明

下面参照附图描述本发明。在所述附图中：

图1示出了机器人和采用熔丝形式的必须被插入到轨道中的工件的工作区连同计算装置、3d相机、显示器和机器人控制器的示意图，以用于实现根据本发明的方法，

图2是连接到图1的计算装置的显示器的示意图，在所述计算装置上执行软件程序，该软件程序具有图形用户界面，该图形用户界面具有用于在捕获图1的工作区的图像之后对机器人编程的控制按钮，

图3示出了当利用采取矩形框形式的标记-对象标记所捕获的熔丝的图像时具有图形用户界面的显示器，

图4示出了在激活用于抓取工件的控制按钮之后具有图形用户界面的显示器，

图5示出了在激活用于将具有复制图像的标记-对象移动到显示器上所示的所捕获的图像中的新位置的控制按钮之后具有图形用户界面的显示器，

图6示出了在激活用于旋转标记对象的控制按钮之后具有图形用户界面的显示器，

图7示出了在激活用于向下移动机器人工具以将工件（熔丝）卡入轨道的控制按钮之后具有图形用户界面的显示器，

图8示出了在激活用于生成包括操纵步骤的序列的控制代码的控制按钮之后具有图形用户界面的显示器，该控制代码在图1所示的工作区的目标坐标系中被转换成操纵步骤的转换后的序列，

图9是该方法的备选实施例的示意性概览，其中借助于激光测距仪获得用于更精确地操纵工件的距离信息，以及

图10是当已确定工件的潜在碰撞时由计算装置提出的示意性备选路径。

具体实施方式

如图1所示，工业机器人1具有机器人臂2，所述机器人臂2具有采取抓取器4形式的端执行器，所述抓取器4由机器人控制单元6控制以操纵布置在机器人1的工作区10中的工件8。在包括优选布置在水平平面中的平整表面的工作区10中，在与工作区10相关联的目标坐标系11中控制机器人1/端执行器4的移动。

在工作区10上方定位采取3-d相机14的形式的图像捕获装置，所述3-d相机14适合于捕获工作区10的二维数字图像12，并测量所捕获的2-d图像中被存储在例如数字文件中的像素中的每个或至少一些的相关联距离。

所捕获的图像12与附加距离信息一起被传送到计算装置16，该计算装置16连接到显示器18，并且借助于人机界面hmi以所示计算机鼠标指针装置的形式和用于操作程序和输入数据的图形用户界面gui来操作。

计算装置16执行软件程序，该软件程序生成控制代码，该控制代码被传送到机器人控制单元6，如将在下文中参考图1至图8描述的那样。

为了对机器人1编程，借助于3-d相机14捕获工作区10和布置在其上的工件8的图像12，并且将数字文件加载到计算装置6。计算装置16在连接到计算装置16的已知显示器18上显示数字2-d图像，如图1和图2所示。

如下一步骤地那样，操作员在显示器18上的图像12中利用标记-对象17视觉上识别并标记工件10，或更准确地说，标记图像12与工件10对应的区域，在显示器18上生成图形用户界面gui的软件程序提供所述标记-对象17。

如图3所示，标记对象优选地是矩形框17，其尺寸和/或位置可以借助于人机界面hmi来改变，这在在个人计算机、平板甚至移动电话上运行的用于操纵数字图像的图像处理软件程序中是众所周知的。

在利用矩形框17标记显示在显示器18上的表示工件8的图像部分之后，将矩形框17内的图像区域复制并结合到矩形框17，使得当在进一步的编程步骤中在所捕获的图像中移动帧时，所复制的图像区域与矩形框17一起移动。为了允许标记-对象17的精确定位，所复制的图像区域优选地在所捕获的图像12上显示为透明图像区域，使得操作员可以识别位于工作区中并显示在屏幕18上的数字图像12中的其他对象，以便将帧精确地移动到期望位置。

在利用标记-对象已经标记了工件8之后，在标记-对象内部识别第一测量位置l1，该第一测量位置l1优选位于矩形框内部。为了识别第一测量位置，计算装置可以自动建议图像内部的测量位置作为标记-对象17内部的位置，其中工件的高度最大。为了确定测量位置l1处的高度，测量在相机14所位于的参考点rp与工件8上的第一测量位置l1之间的第一距离值d1。这可以通过从数字文件中检索与标记-对象17内部的每个像素一起存储的距离值并选择具有最大值的像素来自动完成。

备选地，第一测量位置可以借助于hmi在标记-对象17内部例如通过利用鼠标指针在期望位置处指向并按回车来选择。

在已经选择第一测量位置l1之后，确定参考点rp与工作区10的靠近第一测量位置的平面之间的第二距离d2。

可以借助于在计算装置16上运行的gui软件，以与本文先前关于第一距离d1所述相同的方式来完成该操作，所述计算装置16检索指配给刚位于标记-对象17外部的像素的距离值，或者备选地利用hmi，例如利用鼠标指针并按回车来指向显示器18上的期望第二测量位置l2。

如下一步骤地那样，由计算装置16将表示位于工作区10的表面上的工件8的高度和第一测量位置l1的工件高度值wh计算为指配给第一测量位置和第二测量位置l1和l2的第一距离值和第二距离值d1和d2之间的数学差d1-d2。

根据该工件高度值wh，计算工件抓取高度值gh，其表示其中将被机器人抓取器杆22a、22b抓取工件8的位置。工件抓取高度值可以由计算装置16自动地计算为工件高度值wh的50％，并且可以可选地通过输入比例因子（例如，0和100之间的整数）来减小或增大。抓取高度值gh然后存储在计算装置16的存储器中，当生成必要的机器人控制单元6的控制代码时，可以从中检索所述抓取高度值gh。

如下一步骤地那样，借助于人机界面hmi以操纵步骤的序列在显示器上移动和操纵标记-对象17。在每个操纵步骤中，将标记-对象17在与显示器18相关联的坐标系19中的位置p1到p5与关联到机器人动作的命令一起记录。

在本发明的优选实施例中，可以通过利用人机界面hmi激活控制按钮24来选择机器人动作，该人机界面hmi在靠近图像12的显示器上生成。激活控制按钮24以用于期望的机器人命令，像“端执行器的定位抓取器杆”、“抓取具有端执行器的工件”、“移动端执行器”、“旋转端执行器”或“将工件对齐到（snapto）其他对象”等，向操纵步骤的序列添加标记-对象17的实际位置p1到p5和/或端执行器的抓取器杆22a，22b的抓取位置g1，g2连同关联到机器人1的期望动作的命令一起。

在本发明的优选实施例中，操纵步骤的序列包括在显示器18上提供两个平行杆22a，22b的步骤，如图4所示，所述平行杆22a，22b可以借助于人机界面hmi定位在标记-对象17附近，并旋转到其中杆22a，22b与标记-对象17的侧面对准的位置。随后，平行杆22a，22b可以朝向彼此和远离彼此移动，以便定义抓取杆22a，22b的抓取位置g1，g2，其中由机器人1抓取工件8。抓取位置g1和g2也存储在操纵步骤的序列中，并转换成工作区（机器人）的目标坐标系11，如下文所述。

由于将工件的高度确定为与工件8的实际高度对应的测量值，因此在对操纵步骤的序列进行转换时，工件高度值wh和由此计算出的抓取高度值gh有利地保持相同，其中从用于在显示器18上显示标记-对象17的坐标系19中包含的位置p1至p5转换成目标坐标系11中的工件8的转换后的位置p1'至p5'。因此，抓取高度值gh只能存储在计算装置16的存储器中，从此处可以直接将其提交给机器人控制器6。

在将标记-对象17已经定位在期望的目标位置并且在显示器18上已经完成标记-对象17的操作之后，在显示器18的坐标系19中的标记-对象的位置p1至p5优选地与相关联的命令一起存储，并且随后被转换成位置p1'至p5'，其对应于工作区10的目标坐标系11中的工件8，如图1的描绘中所示。

在本发明的优选实施例中，将操纵步骤的转换后的位置p1'至p5'与命令一起存储为操纵步骤的转换后的序列，计算装置16或机器人控制单元6从中生成用于控制机器人1的最终控制代码，以将工作区10中的工件8移动到期望目标位置p5'。

根据本发明的另外的方面，标记-对象17在操纵步骤的序列中的位置p1至p5可以与相关联的操纵命令或机器人命令和抓取高度值gh一起存储在数据集中。该数据集可以通过已知的转换方法转换为另外的数据集，其包括工件10的目标坐标系11中的工件8的转换后的位置p1'至p5'。然而，该坐标系11可以与机器人1的内部坐标系不同，使得对另外的数据集进行进一步的已知转换可能是必需的，其应被包括在操纵步骤的序列中的位置数据p1至p5的转换中，如本申请中描述和要求保护的那样。

根据本发明的另一方面，如图1所示，在捕获图像12之前，至少两个参考点20a，20b，20c可以位于工作区10上。参考点20a，20b，20c可以是图1所示的标记或三脚架（tripod）的球形端部，它们在工作区10的目标坐标系11中为机器人1定义了固定的参考位置。为了校准该参考位置，操作员可以手动将机器人1的端执行器4推到该参考点20，并将位置存储在机器人控制单元6中。

在将利用3-d相机所捕获的工作区10的还显示了参考点20的所捕获二维数字图像12加载到计算装置6中之后，操作员借助于人机界面hmi，例如通过利用鼠标指针点击点20，来识别所捕获的图像12中的参考点20a，20b，20c的图像部分。每个参考点20a至20c的位置数据被存储在计算装置6中，并且与由机器人1获取的三脚架的球形端部的位置数据相匹配，如前所述。备选地，也可设想将参考点20永久地附接到机器人控制单元6已知的固定位置。根据目标坐标系11中的参考点20a，20b，20c的位置数据，其存储在机器人控制单元6和在所捕获的图像12中参考点的所识别的对应图像部分，可以计算与显示的图像12相关联的坐标系19与目标坐标系11之间的比例因子和/或角度偏移。

作为匹配与显示的图像12和目标坐标系11相关联的坐标系24的备选方法，显示器18上所捕获的图像12可以在显示器上旋转和/或在显示器的垂直和水平方向上扩展，直到指示坐标系19的箭头的长度和取向与三脚架的对应部分的长度和取向匹配为止，如图2和图3所示。当使用采取具有集成2d相机或3-d相机14的手持装置形式的计算装置16时，该方法的该实施例允许对机器人1非常简单的编程，因为可以通过将关键位置的水平和垂直位置乘以相应的比例因子来完成操纵步骤的序列中的位置数据的转换，在该关键位置中，对标记-对象17进行操纵。

为了提高编程的精度，可以将手持装置或相机14安装到位于工作区10上方的支撑框（未示出），以便在与工作区10的平面完全平行的平面上捕获所捕获的图像。

现在将在下文中参考图2至图8所示的方法的示例性实施例来描述该系统的典型工作流程。

在将工作区10的图像12与参考点20a，20b，20c以及要操纵的工件8（其被捕获为具有附加距离信息的2-d图像）捕获和加载到计算装置16中之后，操作员旋转并扩展图像12，使得表示与显示器18相关联的坐标系19的所示箭头与参考点20a和20b的图像叠加，如图3至图8所示。

在下一步中，操作员激活控制按钮24（被高亮），该控制按钮24生成标记-对象17，操作员将其移动并重新调整大小为矩形框，直到其围绕图像12中的工件的图像部分为止。在控制装置中的操纵步骤的序列中，将帧的位置p1存储为帧的初始关键位置。

只要已经将标记-对象17定位在屏幕上，计算装置16就检索关联到位于标记-对象17内部的像素的距离值，并将具有最低值的像素确定为第一测量位置l1以及相关联的距离值确定为第一距离值d1。随后，计算装置16检索与刚位于标记-对象17外部的像素相关联的距离信息，例如，距矩形框的外边界10到100个像素，作为第二测量位置l2，并检索相关联的距离值作为第二距离值d2。

备选地，可以借助于hmi来选择标记-对象17内部以及还有其外部的第一测量位置l1的像素，并且由计算装置16可以自动地从所捕获的3d图像的文件中检索相关联的距离值d1和d2。

随后，计算装置计算检索的距离值的数学差d2-d2，并将计算的值存储为工件高度值wh。

随后，计算装置16根据工件高度值wh计算工件抓取高度值gh，其被确定为某个值，所述值优选地是工件高度值wh的50％。工件抓取高度值表示从工作区10的平面计算的垂直位置，其中，操作员希望机器人1的端执行器的抓取器在执行进一步操纵步骤之前抓取工件。该值可以借助于hmi自动设置为工件高度的50％，但是如果操作员希望机器人在更高或更低的位置抓取工件，则可以由操作员通过经由hmi的输入比例因子来可选地手动更改。

如图4进一步所示，操作员然后激活控制按钮24（被高亮），所述控制按钮24借助于抓取器4与定位和抓取工件8相关联，该抓取器4在图1被示为机器人1的端执行器或工具。通过旋转和移动两个杆22a和22b，这些杆位于图像12中的抓取器4的期望抓取位置g1、g2，它们也被存储在操作步骤的序列中，优选地与工件抓取高度值gh一起存储。

在下一个步骤（图5）中，操作员激活与提升和移动工件8有关的控制按钮24，或者确切地说，附接到机器人臂2的抓取器4。通过点击框17，并且以从现有技术图像处理程序中已知的相同方式拉动该框17，将框定位在期望位置，该期望位置与相关联的机器人命令一起在操纵步骤的序列中保存为位置p3。

在图6所示的后续步骤中，操作员激活与机器人命令有关的控制按钮24，该机器人命令如箭头所示顺时针旋转抓取器/端执行器4。还可借助于键盘（未示出）输入到计算装置的旋转角度与框17的新位置p4一起保存到操纵步骤的序列中。

在最后的操纵步骤中，操作员激活与机器人命令有关的控制按钮24，该机器人命令降低抓取器并将工件压入轨道中，在所述轨道中降低框17（或更准确地说是框的左下边缘）到目标位置p5，在该目标位置p5中，工件12卡入定位在工作区10中的轨道中。机器人1可以配备有传感器和闭环控制器，其自动地将机器人1的抓取器4相对于轨道移动到精确位置，在所述轨道中工件（熔丝）8卡入轨道上提供的凹槽中。

为了在控制机器人1时也考虑到工作区10上的工件的目标高度，如果必须将工件定位在最终目标位置中的工作区上的另一个对象的顶部，则这是重要的，确定参考点rp与工作区10上的第三测量位置l3之间的第三距离值d3，如图9所示。在执行操纵步骤的序列后，该第三测量位置d3对应于工作区10上的工件8的预期目标位置p5（参见图8）。根据测量的第三距离值l3，将与目标位置p5上的工件8相关联的工件定位高度值wph确定为所测量的第三距离值d3和所测量的第二距离值d2之间的数学差，即，参考点rp和工作区10的与目标位置p5相邻的平整平面之间的所测量的距离。以与上文关于工件高度值wh所述相同的方式，随后也将工件定位高度值wph用于生成控制代码和相关机器人命令，以用于控制机器人1。

在该步骤之后，操作员可以激活按钮（未示出），该按钮激活计算装置16以按照操作步骤的序列将所收集的位置数据p1-p5和g1，g2转换成目标坐标系11中的坐标p1'至p5'，并生成控制代码以用于机器人1。该控制代码可以被自动传输到机器人控制单元6。

根据本发明的另一个目的，图像捕获装置14可以捕获工作区10的图像12连同针对多个预定像素的相关联的所测量的距离值，所述多个预定像素位于遍布于所捕获的图像12的位置。虽然预定像素可以是所捕获的图像12的所有像素，但可以在不降低显示器18上的任何对象的视觉分辨率的情况下明显降低所需的计算能力，例如，如果由计算装置仅将图像的每第二或第5或甚至第10个像素选为预定像素，则针对该预定像素检索相关联的距离值。

对于所捕获的图像12的预定像素中的每个，计算装置然后确定障碍物高度值，该障碍物高度值是第一所测量的距离值d1和关联到预定像素中的对应预定像素的所测量的距离值之间的计算差。在为预定像素中的每个计算障碍物高度值之后，将计算的障碍物高度值与针对端执行器4的最大提升高度的预定值进行比较，其可以一次手动输入到每个机器人1的计算装置中或存储在其中。如果对象高度值超过预定最大提升高度值，则计算装置标记对应的预定像素，并将其显示在所捕获的图像12中作为碰撞对象26。这可以通过增加像素的亮度或通过更改像素的颜色（例如变成红色）来实现。

如图10所示，计算装置16随后可以根据所确定的障碍物高度值计算所提议的非碰撞路径或轨迹28，其中工件8可以围绕被标记（被高亮的）像素或被标记像素的集群周围移动，以便帮助操作员选择最合适的路径，以用于将显示器18上的标记-对象17从初始位置p1移动到最终位置p5，而不与被标记的碰撞对象/障碍物26中的任何碰撞。

根据本发明的另外的实施例，图像捕获装置14可以捕获工作区10的图像12连同如本文之前所述的多个预定像素的相关联的所测量的距离值，并且可以附加地或可选地确定，是否与工作区10的平面的距离有关的第一所测量的距离值d1与相应地关联到预定像素中的每个的所测量的距离值之间的计算差大于抓取高度值gh。在优选地从由3-d相机14取得的所捕获的图像的文件中检索的所测量的距离值超过抓取高度值gh的情况下，所涉及的像素由计算装置16标记，并且随后显示在显示器18上所捕获的图像12中作为可抓取的对象。

根据图9所示的本发明的备选实施例，借助于测距仪15来测量第一距离值d1和第二距离值d2以及第三距离值d3，该测距仪15包括发射光束的光源，当相应地在工件（8）或工作区（10）上定向测距仪（15）时，所述光束生成工作区（10）上的第一测量位置l1处的工件8上的第一光斑和第二测量位置l2处的第二光斑。为此，测距仪15可枢转地安装到图像捕获装置14，其在图9的实施例中包括在触摸板中，该触摸板还包括计算装置16以及gui和hmi等。为了测量距参考点rp的第二、第三和第三距离d1和d2，测距仪15优选地在某个位置处位于工作区上方，所述位置定位在工件8的正上方，使得光束和法线在第一测量位置和第二测量位置l1，l2之间的角度在工件8和工作区10上尽可能小。在测量第一距离d1之后，使测距仪15或整个触摸板略微枢转并且测量第二距离d2。根据所测量的距离值d1和d2，其可以显示在测距仪15的显示屏（未示出）上，计算数学差并将其作为工件高度值wh输入到触摸板中。

为了在要求计算工件定位高度wph的第三测量位置l3处测量第三距离d3，可以将触摸板侧向移动并且定位在工件8的预期目标位置p5的正上方，其在图9中由轨道示意表示。为了尽可能减少测量误差，可以再次在接近预期目标位置p5的位置l2处测量参考点rp（例如，测距仪15的外壳的前端）与工作区10之间的第二距离d2，如图9中示意示出那样。以与之前本文关于工件高度值wh所述的相同方式，然后将工件定位高度值wph计算为所测量的距离d2和d3与输入到计算装置16中的值之间的数学差。

参考标号列表

1机器人

2机械臂

4端执行器（工具）

6机器人控制单元

8工件

10机器人的工作区

11目标坐标系

12捕获的图像

14捕获装置/相机

15测距仪（15）

16计算装置

17标记-对象

18显示器

19显示器的坐标系

20a参考点

20b参考点

20c参考点

22a杆

22b杆

24控制按钮

26碰撞对象

28提议路径

gui图形用户界面

hmi人机界面

g1、2抓取位置

p1-p5标记-对象的位置

p1´-p5´转换后的位置

d1第一距离值

d2第二距离值

d3第三距离值

l1第一测量位置

l2第二测量位置

l3第三测量位置

rp参考点

wh工件高度值

gh工件抓取高度值

wph工件定位高度值