借助相机查明机器人轴角度并选出机器人的制作方法

本发明涉及一种借助便携式终端设备识别操纵器的方法，以及一种相应的便携式终端设备和一种机器人系统。

背景技术：

操纵器以及特别是工业机器人是自动控制的、可自由编程的多用途机器。这些操纵器例如可以在制造设备的不同区域中使用，以便例如在加工站或测量站中加工或测量构件或工件。在工业领域中，通常在空间上彼此靠近地使用多个操纵器，这些操纵器可以执行不同的、相似的或相同的任务。

在具有一定程度的自动化技术的现代工业设备中，经常存在报告机器人系统状况信息的要求，以用于例如检验当前的过程参数、限制错误或者还有进行程序或参数变化。例如可以存在在某一确定的时间点报告确定的机器人系统的状况信息的必要性。为此，必须首先对机器人系统的通常提供所述状况信息的相应机器人控制器进行识别和选址。为此，例如可以通过使用者在输入设备上手动地输入控制器地址或类似参数，该控制器地址明确地识别机器人控制器并在必要时允许操控所述机器人控制器。但这是存在缺点的，因为地址是已知的并且必须被输入。也就是说，该方法是相对开销大的。

由另一方法已知，在机器人系统上提供特殊的标记、例如QR码或RFID标签，并在需要时读取这些标记并由此识别机器人系统和相应的机器人控制器。当然，该方法也关联着一些缺点，因为这些标记或标签必须被安置在所涉及的控制器或机械装置上。此外还可能进行的是，这些标记由于不利的配置而会被暂时地覆盖，并因此无法被读取。因此，该方法同样是相对开销大的且还不可靠。

技术实现要素：

因此，本发明的目的在于提出一种方法，利用该方法可以简单且尽可能无错误地识别操纵器或机器人系统。在此，本发明的目的特别是提出一种方法，利用该方法可以借助于便携式操作设备从多个操纵器中选出确定的操纵器。本发明的另一目的在于，至少部分地克服上述的缺点。

这些目的和在阅读下面的说明书时变得清楚的目的通过根据本发明的方法和装置的主题得以解决。

本发明涉及一种借助便携式终端设备识别操纵器的方法。该便携式终端设备例如可以是移动式消费类输入设备，例如平板电脑、智能手表、智能手机等，或者也可以是移动式机器人操作设备。在此，便携式终端设备包括3D相机。在此优选地，3D相机是全光相机(plenoptische Kamera)，该全光相机基于光场传感器的原理。这种光场传感器由微透镜的场组成并记录被拍摄对象的光和颜色。此外，还检测如下这样的方向，光射线从该方向来地入射。因此，借助于光场传感器可以尤其事后改变图像的焦点，并且可以生成被影印对象的3D模型。

根据本发明的方法具有借助于便携式终端设备的3D相机从待识别的操纵器的至少一部分检测三维图像。在此优选地，借助3D相机检测整个待识别的操纵器。基于所检测到的三维图像来查明操纵器的实际状态。此外，根据本发明的方法提供操纵器的参考状态并基于所查明的实际状态和所提供的实际参考状态来识别操纵器。

在此优选地，实际状态或参考状态描述了操纵器的配置。优选地，操纵器的状态包括关于下列中至少一项的信息：操纵器的姿态、操纵器的轴角度、操纵器的位置、操纵器的定向、或者这些值中的一个值的时间变化。此外，操纵器的状态还可以包括关于操纵器的各个组件的绝对参量(或者几何尺寸)和/或参量比例的信息。在此，这些组件例如可以包括操纵器臂或夹持器。根据操纵器的状态可以有利地将该操纵器与其他操纵器区分开，因为每个操纵器通常表现出自己的、个别的状态。

因此，借助根据本发明的方法可以以直观的方式选出或识别操纵器。无需标记物、标记部或标签，而是基于被检测到的三维图像来查明操纵器的状态。有利地，基于该被检测到的状态和所提供的参考状态可以明确地并且自动地识别操纵器。例如当便携式终端设备的操作者由于保护栅栏而在空间上与操纵器分离时，3D相机的使用允许了在较大的距离之外识别操纵器。由此，操作者可以处于相对于操纵器安全的距离上并尽管如此仍能识别该操纵器。此外，由于3D相机的使用，有利地仅必须检测待识别的操纵器(或该操纵器的一部分)的一个图像，因为被检测到的三维图像足够地包含了允许明确认出所述操纵器的信息。

优选地，参考状态的提供通过操纵器控制器(机器人控制器)来进行。在此优选地，参考状态可以包括多个操纵器的参考状态，这些操纵器之一是待识别的操纵器。例如，操纵器控制器周期地交流一个或多个连接在其上的运动学装置或操纵器的轴角度。因此优选地通过便携式终端设备来执行检测三维图像、查明所述操纵器的实际值和识别所述操纵器。在此优选地，便携式终端设备在其接收范围内接收所有正在发送的操纵器控制器的参考状态，并且尤其基于这些接收到的参考状态来实施识别操纵器的步骤。因此有利地，借助根据本发明的方法来观察例如在一空间中的所有重要的操纵器，从而确认哪个是待识别的操纵器。

优选地，参考状态的提供以无线方式进行。因此，便携式终端设备被设计为用于移动式使用，并且可以例如在车间中毫无问题地从一站台被运输至另一站台，并且直接与这些重要的操纵器控制器交流。因此，使用者可以在没有很大开销的情况下简单且直观地识别出期望的操纵器，并随后例如检验识别出的操纵器的状况信息。

优选地，操纵器的识别包括确定所述操纵器的所查明的实际状态是否与操纵器的所提供的参考状态中的至少一个参考状态一致。因此例如将所有提供的参考状态与操纵器的所查明的实际状态进行比较，以便确认，操纵器的所提供的参考状态是否以及哪个与所查明的实际状态一致。当确定或确认了这种一致性时，优选可以直接地识别出相应的操纵器，因为一致的所提供的参考状态的来源和情况(例如由于时间标记等)有利地是已知的。

优选地，操纵器的识别包括选出所提供的参考状态中的一个参考状态，从而使得大致与三维图像的检测在时间上同步地生成该所选出的参考状态。因此选出如下这样的参考状态，其描述了大致在检测操纵器的三维图像的时间上的操纵器的位置。当提供多个操纵器的参考状态时，可以由此例如将选出可能性限制为，仅使用如下这样的参考状态来识别所述操纵器：这些参考状态大致在检测三维图像的时间上被生成。为此，例如可以使用参考状态的时间标记，或者可以对在三维图像检测的时间点所提供的参考状态相应地作上标记，从而使得这些参考状态被考虑用于操纵器的识别。因为由于技术前提条件很少能够存在完美的时间一致性，所以例如也可以使用相应的允差。

优选地，操纵器的识别包括选出所提供的参考状态中的一个参考状态，从而使得该所选出的参考状态最接近操纵器的所查明的实际状态。因此例如进行比较：例如能够描述车间中的多个操纵器的所有提供的状态中的哪个状态最匹配应当识别(并至少部分地借助3D相机被成像)的操纵器。为此，进一步优选可以使用预先限定的允差值，并且选出所提供的参考状态中的一个参考状态以如下方式进行，即，该所选出的参考状态和所查明的实际状态之间的差小于预先限定的允差值。由此，可以尽可能无错误地且尽管如此仍然以高准确度选出匹配的参考状态并有效率地识别相应的操纵器。

优选地，所提供的参考状态中的一个参考状态的选出通过固定式计算机或运算器来进行，例如通过中央计算机或主计算机来进行。在此，特别是优选通过操纵器控制器或机器人控制器为计算机提供参考状态。计算机例如可以以线缆连接方式或以无线缆方式在网络中集成，并且例如被用于程序归档、用于软件升级、生产信息的收集等。此外优选地，便携式终端设备还为运算器提供被检测到的三维图像和/或操纵器的所查明的实际状态。随后优选地，可能地通过中央运算器来进行查明操纵器的实际状态的步骤，以及根据本发明选出所提供的参考状态中的一个参考状态。

优选地，操纵器实际状态的查明如所描述的那样通过便携式终端设备或地点固定地安装的、固定式计算机来进行。因此，根据便携式终端设备的运算能力的不同，可以有效地将便携式终端设备和固定式计算机之间的工作量进行划分。

优选地，操纵器的实际状态包括关于以下中至少一项的信息：操纵器的实际姿态、操纵器的实际轴角度、实际操纵器的实际位置、操纵器的实际定向、操纵器的工具中心点的笛卡尔实际位置、或者这些提到的值的时间变化、或者操纵器的各个组件的实际参量和/或实际参量比例。操纵器的实际状态可以从被检测到的三维图像中获取。优选地，操纵器的参考状态与之相应地包括关于以下中至少一项的信息：操纵器的参考姿态、操纵器的参考轴角度、操纵器的参考位置、操纵器的参考定向、操纵器的工具中心点的笛卡尔参考位置、或这些提到的值的时间变化、或操纵器的各个组件的参考参量和/或参考参量比例。相应地可以进行待识别操纵器与已知的操纵器之间的尽可能明确的配属。

优选地，3D相机是全光相机，并且三维图像的检测包括检测(Umfassen)待识别的操纵器的所述至少一部分的四维光场。由此，例如可以以高准确度查明机器人或操纵器的轴角度或者一般而言查明操纵器的状态。

优选地，便携式终端设备包括显示部件，该显示部件显示被检测到的图像。由此，便携式终端设备的操作者可以直接地认出，是否检测了待识别的操纵器的匹配的图像。由此可以避免由于检测了不需识别的操纵器的图像的错误识别。

此外，本发明还涉及一种便携式终端设备，其包括3D相机和设备控制器，其中，设备控制器被设计为由操纵器的被检测到的图像来确定操纵器的轴角度的实际状态，并且其中，所述设备控制器优选进一步被设计为，执行根据本发明的用于识别操纵器的方法。因为无需开销大的操作场来识别操纵器，所以便携式终端设备可以具有小的参量，并由此适用于移动式使用和舒适的使用。

此外，本发明还涉及一种机器人系统，其包括操纵器和便携式终端设备，该终端设备包括3D相机。在此，机器人系统还具有控制器，该控制器被设计为，执行根据本发明的用于识别操纵器的方法。优选地，便携式终端设备的3D相机是全光相机。

附图说明

以下借助附图详细描述本发明。在此示出：

图1示例性示出了待识别的操纵器；

图2示出了一种用于识别操纵器的根据本发明的方法的流程图；以及

图3示出了用于识别操纵器的另一种根据本发明的方法的流程图。

其中，附图标记列表如下：

10操纵器

12三维线条模型

16便携式终端设备

具体实施方式

图1示例性示出了操纵器10，该操纵器被构造为多轴的关节臂机器人。所示出的操纵器10例如与其他的操纵器(未示出)一起位于车间中，并且应当借助便携式终端设备16从多个这种操纵器中被识别出来并被选址。

在此，便携式终端设备16包括3D相机(未示出)，该3D相机是全光相机并基于光场传感器的原理。为了识别操纵器10，利用便携式终端设备16拍摄三维图像并基于被检测到的图像查明操纵器的简单的三维线条模型12，该三维线条模型在图1中通过虚线示出。根据该三维线条模型12，例如可以认出或计算出操纵器的轴角度或姿态。

在图2中，示意性示出了用于识别操纵器的方法的流程图，以下借助在图1中示出的配置来描述该方法。在步骤21中，多个操纵器的每个操纵器控制器例如在车间中通过无线电周期地交流其所连接的操纵器的、尤其是待识别的操纵器10的轴角度(和/或其他的对象信息，例如工具中心点的当前的笛卡尔位置、工具体积模型、周围环境模型等)。便携式终端设备16接收所有在其接收范围内正在发送的操纵器控制器的信息(参考值)。

在步骤22中，使便携式终端设备16的相机对准到操纵器10上，并拍摄该操纵器10的图像。基于操纵器10的事先提供的模型，根据3D图像数据来查明操纵器10的所有实际轴角度。

在步骤23中，便携式终端设备16在如下的方面上挑选在步骤21中接收到的信息，即，仅使用那些例如描述操纵器的在拍摄图像的时间点上的轴角度的信息。随后，便携式终端设备16将这些信息与所查明的实际轴角度(和/或其他对象信息)进行比较。

在步骤24中，在一致的情况下识别出所期望的操纵器控制器。因此涉及由所述图像数据获取的实际轴角度与所有提供的轴角度(参考轴角度)之间的配属，从而使得能够明确地识别被成像的操纵器。

随后，在步骤25中，便携式终端设备可以进行与识别出的操纵器或识别出的控制器的连接，并与该操纵器或该控制器相互作用。例如可以读取状态、设置参数、或显示和/或报告讯息。

图3示意性示出了就像例如图1的用于识别操纵器那样的用于识别操纵器的另一根据本发明的方法的流程图。该方法开始于步骤31，在该步骤中，所有操纵器控制器进行与中央运算器(固定式计算机)的网络连接。

在步骤32中，所有这些操纵器控制器将它们的当前的轴角度(和/或其他的对象信息)交流至中央运算器上。优选地，这周期地进行，例如在每个IPO周期(IPO-Takt)上进行。

在步骤33中，借助便携式终端设备16的3D相机来拍摄待识别的操纵器10的三维图像。该图像包含三维信息，这些三维信息例如能够实现生成待识别操纵器10的三维模型。

在步骤34中，为中央运算器提供所拍摄的图像，并且由中央运算器基于所提供的图像查明机器人轴角度或操纵器轴角度。替代地，轴角度也可以在便携式终端设备中查明并随后提供至中央运算器。

在步骤35中，中央运算器将由所述图像中查明的实际轴值与在步骤32中由操纵器控制器供给的参考轴角度进行比较。为此可以考虑允差，以便能够实现有效率的比较。

在步骤36中，在一致的情况下识别出期望的控制器并将消息发送至便携式终端设备16，其允许所述便携式终端设备进行与所识别出的控制器的连接。例如可以为便携式终端设备16提供控制器的相应地址，从而使得便携式终端设备16能够自动地建立与该控制器的连接。

在步骤37中，便携式终端设备与所识别出的控制器相互作用，其中，例如传递状况信息或类似信息的询问。

为了进一步提高所述比较的准确度或精确度，附加于或替代于考虑轴角度，例如还可以使用例如所使用工具的体积模型、末端执行器的体积模型、操纵器附近构件的体积模型、机器人或操纵器本身的周围环境模型等。

替代被检测到的三维图像还可以使用待识别操纵器的多个三维图像和/或三维视频记录。例如可以从不同的观察方向拍摄多个图像。此外例如还可以执行动态的图像拍摄和处理。由此能够实现更安全的操纵器识别，因为现在也可以将来自于图像中的动态数据与操纵器控制器的动态数据进行比较，例如工具中心点在空间中的轮廓、轴特定的或笛卡尔的速度等。