借助相机选择设备或对象的制作方法

本发明涉及一种借助便携式终端设备选择和操控操纵器系统的方法，本发明还涉及一种相应的便携式终端设备以及一种操纵器系统。

背景技术：

操纵器、特别是工业机器人是可自由编程的程控操作设备。这种操纵器可以由多个可移动的、彼此链接的节肢或轴组成，由此定义了运动学链(kinematische Kette)。

为了能够使用操纵器，通常必须将其投入运行中并为其编程。在调试阶段将产生用于此后对操纵器程序进行编程的前提条件。另外，例如在调试时还将校准操纵器，使操纵器的末端执行器或工具(例如夹持器)参数化，调准移动平台的一个或多个激光扫描仪，定义操纵器的工作和禁止区域，使受机器人引导的或静止的相机参数化，或者还定义坐标系，例如基本坐标系。

在创建操纵器程序的过程中，可以形成各种针对设备和/或对象应用的不同指令并以所期望的顺序排列。在此例如可以定义为，操纵器应当以一定的方式在起始点和目标点之间行进，可移动平台应当沿着一定的轨迹运动，末端执行器应当执行所期望的操作，或者应当通过照相机来拍摄图像等。

对操纵器的调试或编程经常在现场借助于便携式终端设备进行。为了构建待执行的任务和/或操纵器的可控制的对象，操作设备的操作面通常采用树形结构/或菜单结构。在此，这种结构可以表现为不同的，并且例如针对功能或者针对对象或设备来划分。当然，这种树形结构的使用在大多数情况下是不明显的，因为通常必须描绘或提供较大数量的设备、对象和/或任务。因此对于使用者想要执行的各种任务而言，按照正确的菜单点进行搜寻经常表现为很艰难：使用者或操作者必须费力地根据树形结构来确定方位，直至其找到合适的元件。

技术实现要素：

因此，本发明的目的在于提出一种方法，利用该方法能够简单且直观地选择操纵器控制任务。在此，本发明的目的特别是在于提出一种能够在无需较大成本的情况下直接操控操纵器或机器人的方法。此外，本发明的目的还在于提出一种操作设备和一种操纵器系统，利用该操作设备和操纵器系统可以操控操纵器，在此至少部分地排除了前述的缺点。

该目的和在以下的说明书中所见的其他目的通过一种借助便携式终端设备操控操纵器系统的方法来实现。

本发明的一个方面包括一种借助便携式终端设备操控操纵器系统的方法。在此，操纵器系统可以包括多个操纵器或者说机器人，例如安装在无人驾驶自主运输车辆上的关节臂机器人。便携式终端设备例如也可以是机器人操作设备，或者也可以是移动消费设备(例如平板电脑、智能手机、智能手表等)。在任何情况下，优选便携式终端设备包括相机，该相机使得能够检测主题的图像。特别优选相机是3D相机，其能够检测主题的三维图像。

根据本发明的方法包括：借助便携式终端设备的相机检测待操控的操纵器系统的至少一个部分的图像。例如可以检测操纵器系统的机器人臂，或者例如检测应当受到操控的夹持器。优选检测操纵器系统的应当受到操控的那一部分的图像。

此外，该方法还包括：基于检测到的图像来确定操纵器系统的特征。在此，操纵器系统的这些特征或者属性对于操纵器系统而言是非常有代表性的，从而能够借助所确定的特征来反映(识别)操纵器系统。

此外，该方法还包括：基于所确定的特征识别操纵器系统的至少一个可操控的对象，以及对操纵器系统进行操控。由此，可以借助所确定的特征来识别可操控的对象(例如操纵器的夹持器)。

因此，根据本发明的方法允许在例如建立应用任务的各个阶段中，直观地选择并操控所需要的操纵器系统的设备或对象，以便例如使对象被参数化、行动、诊断等。在此，不需要艰难地搜寻菜单树和/或指令列表。便携式终端设备的使用者仅仅必须借助相机来检测图像，由此能够自动地识别操纵器系统的一个或多个可操控的对象。在此，用户可以有利地相对于操纵器系统处于任何位置和方向，并在任何时间通过例如激活相机来获取操纵器系统 的操纵器或者对象或设备的与背景相关或无关的功能或信息。

优选相机是3D相机，并且借助于该3D相机检测的图像是三维图像。此外，在此使用3D相机的优点在于，使得便携式终端设备的操作者也可以相对于待操控的操纵器系统位于较远的(并因此更安全的)距离上。有利的是仅仅必须检测一个图像，因为所产生的三维图像包含有足够的信息来实施根据本发明的方法。

根据本发明的方法还包括：提供待操控的操纵器系统的参考数据组。特别优选这种数据组的提供可以包括借助便携式终端设备示教操纵器系统的至少可操控的对象。例如，用户可以在学习模式下示教操纵器系统的一个或所有的设备或对象。在此，例如可以借助3D相机从多个方向对各个设备或对象成像，并根据该成像定义各个设备或对象。该参考数据组用于随后识别待操控的操纵器系统或者说该系统的对象。

此外，优选确定操纵器系统的特征还包括执行图像识别过程，该图像识别过程是基于所检测到的三维图像和优选提供的参考数据组来识别特征。因此，例如可以通过将三维图像与所提供的参考数据组进行比较来识别也包含在三维图像中的特征。例如，该特征可以是夹持器的有代表性的一部分夹持器。由此可以在操作成本不高的情况下操控操纵器系统。

优选便携式终端设备包括显示装置，该显示装置又优选包括触摸板。在此，这种触摸板(或者触摸屏、触摸显示器、对接触灵敏的屏幕或接触屏幕)可以是输入和输出设备的组合，操作人员可以通过对部分触摸板或屏幕的接触实现与它们的互动。此外，优选该方法还包括：在便携式终端设备的显示装置上显示所检测到的三维图像。由此使得便携式终端设备的使用者能够立即看到至少一部分待操控操纵器系统的图像，并且有利地确定是否检测到合适的图像，即，例如是否检测到操纵器系统的应当被操控的对象。

此外，优选该方法还包括：在便携式终端设备的显示装置上显示光学标识，该光学表示指定(spezifiziert)操纵器系统的被识别的对象。由此可以在显示装置上直接看出哪个对象被识别或者说被确认。由此，能够以简单、直观的方式为使用者提供直接的反馈或直接的回应。

此外，优选对操纵器系统的操控包括：由便携式终端设备的使用者来选择所识别的操纵器系统的对象。即，使用者借助便携式终端设备主动地选择 出所识别的并且优先要被操控的对象。为此，例如使用者可以在触摸板上点击已被识别的对象(例如夹持器)，并进一步优选利用相应的光学标识在显示装置(即触摸板)上标记并指定。随后，作为对点击的回应，例如夹持器可以被打开或关闭。因此，优选对所识别的操纵器系统的对象的选择包括：在便携式终端设备的显示装置上选择光学标识。即，使用者可以直接确认，所示出图像的哪一个对象能够被选择并操控。

优选有操纵器系统的至少两个对象被识别，并在便携式终端设备的显示装置上显示至少两个光学标识，在此，每个光学标识指定操纵器系统的一个被识别出的对象。由此，操纵器系统具有至少两个可操控的对象，并且使用者可以直观地直接确认其能够选择并操控哪个对象，在此有利的是无需对菜单树等实行艰难的搜寻。

优选对操纵器系统的操控包括对操纵器系统的被识别的对象的操控。也就是说，能够有利地准确操控被识别的对象。例如，使用者可以为便携式终端设备如下地取向：检测对象(例如夹持器)的三维图像，对其进行识别并直接实施操控，从而例如在该夹持器打开的情况下夹持器使其闭合，反之亦然。因此对于特定的任务而言，通过这种方式可以非常直观、有效地利用操纵器系统，而不必艰难地在菜单树或指令树中确定方位。如果有多于一个的可操控对象被识别，则优选可以直接地操控离所检测到的三维图像的图像中心最近的那个对象。因此，使用者可以通过对3D相机的合适取向来影响：应当借助根据本发明的方法对操纵器系统的哪个对象进行操控。

优选对操纵器系统的操控包括查询、提供、建立和/或改变操纵器系统的数据，在此，优选这些数据描述了以下所述的至少一项：对操纵器系统的校正和/或定向，对末端执行器的参数化，对操纵器和/或末端执行器的校准，对工作区域的设定，对操纵器系统的对象的参数化，对坐标系的定义或程序流程。在此，坐标系可以例如是基础坐标系、机器人坐标系、工具坐标系或法兰坐标系，在此不限于该列表。因此，借助根据本发明的方法可以直观地实施对操纵器的启动。借助于该方法，特别是可以在对操纵器编程时设定程序流程。在此，这种程序流程可以描述出各个轨迹点以及在这些轨迹点之间的运动。通过例如建立和/或改变描述程序流程的数据，编程者可以借助该方法简单并直观地实施对操纵器的编程。在此，本领域技术人员明白的是：通 过使编程者例如离线地对操纵器进行编程，并根据所建立的程序流程使操纵器在之后的时间点上运动，可以间接地实现对操纵器系统的操控。

优选对操纵器系统的操控包括建立、改变和/或实施一功能或一程序，由此可以有利地执行以下所述中的至少一项：使末端执行器动作(例如使夹持器张开或闭合)，使操纵器系统的对象运动，控制操纵器系统的对象，使操纵器运动，控制操纵器或改变程序流程。因此例如可以简单、直观地实现对操纵器的编程。

此外，优选该方法还包括在考虑到所确定特征的条件下借助显示装置显示取决于背景的数据。在此，进一步优选在考虑到使用者输入的情况下来显示取决于背景的数据。因此，这种在显示装置上所进行的显示例如可以取决于是选择启动模式还是编程模式。在启动模式中，当选择夹持器时，例如可以显示出夹持器的几何尺寸测量值、重量值、重心、惯性值、体积模型、入口/出口的分配等。通过例如选择激光扫描仪，可以显示出用于校准该激光的菜单。相反在编程模式中，如果应该选择夹持器，则可以显示出编程者能够利用夹持器执行的动作(例如打开/闭合夹持器)夹持器。通过在编程模式中选择机器人臂，可以显示机器人臂能够实施的可能的动作(例如线性运动)。这些取决于背景的信息能够附加地辅助操作者，并允许直观地进行工作。

优选3D相机是基于光场传感器原理的全光相机(plenoptische Kamera)。这种光场传感器由微镜头的场景组成，并且保持光和被拍摄对象的颜色。此外，还可以检测光线进入的方向。因此，借助于光场传感器可以改变图像的焦点，并且可以建立所拍摄对象的3D模型。优选对三维图像的检测包括借助于全光相机从待操控的操纵器系统的至少一部分起检测四维的光场。由此，可以基于所检测到的高精度图像来确定操纵器系统的特征。

本发明的另一个方面涉及一种便携式终端设备，包括相机和设备控制器，在此将设备控制器设计为，管理根据本发明的用于操控操纵器系统的方法。在此优选该便携式终端设备可以具有较小的尺寸，因为不再需要繁琐地显示树形结构。在此优选相机是3D相机。

本发明的另一个方面涉及一种操纵器系统，其包括操纵器和便携式终端设备，该便携式终端设备包括相机，在此，该操纵器系统还具有操纵器控制器，该操纵器控制器被设计用于执行根据本发明的用于操控操纵器系统的方 法。在此优选相机是3D相机。特别优选便携式终端设备的相机是光场相机。

附图说明

下面参照附图对本发明进行详细的说明。其中：

图1示例性示出了一种操纵器系统；

图2和图3示例性示出了便携式终端设备的视图，和

图4示意性地示出了根据本发明的用于操控操纵器系统的方法的示例性流程图。

其中，附图标记列表如下：

10 操纵器系统

11 关节臂机器人

12 夹持器

13 自主运输车辆

14，15，16 传感器

20 便携式终端设备

21 触摸显示器(触摸板)

22 按键

30 操作者

41，42，43，43′，44，45，46 标记

具体实施方式

在图1中示例性示出了一种操纵器系统10，该操纵器系统由关节臂机器人11和自主运输车辆13组成。在此，该操纵器系统10包括多个可操控的对象，例如关节臂机器人11本身、关节臂机器人11的夹持器12、自主运输车辆13本身或者各种传感器14、15、16，这些传感器例如可以包括激光扫描仪。为了在本发明的思想下操控操纵器系统10，包括有3D相机的便携式终端设备的使用者借助3D相机拍摄图像。

在图2中示例性示出了这种便携式终端设备20，其具有触摸显示器并且由操作者30操作。在触摸显示器21上显示出借助便携式终端设备20检测到的如图1所示操纵器系统10的图像。根据本发明的思想，需要识别操 纵器系统10的多个可操控对象，并通过相应的标记41、42、43、44、45、46在触摸显示器中标出或者说列出。为了选出所识别的对象，操作者30例如可以在触摸显示器上点击所期望的待操控对象的标识，以便能够直观地挑选和相应地操控该对象。如在图3中通过附图标记43′所示，所选出的可操控对象可以利用特别的标识来标出，该特别标识的颜色例如不同于其他的标识。例如，选择自主运输车辆13，其仅通过标识43′被标出，该标识的颜色与其他的标识不同。替代地，也可以自动地挑选最靠近图像中心的对象。

便携式终端设备20具有3D相机(未示出)，也具有不同的按键22，所述按键可以用于控制便携式终端设备，例如变焦、激活相机功能或者控制不同的进程，例如控制根据本发明的用于操控操纵器系统的方法的各个进程。

在图4中示出了根据本发明的用于操控操纵器系统的方法的示例性流程。下面将参照在其他附图中示出的组件对该方法进行说明，但是并不局限于此。

该方法开始于步骤51，在该步骤中示教(eingelernt)应用区域的设备或对象。为此，借助于便携式终端设备20的3D相机从多个方向记录设备或对象(例如操纵器系统10的可操控组件)，并基于这些记录来示教这些设备或对象。

在步骤52中，应用者可以针对所学习的对象再附加地定义子对象。例如，如果将一机器人臂示教为可操控对象，则可以将该机器人臂的各个关节定义为子对象。同样，例如可以将夹持器的左夹钳或右夹钳定义为夹持器的子对象。在步骤53中，可以为所学习的对象或者所定义的子对象分配确定的动作或任务。

在步骤54中，应当针对所期望的对象选择或者说执行一动作或一任务。在本示例中，应当操控自主运输车辆13。为此，操作者30按下便携式终端设备20的相应按键22，以激活3D相机的照相功能。相机的取景器对准操纵器系统10的展示或包含待操控对象的那一部分。终端设备20的显示部分或触摸显示器21显示出所选择的图像区。

在步骤55中，基于所检测到的三维图像确定操纵器系统10的至少一个特征，并对操纵器系统的包含在所检测到的图像中的所有可操控对象进行识 别并在触摸显示器上例如通过蓝色的符号相应地标出。随后，操作者30选择所期望的待操控对象并对其进行操控。为此，例如可以在选择后通过点击触摸显示器21而在触摸显示器21上显示出可能的动作的列表，该列表例如包括动作“使对象转动”。通过选择这个动作，可以通过相应的控制器如下地操控所选择的自主运输车辆工具13：使得该自主运输车辆转动。