用于控制起重机、挖掘机、履带式车辆或类似的工程机械的方法和装置与流程

本发明一般地涉及利用摄像机支持控制材料转运机械和/或工程机械。本发明在此尤其涉及用于控制尤其以起重机、挖掘机或履带式车辆形式的材料转运机械和/或工程机械的方法和装置，其中由给出图像的传感器给机械操作者和/或机械控制器提供工作工具的图像。本发明此外还涉及材料转运和/或工程机械本身、尤其起重机，带有显示装置以用于显示工作工具和/或工作工具周围环境的图像。

背景技术

对于起重机如例如塔式旋臂式起重机、套接式起重机(teleskopkranen)和码头起重机或工程机械如挖掘机或地面运输工具如露天采矿机(surfaceminern)而言在运行时常常是这样的，即使得待由机械操作者监控的工作工具不处于机械操作者的视野中。如果例如利用起重机的负载吊钩在建筑物边缘或者外露边(sichtkante)之后提起或放下负载，则对于起重机操作者而言有时可不看见负载提起或放下地点，从而起重机操作者在某种程度上可以说盲目地工作且必须依赖指挥者的指导。对于另外的工程或者材料转运设备如例如挖掘机而言可以类似的方式发生，例如当抓斗铲或抓斗(greifer)在较深的坑中或在斜坡之后工作时，机械操作者不再看见工作工具。

为了在阻碍视线的区域中这样的工作中改进工作工具的监控，已经建议，给机械操作者或者机械控制器提供工作工具的摄像机图像，其中所提及的图像有利地可为视频图像意义中的实时或者实况图像，以为了例如使起重机的负载吊钩的摆动或处于工作工具的周围环境中的障碍物可视化。

对于塔式旋臂式起重机而言例如已经建议，将摄像机安装在滑车(laufkatze)处，该摄像机在展开的起重绳索的方向上向下看向负载吊钩，其中借助于图像评估自动地确定负载吊钩位置，参见文件de202012012116u1。但是在摄像机布置预先已知的情况下必须以计算的方式获取负载吊钩的高度且摄像机图像在例如在负载在地面上放下时或在吊环中穿入时监控负载吊钩高度的情形下不具有大的帮助，因为摄像机垂直向下观察。

此外从文件de19807989a1中已知，将视频摄像机安置在起重机的带钩滑车(hakenflasche)处，该视频摄像机将安置在负载吊钩处的负载的摄像机图像传达到处于起重机操作室中的监视器处。但是向下观察的摄像机也遭受到上文提及的限制。

技术实现要素：

因此，本发明的任务在于，创造用于控制材料转运机械和/或工程机械的改进的方法以及改进的装置以及改进的材料转运和/或工程机械本身，其避免现有技术的缺点且以有利的方式改进后者。尤其即使在难对付的视线受阻的区域中也应创造工作工具相对于其周围环境的改进的可视化。

根据本发明，所提及的任务通过根据权利要求1的方法、根据权利要求6的材料转运机械和/或工程机械以及根据权利要求16的控制装置解决。本发明的优选的设计方案是从属权利要求的对象。

因此建议，使用远程控制的、配备有至少一个给出图像的传感器的无人驾驶飞机，借此可从不同的视向提供工作工具和/或工具周围环境的期望的图像。尤其借助于这样的无人驾驶飞机还可从倾斜的视轴提供工作工具及其周围环境的透视的三维的图像，这些视轴可从远离机械及其操作台且在地面之上的点获得，从而可从外部的观察者将看到的视向给机械操作者可视化所述工作工具及其周围环境。对于起重机而言可例如提供负载吊钩及其周围环境的图像，这些图像从侧边倾斜地或垂直于通过悬臂的竖向的起重机中心平面观看。也可从位于穿过悬臂的竖向的起重机中心平面中的无人机位置中提供所述负载吊钩的图像。通过这样的来自不同视轴的透视图像可非常更好地可视化在工作工具及其周围环境或者目标点之间的相对位置。

在此在所述无人驾驶飞机处可使用各种类型的给出图像的传感器。有利的构造方案可例如在于，在所述无人驾驶飞机处安装有尤其以视频摄像机或电视摄像机形式的摄像机，借助于该摄像机可提供负载吊钩周围环境的非常逼真的图像，该图像赋予机械操作者亲眼见到的感觉。

但是备选地或附加地还可设置成，作为给出图像的传感器设置红外传感器和/或雷达传感器和/或光子混合检测器(photomischdetektor)和/或在所谓的飞行时间检测器(time-of-flight-detektor)意义中的光传播时间传感器。在这样的光传播时间传感器或pmd传感器的情况下由光脉冲照亮测量对象且测量信号传播时间。基于传播时间可计算在摄像机和对象之间的距离。产生的距离图像可接着以各种方式示出(例如颜色作为间距)。针对距离附加地还可从反射的光的强度中计算灰度值图像。

有利地，在所述无人驾驶飞机处还可设置具有不同的图像类型的多个给出图像的传感器、尤其结合了红外传感器的摄像机，以用于探测不同的图像。不同的图像可在不同的显示单元或相同的显示单元的不同区段上示出。有利地，至少两个不同的传感器的图像还可由图像处理模块叠加且作为共同的图像显示，例如如此显示，即使得在红外图像的可例如表示人的较热的部分渐显到“正常的”摄像机图像中。

在本发明的有利的改进方案中，所述摄像机或者给出图像的传感机构还可构造成，提供工作工具或者其周围环境的三维图像。为此可如上文阐述的那样例如使用tof或者飞行时间传感机构。通过3d图像技术可产生立体示图，该立体示图还给机械操作者提供针对示出的空间的深度的感觉。

在本发明的改进方案中，为了实现所述无人驾驶飞机的简单的操作，所述无人驾驶飞机可取决于机械位置和/或工作工具位置如此操控，即使得所述无人驾驶飞机自动地跟随机械运动、尤其工作工具运动且即使在机械运动、尤其工作工具运动的情况下也至少近似保持或者试图保持且跟踪相对于所述机械和/或其工作工具的期望的位置。如果例如结合所述起重机使用所述无人驾驶飞机，所述无人驾驶飞机可在激活的、自动的跟随模式的情况下自动地跟随所述起重机的负载吊钩。如果例如所述无人驾驶飞机的相对位置在与通过悬臂的竖向的起重机中心平面有侧向距离的情况下期望且调整大约到负载吊钩高度上或者在上方一段距离，当所述负载吊钩下降或升起时，所述无人驾驶飞机可自动地降低或提高其飞行高度，和/或当所述起重机的滑车行进时，所述无人驾驶飞机平行于竖向的起重机中心平面向前或向后飞行，和/或当所述起重机转动时，所述无人驾驶飞机侧向横向向左或向右飞行。

有利地，但是所述无人驾驶飞机也可自主地如此远程控制，即使得由所述无人驾驶飞机可自由驶向相对于所述机械和/或其工作工具的不同的期望的位置。这可例如通过输入针对所述无人驾驶飞机的相对于所述负载吊钩或者所述工作工具的期望位置实现、例如如此实现，即使得在可设置在所述起重机操作舱或操作台或远程控制台中的位置控制模块中，输入关于所述负载吊钩的位置，例如以“在所述负载吊钩右侧2m之上”的形式。但是备选地或附加地，所述无人驾驶飞机还可相对于所述机械及其工作工具完全自由地飞行，例如借助于操纵杆，以为了使无人驾驶飞机飞行，直到针对所述工作工具及其周围环境而言摄像机位置及其视角使所述起重机操作者或者机械操作者合意。备选地或附加地，还可设置用于所述无人驾驶飞机的姿势控制器，在其中探测设备如例如带有后置的图像评估设备的摄像机探测所述机械操作者的姿势如例如手运动且将该姿势转换为用于所述无人驾驶飞机的控制指令。

为了可相对于所述机械或者其工作工具定位所述无人驾驶飞机且例如自动地跟踪工作工具运动，所述无人驾驶飞机可在相对的、固定在机械处或者固定在起重机处的坐标系中进行位置控制。为此可设置有位置确定设备，其连续地或循环地确定所述无人驾驶飞机相对于所述机械的飞行位置，其中这样的位置确定设备例如可具有信号测位设备，该信号测位设备可对来自所述无人驾驶飞机的和/或发送给所述无人驾驶飞机的信号测定方位和/或在一定的信号特性方面评估所述信号，以为了由此确定所述无人驾驶飞机针对工作机械的相对位置。

这样的信号测位设备可例如如此实现，即使得在所述起重机或者所述机械处安置多个发送接收单元，这些发送接收单元与在所述无人驾驶飞机处的发送接收单元通信，从而可在不同的起重机或者机械侧的发送/接收单元与所述无人驾驶飞机的发送/接收单元之间的连接线的意义中从所述信号传播时间和/或信号强度和/或信号方向中确定所述无人驾驶飞机相对于所述起重机或者所述机械的位置。所提及的发送/接收单元可例如为应答器或附加范围发送/接收单元。在起重机的情况下，所提及的发送/接收单元可例如安置在所述悬臂、所述滑车、所述塔和/或所述负载吊钩本身处。尤其可确定从在所述起重机或者所述机械处的分别的发送/接收单元到所述无人驾驶飞机和/或反向从所述无人驾驶飞机至所述机械侧的发送/接收单元的所述信号传播时间和/或探测信号强度和/或确定在其中出现最大的信号强度的方向，以为了从所述信号传播时间和/或信号强度和/或最大信号强度的信号方向中确定所述无人驾驶飞机相对于所述机械的位置。

针对在固定在机械处的坐标系中的这样的相对位置确定备选地或附加地，还可在绝对的坐标系中分别确定一方面所述无人驾驶飞机的位置和另一方面所述机械和/或其工作工具的位置，从而从两个绝对位置中可继而确定所述相对位置且以上文描述的方式例如可如此操控所述无人驾驶飞机，即使得所述无人驾驶飞机自动地跟随或者试图跟随负载吊钩或者工作工具及其运动。

所提及的绝对位置确定可例如借助于测位系统、例如gps系统实现。例如可一方面所述无人驾驶飞机和另一方面所述负载吊钩分别配备有gps单元，以为了一方面确定所述负载吊钩的绝对空间位置且另一方面确定所述无人驾驶飞机的绝对空间位置。但是所述负载吊钩的空间位置也可近似从工作机械构件的已知的运动和/或位置数据如例如塔式旋臂式起重机的旋转角度、滑车位置和负载吊钩高度中确定，从其中在已知架起地点时尤其在忽略摆动或风影响时可至少近似确定所述负载吊钩位置。

针对重新调整所述无人机的飞行位置备选地或附加地，在本发明的改进方案中还可相对于所述无人驾驶飞机的主体重新调整所述无人驾驶飞机的摄像机或者给出图像的传感机构的视轴和/或焦距、尤其如此重新调整，即使得所述摄像机或者传感机构在所述无人驾驶飞机处摆动和/或在其焦距方面调整，以为了自动地跟随负载吊钩或工作工具运动。如果例如起重机的负载吊钩下降一段距离，则所述给出图像的的传感机构可在所述无人驾驶飞机处例如向下摆动一段距离，以为了跟随负载吊钩运动或者在所述图像中维持所述起重机吊钩。在此所述无人驾驶飞机可在其飞行高度方面保持或如有可能附加地同样往低处去一段距离。摄像机摆动角和/或摄像机焦距可在此尤其取决于在所述工作工具和所述无人驾驶飞机之间的相对位置计算。备选地或附加地还可借助于图像处理过程控制所述调整，借助于该图像处理过程可在所述图像中获取位置所述工作工具、尤其负载吊钩的位置且监视运动离开图像中心，从而可重新调节所述给出图像的传动机构的视轴和/或焦距，以为了在图像中心中利用近似保持相同的示图大小保持工作工具或者负载吊钩的示图。所述视角和/或所述焦距的改变可与所述无人驾驶飞机的飞行位置的改变叠加。

当所述无人驾驶飞机例如由于存在的建筑物部分或周围环境障碍物如树不可随意改变其位置时，所述给出图像的传感机构相对于所述无人驾驶飞机的视轴的可如此程度改变的取向和/或焦距改变可为尤其有利的。

在本发明的有利的改进方案中，所述无人驾驶飞机的位置控制还可取决于，可在所述无人驾驶飞机本身处获得的工作范围限制和/或施工现场模型数据和/或障碍物探测数据控制。如果所述无人驾驶飞机例如以上文描述的自动的跟随模式(在其中所述无人驾驶飞机自动地跟随起重机的负载吊钩)运行，则可例如发生，在所述起重机围绕其垂直的塔轴线转动时所述无人驾驶飞机侧向横向一起飞行，以为了保持相对于所述负载吊钩位置，且在此虽然所述负载吊钩本身还未到达建筑物部分但是所述无人驾驶飞机与所述建筑物部分碰撞。为了避免这一点，所述无人驾驶飞机的位置控制装置可考虑工作范围限制和/或施工现场模型数据和/或本身具有例如借助于雷达或超声波传感器进行的障碍物识别，以为了可识别障碍物。当到达工作范围限制和/或来自施工现场模型数据组的建筑物部分或障碍物时，则自动的跟随控制可过调(übersteuert)且自动跟随模式可中止。有利地，所述无人驾驶飞机还可自动地计算备选路线，该备选路线考虑所述工作范围限制和/或避开障碍物，其中避开路线有利地如此确定，即使得所述负载吊钩或者所述工作工具保持在所述无人驾驶飞机的给出图像的传感机构的视野中。

有利地，所述无人驾驶飞机可根据控制技术联结到各种工作机械、例如各种起重机处或还可根据控制技术联结到施工现场的各种工作机械、如例如可选地挖掘机或起重机处，根据哪个工作机械刚好需要所述无人驾驶飞机。有利地，所述无人驾驶飞机可在此具有控制界面，其允许操控各种机械。尤其可在所述无人驾驶飞机的飞行控制和/或摄像机控制模块中取决于分别的工作机械的操控信号进行预配置，例如在从配置资料库(konfigurationsbibliothek)读出预配置数据组的情况下。例如所述无人驾驶飞机可在通过起重机进行操控的情况下如下进行预配置，即使得所述给出图像的传感机构在焦距方面针对负载吊钩调整，而在针对例如挖掘机进行预配置时所述无人驾驶飞机针对不同于用于起重机的飞行高度且针对不同的焦距预配置。

在可针对不同的工程机械或者工作机械如此使用的无人驾驶飞机中，所述无人驾驶飞机可例如停放在施工现场且由分别需要的工程机械请求。

附图说明

下面借助于优选的实施例和所属的图纸进一步解释本发明。在图纸中：

图1显示了以起重机形式的材料转运机械的示意性侧视图，在该起重机的负载吊钩处负载在建筑物后面且因此在起重机操作舱的可见范围之外被操纵，其中带有摄像机的无人驾驶飞机给起重机操作者提供负载吊钩及其周围环境的摄像机图像。

具体实施方式

如图1显示的那样，起重机1可构造为塔式旋臂式起重机，其塔2承载悬臂3，滑车4可行进地支承在该悬臂处。悬臂3可与塔2一起或还在没有塔2的情况下-根据起重机构造为上回转式还是下回转式-围绕竖直的轴线转动，对此设置有转动机构驱动器。悬臂3如有可能还可构造成可围绕水平的横向轴线高低往复跷动，其中合适的跷动驱动器例如可设置成与悬臂系索(auslegerabspannung)相互作用。所提及的滑车4可借助于滑车移动绞盘(katzfahrwinde)或另外的滑车移动驱动器方法行进。

所提及的驱动装置可由控制装置5操控，该控制装置可包括固定式操作单元(该固定式操作单元带有例如以在起重机操作舱6中或者在起重机的控制台或远程控制台处的操纵杆形式的合适的输入器件)和/或还可具有带有相应的输入器件的便携式操作单元。这样的便携式操作单元可例如以无线远程控制器的形式构造，当起重机操作者在起重机工作范围中在施工现场上移动时，起重机操作者可随身携带该无线远程控制器，以为了在起重机操作舱6之外也可控制起重机。但是上文提及的远程控制台也可为远离施工现场设立的例如以模拟器意义的远程控制台。

为了即使当负载吊钩8处于起重机操作舱6或者起重机操作者的可见区域之外时、例如即使当如在图1中显示的那样负载应在建筑物之后放下时，也可看见可与自滑车4展开的起重绳索7连接的负载吊钩8或容纳在该负载吊钩处的负载或者负载吊钩8的周围环境，根据本发明设置有无人驾驶飞机9，在该无人驾驶飞机处安装有至少一个摄像机10，借助于该摄像机可提供负载吊钩8和/或负载吊钩周围环境的摄像机图像。所提及的摄像机图像有利地为在电视图像或视频图像的意义中的实况或实时图像且由无人驾驶飞机9的摄像机10无线地传送到起重机1的显示单元11和/或控制装置5，其中所提及的显示单元11例如可为根据平板或屏幕或监视器类型的机械操作显示器，其可安装在起重机操作舱6中。如果以上文提及的方式使用远程控制台或便携式操作单元以用于控制起重机1，所提及的显示单元11可设置在远程控制台中或设置在便携式操作单元处。

无人驾驶飞机9设有远程控制设备12，该远程控制设备允许，远程控制无人驾驶飞机9、尤其操控飞行控制总成如例如转子叶片，以为了远程控制无人驾驶飞机9的飞行位置和/或尤其在摄像机10相对于无人驾驶飞机9的主体的摆动角或者视轴和/或摄像机10的焦距方面远程控制摄像机10。

相应的远程控制模块可设置在起重机操作舱6和/或远程控制台或便携式操作单元中，例如配备有相应的操纵杆。但是为了实现简答的操作，还可针对无人驾驶飞机9设置语音控制器和/或菜单控制器，例如以为了从无人驾驶飞机9相对于起重机的多个预定的相对位置中选择期望的相对位置。这可例如通过以下方式实现，即使得经由语音控制器和/或菜单控制器输入“无人机位置1”，该“无人机位置1”可预编程地或者预定地存储在位置控制装置13中。

有利地，无人驾驶飞机9相对于起重机1和/或其负载吊钩的位置可至少尽可能自主地且独立于起重机控制，例如以已知的方式经由远程控制设备12的所提及的操纵杆。经由位置控制装置13的自主的控制模块可飞向无人驾驶飞机9相对于负载吊钩8的期望位置。

针对这样的自主的位置控制模块备选地或附加地，位置控制装置13可具有自动的跟随控制模块，以为了即使当起重机1实施抬升运动和/或负载吊钩8运动时，也保持无人驾驶飞机9的预定的位置-例如通过自主的位置控制模块任意飞向的期望位置和/或预定的、预编程的位置，从而无人驾驶飞机9尽可能自动地跟随负载吊钩8且对此保持预定的相对位置。

有利地，设置有位置确定设备18，该位置确定设备自动地连续地或循环地确定无人驾驶飞机9相对于起重机1和/或其负载吊钩8的位置，从而位置控制装置13可取决于确定的相对位置操控无人驾驶飞机9。

无人驾驶飞机9可为此例如包括gps单元14，借助于该gps单元确定无人驾驶飞机9的绝对空间位置且将该绝对空间位置传达给位置控制装置13。另一方面可确定负载吊钩8的位置，从而位置控制装置13可远程控制无人驾驶飞机9，以为了保持相对位置。

负载吊钩位置可在此原则上同样经由gps确定，例如通过将gps单元集成到负载吊钩中。但是备选地或附加地，负载吊钩位置也可从起重机构件的位置确定，尤其由起重机的控制装置5通过以下方式计算，即例如通过探测悬臂的旋转角、探测滑车4在悬臂3处的位置和起重绳索7的放出长度，由此在已知起重机1的架起地点的情况下当忽略动态摆动或风影响时可至少近似确定负载吊钩位置。

针对这样的绝对位置确定备选地或附加地，无人驾驶飞机9的位置还可在固定在起重机处的、即与起重机一起转动的坐标系相对地确定。为此可在起重机1处、例如在其悬臂3和其塔2处、如有可能还在其滑车4和/或其负载吊钩8处设置例如以应答器单元15形式的发送/接收单元，所述发送/接收单元有利地在多个彼此隔开的部位处安置在起重机1处。所提及的发送/接收单元15可与在无人驾驶飞机9处的相应的发送/接收单元16通信。那么例如可由测位设备17(该测位设备可集成到起重机1的控制装置5中)从信号在无人驾驶飞机9处的发送/接收单元16和起重机1处的分别的发送/接收单元15之间的信号传播时间中确定无人驾驶飞机9与在起重机1处的分别的发送/接收单元15的间距且由此确定无人驾驶飞机9相对于起重机1的位置。