确定目标位置的方法与流程

本发明涉及一种用于在对象上的负载的自动定位中确定目标位置的计算机实现的方法。本发明还涉及一种具有用于执行这种方法的装置的控制单元。此外，本发明涉及一种用于在控制单元中运行时执行这种方法的计算机程序。此外，本发明涉及一种具有至少一个传感器，特别是基于激光的传感器和控制单元的定位系统。另外，本发明涉及一种具有至少一个定位系统的起重机。

背景技术：

1、这种起重机例如被设计为龙门起重机，特别是集装箱起重机，其也称为集装箱桥，并且在港口码头中使用，用于将iso集装箱装载到卡车和货车上，特别是铁路货车上。特别是在集装箱码头，借助起重机的装载过程日益自动化，即无需操作员的手动干预。

2、公开文献wo 2020/221490 a1描述了一种用于在具有至少一个障碍物的空间中用起重机使负载无碰撞移动的方法。为了以尽可能简单的方式满足安全水平，建议提供障碍物的位置，其中提供负载的至少一个安全状态变量，根据安全状态确定负载周围的安全区域变量，动态监控与障碍物位置相关的安全区域。

3、price leon c.等人的科学出版物：“用于盲目点亮操作的多传感器驱动的实时起重机监控系统：从案例研究中吸取的教训”描述了传感器驱动的实时起重机监控系统，由负载跟踪，障碍物识别，工人识别，碰撞警告和3d可视化等模块组成。编码器，图像处理系统和激光扫描仪的组合用于重建起重机环境的3d工作空间模型，并向操作员提供实时空间反馈。

4、lee jaecheul的科学出版物：“深度学习辅助的实时集装箱角件识别”描述了一种能够有效识别角件的自动化起重机系统。

技术实现思路

1、在此背景下，本发明基于的目的是指定一种用于在对象上负载的自动定位中确定目标位置的方法，与现有技术相比，该方法能够提高性能并缩短计算时间。

2、根据本发明，该目的通过一种用于在自动定位对象上的负载时确定目标位置的计算机实现的方法来达成，具有以下步骤：借助于至少一个传感器感测对象，创建表示对象的3d点云，将3d点云投影到至少一个2d投影平面中，借助于图像处理检测用于定位负载的至少一个结构，将2d投影平面反投影到三维空间中，确定至少一个结构在三维空间中的位置。

3、此外，根据本发明，该目的通过具有用于执行这种方法的装置的控制单元来达成。

4、此外，根据本发明，该目的通过一种用于当在控制单元中运行时执行这种方法的计算机程序来达成。

5、此外，根据本发明，该目的通过一种具有至少一个，特别是基于激光的传感器的定位系统和这样的定位系统来达成。

6、另外，根据本发明，该目的通过具有至少一个这样的安全系统的起重机来达成。

7、下面列出的关于该方法的优点和优选实施例可以类似地迁移于控制单元，计算机程序，定位系统和起重机。

8、本发明基于这样的思想，即在用于在自动定位对象上的负载时确定目标位置的方法中实现改进的性能和减少计算时间，由此，执行三维数据到2d投影平面的转换。这种负载例如是集装箱，而对象例如是卡车或集装箱山中的至少另一个集装箱。特别地，这种集装箱例如被逐个地放置在集装箱山上，或者，例如使用扭锁放置在卡车上。该方法包括使用至少一个传感器来感测对象，其中该传感器被设计为例如基于激光的传感器。然后根据传感器数据创建表示对象的3d点云。

9、在另一步骤中，将对象的3d点云投影到至少一个2d投影平面中。这种投影减少了与进一步处理相关的点的数量。在另一步骤中，使用图像处理在2d投影平面中检测用于定位负载的至少一个结构。这种结构例如是卡车车厢上的扭锁或集装箱的边缘。然后将2d投影平面反投影到3d空间中。然后确定至少一个结构在三维空间中的位置。通过将3d点云投影到2d投影平面中进行进一步处理并进行逆变换，可以减少计算时间，而不会特别明显地损害精度。这种性能的改进使得起重机领域的工业应用成为可能。

10、例如分配给起重机的控制单元具有用于执行该方法的装置，该装置包括例如数字逻辑模块，特别是微处理器，微控制器或asic(专用集成电路)。另外或替代地，用于执行该方法的装置包括gpu或所谓的“ai加速器”。

11、计算机程序可以包括“数字孪生”也被称为“digital twin”或被设计为除其他外可以包括表示对象的3d点云的“数字孪生”，。例如，在已公开的出版物us2017/0286572 al中展示了这样的数字孪生。us 2017/0286572a1的公开内容通过引用并入本申请。

12、另一实施例提供以下进一步的步骤：确定至少一个2d边界框，其包括结构，将2d投影平面反投影到至少一个2d边界框内，基于该至少一个2d边界框确定3d点云中的至少一个3d边界框，确定该至少一个结构在3d边界框内的位置。特别是，与结构(例如扭锁)相关的区域以尽可能紧密地包围结构的边界框的形式进行检测。例如，在确定2d边界框时，可以考虑关于典型对象尺寸以及几何和/或其他过程相关关系的附加知识。特别地，这样的边界框可以充当过滤器，其中位于该框内的点属于待检测的结构或被分配给待检测的结构。以这种方式使用边界框还可以减少计算时间。

13、另一实施例提出，使用神经网络对用于定位负载的至少一个结构进行检测。例如，使用基于区域的卷积神经网络(r-cnn)，特别是更快的r-cnn。例如，将至少一个2d投影平面与来自神经网络的训练数据进行比较。此外，可以通过参考结构(例如扭锁，支柱等)的通用学习来生成训练数据。通过这样的神经网络可以轻松可靠地检测大量用于定位负载的不同结构。

14、另一实施例提出，2d投影平面具有表示投影的点的像素，这些像素被分配至少一个通道，该通道包括高度信息，反射和/或关于表面法线的信息。通过投影到2d投影平面，像素数量减少，从而减少计算时间。通过包括高度信息，反射和/或关于表面法线的信息，提高了结构检测的精度，尤其是当反投影到三维空间时。当使用多个通道，例如使用并行处理的多个通道时，也可以实现更高的精度。

15、另一实施例提出，确定至少两个2d投影平面，这两个投影平面在投影方向方面不同。例如，至少两个2d投影平面被布置为彼此正交。通过至少两个2d投影平面可以实现更高的精度。

16、另一实施例提出，在至少两个子平面中进行3d点云的投影，这两个子平面被组合成2d投影平面。这种程序减少了算法的运行时间。至少两个子平面例如被实施为方形的，其中为神经网络生成方形的输入向量。这样的方形的输入向量减少了神经网络进一步处理期间的计算时间。

17、另一实施例提出，确定至少一个附加过渡平面，其包含两个子平面的连接区域。特别是，由于神经网络在图像的边缘区域更容易出错，并且其目的是避免重要结构在切片边缘被“切割”，因此可以通过这种过渡平面来提高精度。

18、另一实施例提出，使用基于激光的传感器来感测对象。使用基于激光的传感器，可以快速且经济高效地创建对象的3d点云。

技术特征：

1.一种用于在对象上负载的自动定位(2)中确定目标位置的计算机实施的方法，所述方法具有以下步骤：

2.根据权利要求1所述的方法，还具有以下步骤：

3.根据权利要求1或2中任一项所述的方法，

4.根据前述权利要求中任一项所述的方法，

5.根据前述权利要求中任一项所述的方法，

6.根据前述权利要求中任一项所述的方法，

7.根据权利要求6所述的方法，

8.根据前述权利要求中任一项所述的方法，

9.一种用于对象上的负载的自动定位(2)的方法，包括根据权利要求1至8中任一项所述的方法，其中，根据所述至少一个结构的位置进行所述负载的定位(2)。

10.根据权利要求9所述的方法，

11.一种控制单元(72)，具有用于执行根据权利要求1至10中任一项所述的方法的装置。

12.一种计算机程序，所述计算机程序在根据权利要求11所述的控制单元(72)中运行时，所述计算机程序用于执行根据权利要求1至10中任一项所述的方法。

13.一种定位系统(64)，具有至少一个传感器和根据权利要求11所述的控制单元(72)，所述传感器特别是基于激光的传感器。

14.一种起重机(62)，具有至少一个根据权利要求13所述的定位系统(64)。

技术总结
本发明涉及一种用于在对象上负载的自动定位(2)中确定目标位置的计算机实现的方法。为了与现有技术相比进行改进的性能和更短的计算时间，提出以下步骤：借助于至少一个传感器(70)感测(4)对象，创建(6)表示对象的3D点云(16)，将3D点云(16)投影(8)到至少一个2D投影平面(18)中，借助于图像处理检测(10)用于定位负载的至少一个结构，将2D投影平面(18)反投影(12)到三维空间中并确定(14)至少一个结构在三维空间中的位置。

技术研发人员：约翰内斯·本克特,阿洛伊斯·雷克滕瓦尔德,朱利安·福格尔
受保护的技术使用者：西门子股份公司
技术研发日：
技术公布日：2024/5/16