将集装箱装载在着落目标上的系统和方法与流程

本发明涉及一种方法、集装箱起重机控制系统、计算机程序和计算机程序产品，用于将集装箱装载在着陆目标上。

背景技术：

集装箱起重机被用于处理货物集装箱，在集装箱码头、货物港口等处的运输模式之间运输集装箱。标准航运集装箱被用来在世界各地运输大量且不断增长的货物。转运是货物处理中的一项重要功能。转运可以发生在运输的每个点，并且通常存在大量的必须被卸载的集装箱，转移到临时堆叠，并且之后装载另一艘船上，或装载回相同的船上，或装载到另一种运输形式(诸如公路车辆或火车)上。

传统地，集装箱起重机由安装在集装箱起重机上的操作员室控制。然而最近，集装箱起重机已经变为远程控制，并且甚至完全地自动化。这使起重机操作员需要暴露于不便、危险甚至是伤害得以减少或消除。

wo2015/022001公开了一种使用集装箱起重机使集装箱自动地着陆在着落目标上的方法。集装箱起重机包括台车以及用于保持和提升集装箱的吊具以及用于控制该集装箱起重机的移动的起重机控制系统。测量从集装箱到着落目标的距离，并且根据被测量的距离集装箱朝向着落目标被移动。使用被安装在吊具上的至少一个相机拍摄着落目标的多个图像。处理图像以标识着落目标图像中的一个或多个着陆特征。基于对集装箱和图像中的着陆特征之间距离的测量，计算从集装箱到着落目标的距离。

在如何标识着落目标方面的任何改进是非常有价值的。

技术实现要素：

目标是改进用于装载集装箱的着落目标的标识。

根据第一方面，提供了一种用于使用集装箱起重机将集装箱装载在陆地车辆上的着落目标上的方法，该集装箱起重机包括台车和吊具，吊具用于保持和提升集装箱。方法在集装箱起重机控制系统中被执行并且包括以下步骤：从被布置在吊具上的第一对相机获取着落目标的二维图像；基于二维图像执行特征提取，以标识着落目标的关键特征；基于特征提取生成点云，其中点云中的每个点包含三维坐标；以及基于点云和着落目标的经标识的关键特征，控制集装箱到所述着落目标的移动。

关键特征可以包括着落目标的角部。关键特征可以包括着落目标的旋锁(twistlock)。关键特征可以包括底盘的鹅颈、导向结构、大梁和横梁中的任何一个或多个。

着落目标可以位于比周围表面更高的位置。

执行特征提取的步骤可以包括标识着落目标，该着落目标是处于高于周围表面的高度的表面。

获取二维图像的步骤还包括从被布置在吊具上的第二对相机获取着落目标的二维图像。在这种情况下，执行特征提取的步骤还基于来自第二对相机中的至少一个相机的二维图像。

第一对相机和第二对相机可以沿吊具的同一侧被布置。

方法可以还包括以下步骤：在二维图像中基于线条检测着落目标的取向。在这种情况下，控制移动的步骤还基于着落目标的取向。

执行特征提取的步骤可以基于尺度不变特征变换sift。

生成点云的步骤还可以基于立体图像匹配，立体图像匹配基于二维图像。

方法可以还包括以下步骤：从深度检测设备获取附加的深度数据。在这种情况下，生成点云的步骤还基于附加的深度数据。

根据第二方面，提供了一种集装箱起重机控制系统，用于使用集装箱起重机将集装箱装载在陆地车辆上的着落目标上，该集装箱起重机包括台车和吊具，吊具用于保持和提升集装箱。集装箱起重机控制系统包括：处理器；以及存储指令的存储器，该指令在由处理器执行时使集装箱起重机控制系统：从被布置在吊具上的第一对相机获取着落目标的二维图像；基于二维图像执行特征提取，以标识着落目标的关键特征；基于特征提取生成点云，其中点云中的每个点包含三维坐标；以及基于点云和着落目标的经标识的关键特征，控制集装箱到着落目标的移动。

着落目标可以位于比周围表面更高的位置。

获取二维图像的指令可以包括以下指令：该指令在由处理器执行时使集装箱起重机控制系统从被布置在吊具上的第二对相机获取着落目标的二维图像，并且其中执行特征提取的指令包括以下指令：该指令在由处理器执行时使集装箱起重机控制系统还基于来自第二对相机中的至少一个相机的二维图像来执行特征提取。

第一对相机和第二对相机可以沿吊具的同一侧被布置。

根据第三方面，提供了一种计算机程序，用于使用集装箱起重机将集装箱装载在陆地车辆上的着落目标上，该集装箱起重机包括台车以及用于保持和提升集装箱的吊具。计算机程序包括计算机程序代码，当该计算机程序代码在集装箱起重机控制系统上运行时，该计算机程序代码使集装箱起重机控制系统：从布置在吊具上的第一对相机获取着落目标的二维图像；基于二维图像执行特征提取，以标识着落目标的关键特征；基于特征提取生成点云，其中点云中的每个点包含三维坐标；以及基于点云和着落目标的经标识的关键特征，控制集装箱到着落目标的移动。

根据第四方面，提供了一种计算机程序产品，包括计算机可读装置和根据第三方面的计算机程序，计算机程序被存储在该计算机可读装置上。

一般地，除非本文另外明确地限定，否则权利要求中使用的所有术语都应该根据其在技术领域中的普通含义来解释。除非另外明确地指出，否则所有对“一个/一个/元件、设备、部件、装置、步骤等”的提及将被公开地解释为指代元件、设备、部件、装置、步骤等的至少一种实例。除非明确地指出，否则不必以所公开的确切顺序执行本文公开的任何方法的步骤。

附图说明

现在参考附图以示例的方式描述本发明，其中：

图1是图示了集装箱起重机环境的示意图，本文中呈现的实施例可以被应用于该集装箱起重机环境中；

图2是根据一个实施例更详细地图示图1的着落目标和陆地车辆的示意图；

图3是根据一个实施例图示了图2的着落目标的俯视图的示意图；

图4是根据一个实施例图示了图1的吊具的仰视图的示意图；

图6是图示了方法的流程图，该方法用于使用集装箱起重机将集装箱装载在陆地车辆上的着落目标上，该集装箱起重机包括台车以及用于保持和提升集装箱的吊具；

图7是图示了图1的集装箱起重机控制系统的部件的示意图；以及

图8示出了包括计算机可读装置的计算机程序产品的示例。

具体实施方式

现将在下文中参考附图更全面地描述本发明，在附图中示出了本发明的某些实施例。然而，本发明可以以许多不同的形式来实施，并且不应该被解释为受限于本文所阐述的实施例；相反，这些实施例以示例的方式提供，使得本公开将是透彻和完整的，并且将本发明的范围完全地传达给本领域技术人员。在整个说明书中，相同的附图标记指代相同的元件。

本文呈现的实施例基于使用立体匹配和特征提取从若干二维图像中标识着落目标的关键特征。备选地，可以使用任何其他类型的三维测绘传感器(诸如雷达、飞行时间相机等)。关键特征可以例如是着落目标的角部、旋锁等。基于经标识的特征，还可以生成三维的点云，以描述着落目标和在着落目标周围的环境，从而改进标识着落目标的能力。通过基于三维的着落目标标识，实现了更可靠的标识，允许操作在能见度差的条件下还能继续。

图1是图示了集装箱起重机环境的示意图，本文中呈现的实施例可以被应用于该集装箱起重机环境中。图1的视图沿笛卡尔坐标系中的x-y平面。

集装箱起重机51使用多个安装在吊具55和台车53上的强大的电动马达为移动部件提供动力，并且缩回或延伸缆索以提升或降低吊具55。吊具55可以保持以集装箱为形式的负载21。电动马达还被用来为保持吊具55的台车53的移动提供动力，以提升和运输集装箱出船，并且将其运输到陆地车辆23上或堆叠等。集装箱起重机51可以被用于在船上装载集装箱和/或用于将集装箱从船上卸载到陆地或陆地车辆23上的着落目标59上，例如卡车底盘或火车车厢底盘。将集装箱从陆地上的一个位置移动到另一个着落目标也是可能的。

航运集装箱的宽度被标准化为8英尺(2.436米)，但是高度通常会在8英尺(2.436米)和9.5英尺(2.896米)之间变化。最常见的标准长度是20英尺(6.096米)和40英尺(12.192m)长。40英尺(12.192m)的集装箱在今天非常常见，并且甚至更长的集装箱还在使用，最长可达53英尺(16.154m)。国际标准尺寸是基于1968年至1970年之间作出的多个iso建议，并且特别地是基于1970年1月的r1161建议，其对用于标准集装箱的角部配件尺寸作出了建议。标准航运集装箱上的角部配件之间的距离是按照iso的建议进行标准化的。角部配件，还被称为角部铸件，包括标准开口，使得可以通过将吊具55的钩子插入集装箱21顶部的四个角部配件中的每个角部配件来提起集装箱。椭圆形开口的大小和形状在另一标准(即1984年的iso1161)中被限定。相同类型的角部配件(例如集装箱底部的角部配件)可以被用于将集装箱锁定在船舷上、马车上或底盘上的位置(例如在船舱中或甲板上)。

因此，吊具55被用来抓取集装箱21，例如使用旋锁与集装箱上的角部配件中的标准尺寸开口相接合，以提升集装箱21、降低集装箱21并且释放集装箱21。在本说明书中，术语吊具55被用来表示与集装箱21直接接触的提升设备的一部分。吊具55通常被设计来处理多于一种尺寸的集装箱，通常是20至40英尺(6.096至12.5米)或20至40至45英尺(6.096至12.192至13.716米)长的集装箱。一些吊具55可以在任何时间提升并且处理一个单一的40英尺(12.192米)或45英尺(13.716米)的集装箱或两个20英尺(6.096米)的集装箱。一些吊具55在使用时是可调整的，使得通过调整吊具的长度，相同的吊具55可以被用来一次性提起一个20英尺(6.096米)的集装箱或两个20英尺(6.096米)的集装箱。

因此，集装箱起重机51可以被用来将集装箱21从船上提升起来，并且着陆在着落目标59上，或反之亦然。备选地，集装箱起重机51可以被用来在船和地面或集装箱堆叠或任何其他适当的集装箱移动之间运输集装箱21。

集装箱起重机控制系统1被用来控制起重机51的操作。为了使得能够对起重机51进行自主控制，集装箱起重机控制系统1包括若干相机(在图3中更详细地示出并且在下文解释)和/或其他深度测绘设备(诸如雷达、飞行时间相机等)以及控制设备15。可选地，集装箱起重机可以例如由操作员5使用办公室7中的操作员终端12手动地控制。

控制设备15是能够执行逻辑操作的任何适当的控制设备，并且可以包括中央处理单元(cpu)、图形处理单元(gpu)、微控制器单元(mcu)、特定应用集成电路(asic)、现场可编程门阵列(fpga)和离散逻辑电路的任何组合，可选地与持久性存储器(例如只读存储器rom)相组合。

图2是更详细地图示了图1的着落目标59和陆地车辆23的示意图。着落目标59是陆地车辆23的顶部表面或顶部结构，包括用于固定集装箱的旋锁。陆地车辆23可以例如是卡车底盘或火车车厢底盘。着落目标59在这里比周围表面20(即地面)更高，处于自周围表面20的一定高度25。

图3是图示了图2的着落目标59的俯视图的示意图。该视图沿与图1相同的坐标系中的z-x平面。因此，图3的视图是从上面看，而图1中的视图是从前面(或后面)看。这里可以看到着落目标59的四个角部31a-31d。而且，着落目标59包括四个旋锁30a-31d，分别被提供在四个角部31a-31d处。旋锁被用于将集装箱固定在着落目标59上。备选地，着落目标可以具有少于四个旋锁，但是取而代之地具有其他结构用于将集装箱保持在着落目标上的位置中。

图4是根据一个实施例图示了图1的吊具55的仰视图的示意图。这里有八个相机32a-32h，被提供用于标识着落目标等。可以有更少或更多的相机，只要至少有两个相机即可。备选地，可以附加其他深度测绘设备(诸如雷达、飞行时间相机等)。

相机是成对提供的。具体地，第一对35a包括第一相机32a和第二相机32b。第二对35b包括第三相机32c和第四相机32d。第三对35c包括第五相机32e和第六相机32f。第四对35d包括第七相机32g和第八相机32h。

术语“端侧”应被解释为吊具的较短侧面中的一个侧面。因此，第一对相机35a和第二对相机35b被提供在吊具55的一端上，而第三对相机35c和第四对相机35d被提供在吊具55的另一端上。

图5是根据一个实施例更详细地图示了图1的着落目标59的线条的示意图。着落目标59可以包括线条，线条包括水平线条37和/或垂直线条38。线条可以形成着落目标59或底层底盘的结构的一部分，主要沿(图5中的水平方向)或跨(图5中的垂直方向)着落目标59设置。通过分析相机所捕获的图像和着落目标的深度图中的线条，集装箱起重机控制系统可以准确地调整放置在着落目标59上的集装箱的歪斜排列。

图6是图示了一种方法的流程图，该方法用于使用集装箱起重机将集装箱装载在陆地车辆上的着落目标上，该集装箱起重机包括台车和吊具，吊具用于保持和提升集装箱的吊具。方法在用于自动控制集装箱起重机的集装箱起重机控制系统中被执行。

在获取二维图像步骤40中，集装箱起重机控制系统从布置在吊具上的第一对(例如图4的35a-35d中的任何一对)相机获取着落目标的二维图像。

可选地，这包括从布置在吊具上的第二对相机获取着落目标的二维图像。第一对相机和第二对相机可以沿吊具的相同的端侧被布置。术语“端侧”应被解释为吊具的较短侧面中的一个侧面。

在特征提取步骤42中，集装箱起重机控制系统基于二维图像执行特征提取，标识定着落目标的关键特征。关键特征可以是着落目标的角部。备选地或附加地，关键特征可以包括着落目标的旋锁。可选地，标识其他关键特征(例如底盘的鹅颈、导向结构、大梁、横梁等中的任何一个或多个)。当更多的关键特征被提取时，这就提高了集装箱在着落目标上的后续装载的可靠性。

特征提取可以包括标识着落目标，着落目标是处于高于周围表面的高度的表面。高度差是明显的，通常在1.2米的区域中，这使该标识稳健，甚至在恶劣的天气条件下也是如此。当然，高度差可以与这里提到的示例相差很大。

如图2所示，着落目标位于比周围表面更高的位置，这简化了特征提取中对着落目标的标识，因为这是基于至少两个相机，并且因此导致深度尺寸。

当来自第二对相机中的至少一个相机的二维图像可用时，这还被用于特征提取中。使用附加的相机改进标识深度尺寸的能力。

特征提取是基于任何适当的算法，例如尺度不变特征转换(sift)或类似的算法。

在可选的获取附加的深度数据的步骤43中，从深度检测设备中获取附加的深度数据。深度检测设备可以例如是雷达、飞行时间相机等的形式。

在生成点云步骤44中，集装箱起重机控制系统基于特征提取生成点云，其中点云中的每个点包含三维坐标。每个点还可以包含一种或多种颜色的光值，例如rgb(红、绿、蓝)光值。在一个实施例中，在至少一经标识的特征周围的点云中生成更多的点。点云可以在经标识的特征周围变得更加密集，因为特征在使集装箱着陆时特别有意义。例如，在标识使集装箱着陆于其上的底盘的角部时，在底盘的角部周围生成更多密度的点云是非常有益的，其中与地面的高度差是显著的。另一方面，一旦标识了底盘周围的地面的位置，地面的更多细节就无助于使集装箱着陆。以此方式，着落目标的这些区域在点云中被更好地覆盖，这使着陆更加安全和稳健。这例如在恶劣的天气条件下有很大的益处。

点云还可以使用基于二维图像的立体图像匹配来得到。这导致了与仅使用特征提取相比更密集的深度图。立体图像匹配可以例如是基于块状匹配的。

可选地，在步骤43中接收的附加的深度数据与相机图像相融合，以产生更可靠的点云数据。因此，点云还可以基于附加的深度数据，从而获取更广泛和准确的点云。

在检测取向的步骤45中，见图5和上文的对应文本，集装箱起重机控制系统基于二维图像中的线条检测着落目标的取向。这改进了在控制集装箱与着落目标的关系时的歪斜控制。

在控制移动的步骤46中，集装箱起重机控制系统基于点云和着落目标的经标识的关键特征来控制集装箱到着落目标的移动。如果可用的话，还可以基于着落目标的取向来控制移动。

方法循环提供与着落目标有关的位置的持续反馈和合适的移动控制。

通过在特征提取和点云中使用三维数据，可以实现对着落目标更可靠的标识。而且，由于着落目标和地面之间的高度差(图2的25)，三维数据大大提高了标识的可靠性。这允许集装箱起重机控制系统在能见度有限的条件下(诸如雨、雪、闪电等)还能继续操作。

对应的方法可以被应用于提起集装箱，其中待提起的集装箱的关键特征被标识，而不是着落目标的关键特征。

图7是图示了图1的集装箱起重机控制系统的部件的示意图。使用以下各项中能够执行存储在存储器64中的软件指令67的一个或多个的任意组合来提供处理器60：适当的中央处理单元(cpu)、图形处理单元(gpu)、多处理器、微控制器、数字信号处理器(dsp)、特定应用集成电路(asic)等，该存储器因此可以是计算机程序产品。处理器60可以被配置为执行参考以上图6所描述的方法。

存储器64可以是随机存取存储器(ram)和只读存储器(rom)的任意组合。存储器64还包括永久性存储器，例如可以是磁存储器、光存储器、固态存储器或甚至远程安装存储器中的任何单个或其组合。

还提供了数据存储器66，用于在处理器60中执行软件指令期间读取和/或存储数据。数据存储器66可以是随机存取存储器(ram)和只读存储器(rom)的任意组合。

集装箱起重机控制系统1还包括i/o接口62，用于与其他外部实体进行通信。可选地，i/o接口62还包括用户接口。

集装箱起重机控制系统1的其他部件被省略，以避免妨碍本文呈现的概念。

图8示出了包括计算机可读装置的计算机程序产品的一个示例。在该计算机可读装置上，可以存储计算机程序91，该计算机程序可以使处理器执行根据本文所描述的实施例的方法。在该示例中，计算机程序产品是光盘，诸如cd(光盘)或dvd(数字多功能光盘)或蓝光光盘。如上所述，计算机程序产品还可以被实施在设备的存储器中(诸如图7的计算机程序产品67)。尽管计算机程序91在这里被示意性地示出为所描述的光盘上的轨道，但是计算机程序可以以任何适合于计算机程序产品的方式被存储，诸如可移除的固态存储器(例如通用串行总线(usb)驱动器)。

以上主要参考一些实施例描述了本发明。然而，如本领域技术人员容易理解的那样，在所附权利要求书所限定的本发明的范围内，除了以上公开的实施例以外的其他实施例同样是可能的。