通过货物操纵设备进行货物操纵的制作方法_3

文档序号:8491132阅读:来源:国知局
2)的距离值(D3)。根据上方和下方集装箱的相互位置,区域(8)可以呈正方形,具有字母L的形状,或在下方集装箱的角部被完全隐藏在上方集装箱之下时完全消失。如果其它集装箱处于下方集装箱⑴附近,则传感器⑶可获得与也来自图像区域(4,7)的外缘的距离D2相当的距离读数,但由于在要堆叠的集装箱之间留出了约30...50cm的间隙,所以在外部获得的这些读数可与区域(8)分开并作为错误被忽略。
[0054]可能处于摄像机的图像区域(4,7)内的下方集装箱(I)在上方集装箱下方的摄像机图像中部分地可见(8)。在保持在阴影区域(9)中的图像区域(10)中,3D摄像机测量距离D1,其中摄像机的像素以要被搬运的集装箱在区域(11)中的侧面作为它们的目标。这种情况下,3D摄像机在保留在阴影区域中的区域(10)中测出的距离Dl因此受要被搬运的集装箱的高度限制,并且要测量的距离局限于要被搬运的集装箱的下缘。距离Dl因此例如在直线距离上比集装箱(Γ)的高度h短或大致相等。类似地,3D摄像机测量离图像区域(8)的距离D2,其大于集装箱(Γ )的高度。从图像区域的处于阴影区域(8)之外的部分测量这些距离。保持在阴影区域之外的区域可包括集装箱和/或保持在要被搬运的集装箱下方的其它物体。
[0055]当要被搬运的集装箱悬空时,可例如基于从图像区域测得的距离的变化来确定阴影区域与阴影区域之外的区域之间的边界。可检测出大于特定阈值的两个相邻像素的距离值的变化。当一个像素包含从上方集装箱的侧面(11)测出的距离信息作为距离信息D(n,m)时,下一个像素在3D摄像机的图像区域中处于阴影区域之外的区域内并且包含以阈值大于从该集装箱的侧面测出的距离值的距离值。可根据期望方案来选择该阈值。
[0056]还可以基于集装箱的高度来选择用于确定阴影区域与阴影区域之外的区域之间的边界的阈值。集装箱高度是标准的,从而使得能通过将从集装箱的侧面测出的距离与集装箱的已知高度进行比较来确定阴影区域的边界。
[0057]此外,应该指出的是,一般可通过相邻像素中包含的信息相对于阈值的变化来支持边界的确定。可将像素中包含的信息,例如距离、强度和/或颜色信息,与已为它们中的每一者设定的相应阈值进行比较。
[0058]此外,可通过处理通过3D摄像机为该像素测出的信息来确定阴影区域与保持在其之外的区域之间的边界。与相邻像素有关的距离信息、强度信息和/或颜色信息例如可以是有差别的并且可将导数值与导数的阈值进行比较。
[0059]3D摄像机的图像区域(7)可包括阴影区域(10),未被包括在3D摄像机的视野(4)中的、该阴影区域下方的区域(9)和该阴影区域之外的区域(12,8),其可包括阴影区域周边的物体的图像点,比方说集装箱的表面、地板或地面。
[0060]参照图3,图像区域(7)的白色区域对应于3D摄像机的视野⑷的处于阴影区域之外并且还处于集装箱(I)之外的处于3D摄像机的视野中的阴影区域之外的部分。3D摄像机从该区域测量距离D3,其大于距离D2,并且还大于从要被搬运的集装箱(Γ)测得并形成阴影区域的距离Dl。
[0061]在图4、5、6中,货物包括通过吊具⑵操纵的集装箱图4示出了根据本发明的布置结构及其在货物被吊起时的操作。图5示出了根据本发明的布置结构及其紧在货物被附接在吊具上之后的操作,而图6示出了根据本发明的布置结构及其在货物被堆叠时的操作。
[0062]在图4、5和6中,吊具⑵的外角部设置有3D摄像机(3)。各摄像机的视野(4)在图像区域⑷中被示出。3D摄像机的图像区域形成一组(6)。在该组中,由包括要被操纵的货物的图像区域形成的距离图的各部分被互相分开并与它们的周边分开。该组图像形成一个合成图像,其中距离图的包括要操纵的货物的部分被置于中间,而距离图的处于存在要被操纵的货物的部分之外的部分被置于该合成图像的边缘。
[0063]就处于摄像机的视野(4)中的部分(5,11)而言,当3D摄像机(3)看到集装箱(1,Γ)的角部时形成一组。未附接在吊具上的集装箱的处于3D摄像机的视野内的部分作为阴影区域⑶在摄像机的图像区域(7)中被示出。3D摄像机测量离3D摄像机的视野内的物体(5,11)的距离(D)。测出的距离在各3D摄像机的图像区域(7)中作为与视野中的物体(5,11)对应的区域(8,10)被示出。
[0064]该合成图像使得集装箱操纵设备的操作员例如在由集装箱堆码形成的黑暗间隙中的困难光照条件下也能够清楚地看到集装箱的角部相对于彼此的位置。操作员例如可被显示例如具有像场的区域(图像像素)的摄像机的常规强度图像,其中要被操纵的集装箱的位置(8,10)利用不同颜色着色。像场的着色部分可以部分地透明,使得可从色彩下方看到摄像机的常规强度图像,或像场的着色部分(8,10)完全不透明。也可通过计算机(20)图形地增加对操作员来说很重要的区域(例如(8))的相对尺寸和可检测性,以使得操作员更容易检测例如上方和下方集装箱之间的甚至很小的位置偏离。ToF摄像机特别适于实现所述功能,因为同一个摄像机传感器(3)既产生通常的摄像机图像(即强度图l(n,m)),又产生距离图(D(n,m))。优选地,3D摄像机在吊具中安装成使得紧在集装箱被附接在吊具上之后通过它们显示的集装箱的各角部的图像与其它摄像机的图像对称。这尤其在涉及操作员辅助的功能时有利于操作,从而使操作员容易检测对称状况。例如当在吊具的全部3D摄像机中集装箱在3D摄像机的图像区域中的区域(8)具有相同形状和尺寸时可实现对称。不同形式的对称例如是图案相对于一条直线的数学反映,以及图案相对于一个点的反映或旋转。可通过将各3D摄像机相对于吊具的3D摄像机被紧固于其上的外角部安装在同一平面中并且在必要的情况下通过缩放3D摄像机的图像来实现这种构型。当集装箱被附接在吊具上时3D摄像机的图像区域的对称以及由多个3D摄像机的图像区域形成的合成图像使得在集装箱被吊起时能够控制吊具。在吊起集装箱时,吊具可因此被控制成朝向3D摄像机的互相对称的图像区域。
[0065]在一个实施例中,由3D摄像机的图像形成一组图像(6),其中3D摄像机的图像区域的包括要被吊起的集装箱的部分被放置在中间,而图像区域的处于存在要被吊起和操纵的集装箱的部分之外的部分被放置在合成图像的边缘。在合成图像中可以在不同3D摄像机的图像区域之间留下一定空间,这种情况下由图像区域形成的网格构成将图像互相分离的格子。应该指出的是,这样的格子不是必要的,而是图像也可存在于其间不存在空间的合成图像中。合成图像使得能够将存在要被吊起的集装箱的图像区域互相比较并且将吊具控制成使得形成互相对称的图像区域。尤其在操作员辅助功能中,操作员容易基于该对称来检测吊具的正确对准。此外,当使用自动控制时,在例如由计算机(20)代替操作员来控制吊具的情况下,图像的对称使得能够将处理3D摄像机的图像信号所需的资源和算法的复杂性保持在低水平,因为可将图像信号的处理集中在3D摄像机的图像区域的特定部分上以及此外合成图像的中间。
[0066]在图5和6中,要被操纵的集装箱已被紧固在吊具上,这种情况下,在所示的合成图像出)中,代替上述要被吊起的集装箱,在该合成图像的中间现在可见图像区域的包括被紧固在吊具上的集装箱(10)的部分,而图像区域的处于存在被紧固的集装箱的部分之外的部分位于该合成图像的边缘。
[0067]来自3D摄像机的视野中的物体,例如要被吊起的集装箱(I)、要被搬运的集装箱(Γ)和/或要被搬运的集装箱下方的集装箱(I),在3D摄像机的图像区域中形成与这些物体对应的区域(10,8)。可例如基于通过3D摄像机(3)测出的距离⑶来识别不同区域。
[0068]在一个实施例中,例如在吊起集装箱时,如图4所示,当吊具⑵朝集装箱⑴被降下时,识别来自测定距离(D)小于预定极限值(例如Im)的3D摄像机的图像区域的图像像素(8)。如上所述,可基于集装箱之间的间隙(30cm至50cm)而将来自可能与集装箱(I)相邻地定位的集装箱(比方说相邻的集装箱行中的集装箱)的测量结果作为错误忽略。接下来,集装箱操纵机器的操作员可被显示例如由四个实时摄像机图像(7)构成的网格(6),其中,例如该图像区域的检测出的物体(=要被吊起的集装箱)比特定距离更接近的区域(图像线束)是彩色的(8)。如本领域的技术人员理解的,来自要被吊起的集装箱周边和例如来自地面的距离读数由于要被吊起的集装箱(I)的高度而明显更高。当网格(6)中可见的集装箱的角部(8)形成对称图案时,吊具(2)相对于要被吊起的集装箱(I)处于正确位置。
[0069]该方法在操纵20英尺和40英尺两种集装箱时同样适用,因为当以正确的尺寸根据要被操纵的集装箱伸长或缩短吊具时,3D摄像机相对于集装箱处于相同位置。当仅仅考虑吊起集装箱的过程时,3D摄像机的数量可减少到两个,因为这足以控制吊具相对于集装箱的两个角部处于适当位置:其余两个角部然后自动位于它们的正确位置。为使操作员能够在控制过程中利用图像的对称,3D摄像机的最有利位置将是吊具的对角角部。在一个实施例中,例如在如图4中吊起集装箱时,可基于在像场(7)中识别的图像像素⑶来计算吊具相对于要被吊起的集装箱的侧向位移(x,y)和偏转的数值。这可例如通过由计算机(20)确定正方形部分(8)的宽度(w)和高度(h)作为图像像素来执行。当优选以至少1Hz的频率恒定地确定此类数值时,可通过计算机控制(20)来将吊具(2)控制在正确位置并因此实现对吊具的侧向位移(x,y)和偏转的自动控制。该方法的一大优点在于可针对完全自动的无人操作而且还针对辅助操作员两种情况使用同一个传感器系统。
[0070]在一个实施例中,当操纵一个或多个集装箱时利用距离图来控制吊具。集装箱操纵的示例包括吊起一个集装箱并且将一个集装箱堆叠成被承载在位于其下方的集装箱的顶部。可自动执行该控制,这种情况下可例如通过设置在集装箱操纵设备中的计算机或通过远程控制来以无人方式控制吊具。
[0071]集装箱的控制可包括例如借助于吊具来控
当前第3页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1