用于检查货柜的布置、方法、装置和软件与流程

文档序号:14958294发布日期:2018-07-18 00:00阅读:284来源:国知局

本申请涉及用于检查货柜的货柜检查布置和方法。本申请还涉及用于执行方法步骤的软件和用于执行该软件的装置。



背景技术:

货柜用于运输商品和货物。可以在不卸载和重新装载内容的情况下,将要运送的内容在货柜中从一个运输工具转移到另一个运输工具。货柜常常由陆路、由海路、由铁路以及由航路运输。货柜物流是用于运输商品或货物的最常见的方法。世界范围内,每年装运估计2亿个货柜,因此量是巨大的。

正常情况下,在特殊货柜处置区域中检查货柜。检查涉及安全性、货柜的条件或者其内容。施行检查来确认货柜处于良好条件、其内容对应于货物数据以及内容的条件对应于原始条件。除了其它以外,施行检查来防止走私或偷乘。此外,货柜自身在使用中可能被损坏。

可以视觉上检查货柜的条件。视觉检查是缓慢并且要求工作人员在现场。此外,不得不提供单独的检查区域,在所述单独的检查区域中工作人员检查货柜的内部和外部。为了施行内部检查,可以打开货柜。可以扫描未打开货柜,或者可以测量其二氧化碳含量。可以通过扫描来确定货柜的内容,但是该方法是昂贵的。可以通过单独的处理设备来经由货柜的通气孔测量二氧化碳含量。手持式二氧化碳仪表对于大货柜处置区域上的大量货柜不是有用的、不是高效的。手持式测量设备主要适用于定向检查。可以通过称重来检测过量负荷、重量偏差或者对应的不平衡状态。然而,称重对于找出原因是不足够的,所述原因也即结果是可能归因于偷乘、走私、内容条件中的改变还是已录入托运单中的内容中的偏差。

在货柜物流中,货柜始终再被损坏。向货柜的拥有者给予关于货柜损坏的报告。对空货柜的检查正常情况下是缓慢的。此外,花费时间来编译和接受货柜检查结果。通常,损坏原因和事故时间段尚不清楚。损坏的代价将由货柜的拥有者承受,并且具有修复提议的可能反馈将无法到达引起了该损坏的操作人员。

货柜检查方法增加货柜处置区域中的转向时间。此外,货柜检查方法要求添加处理步骤和/或人力资源用于货柜处置。



技术实现要素:

本发明的目的是加快要检查的货柜的转向时间。本发明的另一个目的是提供一种货柜检查布置,所述货柜检查布置使得货柜检查更加高效并且更加一致。

在实施例中,用于货柜检查的布置包括:用于接收关于货柜的图像数据的构件、用于验证与货柜相关的图像数据的位置和/或定位数据的构件、用于分析接收到的图像数据的构件,以及用于检测可能损坏点的构件。

在实施例中,用于检查货柜的方法包括:接收关于货柜的图像数据、标识接收到的图像数据涉及的货柜的点、分析接收到的图像数据,以及检测货柜中的可能损坏点。在该上下文中,关于货柜的图像数据或取得自货柜的图像数据是指涉及货柜或其部分的图像数据;包含关于货柜的数据的图像。

在实施例中,方法步骤可以通过应用软件构件和/或用于执行它们的装置来施行。

附图说明

在下文中,将通过参照附图来更详细地描述本发明的实施例,其中

图1示出了根据实施例的货柜检查布置。

图2示出了根据实施例的货柜检查布置。

图3示出了根据实施例的货柜检查布置。

图4示出了根据实施例的货柜检查布置。

图5abc示出了根据实施例的货柜检查布置。

图6示出了根据实施例的货柜检查布置。

图7示出了根据实施例的货柜检查布置。

图8示出了根据实施例的货柜检查布置。

图9示出了根据实施例的货柜检查布置。

图10示出了根据实施例的货柜检查布置。

图11示出了根据实施例的货柜检查布置。

图12示出了根据实施例的货柜检查布置。

图13abc示出了根据实施例的货柜的三维模型。

图14示出了根据实施例的用于货柜检查的方法。

具体实施方式

货柜的处置被布置在特定区域上。例如在港口中,提供专用货柜终端用于货柜的处置。货柜位于船上或者被特定货柜起重机卸载。货柜可以被转移到港口料场以等待重新装运并且从那儿转移到或者可替代地被直接转移到例如火车或拖车以供向前运输。在转运阶段,可以检查货柜、它们的条件和内容。根据实施例,在货柜处置阶段取得货柜的图像。图像数据被转移到软件以供分析。基于分析,可以检测潜在损坏点。可以由图像数据(也包括检测到的潜在损坏点)形成三维对象。例如,可以利用图像数据、其它接收到的信息和/或从图像数据导出的信息补充货柜的现有3d模型。可以从不同侧三维地核查所形成的3d对象。要形成的3d对象可以以自动化或半自动化方式产生,并且其可以被手动控制、补充或聚焦。对图像数据的分析、建模和3d呈现使能对对象的远程检查,由此检查者在检查时不需要紧靠在货柜附近。这改进工作时的安全性以及检查人员的工作条件。建模还使能从不同方向对相同对象的同时查看、由不同用户进行查看、比较、重复以及重新查看。这使得有可能减少、纠正或者甚至消除检查错误、施行更一致质量的检查以及如果必要的话施行双重检查。对图像数据的分析、以及对接收到并被分析的数据的存储、互相关和处理均在它们部分中使能了自动化报告和评估。这继而加快了总体处理并且有助于结果的产生和更一致质量的报告。

图1示出了根据本发明实施例的用于检查货柜的布置。货柜100被货柜处置装置的用于转移货柜100的夹持元件104夹持。夹持元件104装备有至少一个相机或多个相机102。以这样的方式将相机102放置在夹持元件104中:当货柜100被夹持元件104夹持时,相机102在货柜100上被训练、放置在夹持元件104的正面向要夹持的货柜100的那部分中。放置在夹持元件104中的相机102使得有可能取得货柜100顶部的图像,用于对货柜100的顶侧成像。以该方式,获得关于货柜100的最顶端外部侧的数据,所述最顶端外部侧的条件在没有辅助仪器的情况下是难以观察的。例如,对于检查者而言,检查货柜100的外顶侧的条件可能是困难的或者是耗时的。借助于根据实施例的相机102,已经在夹持元件104正逼近货柜100的初始抬升阶段获得用于检查的图像。

在图2中,货柜100正被货柜处置装置转移。货柜100已经被货柜处置装置的夹持元件104抬升到空中,并且意图将货柜100下降到货柜测量平台103上。在图2的实施例中,货柜测量平台103的框架装备有一个或多个相机102。布置在货柜测量平台103中的相机102使得有可能取得货柜100底部的图像,用于对货柜100的底侧成像。以该方式,获得关于货柜100的最下端外部侧的数据。在没有根据实施例的相机放置的情况下,检查货柜100的下外部侧将要求抬升货柜100。在货柜下方视觉检查是不安全的。查看货柜100的外底侧可能是困难的或耗时的。借助于根据实施例的相机102,在使货柜100下降之后的要下降的货柜100正逼近货柜测量平台103的转移阶段获得用于检查的图像。根据实施例,不需要为了检查货柜100的下侧或其条件而单独地抬升货柜100。

图3示出了根据本发明实施例的用于货柜检查的布置。在图3中,将一个或多个相机102安装在货柜处置区域中的桅杆180中。图3还示出测距设备107。测距设备107可以例如放置在货柜测量区域中,并且它/它们相对于相机102或相机桅杆180的定位是已知的。测距设备107可以用于向货柜处置装置的操作人员给予方向和定位的指示,货柜100应当在所述方向或定位中转移以便借助于相机102被成功成像和/或测量。可以例如以将具有相机102的一个桅杆180放置在货柜100的每一侧上的方式将多个桅杆180放置在货柜处置区域的周界周围。桅杆可以放置在要下降的货柜100的拐角处,如图4中所示。在图3中,货柜100降低在如由来自测距设备107的数据所指示的货柜处置区域中的其地点中。货柜100的外壁的侧壁和最顶壁可以由桅杆180中的相机102成像。在图4的实施例中,放置在桅杆180中的相机102在货柜100正被转移时对货柜100或其部分成像。在图4的实施例中,当对要下降到平台上或从平台抬升的货柜100成像时,有可能在一个时刻取得货柜的一部分的图像,并且在接下来的时刻取得货柜的相邻部分的对应图像。以该方式,有可能获得壁的若干镜头并且有可能获得更准确的结果以供借助于若干图像进行查看。相机102可以在货柜100正在移动的同时在特定点处聚焦和放大。要成像的货柜100的不同部分由相机在不同时刻放大。

图5abc示出了根据实施例的货柜检查布置。夹持元件104是可移动的并且逼近货柜100。测距设备107提供关于夹持元件104与货柜100之间的距离的信息。借助于测距设备107,可以以受控方式将夹持元件104引导到货柜100附近,使得夹持元件104关于货柜100处于其正确定位以使能夹持和转移。夹持元件装备有至少一个相机或多个相机102。图5a是示出了逼近货柜100的夹持元件104的侧视图。当逼近货柜100时,相机102可以对货柜100的前侧和顶侧成像,如图5a中的虚线所示出的。图5b是示出被夹持元件104抬升到空中的货柜100的侧视图。夹持元件104可以包括用于抬升货柜100的类似于铲车的叉部。夹持元件104可以包括用于夹持货柜的构件,例如用于夹持并抬升货柜的钳状部分。当货柜100在空中时(如图5b中所示),放置在夹持元件104中的相机102可以用于对货柜100的底侧成像。图5c在从货柜100的方向的后视图中示出了被夹持元件104抬升的货柜100和对货柜100的底侧成像的相机102。在图5abc的实施例中,在货柜100正被转移时、与货柜转移步骤同时和/或作为货柜转移步骤的一部分通过相机102对货柜100成像。以该方式,在没有单独步骤的情况下获得关于货柜100的信息。根据实施例对货柜进行查看既不要求任何人在所述时刻的手动检查,也不要求暂停转移货柜或在货柜检查区域中存在任何人。

图6示出了根据实施例的用于货柜检查的布置。在图6的实施例中,用于对货柜100成像的相机集成在用户终端105中。替代于或附加于用户的视觉检查,用户可以通过终端105中的相机对货柜100或其部分成像。用户终端105可以例如用于补充由货柜外侧的货柜处置装置中的相机取得的图像。除了外部侧,用户终端105适于对货柜的内部部分成像,如图6中所示,其中货柜100打开并且终端105中的相机拍摄货柜100的内侧。给定聚焦或图像点可以提供在货柜100内侧,终端105的相机在货柜100上被训练用于取得图像。例如,相机105可以在货柜的内部后壁上被训练,或者在后壁与侧壁之间的拐角上被训练,或者以后壁与两个侧壁之间的拐角在图像区域的边缘上的方式被训练。典型地,以预定方式、从给定距离、以所确定的相机设定、从所确定的位置取得图像。因此,获得取得自货柜的对应点的图像,所述图像彼此对应。终端105还可以用于产生关于货柜的期望点的更详细的图像信息。例如,可以基于视觉观察对货柜的特定点更详细地成像。

图7示出了根据实施例的用于货柜检查的布置。在图7的实施例中,借助于成像机器人106对货柜100成像。成像机器人106可以被远程控制,在该情况下,远程用户选择要成像的点和设定。成像机器人106可以被编程为例如基于所选坐标取得放置在特定位置中的货柜100的特定图片。成像机器人106可以从测距设备获得信息,由此除了图像数据之外,成像机器人106能够访问关于它与货柜100之间的距离的数据。离货柜100和图像中检测到的对象的给定距离可以包括相机的触发和拍摄对象的照片。放置在货柜处置装置中的相机可以是成像机器人。因此,例如货柜处置装置或其一部分的给定路径、功能或位置可以包括相机的触发和拍摄。关于所取得的图像或关于相机在其上被训练的对象的数据可以被传输到软件单元。相机单元、相机机器人或相机设备可以包括具有模式识别算法和用于执行它的构件的编程单元。可以应用模式识别来检测应当被更详细成像的某些特征或对象。例如,检测到的不连续性点或可疑缺陷可以被更详细成像以供更近查看。

图8示出了根据实施例的货柜检查布置。在图8的实施例中,光线被反射到货柜100的表面上,通过图8中的虚线示出。取代于射线的是,光可以在货柜100的表面上的点中被反射。要反射的光可以是激光或其它相干或合适的光。如果在货柜100的表面上存在损坏或不连续性,则从它反射的光将与从完整货柜的表面反射的光不同,所述完整货柜的表面可以是平直且连续的。以该方式,将光反射到货柜100的表面上将有助于借助分析软件自动地以及由人眼视觉地检测损坏。光的反射可以被视觉地监视,和/或通过软件(例如,借助于图像数据、分析方法和/或模式识别方法)来监视。

在实施例中,货柜处置装置或货柜处置区域装备有用于获得关于货柜的数据的相机。货柜处置装置可以包括起重机、跨车、正面吊运车、测量平台、测量设备等等。根据实施例的成像可以在货柜的存储或转移期间(诸如在装载或卸载期间)执行。在实施例中,至少一个相机的触发可以是自动化的。例如,运动传感器可以包括在检测到移动之后或者在移动结束时的相机的触发。可以响应于由至少一个测距设备传输的数据而取得图像。例如,可以对给定位置中检测到的货柜成像。可以响应于检测到给定货柜标识而触发相机。可以从接收到的图像数据检测货柜标识,或者货柜标识可以与例如由用户录入的图像一起或附加于例如由用户录入的图像被接收。可以由来自模式识别的货柜以给定准确度处于正确对齐并处于正确定位、处于预定位置的确认来触发成像功能。可以通过语音命令来触发(多个)相机。由用户或者例如由货柜处置装置或其部分进行的给定移动或姿势可以引起相机的触发和图像的拍摄。附加于或作为替代,相机可以被远程控制,使得远离相机的软件将显示由相机取得的图像,并且基于所显示的图像,可以手动确定拍摄时间以触发一个或多个相机。

相机可以移动并且在给定时间中取得给定数量的图像。图像可以以重叠方式示出诸如货柜或其壁的对象,使得货柜的相同部分示出在多个图像中。给定点可以放大。使用若干图像和/或近距离成像,像素准确度更好。以该方式,有可能获得关于对象的更准确、更详细的信息。例如,如果在单个图像中表示货柜,则货柜的内部在深度方向包括许多数据,或者壁要求相对大的拍摄角度。借助于若干图像,更详细图像可以被获得、聚焦在更大表面或实体的部分上。通过组合取得自相邻位置的接续图像,比单个广角图像获得更详细的对象信息。

在实施例中,图像可以用于检测机械缺陷、油漆缺陷、涂画、表面检测、结构缺陷、脏度、洞、凹陷、屈曲、腐蚀、梁缺陷、弯曲以及从图像数据可检测的货柜的对应缺陷。也可以针对货柜的内容检查类似缺陷。图像可以用于检查例如翘曲、清洁度、平直度、色差。各种成像技术可以被利用和/或组合来分析和研究不同特征。通过分析图像数据,有可能检测甚至人眼不可分辨的信息。因此有可能在缺点变成可见损坏之前修复它们。

图像可以由静止相机图像(例如一个图像示出货柜的一个壁,或者取得自货柜的整个壁的相邻部分的接续图像)组成,货柜和相机相对于彼此移动。图像可以是视频图像;即,对象记录在给定时间段内的视频上。在对象正在移动时,相机可以指向给定方向并且是静止的。相机可以移动和转动,由此可以通过相同相机对图像的不同部分成像,和/或相机可以跟随移动对象,和/或相机可以聚焦在要成像的对象的期望点上。例如,在聚焦相机视图中,货柜的垂直边缘可以被识别并用于将用于取得图像的相机聚焦在例如离垂直边缘的给定距离处。在相机视图中,可以基于相机可以拍摄相邻壁或若干壁来识别拐角。可以通过应用例如模式识别的各种算法来处理图像视图。关于取得的图像的位置和/或定位的数据可以附着到图像数据(例如在其元文件中)并且与图像数据一起传输。处理图像视图的算法可以例如通过将某些特征与预定极限值进行比较来识别它们。极限值可以涉及例如货柜的位置、几何形状或表面结构。

基于例如货运申报、初步数据、货柜标识等来标识货柜。在货柜的壁上的货柜标识可以被成像,并且可以借助于所述图像数据来标识货柜和其类型。货柜标识可以被检索、输入或以其它方式与要取得自货柜的图像的数据相关联。关于货柜的可获得数据(诸如可能的货运申报、日志数据、拥有者数据、位置数据等)可以与要由图像数据形成的报告、列表和/或对象相关联。基于该数据,可以标识货柜,并且可以为其搜索缺省值和/或极限值以用于将它们与图像视图和/或数据进行比较。

在一些实施例中,涉及货柜检查的成像不要求存在工作人员。在这些实施例中,成像可以是全自动化的(没有用户),或者被远程控制(用户远离成像位置)。这改进工作时的安全性并且减少货柜检查期间的事故风险,因为工作人员不需要在检查位置中的大而重的货柜当中,在所述检查位置中货柜正被转移和处置。还有可能施行货柜的自动初步检查,并且如果检测到损坏的话施行附加手动检查。以该方式,要求手动检查的货柜的数量可以减少到要检查的货柜的数量的一部分。

在实施例中,由卡车运载的货柜被驾驶通过大门至货柜处置区域。相机放置在大门处,使得当卡车被驾驶通过大门时,取得货柜的顶部、长边的图像并且有可能取得货柜的端壁的门的图像。如果在卡车经由大门到达货柜处置区域的该阶段检测到货柜中的损坏,则货柜可以被直接转送以更近地检查和/或被存储等待修复报告的拒绝、接受或测量。以该方式,在作为接收货柜的部分的早阶段获得货柜的可能损坏或要求进一步测量的条件的指示,而不用单独研究。到达货柜处置区域的任何货柜(包括经由另一方式到达的货柜)可以经受对应检查。例如,可以在卸载和/或装载船只之后在货柜被港口起重机抬升时对货柜成像。相机可以被紧固到起重机的结构。结合转移操作,可以基于哪些要求进一步检查的货柜可以被直接转移到用于施行进一步检查的位置而做出初步检查。在该阶段,货柜不需要专门抬离运输构件。以该方式,当可以消除一个昂贵的抬升货柜的步骤并且货柜可以被直接转送以进一步检查时节省了时间、金钱和资源。如果没有发现故障、损坏或进一步测量或检查的其它原因,则货柜被转送到例如存储、装载或卸载步骤。卡车被驾驶到卸载地点,在该地点,可以如结合图1到8在以上实施例中给出的那样提供相机。当在卸载之后货柜抬离卡车的装载床时,相机还可以对货柜的底部以及端壁成像。附加于或可替代于在大门处取得的那些,在该阶段还可以获得侧壁和顶部的图像。以该方式,在货柜到达货柜处置区域之前已经取得了货柜的所有六侧的图像,并且已经抬离卡车。

根据实施例,传输图像数据以供分析和用于检测可能损坏。基于图像数据以及其位置和/或定位数据,程序将标识图像数据涉及的货柜的点。通过软件来分析接收到的图像数据。可以以各种方式来实现分析。可以基于例如由图像数据形成的数值数据来分析接收到的图像数据。图像数据由像素构成,所述像素由颜色值构成。软件可以应用于处理颜色数据、像素数据、几何数据等。例如,分析软件可以检测壁有多少像素是黑色的和有多少是灰色的。这些可以与预定极限值进行比较。分析软件还可以返回关于其颜色或值未能确定的像素的数量的信息。附加地或可替代地,分析软件可以从被检查的货柜的部分搜索预定锈蚀颜色或接近于其的颜色。典型地,货柜的长壁被均匀着色。检测到的颜色偏差可以指示损坏、对进一步检查的需要、脏度、涂画或货柜的壁上的其它额外颜色。分析软件还可以识别模式,例如褶皱轮廓的壁。如果在壁中存在不连续性点,例如如果在所核查的二维数据中的垂直线中检测到不连续性点,则作为响应给出对此的指示。

在实施例中,为了分析接收到的图像数据,存储器单元可以装备有完整参考货柜的呈现,接收到的图像数据可以与所述呈现进行比较。参考货柜的呈现或模型可以是图形呈现、几何呈现和/或图像呈现,例如三维对象。可以提供不同货柜类型的呈现,使得给定类型的货柜与对应类型的参考货柜进行比较。当接收到的图像数据的位置和/或定位数据是已知的时,参考货柜中的对应位置可以与其进行比较。它们之间检测到的差异可以揭示不连续性点或要复核的方面。如果在外壁的图像与参考货柜之间发现差异,则也可以复核内壁中的对应位置。以该方式,有可能找出是仅在壁一侧还是在壁两侧发现损坏,例如是洞还是凹痕。为了指定损坏点,还有可能复核例如相邻壁或拐角或者涉及所述被损坏壁且从另一方向取得的图像数据。以该方式,可以获得关于损坏是进一步信息。

在实施例中,大量参考图像存储在存储单元中,对于运行软件是可访问的。可以存在成百上千参考图像或者甚至更多。可以例如从关于货柜的接收到的图像数据收集参考图像,和/或它们可以被单独地录入。存在关于完整货柜及其不同部分的参考图像,以及关于被损坏货柜及其不同部分的参考图像。对于每个参考图像,已知它们中的哪个示出可接受货柜以及哪个不示出可接受货柜。参考图像可以由用户或者由软件例如基于模式识别和/或分析分类为可接受参考图像和不可接受参考图像。缺省缺陷代码可以与示出断裂、损坏或要求进一步检查的货柜的参考图像相关联。基于参考图像,缺陷可以是例如表面缺陷、洞、机械缺陷、污秽、锈蚀或弯曲。接收到的图像数据可以与参考图像进行比较,根据所述比较可以检索最接近接收到的图像数据的参考图像。基于此指示货柜的成像位置的条件。针对给定特征,可以将接收到的图像数据与参考图像的平均进行比较。所述平均可以例如用作用于概率计算的分量。根据接收到的图像数据,还有可能分析其是否逼近定义为不可接受的图像。相对大量的参考图像使能基于它们的可靠分析。随着图像数量的增加,可以以可靠方式表示所分析的各种缺陷和/或不连续性。

根据接收到的图像数据,还有可能收集要由分析软件使用的历史数据。根据历史数据,有可能导出例如关于某些类型缺陷或各种缺陷一起发生的统计数据,或者关于缺陷彼此的互相关性的统计数据。历史数据和/或从其导出的数据可以用作计算概率中的分量。如果利用人工智能,则可以将历史数据考虑在内并且从接收到的图像数据进行学习。

所形成的3d对象可以存储在软件单元901的存储单元中,或者上传到云存储部903,例如数据库902。所存储的图像1020和在它们帮助下形成的3d对象是从存储部可获得的且可检索的。所形成的3d对象可以显示为要由用户查看的3d表示。

在已经分析了接收到的图像之后,3d对象可以由其形成。装置的存储单元可以具有货柜的3d模型(例如,图形表示)或描绘货柜的几何形状的模型。接收到的图像数据例如作为纹理在图像数据指示的3d对象的位置中添加到3d模型的表面。软件单元901可以包括图像处理单元,用于处理接收到的图像数据1020、标识所述图像数据在3d模型中的位置以及将其附着到3d模型中的正确位置。以该方式,形成对应于成像对象(货柜)的3d对象。此外,利用基于图像分析检测到的损坏的指示补充3d对象。对应数据可以呈现在书面报告和/或列表中。损坏的位置显示在3d对象中,并且其在3d对象的两侧、在壁的相同方向上可以是可见的。3d对象包括关于货柜的图像数据,和对可能损坏和所分析的其它方面的分析的结果。可以向用户显示3d对象,所述用户可以三维地核查对象、旋转它和将它放大缩小。此外,可以向用户示出从紧接彼此的不同角度或方向看到的对象的特定部分。

检测到的损坏可以与关于损坏的信息相关联,从而指示损坏的类型。损坏数据与图像数据相关联,并且它可以在3d对象中报告、列出和显示。在实施例中,存储部还包含修复卡,所述修复卡可以被自动检索并与损坏数据相关联。修复卡可以包含修复提议、成本估计、时间估计、针对修复人员的建议和/或用于修复的备件列表。基于修复卡,接下来的测量是已知的并且根据修复需要来分类和/或处置货柜。在任何阶段,用户可以修改3d对象、报告、列表、损坏数据或修复卡。纠正任何数据将以对应方式更新涉及相同货柜的其它数据、卡和/或视图。可以借助于由软件形成的报告和3d对象来复核货柜的条件。可以以全自动化方式在没有用户条目的情况下获得结果。用户还可以远程地或在货柜检查位置现场控制例如相机。可以在显示器上复核和修改所形成的报告和视图。货柜的拥有者也将看到并且可以验证检测到的数据。

图9示出了根据实施例的用于数据处理的装置。根据以上实施例中的至少一个或多个的图像数据1020在数据处理装置中被接收。数据处理装置包括用于处理和分析图像数据的软件单元901。接收到的图像数据1020例如可以存储在软件单元901的存储器中、云存储部903中或者数据库902中。图像数据1020可以包含一个或多个图像或图像对象,其表示货柜的不同侧、上壁和下壁、还可能表示货柜的内侧、货柜的一个或多个内壁、和/或货柜的内容。软件单元901接收由用户录入或由例如设备的位置传感器或测距设备提供的关于图像或图像对象的位置和/或定位数据。附加地或可替代地,可以例如借助于模式识别算法从接收到的图像数据验证图像对象的位置和/或定位数据。位置和/或定位数据可以包括成像对象的2d图像或坐标、成像的方向、图像的视图的宽度和高度。所述位置和/或定位数据可以以绝对位置数据以及相对于货柜的位置数据的形式对于软件单元901可访问。可以例如通过标识货柜的位置或图像中的给定参考点,经由模式识别来获得位置和/或定位数据。用户可以在图像数据中录入所述附加数据。可以将成像设备放置在给定位置中,由此可以基于成像设备的位置和/或设定在图像数据中提供进一步信息。成像设备的位置可以是恒定的,或者其可以由软件和/或手动地确定。成像设备可以装备有用于确定其位置和定位的一个传感器(多个传感器)。这些包括例如罗盘、陀螺仪、加速度传感器。借助于该数据,涉及一个货柜的图像数据可以与正确货柜和正确位置相关联。

软件单元901可以放置在用户终端中、计算机中、服务器中、云计算机中或者用于运行软件代码的另一单元中。

用户可以在显示器904上在外部复核由货柜形成的3d对象1000。3d对象1000可以在显示器904上旋转。例如,3d对象1000可以在由箭头11、12指示的方向上在显示器904上旋转,使得货柜的不同侧是可见的。货柜的下侧可以旋转到由箭头13所指示的视图。通过如箭头14所指示的那样旋转对象1000来以对应方式示出货柜的顶侧。在3d对象1000的初始图像中并且在由箭头15指示的图像中示出相对端侧翼。如果也已经从货柜的内部部分收集到用于3d对象的图像数据,则用户可以通过查看3d对象1000从内侧905核查它。货柜的3d对象1000的门16、17可以在显示器上打开。以该方式,用户可以在显示器905上看货柜的内部18。除了壁、底部和顶部之外,用户还可以看门和例如垫圈的条件。货柜的3d对象1000还使能放大并更详细查看货柜的期望部分。换言之,用户可以放大或扩大图像,将视图聚焦在期望点上,以及虚拟地核查货柜。取决于接收到的图像数据的质量和位置,要在终端上查看的3d对象可以完整地对应于货柜,或者如果内部图像还没有被接收或者包括在对象中则部分地(例如关于其外壁)对应于货柜。

软件单元901和/或云903可以包括用于处理和/或分析图像数据的分析程序。可以通过分析和/或通过比较图像数据或借助于图像数据产生的数据来检测可能损坏点。分析程序可以用于找出不连续性点或可能损坏。一般,分析程序可以用于产生对应于用户的核查的结果。分析程序还可以检测视觉检查还未揭示的细节。

可以在显示器上复核所形成3d对象和/或数据。可以利用用户的现场或远程检查来补充分析程序的所呈现的结果。例如,用户可以例如基于货柜的年限利用要求检查的部分来标记3d对象。此外,用户可以通过取得紧挨货柜的现场特写镜头或者通过远程成像(使得聚焦在货柜上的相机通过远程控制而触发),来对货柜的某个点成像。货柜的特定点的所述图像包括在3d对象和附着于它的数据中。图像可以更近地表示或示出例如货柜的特定点。可以通过应用更详细数据来重复分析。分析程序可以检测货柜的内容的条件中的改变,和/或检测到货柜或其内容的值低于或高于所设可接受极限值,和/或检测与货物数据的偏差。

附加于或替代于图像数据,可以借助于从其它测量获得的数据做出对条件的评估。这可以包括各种类型的x射线成像、表面检查、超声测量、扫描等。例如,货柜可以经受可测量振动。借助于货柜的振动,有可能确定货柜或货物是否处于原始或可接受条件中。例如,可以通过振动测量来检测被腐蚀的梁,因为被腐蚀的梁将以不同于未被腐蚀的梁的方式振动。所述数据可以包括在涉及所述货柜的数据(诸如3d对象)中,由此其与3d对象和涉及其的书面报告一起被呈现给用户。

图10示出了根据实施例的用于货柜检查的布置。在图10的实施例中,借助于诸如测距设备107的测距设备将货柜100引导到其位置。测距仪可以是相机或能够检测到对象的距离的另一传感器。测量距离可以基于电磁辐射的发射和对返回信号或电磁场的监视。可以通过测量光的行程(诸如测量红外或激光束)或者借助于超声传感器来实现测距设备。测距可以基于电感性或电容性测量。

放置在货柜前方的测距设备107的相机可以用于在门160、170已经打开时取得货柜的内部180的图像。还可以通过货柜处置装置300中的机器人相机106来取得图像。此外,可以通过用户终端105来取得图像。图10示出了蓝牙天线210和wlan天线220,借助于其设备可以与彼此通信。例如,距离数据可以从测距仪107传输到机器人相机106或传输到用户终端105。图像数据可以从相机106、105传输到图像处理软件、服务器、计算机、云存储部或对应设备。图像处理软件还可以将关于例如在建模中具有差质量或缺失的位置或部分的信息发送到成像设备。用户终端105可以借助于测距仪107和/或蓝牙天线210和/或wlan天线220和/或相机和/或相机的图像来自动地定位,在图10的实施例中通过用户终端105对货柜的内部部分180成像。例如,在定位中可以利用在货柜的内壁中呈现并在图像数据中可检测的特征。货柜的特性特征和/或结构数据和/或形状和/或标识可以存储在存储器中以供比较和/或分析。终端105可以包括罗盘、加速度传感器、陀螺仪或对应传感器,通过所述对应传感器可以验证终端相对于地面/货柜的方向或定位。例如,借助于陀螺仪,向终端提供关于终端相对于地球重力的定位(横滚、俯仰)的信息。借助于罗盘,获得关于成像相对于地表面的方向(偏航)的信息。用户终端105可以引导用户在以下情况下取得货柜的内部部分180的图像:特定部分、在特定定位中、聚焦在特定点上等。图像可以以无线方式传输到另一设备中的图像处理软件。控制数据可以以无线方式从远程软件传输到成像机器人106。由机器人106以受控方式取得的图像可以传输到其它设备中的图像处理软件。

图11示出了根据实施例的用于货柜检查的布置。在图11的实施例中,从外侧对货柜100进行核查和成像。可以通过用户终端105或通过成像机器人106来施行成像。测距仪107定位移动相机105、106。如在图10的实施例中那样,以无线方式经由天线210、220来传输信息。如图10中那样,通过虚线示出用户的路径。可以引导用户,并且可以由用户经由终端105的用户接口来控制成像。用户接口可以是图形控制的和/或语音控制的、声音产生的。根据由测距仪107传输到用户终端105的信息,用户被指令取得特定位置处的特定图像。此外,用户可以基于视觉观察对货柜的期望部分成像。所有图像以无线方式例如经由天线210、220传输到图像处理软件以用于形成3d对象。用于从外侧对货柜100成像的设备可以以对应于图10的设备的方式定位以用于借助于以下来对货柜的内部成像:测距仪107、天线210、220、成像机器人106、图像数据、终端的相机或传感器。在图10和11的实施例中,终端105的位置数据和其相机在成像位置处的方向数据可以以程序控制的方式用在图像处理和/或分析软件中。该数据可以与图像一起传输,或者也传输到软件单元。

图12示出了根据实施例的用于货柜检查的布置。在图12的实施例中,通过成像来核查货柜100的内容190(货物)。天线210、220和测距仪107可以用于定位终端105,如之前所呈现的那样。数据可以以无线方式例如经由天线210、220来传输,如之前所呈现的那样。可以确定每个时间处用户终端105的位置和定位,如之前所呈现的那样。在图12中,成像机器人106或用户终端105或者二者取得货柜的内容190的图像。图12中通过虚线示出成像路径的示例。若干图像可以从不同查看角度取得自货柜的内容190。借助于这些图像和可能的关于成像位置和定位的数据,图像处理软件也产生货柜的内容190的3d对象以供查看。

图13abc示出了根据实施例的货柜的3d模型。图13abc中示出的3d对象已经基于现有3d模型,通过利用例如图像数据、所分析的图像数据和/或关于货柜的其它测量或获得的数据对其进行补充而形成。分析软件可以将用于形成3d对象的数据与预定极限进行比较,计算平直度值、表面和其它值,以及将它们与缺省值进行比较,应用模式识别以用于找出图像中的某些特征、位置或损坏,或者使用另一合适方法或接收到的数据用于检测可能的不连续性点或其它感兴趣对象。检测到的不连续性点示出在借助于接收到的图像数据产生的3d对象中。不连续性点还三维地表示在3d对象中。换言之,如果点是从不同方向可见的,则其也将由对象从不同方向表示。图像处理软件向用户显示模型。用户可以通过指向或选择3d对象中的部分来快速地复核货柜的期望部分,由此系统将显示所选点在其中可见的所有图像。图像可以是货柜的外部图像和/或内部图像。从不同方向和视角看到视图,由此用户可以快速地从各个方向复核例如潜在损坏位置。用户可以同时从不同视角,例如从货柜外侧和内侧复核相邻图像中的损坏位置。在图像处理中,可以例如通过颜色、通过圈出或以其它方式来高亮损坏位置。

在图13a的实施例中,货柜的3d对象从外侧示出货柜100。在图13a中,在货柜的外表面上示出两个不连续性点301、302。不连续性点301、302指示在货柜的结构中可能存在损坏、缺陷等。用户可以在显示器上借助于3d对象来对此进行核查。在图13b的实施例中,从货柜100的内侧示出相同3d对象。图13b示出货柜内侧的与在货柜100外侧可见的相同的不连续性点301、302。借助于分析软件,已经在壁、内侧和外侧的相同位置中检测到潜在损坏点301、302。分析软件已经检测到不存在通孔。因此,损坏被示出在壁的两侧上,如图13ab中那样。损坏可以是壁的被损坏部分中的翘棱或凹痕或弯曲。通过分析图像数据,可以导出关于损坏的进一步信息。如图13c中所示出的,当从货柜100的后部看到3d对象时,损坏点301、302也是可见的。不连续性点301、302在图13c的视图中也是可见的。例如,不连续性点可以是货柜框架中的弯曲或壁中的翘棱。在图13c中,货柜的外表面已经在损坏点301处向外弯曲并且在损坏点302中向内弯曲。因此,当从后方查看货柜的3d对象时,弯曲或翘棱的凸性/凹性是可见的。附加于或替代于检测损坏,模式识别及其极限值可以应用于检测货柜和/或货物的脏度。这可以以全自动化方式完成。需要清洗的货柜可以被转送到货柜处置平台上的适当位置以供清洗。还可能的是,用户指示(图像的)期望部分用于进一步检查,例如用于通过模式识别(重新)分析。

在用户接口中,除了3d对象还显示各种系统视图。用户可以被给予涉及例如访问视图、读取和/或修改它们的各种权限。在视图中,有可能不仅显示所形成的3d对象,而且显示对货柜和/或货物的损坏的列表、关于损坏的报告、可编辑损坏列表、批准视图和/或接收视图。用户可以核查关于损坏的图像视图和书面呈现二者。用户可以向货柜数据添加损坏指示。用户可以在列表中添加书面损坏指示,由此也在图像视图中更新对应数据。用户可以例如通过使用鼠标向图像添加损坏指示,由此也在书面损坏列表中更新数据。用户在一个视图中做出的修改自动地在涉及所述对象(货柜)的其它视图和数据中更新。用户可以接受或拒绝所呈现的损坏指示。被接受和被拒绝的损坏指示可以在显示器上通过例如颜色来区分。在视图中显示涉及损坏指示的损坏数据,诸如损坏的位置。基于损坏,软件可以从数据库检索适于该损坏的修复代码,并将其至少作为提议包括在损坏指示的数据中。用户接口图像、对象、系统视图和/或到它们的链接可以例如经由电子邮件传输到其它设备。

用户接口可以包括触摸显示器、鼠标、键盘、语音控制器等。在实施例中,用户接口包括3d眼镜,利用所述3d眼镜,用户既观察显示的视图又控制显示的视图。头部和/或眼睛的移动将生成针对显示的输入或命令。显示因此可以是三维的。在实施例中,用户接口是虚拟手套。可以在没有实际显示的情况下将输入给予3d显示或全息图的表面。

在一些实施例中,基于货柜的图像自动地生成3d对象和具有修复提议的损坏报告。对货柜的检查因此被转移远离货柜处置区域并经由所显示的视图而发生。与在现场由人检查货柜相比,核查所生成的视图更快、更安全、更可再现并且更加高效。此外,可以比较对货柜的损坏、报告和其它视图,并且货柜之间的检查将具有更一致的质量。修复提议或报告可以被直接转送到修复方。将不需要单独的工作步骤或在记录上记下。

图14示出了根据实施例的用于货柜检查的方法。在该方法中,接收图像数据141。图像数据可以由放置在货柜处置区域中的相机产生。图像数据可以由至少一个相机或多个相机产生。相机可以放置在用户终端中、货柜处置装置中、特定固定位置中、或者在给定区域内是可移动的。图像数据可以包含货柜的一个或多个壁、货柜外侧和/或货柜内侧的图像。接收到的图像数据可以包含关于货柜的至少三个壁、有利地至少四个壁、优选地六个壁和/或货柜中的货物的图像的图像数据。可以自动地和/或基于给定观察和/或通过远程控制来触发成像功能。图像数据可以包括从光源反射到货柜的至少一个壁上的光斑和/或光段。

涉及图像数据的位置和/或定位数据被接收以伴随图像数据或附着到图像数据。基于其,图像数据与正确货柜和货柜中的正确位置相关联。可以例如借助于模式识别算法从接收到的图像数据标识位置和/或定位数据。位置和定位数据可以涉及相机的固定位置,由此成像相机的位置数据和可能的设定与定位确定查看的角度。位置和定位数据可以利用图像来验证和传输,或者单独地基于相机的位置、定位和设定来验证和传输。位置和定位数据可以被手动地录入;例如,终端的用户可以向图像数据添加位置和定位数据。相机还可以向图像的元数据添加位置和定位数据。货柜和/或可移动相机的位置可以借助于测距设备来确定。可以例如在货柜处置区域中确定该位置。

在步骤142中分析接收到的图像数据。可以通过处理像素形式的接收到的数据、数值数据、图像数据、二维数据等来分析图像数据。分析软件例如可以核查几何连续性或者给定颜色或其它属性的出现。未标识或偏差发现物可能引起损坏指示或进一步检查。可以通过将图像数据与完整货柜的现有模型进行比较来分析图像数据。当关于货柜的图像数据的位置已知时,可以将其与参考货柜中的对应位置进行比较。该比较将导致发现可能损坏点。图像数据还可以与货柜的诸如成百上千的多个图像进行比较以找出(多个)最近图像。根据多个参考图像,还有可能在分析图像数据时计算概率或平均。此外,分析软件可以利用历史数据和/或人工智能。软件可以不断学习,由此其基于较早分析从新录入的图像数据中找出已经被检测到过的损坏和常见因素和/或相关因素。分析软件还可以响应于检测到特定类型的损坏而搜索典型地涉及所述损坏或与所述损坏共现的某些特征。

标识成像货柜的可能损坏点,143。可以基于所做出的分析来标识损坏点。还可以借助于其它测量来标识损坏点,并且所述数据可以被传输以包括在货柜数据中。

接收到的图像数据和检测到的损坏点放置在货柜的3d对象中的正确位置中。可以基于图像数据向3d对象提供纹理。借助于纹理,可以获得关于壁的进一步信息。在对应于实际位置的位置中,将对应于模型的每个壁的图像数据(纹理)添加到对象。对象可以包含根据图像数据及其位置添加在货柜的一个或多个壁、内壁和/或外壁上的或涉及货柜的货物的信息。检测到的潜在损坏点也被添加到3d对象。对象可以以其可以被视为3d对象的方式被呈现。对象可以被转动并且从不同方向、从不同距离被查看。可以同时从不同查看的角度显示对象的所选点的若干视图。

在该方法中,可以借助于图像处理单元来形成根据接收到的图像数据的报告和/或列表和/或3d对象。可以分析图像数据,并且可以根据该分析来形成报告和/或列表和/或3d对象。可以通过至少一种模式识别算法来检测图像数据和/或所形成的3d对象的特征。包含对应数据的报告和/或列表和/或3d对象可以以这样的方式来呈现:它们之一中的改变将在显示对应数据的其它视图中产生对应改变。检测到的损坏可以包括在要形成的报告和/或列表和/或3d对象中。可以基于输入、基于单独测量、通过分析图像数据或以另一合适方式来生成检测到的损坏。基于检测到的损坏,修复卡可以与所述检测到的损坏相关联,包含涉及损坏的修复的信息。修复卡可以存储在存储器中,或者其可以是可获得的,例如可下载的。可以基于检测到的损坏来检索修复卡,并且修复卡与检测到的损坏相关联。可以以电子和/或无线方式在设备之间传输图像数据、由图像形成的数据、经修改数据和/或相关联数据。

在实施例中,提供程序代码和用于运行它的构件。实施例可以包括用于运行程序代码的设备。设备可以包括用于存储程序代码的存储器单元和用于运行程序代码的处理器。在运行之后,程序代码参与施行以下:接收货柜的图像数据。结合或附加于图像数据,接收图像数据的位置和/或定位数据。其可以用于确定每个图像对象相对于货柜的位置。分析接收到的图像数据。基于分析,检测可能损坏点。还可以借助于其它测量来检测损坏点,或者损坏点可以在系统中输入。接收到的图像数据和可能的损坏指示可以基于位置和/或定位数据附着到3d对象中的适当点。图像数据可以形成3d模型中的纹理。图像数据的纹理可以附着到3d对象(货柜)的表面。以该方式,形成3d对象,所述3d对象包括利用接收到的图像数据和可能的损坏指示补充的3d模型。所形成的3d对象以可以以三维方式查看的方式来表示。用户可以从不同方向、角度和距离查看所形成的3d对象。所有以上提及的方法步骤都可以由软件、借助于要运行的软件和/或要施行的指令来施行。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1