一种集装箱堆场的集装箱管理方法及系统与流程

1.本发明涉及智能安防港口技术领域，具体而言，涉及一种集装箱堆的场集装箱管理方法、系统、电子设备及计算机存储介质。


背景技术：

2.随着科技技术的发展与进步，当前安防技术已经进入了全新的智能时代，而视频智能分析则是智能安防技术落地的重要手段。受益于深度学习技术中各类智能算法的井喷式发展，使得实时分析前端设备采集的视频信息成为可能，并将信息传递至各大监控平台以及客户端。
3.像港口这种集装箱堆场基地堆放着大量的集装箱，无论是国家和企业进行经济规划、统筹存储、生产计划等，都离不开快速准确的对当前集装箱堆场的集装箱进行统计。但目前对于各集装箱所处位置的确定工作，仍然主要依靠人工来完成，工作效率十分低下，难以满足实际需要。


技术实现要素：

4.为了至少解决上述背景技术中存在的技术问题，本发明提供了一种集装箱堆场的集装箱管理方法、系统、电子设备及计算机存储介质。
5.本发明的第一方面提供了一种集装箱堆场的集装箱管理方法，包括如下步骤：获取吊装设备的第一数据，根据所述第一数据确定集装箱的第一位置信息；根据所述第一位置信息确定第一相机，并根据所述第一相机拍摄的第一图像数据获取所述集装箱的第二数据；其中，所述第二数据包括所述集装箱的位置数据和箱号数据；将所述第二数据与gis地图进行融合显示。
6.进一步地，所述吊装设备为正面吊和/或轨道吊。
7.进一步地，当所述吊装设备为正面吊时，则在所述根据所述第一数据确定集装箱的第一位置信息之前，还包括：接收第二相机的第二图像数据和/或第三相机的第三图像数据，根据所述第二图像数据和/或所述第三图像数据提取得出所述吊装设备的作业特征数据；根据所述作业特征数据判断所述吊装设备是否处于工作状态，若是，则发送跟踪信号给第四相机；其中，所述跟踪信号用于触发所述第四相机获取所述正面吊的第一数据。
8.进一步地，所述根据所述第一位置信息确定第一相机，并根据所述第一相机拍摄的第一图像数据获取所述集装箱的第二数据，包括：根据所述第一位置信息确定若干所述第一相机；其中，各所述第一相机的拍摄视角均与所述第一位置信息部分重合；根据各所述第一相机拍摄的至少一个所述第一图像数据获取所述集装箱的箱号数据；以及，根据各所述第一相机拍摄的至少一个所述第一图像数据获取所述集装箱的
相对坐标数据，根据所述相对坐标数据确定所述集装箱的位置数据；其中，所述位置数据包括贝位号、贝列号、贝层号。
9.进一步地，所述根据各所述第一相机拍摄的至少一个所述第一图像数据获取所述集装箱的相对坐标数据，包括：根据所述第一图像数据确定与所述集装箱对应的若干相邻集装箱的箱号数据，根据相邻集装箱的箱号数据查询数据库以确定所述相邻集装箱的坐标数据；根据所述第一图像数据计算得出所述集装箱与所述相邻集装箱的位置偏移数据，根据所述位置偏移数据和所述相邻集装箱的坐标数据确定出所述集装箱的相对坐标数据。
10.进一步地，当所述吊装设备为轨道吊时，所述集装箱的位置数据通过如下方式获得：获取所述轨道吊的plc信号，所述plc信号包括大车、小车和吊具的工作信号；根据所述工作信号分别计算得出大车位置数据、小车位置数据、吊具高度数据；根据所述大车位置数据得出贝位号，根据所述小车位置数据得出贝列号，根据吊具高度数据得出贝层号。
11.进一步地，当所述吊装设备为轨道吊时，则在所述根据所述第一数据确定集装箱的第一位置信息之前，还包括：根据所述轨道吊的plc信号判断所述吊装设备是否处于工作状态，若是，则发送跟踪信号给所述第四相机；其中，所述跟踪信号用于触发所述第四相机获取所述轨道吊的第一数据。
12.本发明的第二方面提供了一种集装箱堆场的集装箱管理系统，包括获取模块、处理模块、存储模块；所述处理模块与所述获取模块、所述存储模块连接；所述存储模块，用于存储可执行的计算机程序代码；所述获取模块，用于获取吊装设备的工作数据和相机的图像数据，并传输给所述处理模块；所述处理模块，用于通过调用所述存储模块中的所述可执行的计算机程序代码，执行如前任一项所述的方法。
13.本发明的第三方面提供了一种电子设备，包括：存储有可执行程序代码的存储器；与所述存储器耦合的处理器；所述处理器调用所述存储器中存储的所述可执行程序代码，执行如前任一项所述的方法。
14.本发明的第四方面提供了一种计算机存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上任一项所述的方法。
15.本发明的方案中，相比于传统的人工采集各集装箱放置数据的方式，本发明通过跟踪吊装设备的工作数据初步确定出集装箱被放置的大概位置，再调取附近的第一相机拍摄的图像数据确定出集装箱的具体位置数据和箱号数据，接着再将集装箱的位置投影至gis地图中即可实现集装箱状态数据的实时展示，利于工作人员对集装箱的管理。
附图说明
16.为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对
范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
17.图1是本发明实施例公开的一种集装箱堆场的集装箱管理方法的流程示意图。
18.图2是本发明实施例公开的小型集装箱堆场拍摄场景的示意图。
19.图3是本发明实施例公开的小型集装箱堆场的单一相机拍摄画面的示意图。
20.图4是本发明实施例公开的轨道吊的工作场景示意图。
21.图5是本发明实施例公开的一种集装箱堆场的集装箱管理系统的结构示意图。
22.图6是本发明实施例公开一种电子设备的结构示意图。
具体实施方式
23.为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
24.在本技术实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本技术。在本技术实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种。
25.应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
26.应当理解，尽管在本技术实施例中可能采用术语第一、第二、第三等来描述
……
，但这些
……
不应限于这些术语。这些术语仅用来将
……
区分开。例如，在不脱离本技术实施例范围的情况下，第一
……
也可以被称为第二
……
，类似地，第二
……
也可以被称为第一
……
。
27.取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
28.还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。
29.下面结合附图详细说明本发明的优选实施例。
30.请参阅图1，图1是本发明实施例公开的一种集装箱堆场的集装箱管理方法的流程示意图。如图1所示，本发明实施例的一种集装箱堆场的集装箱管理方法，包括如下步骤：获取吊装设备的第一数据，根据所述第一数据确定集装箱的第一位置信息；根据所述第一位置信息确定第一相机，并根据所述第一相机拍摄的第一图像数据获取所述集装箱的第二数据；其中，所述第二数据包括所述集装箱的位置数据和箱号数据；
将所述第二数据与gis地图进行融合显示。
31.在本发明实施例中，相比于传统的人工采集各集装箱放置数据的方式，本发明通过跟踪吊装设备的工作数据初步确定出集装箱被放置的大概位置，再调取附近的第一相机拍摄的图像数据确定出集装箱的具体位置数据和箱号数据，接着再将集装箱的位置投影至gis地图中即可实现集装箱状态数据的实时展示，利于工作人员对集装箱的管理。
32.其中，对于吊装设备的第一数据的获取方式，可以是由布设于集装箱堆场的分布式相机来获取的，例如上述的第一相机或后续的第二/三/四/五/六相机，也即利用分布式相机来拍摄并获取对应区域内的吊装设备的第一数据；也可以是由专门的相机来获取，例如位于高处的高清相机，其可以对堆场大部分区域进行监控，从而可以及时获取到各吊装设备的第一数据。其中的第一数据是可用于分析被吊装的集装箱最终被放置的位置的数据，例如吊装设备的位置数据、被吊装集装箱的运动速度及运动方向、吊装设备中被吊装集装箱从有到无时对应的位置数据等，不再赘述。
33.本发明的以上方案及以下改进方案均即可实施于单一港口/堆放场的处理端，也可以实施于针对多个堆放场/港口的服务器中。其中，处理端可以为具备数据处理器的专门处理装置、计算机、手机、平板电脑、可穿戴设备、虚拟现实设备等，而数据处理器可以为中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。而服务器可以为单台服务器，也可以为多台服务器组成的服务器集群。
34.进一步地，所述吊装设备为正面吊和/或轨道吊。
35.在本发明实施例中，港口常用的吊装设备主要包括正面吊和轨道吊。其中，正面吊全称为集装箱正面起重机（reach stacker），正面吊是用来装卸集装箱的一种流动式起重机，专门为20英尺和40英尺国际集装箱而设计的，主要用于集装箱的堆叠和码头、堆厂内的水平运输。参照图4所示，轨道吊是指在沿地面铺设的轨道上行驶，转移作业场地时要拆卸和重新安装的运行式回转起重机，有塔式起重机、门座起重机等，起重机轨道有专用轨、铁路轨、方轨和p型轨。
36.进一步地，当所述吊装设备为正面吊时，则在所述根据所述第一数据确定集装箱的第一位置信息之前，还包括：接收第二相机的第二图像数据和/或第三相机的第三图像数据，根据所述第二图像数据和/或所述第三图像数据提取得出所述吊装设备的作业特征数据；根据所述作业特征数据判断所述吊装设备是否处于工作状态，若是，则发送跟踪信号给第四相机；其中，所述跟踪信号用于触发所述第四相机获取所述正面吊的第一数据。
37.在本发明实施例中，本发明先根据第二相机和/或第三相机拍摄的图像数据判断出吊装设备处于工作状态时才控制第四相机对吊装设备进行持续跟踪，以确定出被吊装的集装箱所被放置的大概位置即第一位置信息。另外，对于那些已经被堆放但由于某些原因而未被系统自动采集到的集装箱来说，则可以由人工现场查看录入。
38.作业特征数据可以为吊装设备的轨迹、姿态、作业时长、作业部件所处位置等，通过分析以上数据即可确定出吊装设备的工作状态。另外，可以通过视频ai深度学习、样本对
抗自学习等机器视觉技术实现对各种工况即环境下的吊装设备的精准识别。
39.需要进行说明的是，本发明中所涉及的场景即集装箱堆场布设了分布式的相机，包括枪机、球机；并且枪机布设有云台、旋转移动性能较好，所以优先设置跟踪用的第四相机为枪机，而球机的拍摄范围更大，所以优先设置数据提取用的第一相机为球机，以及，第二相机和第三相机则分别为枪机、球机中的一种。也即，本发明基于多相机融合技术实现了对集装箱的定位和数据提取。
40.进一步地，所述根据所述第一位置信息确定第一相机，并根据所述第一相机拍摄的第一图像数据获取所述集装箱的第二数据，包括：根据所述第一位置信息确定若干所述第一相机；其中，各所述第一相机的拍摄视角均与所述第一位置信息部分重合；根据各所述第一相机拍摄的至少一个所述第一图像数据获取所述集装箱的箱号数据；以及，根据各所述第一相机拍摄的至少一个所述第一图像数据获取所述集装箱的相对坐标数据，根据所述相对坐标数据确定所述集装箱的位置数据；其中，所述位置数据包括贝位号、贝列号、贝层号。
41.在本发明实施例中，在确定出集装箱被搬运放置的大概位置即第一位置信息之后，就可以根据该第一位置信息筛选出周围的可以拍摄到该集装箱的若干第一相机（优选为球机），从这些第一相机拍摄的第一图像数据中可以顺利提取出集装箱的箱号数据，以及集装箱的贝位号、贝列号、贝层号。
42.需要进行说明的是，本发明中的相对坐标数据可以以整个集装箱堆放场坐标系为基准的，也可以是以各独立放置集装箱区域（例如一排或一列）的区域坐标系为基准的，具体可不作限定。
43.进一步地，所述根据各所述第一相机拍摄的至少一个所述第一图像数据获取所述集装箱的相对坐标数据，包括：根据所述第一图像数据确定与所述集装箱对应的若干相邻集装箱的箱号数据，根据相邻集装箱的箱号数据查询数据库以确定所述相邻集装箱的坐标数据；根据所述第一图像数据计算得出所述集装箱与所述相邻集装箱的位置偏移数据，根据所述位置偏移数据和所述相邻集装箱的坐标数据确定出所述集装箱的相对坐标数据。
44.在本发明实施例中，集装箱堆放场有大小之分，对于图2所示的小型堆场来说，至多需要在集装箱的前后左右四个位置的相机即可实现对集装箱的覆盖，各相机的拍摄画面如图3所示。
45.举例来说：正面吊新堆放了一个集装箱后，正面和背面的相机可以提供该集装箱的x轴以及z轴位置，侧面相机可以提供y轴以及z轴位置（需要事先配置相机与堆场的位置关系），综合多个相机结果即可得到新增集装箱在堆场的xyz坐标。
46.而对于大型集装箱堆场，则单个球机无法做到覆盖一侧全部集装箱的情况，针对该情况，本发明转而对目标集装箱附近若干个相邻集装箱箱号，并查询数据库确定相邻集装箱的坐标。此时，只要将新放入的集装箱和已知位置集装箱进行偏移比较（以集装箱中心点或箱号所在区域或集装箱边缘为基准），得到相对位置偏移[δx,δy,δz]，从而也能得到新增集装箱的xyz坐标。
[0047]
进一步地，当所述吊装设备为轨道吊时，所述集装箱的位置数据通过如下方式获得：获取所述轨道吊的plc信号，所述plc信号包括大车、小车和吊具的工作信号；根据所述工作信号分别计算得出大车位置数据、小车位置数据、吊具高度数据；根据所述大车位置数据得出贝位号，根据所述小车位置数据得出贝列号，根据吊具高度数据得出贝层号。
[0048]
在本发明实施例中，集装箱堆场使用的轨道吊有非常精准的plc信号，抓取、放置集装箱时可以给出开闭锁信号等工作信号。于是，对于轨道吊来说，本发明直接从plc控制器端获取位置信息，其中大车位置就是贝位号(列)，小车位置就是贝列号（排），吊具高度就是贝层号（层）。相比于正面吊来说，位置数据的确定更为简单，只需要辅之以箱号识别就可实现正面吊的上述功能，箱号的识别方式可以采用与正面吊相同的方式。
[0049]
进一步地，当所述吊装设备为轨道吊时，则在所述根据所述第一数据确定集装箱的第一位置信息之前，还包括：根据所述轨道吊的plc信号判断所述吊装设备是否处于工作状态，若是，则发送跟踪信号给所述第四相机；其中，所述跟踪信号用于触发所述第四相机获取所述轨道吊的第一数据。
[0050]
在本发明实施例中，先根据轨道吊的plc信号判断其吊装的工作状态时控制第四相机获取集装箱的运动数据，进而获得第一数据。可见，本实施例综合利用了plc信号和图像跟踪技术。其中，与正面吊不同的是，本发明直接根据轨道吊的plc信号来判断其是否处于工作状态，更为快捷高效。
[0051]
其中，轨道吊的plc信号中还可以包括轨道吊的运动目标位置，根据该吊装目标位置即可筛选出第四相机，进而可以调度第四相机对轨道吊进行跟踪以确定其第一数据。
[0052]
进一步地，所述方法还包括：控制所述第一相机进入巡航模式，接收巡航模式下的各所述第一相机拍摄的包含集装箱箱号的第四图像数据；根据所述第四图像数据提取得出各所述集装箱的第三数据，将所述第三数据与数据库中存储的所述第二数据进行比对，若比对结果为不一致，则输出报警。
[0053]
在本发明实施例中，除了前述吊装设备在工作状态下的集装箱数据获取方式以外，本发明还设置各分布式布置的第一相机对各自区域的已放置的集装箱进行巡航检查，如果发现与之前存储的数据不一致，则可以输出报警，以提醒工作人员通过合适方式进行核验，例如现场查验，或者远程操控枪机进行拉近景查看，以对异常数据进行后台录入、更改。
[0054]
作为该实施例的一种改进方案，对第一相机的巡航模式限定如下：根据各所述第一相机的分布位置数据确定初始的第一巡航计划；根据所述第五相机拍摄的第五图像数据获取得出吊装设备的工作数据，根据所述第六相机拍摄的第六图像数据确定若干潜在吊装位置数据；根据所述工作数据从若干所述潜在吊装位置数据筛选出若干目标吊装位置数据；根据各所述第五相机的与若干所述目标吊装位置数据的距离确定巡航延迟数据；根据所述巡航延迟数据对所述第二巡航计划进行修正，以获得第二巡航计划。
[0055]
在该改进方式中，可先根据各第一相机的布设位置依序确定出初始的巡航顺序；然后再通过第五相机（优选为枪机）确定出堆场中各吊装设备的工作数据（是否在吊装作业、运动方向等），以及通过第六相机（优选为其它球机）确定出潜在吊装位置数据（例如存在可放置集装箱的空缺位置），此时例如即可根据吊装设备的运动方向等数据从潜在吊装位置中确定出目标吊装位置。而对于目标吊装位置附近的球机来说，由于吊装作业产生的遮挡等会影响球机的巡航准确性，所以可进一步将初始的第一巡航计划中涉及的第一相机进行巡航延迟处理。
[0056]
另外，对于延迟的程度，则可以通过下述方式确定：计算各第一相机与最近的所述目标吊装位置数据的距离值，根据所述距离值确定延迟系数，其中，延迟系数与所述距离值负相关。也即，在第一相机距离目标吊装位置越远时，由于吊装设备仅会以较短的时间对对应的球机产生遮挡，所以可将该球机的延迟程度调节的较低，反之则调节的较高，以使第一相机可以在吊装完成后再进行集装箱相关数据的巡航获取，以确保巡航结果的准确性。
[0057]
当然，该巡航模式中的延迟处理应当考虑一些实际情况，例如对于位于正在作业的吊装设备运动方向后方的第一相机则可不作延迟处理。
[0058]
请参阅图5，图5是本发明实施例公开的一种集装箱堆场的集装箱管理系统的结构示意图。如图5所示，本发明实施例的一种集装箱堆场的集装箱管理系统，包括获取模块101、处理模块102、存储模块103；所述处理模块102与所述获取模块101、所述存储模块103连接；所述存储模块103，用于存储可执行的计算机程序代码；所述获取模块101，用于获取吊装设备的工作数据和相机的图像数据，并传输给所述处理模块102；所述处理模块102，用于通过调用所述存储模块103中的所述可执行的计算机程序代码，执行如实施例一所述的方法。
[0059]
该实施例中的一种集装箱堆场的集装箱管理系统的具体功能参照上述实施例一，由于本实施例中的系统采用了上述实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。
[0060]
请参阅图6，图6是本发明实施例公开的一种电子设备，包括：存储有可执行程序代码的存储器；与所述存储器耦合的处理器；所述处理器调用所述存储器中存储的所述可执行程序代码，执行如实施例一所述的方法。
[0061]
本发明实施例还公开了一种计算机存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如实施例一所述的方法。
[0062]
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是，但不限于，电、磁、光、电磁、红外线、或半导体的系统、系统或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、系统或者器件使用或
者与其结合使用。
[0063]
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、系统或者器件使用或者与其结合使用的程序。
[0064]
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括、但不限于无线、电线、光缆、rf等等，或者上述的任意合适的组合。
[0065]
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c++，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
[0066]
注意，上述仅为本发明的较佳实施例及所运用的技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明的构思的情况下，还可以包括更多其他等效实施例，均属于本发明的保护范畴。