一种集装箱船偏移检测方法与流程

本发明涉及港口码头测量，特别涉及一种集装箱船偏移检测方法。

背景技术：

1、随着智慧港口建设的逐步推进，目前岸桥的装卸作业基本已经实现了自动化无人化的升级改造，在这个过程中，视频ai技术是促进升级改造落地的重要技术之一。随着基于深度学习的各类智能算法的井喷式发展，使得实时分析前端设备采集的视频数据已经成为可能，利用视频ai技术协助智慧港口建设已成为业内大趋势。

2、目前在岸桥装卸船作业时，由于集装箱船受风浪等因素的影响，因此会使得集装箱在水面上发生偏移，由此带来的主要问题包括：1.集装箱船偏移过多后，船体可能会与岸桥发生碰撞等安全事故；2.当无法判定集装箱船的偏移具体数值时，处于安全作业的考虑，目前各大港口在岸桥作业时，吊具通常走门字形路径，从而确保吊具能够安全地绕过船体贝位的加固架，然而这种方式在确保作业安全的同时，却带来了作业效率的牺牲。

3、为降低集装箱船偏移带来的不利影响，目前通常的做法是通过人工观察来判断集装箱船的具体偏移量，并在判断出集装箱船发生偏移后，通过人工控制岸机移动（与移贝操作相同）来补偿。然而此种方式存在效率低下以及岸机调控不精准的问题，另外人工还会因精力、责任心等原因导致岸机位置未进行调整即投入工作的情况发生，从而导致安全事故发生的概率增加。

4、因此，开发一套脱离于人工的集装箱船偏移检测方式显得迫在眉睫。

技术实现思路

1、针对现有技术存在的集装箱船装卸过程中通过人工观察方式判断船只偏移的精度和效率低的问题，本发明的目的在于提供一种集装箱船偏移检测方法，以便于至少部分地解决上述问题。

2、为实现上述目的，本发明的技术方案为：

3、一种集装箱船偏移检测方法，包括以下步骤：

4、s1.响应于移贝完成信号，控制球机转动到指定预置位，并拍摄包含作业贝位的视频流；

5、s2.采用深度学习技术中的目标关键点检测算法识别所述视频流中每一帧图像内的集装箱角点，进而区分出视频流的各帧图像中的每个集装箱；

6、s3.获取所述视频流的基准图像，并从中确定出所述作业贝位对应的目标集装箱；

7、s4.通过基于bolb的跟踪方法对所述目标集装箱进行跟踪，直至确定出所述目标集装箱在视频流的当前帧图像中的位置；

8、s5.根据所述目标集装箱在所述当前帧图像与所述基准图像中的位置偏差，计算得到所述目标集装箱的像素偏差，并根据所述目标集装箱的尺寸与其所占像素的对应关系，将所述目标集装箱的像素偏差转换成目标集装箱的实际距离偏移，以便于在对所述目标集装箱进行装卸操作时通过补充移贝来补偿集装箱船的偏移；

9、其中，所述基准图像为岸桥最近一次执行移贝或补充移贝操作后，由球机拍摄的包含作业贝位的视频流的第一帧图像。

10、优选的，步骤s1中，在控制球机拍摄包含作业贝位的视频流之前，还需要对作业贝位进行确认，包括：

11、通过球机获取包含作业贝位的贝位校验图像；

12、采用深度学习技术中的目标关键点检测算法识别所述贝位校验图像中的集装箱角点，进而确定出处于作业贝位的目标集装箱；

13、检测所述目标集装箱的中心与所述贝位校验图像的中心之间的距离是否低于阈值，是则作业贝位确认通过，否则不通过。

14、优选的，当作业贝位确认不通过时，则根据所述目标集装箱的中心与所述贝位校验图像的中心之间的偏差，生成用于控制岸桥进行二次移贝的修正量，以便于岸桥根据所述修正量进行二次移贝后，使对所述作业贝位执行的确认步骤得以通过，并且二次移贝后需重新确定所述基准图像。

15、优选的，步骤s1中，在控制球机拍摄包含作业贝位的视频流之前，还包括以下步骤：

16、通过球机获取包含作业贝位的尺寸校验图像；

17、确定所述尺寸校验图像中关于集装箱的第一信息；

18、当所述第一信息超出预设范围时，则调整所述球机的视野，直至所述球机的视野画面中关于集装箱的第一信息满足预设范围，以便于所述球机基于调整后视野拍摄包含作业贝位的视频流。

19、优选的，所述第一信息为所述目标集装箱的数量，则所述确定所述尺寸校验图像中关于集装箱的第一信息的步骤包括：

20、通过深度学习技术中的目标关键点检测算法识别所述尺寸校验图像中所有的集装箱角点，并通过集装箱角点与集装箱的预设关系确定出集装箱的数量。

21、优选的，所述第一信息还包括集装箱的大小，则在识别出所述尺寸校验图像中的集装箱角点后，通过集装箱角点之间的像素值衡量集装箱的大小。

22、优选的，步骤s4中，所述通过基于bolb的跟踪方法对所述目标集装箱进行跟踪，直至确定出所述目标集装箱在视频流的当前帧图像中的位置的步骤包括：

23、从所述基准图像起，通过重叠度依次确定视频流的后一帧图像中所述目标集装箱的位置，直至确定所述目标集装箱在视频流的当前帧图像中的位置。

24、优选的，步骤s5中，所述根据所述目标集装箱在所述当前帧图像与所述基准图像中的位置偏差，计算得到所述目标集装箱的像素偏差的步骤包括：

25、对于视频流中当前帧图像，计算其中的所述目标集装箱的中心点与基准图像中所述目标集装箱的中心点之间的像素偏差，得到所述目标集装箱的像素偏差数值。

26、优选的，还包括以下步骤：

27、在所述当前帧图像中标注出处于作业贝位上的目标集装箱的中心，并将所述基准图像的中心叠加在所述当前帧图像中，同时在所述当前帧图像中实时标注出所述目标集装箱的偏移量。

28、采用上述技术方案，本发明的有益效果在于：本发明通过基于对视频图像的处理，能够在岸桥移贝后对集装箱船的偏移情况进行实时检测并生成集装箱船的具体偏移量，从而便于岸桥装卸集装箱时根据该偏移量及时进行大机和吊具的位置调整，不但能够有效防止岸桥与集装箱船发生碰撞，而且由于集装箱船偏移量的消除和补偿，使得吊具不必走门字形路径，从而可以通过最优路径提高作业效率。

技术特征：

1.一种集装箱船偏移检测方法，其特征在于：包括以下步骤：

2.根据权利要求1所述的集装箱船偏移检测方法，其特征在于：步骤s1中，在控制球机拍摄包含作业贝位的视频流之前，还需要对作业贝位进行确认，包括：

3.根据权利要求2所述的集装箱船偏移检测方法，其特征在于：当作业贝位确认不通过时，则根据所述目标集装箱的中心与所述贝位校验图像的中心之间的偏差，生成用于控制岸桥进行二次移贝的修正量，以便于岸桥根据所述修正量进行二次移贝后，使对所述作业贝位执行的确认步骤得以通过，并且二次移贝后需重新确定所述基准图像。

4.根据权利要求1所述的集装箱船偏移检测方法，其特征在于：步骤s1中，在控制球机拍摄包含作业贝位的视频流之前，还包括以下步骤：

5.根据权利要求4所述的集装箱船偏移检测方法，其特征在于：所述第一信息为所述目标集装箱的数量，则所述确定所述尺寸校验图像中关于集装箱的第一信息的步骤包括：

6.根据权利要求4所述的集装箱船偏移检测方法，其特征在于：所述第一信息还包括集装箱的大小，则在识别出所述尺寸校验图像中的集装箱角点后，通过集装箱角点之间的像素值衡量集装箱的大小。

7.根据权利要求1所述的集装箱船偏移检测方法，其特征在于：步骤s4中，所述通过基于bolb的跟踪方法对所述目标集装箱进行跟踪，直至确定出所述目标集装箱在视频流的当前帧图像中的位置的步骤包括：

8.根据权利要求7所述的集装箱船偏移检测方法，其特征在于：步骤s5中，所述根据所述目标集装箱在所述当前帧图像与所述基准图像中的位置偏差，计算得到所述目标集装箱的像素偏差的步骤包括：

9.根据权利要求1所述的集装箱船偏移检测方法，其特征在于：还包括以下步骤：

技术总结
本发明公开了一种集装箱船偏移检测方法，属于测量领域，包括：移贝完成后控制球机拍摄包含作业贝位的视频流；识别视频流每帧图像内的集装箱角点，区分各帧图像中的每个集装箱；获取视频流的基准图像，确定作业贝位对应的目标集装箱；确定目标集装箱在视频流的当前帧图像中的位置；根据目标集装箱在当前帧图像与在基准图像中位置偏差，计算目标集装箱的像素偏差及其实际距离偏移，以便于通过补充移贝来补偿集装箱船的实际距离偏移；基准图像为岸桥最近一次执行移贝或补充移贝操作后，由球机拍摄的包含作业贝位的视频流的第一帧图像。本发明不依赖于人工，能够高效检测集装箱船的偏移，从而有助于提高岸桥作业效率。

技术研发人员：范柘
受保护的技术使用者：上海安维尔信息科技股份有限公司
技术研发日：
技术公布日：2024/1/15