一种集装箱图像采集系统及集装箱装载状态检测方法与流程

本发明涉及铁路货物运输技术领域，尤其涉及一种集装箱图像采集系统及集装箱装载状态检测方法。

背景技术：

集装箱是运输货物的载体，在货物运输体系中，集装箱箱号用于唯一标识集装箱，通过集装箱箱号，可以获知集装箱的涵盖货物运输起点、目的地、货物类型、数量、重量、集装箱尺寸等信息。集装箱箱体六面均标有符合国际标准的箱号。

目前，一个铁路港前车站(港湾站)对应多个港口码头铁路集装箱场(港区、货区)时，港湾站的集装箱列车可以装载集装箱至不同的港区卸车。由于需要对集装箱进行装卸，会对已经固定堆放的集装箱进行重新编组。为了确保货物运输的准确性，需要采集集装箱的信息，以利用该信息对集装箱列车所装载集装箱的箱号及型号等集装箱状态信息进行核对。

目前，由于因铁路站场和运输设备条件的限制，很难自动采集集装箱的信息，因此有必要设计一种集装箱图像采集系统，以解决集装箱信息难以采集的问题。

技术实现要素：

本发明的目的在于克服现有技术之缺陷，提供了一种集装箱图像采集系统及集装箱装载状态检测方法，以实现简化集装箱信息的采集过程。

本发明是这样实现的：

第一方面，本发明提供一种集装箱图像采集系统，系统包括运输车辆，所述运输车辆设有重力开关、控制器和摄像机，其中，

所述重力开关，用于在检测到所述运输车辆的载重发生变化时，向所述控制器发送启动信号；

所述控制器，用于在接收到所述启动信号后，启动所述摄像机，获得所述摄像机采集的集装箱图像，将所述集装箱图像发送给接收端。

可选的，所述运输车辆的车体两侧和车体前后两端均设有摄像机。

可选的，所述运输车辆的车体两侧的底部设有向外延伸的支架，于每一所述支架均设有所述摄像机。

可选的，每一支架均包括两个伸缩杆，每一伸缩杆上均设有摄像机；

所述控制器，还用于在启动所述摄像机时，控制每一伸缩杆伸出；在获得所述集装箱图像后，关闭所述摄像机并控制每一伸缩杆缩回车体底部。

可选的，所述运输车辆还设有补光灯和光感器；

所述光感器，用于在检测到运输车辆的光亮度低于预设阈值时，向控制器发送补光指令；

所述控制器，还用于在接收到补光指令后，若接收到所述启动信号，则同步启动所述补光灯和所述摄像机。

可选的，所述控制器还用于在在获得所述集装箱图像后，关闭所述摄像机和所述补光灯。

第二方面，本发明提供一种集装箱装载状态检测方法，应用于上述任一所述的接收端，所述方法包括：

接收控制器发送的集装箱图像，将所述集装箱图像分割成预设数量个子区域，对每一子区域进行识别，得到运输车辆所装载集装箱的实际信息；所述实际信息包括已识别的所述运输车辆所装载集装箱的箱号和型号；

获得车辆装卸信息，所述车辆装卸信息包括存储记录中记载的所述运输车辆所装载集装箱的箱号和型号；

判断所述车辆装卸信息中的箱号和所述实际信息中的箱号是否相同、所述车辆装卸信息中的型号和所述实际信息中的型号是否相同；

若车辆装卸信息中的箱号和所述实际信息中的箱号相同且所述车辆装卸信息中的型号和所述实际信息中的型号相同，则判定核对成功；否则，判定核对不成功；

在接收到装载完成指令后，确定集装箱的装载状态为已装载完成；在接收到卸载完成指令后，确定集装箱的装载状态为已卸载完成。

可选的，所述方法还包括：

将所述集装箱图像与集装箱图像库中的源图像比对，获得各源图像与所述集装箱图像之间的相似度，将相似度最高的源图像所对应的破损状态作为集装箱图像的破损状态，所述集装箱图像库用于存储源图像及其对应的破损状态。

可选的，所述方法还包括：

在判定核对成功后，将所述实际信息发送给铁路自动化控制系统，以使所述铁路自动化控制系统用所述运输车辆的实际信息更新所述运输车辆的车辆装卸信息；

在判定核对不成功后，向铁路自动化控制系统发送告警信息。

可选的，所述实际信息还包括已识别的所述运输车辆所装载的各集装箱的位置及总数，对每一子区域进行识别，得到运输车辆所装载集装箱的实际信息，包括：

对每一子区域进行图像增强处理，并对图像增强处理后的每一子区域内的字符进行定位，得到箱号区域；

利用字符识别技术，对箱号区域内的字符进行识别，得到箱号；

利用边缘检测技术，检测集装箱的数量、各集装箱的位置和各集装箱的型号。

本发明具有以下有益效果：应用本发明实施例提供的技术方案，可以在检测到运输车辆的载重发生变化时，利用运输车辆上的摄像机采集集装箱图像，完成集装箱图像的自动采集，由于集装箱图像可以反映集装箱信息，因此实现了简化集装箱信息的采集过程。并且由于摄像机安装在运输车辆上，使得整个采集系统具备了一定的机动性，不再受到检测场地的影响，检测过程更加便捷，还在一定程度上提高了集装箱转运作业的工作效率及准确率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本发明实施例提供的一种集装箱图像采集系统的结构示意图；

图2为应用本发明实施例提供的运输车辆的一种俯视图；

图3为本发明实施例提供的运输车辆的侧视图；

图4为本发明实施例提供的运输车辆的另一种俯视图；

图5为本发明实施例提供的一种集装箱装载状态检测方法的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

为解决现有技术问题，本发明实施例提供了一种集装箱图像采集系统。下面对本发明所提供的一种集装箱图像采集系统进行说明。

参见图1，图1为本发明实施例提供的一种集装箱图像采集系统，系统包括运输车辆，运输车辆设有重力开关、控制器和摄像机，其中，

所述重力开关，用于在检测到所述运输车辆的载重发生变化时，向所述控制器发送启动信号；

所述控制器，用于在接收到所述启动信号后，启动所述摄像机，获得所述摄像机采集的集装箱图像，将所述集装箱图像发送给接收端。

本发明对运输车辆的类型不做限定，例如可以为具有动力装置的轨道动力平车、普通铁路车辆等，从而运输车辆可以依靠自身动力装置提供的动力行驶；也可以为没有动力装置的铁路车辆，从而运输车辆依靠牵引机车的动力来行驶；运输车辆可以具有无人驾驶功能，也可以由人工驾驶。一个运输车辆可以装载一个或多个集装箱。

当装卸机从运输车辆卸载集装箱，或者装卸机将集装箱装载至运输车辆，或者运输车辆装载的集装箱在运输过程中不慎掉落时，运输车辆的载重将发生变化，此时，重力开关可以向控制器发送启动信号，启动信号用于指示控制器开启摄像机，从而控制器在接收到启动信号后，可以启动摄像机，并获得摄像机采集的集装箱图像，将集装箱图像发送给接收端。

重力开关可以有一个或多个，当重力开关有多个时，每个重力开关在检测到运输车辆的载重发生变化时，都可以向控制器发送启动信号，当控制器收到的启动信号数量超过重力开关总数时，控制器可以启动摄像机。预设倍数预先设定，可以为二分之一、三分之一、三分之二等。

装卸机可以为轨道吊、正面吊、龙门吊等。装卸机可以接收作业计划，作业计划中可以包括集装箱所处的起始位置和集装箱将被放至的目标位置，按照作业计划，装卸机可以从起始位置抓取集装箱，并将所抓取的集装箱装载至目标位置。起始位置可以为某个运输车辆或者用于存储集装箱的货区；目标位置也可以为某个运输车辆或者货区，从而完成集装箱的装载或卸载。

在摄像机采集集装箱图像的过程中，运输车辆可以处于运动状态，也可以处于静止状态，即安装于运输车辆上的摄像机可以运动摄像，也可以静态摄像，从而采集所得的集装箱图像可以是动态图像，也可以是静态图像。

应用本发明实施例提供的技术方案，可以在检测到运输车辆的载重发生变化时，利用运输车辆上的摄像机采集集装箱图像，完成集装箱图像的自动采集，由于集装箱图像可以反映集装箱信息，因此实现了简化集装箱信息的采集过程。并且由于摄像机安装在运输车辆上，使得整个采集系统具备了一定的机动性，不再受到检测场地的影响，检测过程更加便捷，还在一定程度上提高了集装箱转运作业的工作效率及准确率。

在其他实施方式中，控制器还可以在将集装箱图像发送给接收端后，或者在得到集装箱图像后，关闭摄像机；故，只需要在拍摄图像时启动摄像机，在不使用的时候可以关闭摄像机，从而节约了系统资源。

另外，摄像机也可以在拍摄到预设数量张图像后自动切换为待机状态，无需由控制器关闭。预设数量可以事先设定，可以为一张，也可以为多张。

每个摄像机可以采集一张或多张图像，可以依次将每个摄像机拍摄的图像发送给接收端，也可以同时将所有摄像机拍摄的图像统一发送给接收端。

为了简化后续的图像处理过程，在其他实施方式中，控制器还用于：

在接收到所述启动信号后，在启动所述摄像机之前，检测所述运输车辆是否处于行驶状态；若未处于行驶状态，则执行启动所述摄像机；若处于行驶状态，则向运输车辆的驱动部件发送停车指令，以使驱动部件在接收到停车指令后，停止驱动运输车辆，并向控制器发送完成停车信号，从而控制器可以执行启动摄像机。

应用本发明实施例，使得摄像机均是在静止状态下拍摄，从而集装箱图像均是静态图像，由于静态图像的处理过程简单，故简化了后续的图像处理过程。

运输车辆的车体两侧和车体前后两端均设有摄像机。摄像机可以为单目摄像机、双目摄像机、工业相机等。为了提高图像采集精度，所有摄像机可以均为工业相机。

具体的，运输车辆的车体两侧的底部设有向外延伸的支架，于每一支架均设有摄像机，每一支架上可以设置一个或多个摄像机，车体前后两端可以分别设置一个或多个摄像机。支架可以是活动支架，也可以是非活动支架。活动支架是允许管道和支承结构有相对位移的管道支架。

为了更全面的拍摄集装箱，同时也节约成本，每一支架均包括两个延伸杆，每一延伸杆的外侧端部均设有一个摄像机，车体前后两端的摄像机通过固定部件分别固定在车体前端中间和后端中间。延伸杆的长度可以根据需求设定，每个延伸杆的长度可以相等，只要保证每个摄像机均可以拍摄到集装箱的箱体侧面即可。固定部件可以为螺栓、固定杆等。

另外，同侧的两个延伸杆可以平行，也可以不平行。相对的两个延伸杆可以处于同一直线上，也可以不处于同一直线上。延伸杆可以为具有伸缩功能的伸缩杆，也可以为不具有伸缩功能的普通杆。

为了不影响运输车辆的行驶，延伸杆为具有伸缩功能的伸缩杆，控制器在启动摄像机时，控制每一伸缩杆伸出；在获得集装箱图像后，可以关闭摄像机并控制每一伸缩杆缩回车体底部，减少了车体侧面的摄像机对运输车辆的影响。为了提高系统的安全性，可以预先设置伸缩杆的最大长度，以使伸缩杆伸出车体的最大长度在安全距离以内，从而保证了运输车辆不会因为伸缩杆的长度过长而越过铁路机车车辆限界。随着安全距离的不同，伸缩杆的最大长度可以在400～500之间。例如：预留的安全距离为25mm，集装箱的标准宽度是2350mm，铁路机车车辆限界是3400mm，则摄像机可以伸出车体侧面的最大长度为500mm((3400-2350-25*2)/2＝500)，故伸缩杆的最大长度为500mm。

具体的，运输车辆的结构图可以如图2-4所示，其中，图2为俯视图，图3为侧视图，图4也为俯视图，图2中的伸缩杆缩回了车体底部，图4中的伸缩杆伸出了车体两侧，图2-4中，21表示轨道动力平车，201表示摄像机，202表示重力开关，203表示集装箱，204表示伸缩杆，可以看出，车体两侧的摄像机对称设置，车体前后两端的摄像机也对称设置，从而，可以保证各摄像机的采集角度相同，控制器在接收到启动信号后，可以同步启动各摄像机，各摄像机可以同步采集集装箱前、后、左、右四个表面的箱体外观，得到集装箱四个表面的集装箱图像。应用本发明实施例，实现了对箱体多个面的高清图像采集，即使在某个面的箱号受损或被遮挡的情况下，依然可以通过其他面的集装箱图像获得集装箱信息，

另外，为了减少光线变化对采集效果的影响，运输车辆还设有补光灯和光感器；

所述光感器，用于在检测到运输车辆的光亮度低于预设阈值时，向控制器发送补光指令；

所述控制器，还用于在接收到补光指令后，若接收到所述启动信号，则同步启动所述补光灯和所述摄像机。

运输车辆的光亮度是指运输车辆表面反光的强度，用于反映运输车辆所处环境的光线强弱，运输车辆的光亮度大表明光线较强；运输车辆的光亮度小表明光线较弱。由于光线强弱对采集图像的清晰度有重要影响，因此，光感器可以在检测到运输车辆的光亮度低于预设阈值时，向控制器发送补光指令；从而控制器可以在接收到补光指令后，若接收到启动信号，则同步启动补光灯和摄像机，保证了运输车辆的光亮度不低于预设阈值，减少了外界环境的光线变化对采集效果的影响。预设阈值可以根据需求事先设定，在此不做限定。

另外，为了节约系统资源，控制器还可以在获得所述集装箱图像后，或者在将集装箱图像发送给接收端后，关闭摄像机和补光灯。

本发明还提供一种集装箱装载状态检测方法，应用于上述的接收端，参见图5，所述方法包括以下步骤：

s101、接收控制器发送的集装箱图像，将所述集装箱图像分割成预设数量个子区域，对每一子区域进行识别，得到运输车辆所装载集装箱的实际信息；实际信息包括已识别的所述运输车辆所装载集装箱的箱号和型号。

接收端可以为服务器、个人电脑等具有信息处理能力的电子设备，

通常集装箱的型号可以分为40英尺柜和20英尺柜两种型号，40英尺柜的尺寸为40x8x8.6英尺(内径12024*2352*2390mm)，20英尺柜的尺寸为20x8x8.6英尺(内径5898*2352*2390mm)。一辆运输车辆在满载情况下，可以有2个40英尺柜/4个20英尺柜/1个40英尺柜和2个20英尺柜在内的三种装载组合情况；在不满载的情况下，可以仅有1个40英尺柜/1个20英尺柜/2个20英尺柜/3个20英尺柜/1个40英尺柜和1个20英尺柜等多种装载组合情况。

为了实现快速识别，可以将集装箱图像分割成预设数量个子区域，例如可以分割为左上、左下、右上、右下4个子区域，或者，也可以分割为上部和下部两个子区域。进而，可以采用并行处理技术，同步或依次对每一子区域进行识别，得到运输车辆所装载集装箱的实际信息。实际信息可以包括已识别的运输车辆所装载集装箱的箱号、型号、各集装箱的位置及总数等信息。

由于受摄像机照射角度的影响，摄像机采集的集装箱图像可能有畸变，故可以在将其分割成子区域之前，还可以采用畸变校正技术，对其进行还原修复，进一步提升识别的准确率。本发明对具体的畸变校正技术不做限定，例如可以采用现有的畸变工具去修复，也可以采用自行设计的畸变算法去修复。

当只有一个摄像机时，集装箱图像可以有一张或多张，当有多张集装箱图像时，接收端可以对每张集装箱图像都进行识别，并且将识别结果中出现次数最多的箱号作为集装箱的箱号；或者，也可以选择清晰度最高的集装箱图像进行识别，得到集装箱的箱号；或者，可以依次对每张集装箱图像进行处理，可以在从某张集装箱图像中识别出箱号后，不再处理其他集装箱图像。

当摄像机可以有多个，每个摄像机可以拍摄集装箱箱体某个表面的一张或多张集装箱图像，可以针对每个摄像机，用该摄像机采集的图像，识别出箱体某个表面的箱号，在识别出各个面的箱号后，可以对所得的各个箱号进行综合互补判断，来确定最终箱号。例如，当某个面的箱号有磨损时，无法识别出该面的具体箱号，或者无法识别箱号中的某个字符，则可以通过其他面进行补充，从而得到完整的箱号。

具体的，针对每一待识别的集装箱图像，对每一子区域进行识别，得到运输车辆所装载集装箱的实际信息，可以包括以下步骤：

对每一子区域进行图像增强处理，并对图像增强处理后的每一子区域内的字符进行定位，得到箱号区域；利用字符识别技术，对箱号区域内的字符进行识别，得到箱号；利用边缘检测技术，检测集装箱的数量、各集装箱的位置和各集装箱的型号。

图像增强处理可以改善图像的视觉效果，例如，可以突出某些重点信息，同时抑制某些不需要的信息，从而提高图像的视觉效果。具体的，可以采用空间域增强方式，也可以采用频率域增强方式。

可以采用机器学习模型或边缘检测技术或垂直水平投影的方法，来实现对图像增强处理后的每一子区域内的字符定位，得到箱号区域。进而可以通过字符识别技术，对箱号区域内的字符进行识别，得到箱号。

由于40英尺柜和20英尺柜的高度和宽度相同，长度不同，且长度是沿着运输车辆行驶方向的，故位于车体前后两端的摄像机拍摄的集装箱图像无法准确区分出集装箱的数量，可以利用边缘检测技术，对位于车体两侧的摄像机拍摄的集装箱图像进行边框检测，从而可以定位出集装箱的边框，将边框的位置作为集装箱的位置，将边框的数量作为集装箱的数量，并可以根据边框大小来判定集装箱的型号；或者，也可以将箱号区域作为集装箱的位置，将箱号区域的数量作为集装箱的数量，进而采用边缘检测技术检测出边框大小，并可以根据边框大小来判定集装箱的型号。

根据边框大小来判定集装箱的型号，具体可以为：

将边框长度在预设第一长度范围内的边框作为40英尺柜边框，将边框长度在预设第二长度范围内的边框作为20英尺柜边框；确定40英尺柜边框所对应集装箱的型号为40英尺柜，确定20英尺柜边框所对应集装箱的型号为20英尺柜。

预设第一长度范围和预设第二长度范围可以预先设置，例如预设第一长度范围可以为38～42英尺、37～41英尺等等，预设第二长度可以为17～21英尺、18～22英尺等等，一个边框对应一个集装箱。

或者，还可以为：将边框面积在预设第一面积范围内的边框作为40英尺柜边框，将边框面积在预设第二面积范围内的边框作为20英尺柜边框；确定40英尺柜边框所对应集装箱的型号为40英尺柜，确定20英尺柜边框所对应集装箱的型号为20英尺柜。

预设第一面积范围和预设第二面积范围可以预先设置，在此不做限定，例如，预设第一面积范围和预设第二面积范围可以分别为：266～322平方英尺和136～166平方英尺。

由于集装箱在运输途中可能存在的磨损，造成集装箱箱体上的箱号模糊不清，无法辨认。通过采集到的图像中无法完全识别集装箱的箱号，这种情况下，方法还包括：将无法识别箱号区域标记为“箱号缺失”区域。应用本发明实施例，可以获知“箱号缺失”区域，从而便于后期对集装箱的维护及修复。

s102、获得车辆装卸信息，车辆装卸信息包括存储记录中记载的所述运输车辆所装载集装箱的箱号和型号；

存储记录中可以有多条记录，每条记录对应记载车号、箱号以及型号等，车号唯一标识运输车辆，一条记录用于记载具有该车号的运输车辆所装载集装箱的箱号和型号等信息。实际信息是通过图像识别技术识别出来的箱号和型号。存储记录可以位于铁路自动化控制系统中，也可以位于其他存储单元中。

s103、判断所述车辆装卸信息中的箱号和所述实际信息中的箱号是否相同、所述车辆装卸信息中的型号和所述实际信息中的型号是否相同；

s104、若车辆装卸信息中的箱号和所述实际信息中的箱号相同且所述车辆装卸信息中的型号和所述实际信息中的型号相同，则判定核对成功；否则，判定核对不成功；

一种实现方式中，所述方法还包括：

在判定核对成功后，将所述实际信息发送给铁路自动化控制系统，以使所述铁路自动化控制系统用所述运输车辆的实际信息更新所述运输车辆的车辆装卸信息；

在判定核对不成功后，向铁路自动化控制系统发送告警信息。

由于实际信息中还可以包括集装箱的位置，而车辆装卸信息由装车计划生成，故不包括集装箱的位置，在判定核对成功后，将实际信息发送给铁路自动化控制系统，以使铁路自动化控制系统用运输车辆的实际信息更新运输车辆的车辆装卸信息，从而使得存储记录中包含集装箱的位置。使得存储记录更加全面和及时。

如果车辆装卸信息中的箱号和实际信息中的箱号不相同或者所述车辆装卸信息中的型号和所述实际信息中的型号不相同，则判定核对不成功。告警信息用于提示用户核对不成功，并可以包括核对不成功的原因，从而可以引导用户进行相应的处理。应用本发明实施例，提高了系统的可靠性。

s105、在接收到装载完成指令后，确定集装箱的装载状态为已装载完成；在接收到卸载完成指令后，确定集装箱的装载状态为已卸载完成。

装载完成指令和卸载完成指令可以来自于铁路自动化控制系统，当装卸机完成装车作业计划后，可以向铁路自动化控制系统发送装载完成信息，从而铁路自动化控制系统可以向接收端发送装载完成指令；当装卸机完成卸车作业计划后，可以向铁路自动化控制系统发送卸载完成信息，从而铁路自动化控制系统可以向接收端发送卸载完成指令。当然，在其他实施方式中，装载完成指令和卸载完成指令可以来自于装卸机，即当装卸机完成装车作业计划后，可以直接向接收端发送装载完成指令；当装卸机完成卸车作业计划后，可以向接收端发送卸载完成指令。

可见，应用本发明实施例提供的技术方案，由于集装箱图像是由位于运输车辆的摄像机采集的，故采集的图像能够更准确、更实时的反映集装箱信息，进而，接收端利用所接收的集装箱图像，对箱号和信号进行核对，简化了核对过程，提高了核对效率和核对结果的准确度，且集装箱装载状态检测还可以确定集装箱的装载状态，进一步丰富了检测内容，使得检测结果更加全面。

为了识别集装箱是否破损，一种实现方式中，所述方法还包括：

将所述集装箱图像与集装箱图像库中的源图像比对，获得各源图像与所述集装箱图像之间的相似度，将相似度最高的源图像所对应的破损状态作为集装箱图像的破损状态，所述集装箱图像库用于存储源图像及其对应的破损状态。

接收端可以建立集装箱图像库，破损状态包括箱体变形、箱门变形、箱门丢失、箱体有擦破口和箱体有撞破口等状态。集装箱图像库可以预先存储一些集装箱图像以及各集装箱图像的破损状态，集装箱图像库中的集装箱图像可以称为源图像，源图像的破损状态可以是专家事先标记的，也可以是事先用机器学习模型学习出来的。对于未破损的集装箱，其集装箱图像的破损状态为无。

相似度用于反映两张图像之间的相似程度，相似度越高表明两张图像的内容越接近。将相似度最高的源图像所对应的破损状态作为集装箱图像的破损状态，实现了对集装箱破损状态的识别。

另外，在得到集装箱破损状态后，还可以对破损的集装箱进行“集装箱破损”标记处理，便于后期对集装箱的维护及修复。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。