一种基于深度学习的集装箱锁扣检测及预警方法与流程

本发明涉及一种方法，尤其涉及一种基于深度学习的集装箱锁扣检测及预警方法。

背景技术：

随着中国经济全球化步伐的加快，港口日益成为全球综合运输网络的神经枢纽。近年来，随着港口集装箱业务迅猛发展，集装箱运输已经广泛应用于全球各地的船舶运输。为了保证船舶运输中集装箱货物运送的安全稳定，船上的所有集装箱都必须利用某些类型的锁定设备进行运输锁定。集装箱锁扣是一种常规设置于集装箱每个角/底处的锁定设备，每个锁扣都要锁定在下方的集装箱或者船舶甲板(如果该集装箱处于堆叠的最下部)上。

现今在货运市场上存在多种不同类型的集装箱锁扣，大部分的锁扣都需要人工进行解锁和拆卸，即在船舶到达码头之后，由人工解锁，然后使用吊机将集装箱吊起，再通过人工将锁扣拆卸，才可以进行转移装车。这种操作方式存在以下问题：1)集装箱锁扣在拆卸过程容易出现疏漏，未正确拆卸的锁扣不能正确装车，会增加事故出现的隐患；2)需要进一步人为判断集装箱四个角的锁扣是否正确拆卸，极大地加重了操作人员的工作负担，具有费时费力的缺陷。因此，开发通用集装箱锁扣的检测及预警方法已成为集装箱运输技术领域的研究重点。

技术实现要素：

为了解决上述技术所存在的不足之处，本发明提供了一种基于深度学习的集装箱锁扣检测及预警方法。

为了解决以上技术问题，本发明采用的技术方案是：一种基于深度学习的集装箱箱角检测方法，其整体步骤如下：

步骤一、从摄像头实时获取待检测集装箱图像并将其采用线性插值法进行尺寸变换至设定大小；

步骤二、通过骨架网络和多核卷积网络的级联以及分类器与回归器网络建立一种基于深度学习的深度神经网络，即箱角检测模型；然后对箱角检测模型进行训练，其训练方法为：

a、采集大量现实场景中的集装箱图像进行人工标注，框出存在箱角的位置，给出箱角区域的起点坐标和终点坐标，标注箱角的类别，进而得到数据样本；

b、将数据样本输入至建立的深度神经网络中进行特征提取与分类回归，得到箱角位置和箱角种类的置信度；

c、通过损失函数将获得的箱角位置和箱角类别的置信度与人工标注的结果进行对比，得到量化的结果，再通过深度神经网络中的梯度反向传导机制，自动调整深度神经网络中的各个神经元的权值，完成深度神经网络的训练；

步骤三、将尺寸变化后的图像输入预先训练好的箱角检测模型中进行箱角检测，得到图像中箱角存在的位置，并给出该位置为箱角的置信度。

步骤二中的骨架网络包括4个依次级联的卷积网络基本单元，每个单元由依次连接的卷积层、局部响应归一化层、最大池化层、修正线性激活层以及卷积层之间的残差连接组成；

卷积层利用卷积核在图像上滑动，对图像进行卷积操作，提取输入图像特征，得到较为粗略的特征图；

局部响应归一化层采用3像素*3像素的卷积核在特征图上滑动，并对每个卷积核覆盖位置的像素值进行均值和方差的归一化，得到不受光照变化影响的粗略特征图；

最大池化层采用2像素*2像素的区域在特征图上按照步长为2滑动，保留每个区域里像素值的最大值，得到具有平移不变性的较为准确的特征图，同时也减小特征图的大小到原图的1/4；

修正线性激活层采用1像素*1像素的区域在特征图上滑动，大于0的特征值不变，小于0的特征值变为0；

卷积层之间的残差连接，就是在标准的前馈神经网络结构上，加一个跳跃绕过一些层的连接，和前馈神经网络的结果进行加和或者连接操作。

步骤二中的多核卷积网络是在骨架结构后，添加额外的卷积层，这些卷积层是由局部响应归一化层、修正线性激活层以及卷积层之间的残差连接组成，和骨架网络不同的是，这些卷积层的大小是逐层递减的，实现在多尺度下进行预测。

一种基于深度学习的集装箱远角箱角的检测校准方法，其整体步骤如下：

步骤一、利用拍摄视频的连续性信息，进行背景建模，提取集装箱的运动前景；

步骤二、在提取的运动前景中进行hough线检测，快速检测出集装箱上存在的线段，并记录每一条线段的起点和终点；

步骤三、利用深度学习方法检测到的近角位置以及步骤二中检测到的直线，推算出远角的位置。

步骤一中背景建模的方法是帧差法，即将视频中相邻的两帧图像进行灰度化之后对应像素相减，在得到帧差后的灰度图像后，采用膨胀腐蚀方法，去除噪点，保留运动前景。

步骤三中推算远角位置的具体方法为：由于hough线检测会检测出大量的线段，首先将无关线段删除，然后对剩余的线段进行连通域分析，将相近的线段连成一个连通域，取连通域距离近角箱角最远的位置，以此位置作为远角箱角的右下角，按远角箱角和近角箱角的大小比例，得到远角箱角的长和宽，即得到远角箱角的位置；远角箱角和近角箱角的大小比例通常取2:3。

无关线段的删除原则为：首先要保证线段具有一定长度，长度按照集装箱占图像的比例设置；再者要保留与集装箱近角外接矩形距离较近的部分；最后考虑到集装箱在移动过程中是保持正常形态的，不会出现倾斜或者翻转的情况，因此只保留倾斜角处于-25°～25°之内的线段；综合上述原则，将不符合规定的线段删除。

一种集装箱锁扣的识别及预警方法，其整体步骤为：

步骤一、利用箱角检测方法以及远角箱角的校准方法，获得集装箱近角箱角和远角箱角的准确位置；由于锁扣和箱角的关系是锁扣在箱角正下方，于是利用此几何关系来确定锁扣可能存在的位置；

步骤二、提取步骤一中获得的锁扣可能存在部位的图像，进行尺度变化到特定尺度；

步骤三、提取hog特征得到特定维度的特征向量，再使用svm分类器进行分类，判断锁扣是否存在；

步骤四、若存在锁扣，通过警示灯警示或警示音提醒进行报警，立即停止移动集装箱，并人为拆卸锁扣。

本发明具有集装箱锁扣自动检测效率高、预警准确的优点，可大幅度降低操作人员的工作强度，避免因人为疏漏造成的安全事故，可广泛应用于铁路、公路、水路和航空等领域的集装箱运输行业。

附图说明

图1为本发明的整体流程示意图。

图2为集装箱箱角检测方法的流程图。

图3为骨架网络的结构图。

图4为多核卷积层与分类器和回归器网络的结构图。

图5为远角箱角的检测校准方法的流程图。

图6为集装箱锁扣识别模型训练过程示意图。

图7为集装箱锁扣的识别及预警方法的流程图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1～4所示的一种基于深度学习的集装箱箱角检测方法，可实现对集装箱箱角位置的快速精准定位，检测对象包括近角箱角和远角箱角，近角箱角为距离摄像头较近的箱角，远角箱角为距离摄像头较远的箱角。其整体步骤如下：

步骤一、从摄像头实时获取待检测集装箱图像并将其采用线性插值法进行尺寸变换至设定大小；

步骤二、通过骨架网络和多核卷积网络的级联以及分类器与回归器网络建立一种基于深度学习的深度神经网络，即箱角检测模型；然后对箱角检测模型进行训练，其训练方法为：

a、采集大量现实场景中的集装箱图像进行人工标注，框出存在箱角的位置，给出箱角区域的起点坐标和终点坐标，标注箱角的类别，进而得到数据样本；

b、将数据样本输入至建立的深度神经网络中进行特征提取与分类回归，得到箱角位置和箱角种类的置信度；

c、通过损失函数将获得的箱角位置和箱角类别的置信度与人工标注的结果进行对比，得到量化的结果，再通过深度神经网络中的梯度反向传导机制，自动调整深度神经网络中的各个神经元的权值，完成深度神经网络的训练；

步骤三、将尺寸变化后的图像输入预先训练好的箱角检测模型中进行箱角检测，得到图像中箱角存在的位置，并给出该位置为箱角的置信度。箱角检测模型是一种端到端的神经网络，只需要将图像输入模型，模型将自动进行特征提取、分类器分类和回归器回归，从而直接得到分类的箱角类别和回归的箱角起点坐标、终点坐标以及箱角的宽和高。

步骤二中的骨架网络包括4个依次级联的卷积网络基本单元，每个单元由依次连接的卷积层、局部响应归一化层、最大池化层、修正线性激活层以及卷积层之间的残差连接组成；

卷积层利用卷积核在图像上滑动，对图像进行卷积操作，提取输入图像特征，得到较为粗略的特征图；

局部响应归一化层采用3像素*3像素的卷积核在特征图上滑动，并对每个卷积核覆盖位置的像素值进行均值和方差的归一化，得到不受光照变化影响的粗略特征图；

最大池化层采用2像素*2像素的区域在特征图上按照步长为2滑动，保留每个区域里像素值的最大值，得到具有平移不变性的较为准确的特征图，同时也减小特征图的大小到原图的1/4；

修正线性激活层采用1像素*1像素的区域在特征图上滑动，大于0的特征值不变，小于0的特征值变为0；

卷积层之间的残差连接，就是在标准的前馈神经网络结构上，加一个跳跃绕过一些层的连接，和前馈神经网络的结果进行加和或者连接操作。

步骤二中的多核卷积网络是在骨架结构后，添加额外的卷积层，这些卷积层是由局部响应归一化层、修正线性激活层以及卷积层之间的残差连接组成，和骨架网络不同的是，这些卷积层的大小是逐层递减的，实现在多尺度下进行预测。

本发明中考虑到箱角部位面积占集装箱图片总面积的比例较小，避免多级缩小后特征变弱甚至消失，于是采用了两级的多核卷积网络。这两级卷积的结果分别进行分类和回归，然后将二者的结果连接起来作为最终分类和回归的结果。

由于实际应用场景中，使用上述的深度学习方法可以精准的检测到集装箱近角的位置，但是集装箱远角相对近角距离相机的位置较远，显得目标较小，而且较为模糊，有时不能检测出远角箱角的位置，针对这种情况，本发明提供了如图5所示的一种基于深度学习的集装箱远角箱角的检测校准方法，其整体步骤如下：

步骤一、利用拍摄视频的连续性信息，进行背景建模，提取集装箱的运动前景；

步骤二、在提取的运动前景中进行hough线检测，快速检测出集装箱上存在的线段，并记录每一条线段的起点和终点；

步骤三、利用深度学习方法检测到的近角位置以及步骤二中检测到的直线，推算出远角的位置。

步骤一中背景建模的方法是帧差法，由于集装箱重量沉，体积大，在视频图像中占整张图的大部分，在移动的时候，移动较慢，采用帧差法可以高效的减除大量的背景信息。帧差法是将视频中相邻的两帧图像进行灰度化之后对应像素相减，在得到帧差后的灰度图像后，采用膨胀腐蚀方法，去除噪点，保留运动前景。

步骤三中推算远角位置的具体方法为：由于hough线检测会检测出大量的线段，首先将无关线段删除，然后对剩余的线段进行连通域分析，将相近的线段连成一个连通域，取连通域距离近角箱角最远的位置，以此位置作为远角箱角的右下角，按远角箱角和近角箱角的大小比例，得到远角箱角的长和宽，即得到远角箱角的位置；远角箱角和近角箱角的大小比例通常取2:3。

无关线段的删除原则为：首先要保证线段具有一定长度，长度按照集装箱占图像的比例设置；再者要保留与集装箱近角外接矩形距离较近的部分；最后考虑到集装箱在移动过程中是保持正常形态的(箱角在下，箱体保持直立)，不会出现倾斜或者翻转的情况，因此只保留倾斜角处于-25°～25°之内的线段；综合上述原则，将不符合规定的线段删除。

一种集装箱锁扣的识别及预警方法，能自动进行锁扣识别和报警，减轻操作人员负担，避免因人为疏漏造成的事故，其整体步骤为：

步骤一、利用箱角检测方法以及远角箱角的校准方法，获得集装箱近角箱角和远角箱角的准确位置；由于锁扣和箱角的关系是锁扣在箱角正下方，于是利用此几何关系来确定锁扣可能存在的位置；

步骤二、提取步骤一中获得的锁扣可能存在部位的图像，进行尺度变化到特定尺度；

步骤三、提取特征并使用分类器进行分类，判断锁扣是否存在；

步骤四、若存在锁扣，通过警示灯警示或警示音提醒进行报警，立即停止移动集装箱，并人为拆卸锁扣。

锁扣可能存在位置的图像首先分为近角位置和远角位置，每种位置又有存在锁扣和不存在锁扣两种情况，这些数据使用hog特征进行特征提取，得到特定维度的特征向量，再使用svm进行分类，判断是否存在锁扣。

本发明的有益效果为：

(1)本发明提供的集装箱箱角的检测方法速度快，精度高，易于操作，可以支持现实场景中的应用，而且也可以为集装箱相关的其他任务提供帮助。

(2)本发明提供的基于视频的集装箱远角的校准方法，可以进一步提升对模糊远角的检测准确度。

(3)本发明提供的锁扣识别及预警方法，可以有效减少操作人员负担，降低人为疏漏造成事故的可能性。

(4)箱角检测方法、远角箱角的校准方法以及锁扣识别及预警方法相结合后，能对集装箱锁扣进行自动识别，从而避免因人为疏漏造成的安全事故，并大幅度降低操作人员的工作强度，提高工作效率。

上述实施方式并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的技术方案范围内所做出的变化、改型、添加或替换，也均属于本发明的保护范围。