一种基于机器视觉的防集装箱卡车被吊起方法与流程

本发明涉及机器视觉和图像识别领域，特别是一种基于机器视觉的运动检测方法。

背景技术：

吊车在港口堆场对集装箱进行装卸作业时，由于司机作业位置处于吊车顶部，很难准确迅速地判断集装箱卡车的状态。若集装箱卡车锁扣未完全打开，会发生在吊起集装箱时集装箱锁扣将卡车一起吊起或半边吊起的事故，导致集装箱或卡车损坏，甚至造成卡车司机伤亡。因此，在集装箱堆场作业中，如何防止集装箱卡车被吊车吊起，是集装箱装卸中的一大安全问题。

本发明采用基于机器视觉的运动检测技术来判断集装箱卡车车身的运动方向。一旦发现卡车被吊起，便立刻终止起吊发出警报。所有检测装置挂载在吊车侧面的梁架上，能够随着吊车移动转场，机动灵活维护方便。专利《一种防止集装箱卡车被吊起的自动检测保护系统及其应用》(申请号：201410060922.1)中采用的安装在卡车车道边地梁平台下方的区域传感器检测卡车是否被吊起，该装置的安装需要对地面进行施工，并且不能随吊车移动，灵活性差，需要大面积铺设则成本较高。

技术实现要素：

本发明的目的是提供一种基于机器视觉的防集装箱卡车被吊起方法，具体检测过程包含以下步骤：

(a)在吊车一侧安装两个摄像头用于获取集装箱卡车车身图像；

(b)等待起吊信号，接收到起吊信号后采集起吊前第一帧图像作为基准图像进行预处理并检测图像特征点；

(c)再次采集一帧图像进行同样的预处理，检测其特征点并与第一帧图像的特征点进行匹配；

(d)根据特征点匹配结果计算车身在水平和竖直方向的位移，判断车身运动情况，若两个摄像头的检测结果都显示车身在竖直方向和水平方向的位移均在阈值范围内，则重复步骤

c，否则采取相应的处理措施。

进一步，所述步骤(a)中所述的两个摄像头在轮胎吊一侧梁架的中部间隔2m安装，距离地面1.45米水平向前与地面平行，所拍摄图像不能有歪斜；

进一步，所述步骤(b)中所述的图像预处理，截取图像下半部分并将其灰度化，再进行滤波去噪；

进一步，所述步骤(b)中所述图像特征点的检测，采用实时性较好的orb(orientedbrief)算法检测图像特征点；

进一步，所述步骤(c)中所述特征点的匹配，采用快速最近邻匹配算法(flann,fastapproximatenearestneighbor)进行特征点匹配。

进一步，所述步骤(d)中所述车身运动状况的判断和相应的处理措施，若两个摄像头的检测结果都显示车身有向下的位移，则判断车身被对侧的锁扣吊起，立刻停止起吊并输出报警信号；若有一个摄像头检测结果显示车身在竖直向上的位移超过一定阈值，则判断车身被吊起，立刻停止起吊并输出报警信号；若有一个摄像头检测结果显示车身在水平方向位移超过一定阈值且两个摄像头的检测结果都显示车身竖直方向位移在阈值范围内，则判断集装箱起吊过程正常，车辆驶离，停止本次检测，等待新的起吊信号；若两个摄像头的检测结果都显示车身在水平和竖直方向的位移均在阈值范围内，则重复步骤c。

本发明的有益效果是：

相较于埋设区域传感器，采用基于机器视觉的防集装箱卡车吊起方法具有机动灵活，安装方便，经济适用等优点。所有检测设备都挂载在吊车侧面横梁上安装方便，能够随吊车移动，转场机动灵活，不需要在堆场大面积铺设，成本较低。配合人工光源可以全天候工作，并不受雨雪等恶劣天气影响。同时采用双摄像头的检测方案能够扩大检测视野并减少因为集装箱卡车车身停放歪斜导致的误检测。将相机水平安装并将安装高度定在1.45m，能够在车身和相机距离不定的情况下，使图像下半部分全部都是车身而不包含集装箱，确保检测的准确性减少误检测。采用orb特征点检测算法和flann特征点匹配算法是由于这两种算法执行效率高，能够提高图像检测的实时性。相应的处理措施能够在危害产生前及时停止起吊，减少损失。

附图说明

图1硬件连接图；

图2软件流程图。

具体实施方式

下面结合附图对本发明的具体实施方案做进一步描述。

具体实施部分主要分为硬件设计和软件设计两个部分。硬件部分主要描述硬件的组成和连接，以及每个硬件部分的作用。软件设计主要描述检测算法的设计和运行流程。

1、硬件设计

如图1所示，图像检测设备主要包括摄像头、工控机和数据输入/输出模块三个部分，图中所示plc为吊车控制部件。由于卡车与摄像头位置较近，因此此处采用两个摄像头以此增大检测范围。两个摄像头在吊车一侧的中部间隔2米安装，距离地面1.45米水平向前与地面平行，所拍摄图像不能有歪斜，以确保集装箱不出现在拍摄图像的下半幅，而卡车拖车主体部分则主要位于拍摄图像的下半幅。工控机主要为程序的运行提供稳定的工作环境。数据输入输出模块用于工控机与吊车控制部件plc的通信，有8路光电隔离输入和8路继电器输出，这里具体用于接收plc传来的起吊信号和向plc输出起吊异常的报警信号。

2、软件设计

如图2所示，软件运行流程包含以下步骤：

(a)等待起吊信号，获得起吊信号后采集第一帧图像进行预处理作为基准图像并检测图像特征点；

(b)再次采集一帧图像进行同样的预处理，检测其特征点并与第一帧图像的特征点进行匹配；

(c)根据特征点匹配结果计算车身在水平和竖直方向的位移，判断车身运动情况，若两个摄像头的检测结果都显示车身在竖直方向和水平方向的位移均在阈值范围内，则重复步骤b，否则采取相应的处理措施。

所述步骤(a)中所述的图像预处理，截取图像下半部分并将其灰度化，再进行滤波去噪。其中，因为实时使用中需要保存起吊时集装起吊录像以方便调阅，因此截取图像下半部分不能通过设置摄像头roi的方式，需要在采集完整图像帧后截取图像下半部分。再者需要强调的是，由于夜间光线条件较差图像会产生较多的噪点，因此采用中值滤波对图像去噪以防止噪声对特征点的检测造成影响。预处理后图像的像素为640*320。

所述步骤(a)中所述图像特征点的检测，采用实时性较好的orb(orientedbrief)算法检测图像特征点。通过调用opencv中的相关函数实现。orb特征具有局部不变性，是fast特征点检测算法和brief特征描述子的结合，同时较sift算法和surf算法运行效率更好并且免费开源。

所述步骤(b)中所述特征点的匹配，采用快速最近邻匹配算法(flann,fastapproximatenearestneighbor)进行特征点匹配。同样通过调用opencv中的相关函数实现，该算法基于k均值树和kd-tree搜索操作实现，可以实现高效的特征点匹配。

所述步骤(c)中所述车身运动状况的判断和相应的处理措施，若两个摄像头的检测结果都显示车身有向下的位移，则判断车身被对侧的锁扣吊起，立刻停止起吊并输出报警信号；若有一个摄像头检测结果显示车身在竖直向上的位移超过一定阈值(竖直向上位移阈值设置为100个像素距离)，则判断车身被吊起，立刻停止起吊并输出报警信号；若有一个摄像头检测结果显示车身在水平方向位移超过一定阈值(水平位移阈值设置为60个像素距离)且两个摄像头的检测结果都显示车身竖直方向位移在阈值范围内，则判断集装箱起吊过程正常，车辆驶离，停止本次检测，等待新的起吊信号；若两个摄像头的检测结果都显示车身在水平和竖直方向的位移均在阈值范围内，则重复步骤c。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。