一种基于视觉的集装箱自动对接起吊系统及起吊方法与流程

本发明属于起重运输设备领域，涉及一种基于视觉的集装箱自动对接起吊系统及起吊方法，尤其涉及一种集装箱起吊过程中，实现集装箱对接角件自动识别并定位，进而实现集装箱自动对接起吊的方案。

背景技术：

随着国内经济的发展，集装箱物流运输增长快速，集装箱起重机械运输在现代物流、国民生产各领域中发挥着极其重要的作用。在现有的集装箱起吊过程中，往往用的方法是人工操作，需要几个工人协同工作。要有工人在集装箱周边对集装箱对接部位进行观察，并告知工友对起吊平台进行操作，进而实现起吊平台与集装箱的对接。这种对接起吊方法耗时长，效率低，所需工人较多，造成劳动力浪费。

技术实现要素：

有鉴于此，本发明提供了一种基于视觉的集装箱自动对接起吊系统及起吊方法，能够克服在起吊平台与集装箱对接角件进行对接时，传统方法所产生的对接工时长，效率低的缺陷；能够提高劳动生产率，提升智能化制造水平。

为了解决上述技术问题，本发明是这样实现的：

首先，本发明提供的基于视觉的集装箱自动对接起吊系统，包括：视觉系统、起吊平台、控制系统和安装在集装箱的对接角件；视觉系统由图像采集设备和图像处理系统组成；其中，

起吊平台为四自由度平台，可以进行直角坐标系中X、Y、Z三个方向的平移运动，以及绕Z轴的旋转运动；

图像采集设备至少为2个，安装在起吊平台顶部的顶角处，用于采集对接角件的图像并传送给图像处理系统；

图像处理系统，用于对所接收图像中的对接角件进行位置识别，根据对接角件与目标对接位置的位置关系，解算令起吊平台的对接部位向对接位置运动的运动参数，并传送给控制系统；

控制系统，用于根据所接收的运动参数控制起吊平台的运动，从而调节起吊平台的位置和角度，直到起吊平台的对接部位与集装箱的对接角件对接，最后实现集装箱起吊。

优选地，所述图像采集设备包括三个CCD摄像机，通过支撑架安装在起吊平台的其中3个顶角；三个CCD摄像机定义为摄像机A、摄像机B和摄像机C；摄像机A、摄像机B位于起吊平台顶面一条边的两端，摄像机B和摄像机C位于起吊平台顶面另一条边的两端；摄像机A、摄像机B的光轴与所在起吊平台角位置上的对接部位的轴线四者在同一平面内；摄像机C的光轴与所在起吊平台角位置上的对接部位的轴线在同一平面内；摄像机B和摄像机C的光轴平行。

优选地，对接角件的顶面开设有对接孔洞；所述图像处理系统对对接角件顶面的对接孔洞进行位置识别，获得对接孔洞中心位置的当前坐标；根据所述当前坐标与已知的目标对接位置坐标进行比对，解算令起吊平台的对接部位向对接角件运动的运动参数。

优选地，所述图像处理系统解算获得运动参数的过程为：

第一次使用本起吊系统时，人为控制起吊平台进行精确对接，获取精确对接时各图像采集设备采集到的相应对接角件上方对接孔洞的中心位置坐标，作为目标对接位置坐标；其中，任意两个图像采集设备M和N采集的图像经图像识别获得的相应目标对接位置坐标分别为M1(X_M1,Y_M1,Z_M1)和N1(X_N1,Y_N1,Z_N1)，并以图像采集设备M的坐标系为世界坐标系；

之后使用本起吊系统时，根据图像采集设备M和N所采集的图像实时获得的相应对接孔洞中心位置坐标分别为M2(X_M2,Y_M2,Z_M2)和N2(X_N2,Y_N2,Z_N2)；

解算起吊平台的旋转参数θ和三个方向的平移参数ΔX、ΔY、ΔZ为：

ΔX＝X_M2-X_M1

ΔY＝Y_M2-Y_M1

ΔZ＝Z_M2-Z_M1。

优选地，所述控制系统控制起吊平台的运动的过程如下：

(1)控制起吊平台做旋转运动；

控制系统首先根据起吊平台的旋转参数θ控制起吊平台做旋转运动，直到目标对接位置坐标M1(X_M1,Y_M1,Z_M1)与N1(X_N1,Y_N1,Z_N1)组成的矢量的方向与实时检测到的中心点位置坐标M2(X_M2,Y_M2,Z_M2)和N2(X_N2,Y_N2,Z_N2)组成的矢量的方向一致；

(2)控制起吊平台做水平方向上平移运动；

控制系统根据起吊平台的平移参数(ΔX,ΔY)控制起吊平台做水平方向平移运动，直到目标对接位置坐标M1(X_M1,Y_M1,Z_M1)与N1(X_N1,Y_N1,Z_N1)与实时检测到的中心点位置坐标M2(X_M2,Y_M2,Z_M2)和N2(X_N2,Y_N2,Z_N2)的X、Y分量重合；

(3)控制起吊平台做竖直方向上平移运动

控制系统根据起吊平台的平移参数ΔZ控制起吊平台做竖直方向的平移运动，直到起吊平台的对接部位与对应对接角件实现对接，完成起吊平台与集装箱的对接过程。

本提供的基于视觉的集装箱自动对接起吊方法，包括如下步骤：

步骤一：搭建具有四自由度起吊平台的起吊装置，起吊平台可以进行直角坐标系中X、Y、Z三个方向的平移运动，以及绕Z轴的旋转运动；集装箱上安装对接角件；起吊平台顶部的顶角处安装至少2个图像采集设备；

步骤二：在第一次使用起吊装置时，人为控制起吊平台进行精确对接，获取精确对接时各图像采集设备采集到的相应对接角件上方对接孔洞的中心位置坐标，作为目标对接位置坐标；其中，任意两个图像采集设备M和N采集的图像经图像识别获得的相应目标对接位置坐标分别为M1(X_M1,Y_M1,Z_M1)和N1(X_N1,Y_N1,Z_N1)，并以图像采集设备M的坐标系为世界坐标系；

步骤三：图像采集设备M和N实时采集对接角件的图像信息，通过图像识别，获得对应的对接孔洞中心位置坐标分别为M2(X_M2,Y_M2,Z_M2)和N2(X_N2,Y_N2,Z_N2)；

步骤四：解算起吊平台的旋转参数θ和三个方向的平移参数ΔX、ΔY、ΔZ为：

ΔX＝X_M2-X_M1

ΔY＝Y_M2-Y_M1

ΔZ＝Z_M2-Z_M1

步骤五：控制系统根据旋转参数和平移参数，控制起吊平台实现与集装箱的对接。

优选地，所述步骤五具体为：

步骤51：控制起吊平台做旋转运动；

控制系统首先根据起吊平台的旋转参数θ控制起吊平台做旋转运动，直到目标对接位置坐标M1(X_M1,Y_M1,Z_M1)与N1(X_N1,Y_N1,Z_N1)组成的矢量的方向与实时检测到的中心点位置坐标M2(X_M2,Y_M2,Z_M2)和N2(X_N2,Y_N2,Z_N2)组成的矢量的方向一致；

步骤52：控制起吊平台做水平方向上平移运动；

控制系统根据起吊平台水平两方向的平移参数(ΔX,ΔY)控制起吊平台做水平方向平移运动，直到目标对接位置坐标M1(X_M1,Y_M1,Z_M1)与N1(X_N1,Y_N1,Z_N1)与实时检测到的中心点位置坐标M2(X_M2,Y_M2,Z_M2)和N2(X_N2,Y_N2,Z_N2)的X、Y分量重合；

步骤53：控制起吊平台做竖直方向上平移运动；

控制系统根据起吊平台竖直方向的平移参数ΔZ控制起吊平台做竖直方向的平移运动，直到起吊平台的对接部位与对应对接角件实现对接，完成起吊平台与集装箱的对接过程。

优选地，所述步骤三为：采用最大类间方差OSTU自适应阈值提取方法对采集的图像信息进行二值化处理并进行高斯滤波，再进行轮廓线检测，对所得轮廓信息进行面积约束，得到集装箱对接角件上对接孔洞的位置，进而获得对接孔洞中心点坐标。

优选地，步骤一在搭建起吊装置时，在起吊平台顶部的三个顶角处安装CCD摄像机；三个CCD摄像机定义为摄像机A、摄像机B和摄像机C；摄像机A、摄像机B位于起吊平台顶面一条边的两端，摄像机B和摄像机C位于起吊平台顶面另一条边的两端；摄像机A、摄像机B的光轴与所在起吊平台角位置上的对接部位的轴线四者在同一平面内；摄像机C的光轴与所在起吊平台角位置上的对接部位的轴线在同一平面内；摄像机B和摄像机C的光轴平行。

有益效果：

(1)与现有技术相比，本发明集装箱自动对接起吊系统在进行集装箱起吊平台与集装箱对接时，利用集装箱对接角件上方的孔洞，通过视觉系统自动获取集装箱对接角件的位置信息，解算出起吊平台所需要的运动参数，传递给控制系统，从而由控制系统控制调整起吊平台的姿态使集装箱与起吊平台实现自动对接起吊，智能高效，可以快速、准确地实现对接起吊过程，避免了传统对接起吊中人工观测对接所产生的工作量，减少工人劳动强度，提高劳动生产效率。

(2)本集装箱自动对接起吊系统，原理简单，鲁棒性好。由前述可知理论上只需两个CCD摄像机采集的信息即可完成对接起吊过程。使用三个CCD摄像机的目的一是为了保证在复杂工作环境或特殊情况下导致某一摄像机检测错误时自动对接起吊系统仍能够正常工作，二是为了增加一组约束条件，增强目标检测的鲁棒性，精度高，可靠性好。

(3)对三个CCD摄像机进行共面、光轴平行的安装限制，便于摄像机系统进行标定。

附图说明

图1为集装箱示意图；

图2为集装箱对接部位示意图；

图3为装有三个CCD摄像机的起吊平台示意图；

图4为起吊平台左视图示意图；

图5为起吊平台俯视图示意图；

图6为基于视觉系统的集装箱自动对接起吊系统示意图；

图中，1-集装箱；2、3、4、5-对接角件；6-圆角矩形孔洞；7、8-圆形孔洞；9-起吊平台；10-摄像机A；11-摄像机B；12-摄像机C；13-龙门架；14-接线盒；15-控制箱；16-图像处理系统；17-控制系统；18-支架平台。

具体实施方式

下面结合附图并举实施例，对本发明进行详细描述。

本发明提供了一种基于视觉的集装箱自动对接起吊系统，如图3所示，该系统包括视觉系统、起吊平台9、控制系统17和安装在集装箱四角的对接角件2,3,4,5。

如图1所示，集装箱1为长方体结构，顶面的四个角上分别固定有对接角件2、3、4、5，主要用于与起吊平台9实现对接。如图2所示为本实施例中对接角件的放大示意图，对接角件2、3、4、5的顶面上开设有对接孔洞，这里为圆角矩形孔洞，当然还可以为其他形状。对接角件开设用于扣合起吊平台对接部位的圆形孔洞7、8。采用圆角矩形对接孔洞，其特征比较明显，与圆形孔洞相区别，通过图像处理算法可以方便的提取其轮廓信息，从而检测到对接位置信息。

如图3所示，起吊平台9安装于龙门架13上，起吊平台9有四个自由度，通过控制系统17的控制，可以实现直角坐标系XYZ中X、Y、Z三个方向的平移运动，以及绕Z轴的旋转运动。起吊平台9的四个角上安装有与对接角件形状相符、位置对应的对接部位，对接部位的端部具有扣合机构，可以扣合到对接角件上。

视觉系统由图像采集设备和图像处理系统16组成。其中，

图像采集设备至少为2个，安装在起吊平台顶部的顶角处，一个顶角安装一个，用于采集对接角件的图像并传送给图像处理系统16。本实施例中，图像采集设备包括三个CCD摄像机，分别为CCD摄像机A 10、CCD摄像机B 11和CCD摄像机C 12，分别通过支撑架固定安装于起吊平台9的其中三个顶角处，图中，将三个CCD摄像机分别安装在对接角件2、3、4处，用以采集对接角件2、3、4的图像信息。如图4和图5所示，摄像机A、摄像机B位于起吊平台顶面一条边的两端，摄像机B和摄像机C位于起吊平台顶面另一条边的两端；摄像机A、摄像机B的光轴与所在起吊平台角位置上的对接部位的轴线四者在同一平面内；摄像机C的光轴与所在起吊平台角位置上的对接部位的轴线在同一平面内；摄像机B和摄像机C的光轴平行。这样安装便于摄像机系统进行标定。

图像处理系统16，用于根据所接收图像中的对接角件进行位置识别，根据对接角件与目标对接位置的位置关系，解算令起吊平台的对接部位向对接位置运动的运动参数，并传送给控制系统。其运动参数的解析主要依靠图像处理，利用对接角件顶面的对接孔洞进行位置识别，获得对接孔洞中心位置的当前坐标；根据获得的当前坐标与已知的目标对接位置坐标进行比对，解算令起吊平台的对接部位向对接角件运动的运动参数。

如图4所示，所述控制系统17由控制器、驱动器及其他外围电路板组成，放置在控制箱15里面，主要用来接收图像处理系统16传来的运动参数，完成起吊平台9的反解运算，通过调节起吊平台的位置和角度，直到起吊平台的对接部位与集装箱的对接角件圆角矩形孔洞对准，进而控制系统控制起吊平台与集装箱对接角件圆形孔洞卡扣从而实现对接，进而控制运动机构实现集装箱起吊。

在连接上，接线盒14安装于龙门架13底部，接线盒14一端通过网线与CCD摄像机A、B、C连接，通过电缆线与起吊平台9连接，接线盒14另一端通过电缆线与控制系统17连接，通过网线与图像处理系统16连接，控制系统17放置在控制箱15里面，控制系统17通过网线与图像处理系统16连接，控制箱15与图像处理系统16放置于支架平台18上。

如图4所示为基于视觉的集装箱自动对接起吊系统结构示意图，具体工作方法如下：

步骤一：按照图3搭建本自动对接起吊系统。

步骤二：利用摄像机ABC获取对接目标点坐标。

首先，对摄像机ABC进行系统标定，获取三个摄像机之间的位置坐标关系。这个标定过程是为了统一几个摄像机之间的坐标系，后面用到的摄像机ABC采集到的各个对接角件中心点坐标是在摄像机标定完成后统一到某一摄像机坐标系如A作为世界坐标系下的坐标，以此坐标求解运动参数。

在第一次使用该起吊系统时，人为控制起吊平台9进行精确对接，以获取实现精确对接时摄像机ABC分别采集到的其对应集装箱对接角件上方对接孔洞中心位置坐标，作为目标中心位置坐标。摄像机ABC采集的图像经图像识别后，获得的对接孔洞中心位置坐标，即目标中心位置坐标分别为A₁(X_A1,Y_A1,Z_A1)、B₁(X_B1,Y_B1,Z_B1)、C₁(X_C1,Y_C1,Z_C1)。

虽然本实施例设置了三个摄像机，其实只是用其中的两个。本实施例中，以摄像机A和摄像机B为例，并以摄像机A的坐标系为世界坐标系。

步骤三：后续再进行起吊时，视觉系统实时信息采集与处理。

采集：三个CCD摄像机ABC对包含集装箱对接角件图像信息的集装箱顶部进行图像获取，以采集到包含集装箱对接角件2、3、4的数字图形信息。

处理：首先对由三个CCD摄像机ABC组成的视觉系统采集的图像信息进行预处理，采用最大类间方差(OSTU)自适应阈值提取方法对图像进行二值化处理，之后对所得图像进行高斯滤波，滤出噪点得到清晰的图像后进行轮廓线检测，对所得轮廓信息进行面积约束可得到集装箱对接角件2、3、4的位置，并进一步分别得到对接角件2、3、4上方对接孔洞6的位置，进而获得对接孔洞中心点坐标。根据CCD摄像机ABC实时采集的图像获得的相应对接孔洞中心点坐标分别为A₂(X_A2,Y_A2,Z_A2)、B₂(X_B2,Y_B2,Z_B2)、C₂(X_C2,Y_C2,Z_C2)。本实施例中，采用摄像机A和B的数据A₂(X_A2,Y_A2,Z_A2)、B₂(X_B2,Y_B2,Z_B2)即可，摄像机C的数据作为备份使用。

步骤四：解算出起吊平台的运动参数。

运动平台9只有四个自由度：旋转参数θ与三个方向的平移参数ΔX、ΔY、ΔZ。

设目标中心点位置坐标A₁(X_A1,Y_A1,Z_A1)和B₁(X_B1,Y_B1,Z_B1)构成的矢量为实时检测到的中心点位置坐标A₂(X_A2,Y_A2,Z_A2)和B₂(X_B2,Y_B2,Z_B2)构成的矢量则通过矢量变换获得起吊平台9的旋转参数θ和三个方向的平移参数ΔX、ΔY、ΔZ，方法如下：

(1)获取起吊平台9的旋转参数θ

集装箱起吊平台9要与集装箱1实现精确对接，其旋转参数θ可以用目标中心点位置坐标A₁(X_A1,Y_A1,Z_A1)和B₁(X_B1,Y_B1,Z_B1)构成的矢量与其对应的实时检测到的对接孔洞中心点位置坐标A₂(X_A2,Y_A2,Z_A2)、B₂(X_B2,Y_B2,Z_B2)构成的矢量之间的参数变换得到，即在世界坐标系下：

矢量可表示为：

矢量可表示为：

由于集装箱对接角件2、3、4、5处于同一水平面上，故矢量可表示为：

同理，矢量可表示为：

由此可求得起吊平台9的旋转参数

(2)解算出起吊平台9的平移参数

由于起吊平台9对接部位之间位置固定，集装箱1的四个对接角件2、3、4、5位置固定，故而集装箱1要与起吊平台9实现精确对接，其平移参数(ΔX,ΔY)只需求得其中一个目标孔洞6中心点位置坐标A₁(X_A1,Y_A1,Z_A1)与其对应实时检测到的孔洞6中心点位置坐标A₂(X_A2,Y_A2,Z_A2)之间的相对位置关系即可，即在世界坐标系下：

可求得起吊平台9的平移参数：

经上述步骤即得到了对接所需要的起吊平台9的旋转参数θ和平移参数(ΔX,ΔY，ΔZ)，发送给控制系统17。

步骤五：控制系统17根据旋转参数θ和平移参数ΔX、ΔY、ΔZ，控制起吊平台9实现与集装箱1的对接。具体控制过程为：

步骤51：控制起吊平台9做旋转运动。

图像处理系统16将所得到的起吊平台9旋转参数θ传送给控制系统17，控制系统17首先根据旋转参数θ控制起吊平台9做旋转运动，直到矢量与矢量的方向一致，此时起吊平台9与集装箱1正对，只需进行平移运动即可实现对接。

步骤52：控制起吊平台9做水平方向上平移运动。

图像处理系统16将所得到的起吊平台9平移参数(ΔX,ΔY)传送给控制系统17，控制系统17根据起吊平台水平两方向的平移参数(ΔX,ΔY)，控制起吊平台16做水平方向平移运动，直到实时检测孔洞6中心点坐标A₂、B₂与其对应的目标孔洞6中心点坐标A₁、B₁的X、Y分量一致，此时对接部位与其对接所对应的圆角矩形孔洞6在Z方向上处于同一条中心线上，只需进行垂直方向上的平移运动即可实现对接。

步骤53：控制起吊平台9做竖直方向上平移运动

在步骤52完成后，起吊平台9要与集装箱1实现对接只需进行竖直方向上的平移运动，图像处理系统16将平移参数ΔZ传送给控制系统17，控制系统17根据ΔZ控制起吊平台9做竖直方向上的平移运动，直到对接部位与其对应的对接孔洞6实现对接，即完成起吊平台9与集装箱1的对接过程。

综上所述，本发明的目的是为了克服在集装箱与起吊平台进行对接起吊时，传统方法所产生的对接工时长，效率低的缺陷，为提高劳动生产率，提升智能化制造水平，提出一种基于视觉的集装箱自动对接起吊系统及其工作方法。所述基于视觉的集装箱自动对接起吊系统能够通过视觉系统自动获取集装箱和起吊平台对接部位的位置信息，解算出起吊平台所需要的运动参数，传递给控制系统，从而由控制系统控制调整起吊平台的姿态使集装箱与起吊平台实现自动对接起吊，智能高效，可以快速、准确地实现对接起吊过程，避免了传统对接起吊中人工观测对接所产生的工作量，减少工人劳动强度，提高劳动生产效率；所述基于视觉的集装箱自动对接起吊系统，原理简单，由前述可知理论上只需两个CCD摄像机采集的信息即可完成对接起吊过程，使用三个CCD摄像机的目的一是为了保证在复杂工作环境或特殊情况下导致某一摄像机检测错误时自动对接起吊系统仍能够正常工作，二是为了增加一组约束条件，增强目标检测的鲁棒性，精度高，可靠性好；三个CCD摄像机采用同侧共面安装方式，这种安装方式便于摄像机系统进行标定。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。