一种轮胎式集装箱起重机视觉自动对位系统的制作方法

1.本发明涉及港口自动化技术，更具体地说，涉及一种轮胎式集装箱起重机视觉自动对位系统。


背景技术：

2.轮胎吊是一种常见的港口机械设备，因对作业场地要求低，在全球各港口中被普遍应用。感知定位是轮胎吊实现自动化的关键之一，长期以来，轮胎吊主要采用传统激光、磁钉等技术来实现定位，该技术的优点是简单可靠，缺点是使用场景单一、提供的信息有限且施工成本高。
3.近年来，港口向智能化转型已成为业内发展的必然趋势，仅采用传统技术已难以适应当下发展需求。深度学习在全球学者的研究下，使用卷积神经网络提取图像特征的感知技术已成为主流。基于深度学习的图像处理技术具有对传感器要求低、能提供丰富的感知信息、有效降低生产成本等优点，使得该技术逐步成为新的解决方案。
4.实现港机自动化的另一个关键是运动决策。目前，国内外普遍采用基于位置的视觉控制，在3d笛卡尔坐标系中,利用相机标定和坐标转换，获得被测对象在笛卡尔空间的位置,并与期望位置形成偏差,进而根据该偏差量设计控制算法,控制机构运动。该方法存在如下缺点：
5.1)无论如何标定相机，坐标转换会带来一定误差；
6.2)港机属于重型机械，吊装几十吨货物时，机器会有变形，同样会给坐标转换带来误差。
7.由于误差的存在，港机参数需经常调整，因此，不得不在作业现场部署大量调试人员进行参数调节，增加了运维成本。


技术实现要素：

8.针对现有技术中存在的上述缺陷，本发明的目的是提供一种轮胎式集装箱起重机视觉自动对位系统，解决了轮胎式集装箱起重机的自动对位控制问题，并实现了感知与运动决策一体化。
9.为实现上述目的，本发明采用如下技术方案：
10.一种轮胎式集装箱起重机视觉自动对位系统，包括：
11.目标检测分割单元，用以获取作业目标在图像中的位置；
12.运动决策单元，用以接收所述目标检测分割单元的输出结果，并输出轮胎吊控制系统所需的控制指令；
13.人机交互界面，用以显示关键参数，便于调试人员针对不同的轮胎吊进行参数调节。
14.较佳的，所述目标检测分割单元包括：
15.图像采集模块，用以获取目标图像；
16.基于mask-rcnn网络的作业目标前景分割模块，用以接收所述图像采集模块的图像数据，分割出作业目标的前景图像；
17.作业目标定位模块，用以对所述前景图像进行后处理，输出作业目标在图像中的位置。
18.较佳的，所述图像采集模块为四台相机，分别设于吊具的四个角部位置。
19.较佳的，所述相机的作业目标为集装箱的对角线，且为同步采集图像。
20.较佳的，所述mask-rcnn网络包括：
21.骨干网络，通过残差网络对目标图像进行特征提取，再通过特征金字塔网络进行多尺度特征融合；
22.敏感区域提议网络，用以将每个特征进行正负样本判断并粗定位；
23.敏感区域对齐，通过运用双线性插值法计算每个特征的值。
24.较佳的，所述运动决策单元包括：
25.运动建模模块，对轮胎吊对位操作进行运动建模，建立运动模型；
26.逻辑控制模块，根据运动模型、作业目标在图像中的位置计算偏差量及开底的作业流程，输出逻辑控制指令。
27.较佳的，所述人机交互界面采用html网页开发。
28.本发明所提供的一种轮胎式集装箱起重机视觉自动对位系统，首先设计了目标检测分割单元用于感知定位作业目标，将神经网络的强大感知能力与传统图像算法的可解释性充分结合，极大的提高了模型的精度与可靠性。然后设计了运动决策单元，将感知定位结果转化为控制信号，极大的简化了相机标定流程，实现视觉定位与对位控制的一体化。本发明的决策准确率高达99.9％。实际应用结果表明，作业效率取得较大幅度提升且故障率低。
附图说明
29.图1是轮胎式集装箱起重机的示意图；
30.图2是本发明轮胎式集装箱起重机视觉自动对位系统的框架结构示意图；
31.图3是本发明轮胎式集装箱起重机视觉自动对位系统中图像采集模块的示意图，其中，(a)为布置示意图，(b)为拍摄视角示意图；
32.图4是本发明轮胎式集装箱起重机视觉自动对位系统中作业目标定位模块的箱角线前景二值图，其中，(a)为箱角线掩膜图，(b)为箱角线前景二值图；
33.图5是本发明轮胎式集装箱起重机视觉自动对位系统中作业目标定位模块的canny边缘检测结果图；
34.图6是本发明轮胎式集装箱起重机视觉自动对位系统中作业目标定位模块的集装箱对位作业时的定位点示意图；
35.图7是箱角线被遮挡的示意图；
36.图8是箱角线误检的示意图；
37.图9是标准与非标准箱角线的示意图；
38.图10是标准箱角线定位点提取的示意图，其中，(a)为原感知结果图，(b)为定位点提取图；
39.图11是集装箱位置标定点的示意图；
40.图12是相机理想安装位置的示意图；
41.图13是相机非理想安装位置四台相机的合成示意图；
42.图14是右上箱角线被遮挡的示意图；
43.图15是同时遮挡两个箱角线的示意图；
44.图16是开底运动控制曲线的示意图，其中，(a)为大车方向运动控制曲线示意图，(b)为小车方向运动控制曲线示意图，(c)为旋转方向运动控制曲线示意图。
具体实施方式
45.为了能更好地理解本发明的上述技术方案，下面结合附图和实施例进一步说明本发明的技术方案。
46.结合图1所示，轮胎吊是一种用于集装箱吊运的起重机，其主要结构由三部分组成：大车1、小车架2和吊具3，其中，大车1上装有轮胎，能在各排集装箱方向上运动；小车架2则在各列集装箱方向上运动；吊具3用钢丝绳连接在小车架2上。通过大车1和小车架2的移动，吊具3能在堆场内吊运任何位置上的集装箱。同时，吊具3具备沿大车方向、小车方向以及旋转的微动功能，方便吊具在对位作业时进行微动调节。
47.结合图2所示，本发明所提供的一种轮胎式集装箱起重机视觉自动对位系统，包括：
48.目标检测分割单元4，用以获取作业目标在图像中的位置；
49.运动决策单元5，用以接收目标检测分割单元4的输出结果，并输出轮胎吊控制系统所需的控制指令；
50.人机交互界面6，用以显示关键参数，便于调试人员针对不同的轮胎吊进行参数调节。
51.目标检测分割单元4首先通过图像采集模块41获取目标图像，然后基于mask-rcnn网络的作业目标前景分割模块42分割出作业目标前景图像，最后作业目标定位模块43对前景图像进行后处理，输出作业目标在图像中的位置。
52.图像采集模块41为四台相机，分别设于吊具3的四个角部位置来采集作业目标图像(对开底作业而言，作业目标为箱角线)，如图3中(a)所示。
53.相机拍摄角度如图3中(b)所示，由于四台相机独立工作，为保证四台相机同步采集图像，本发明采用软同步方式，具体方法如下：
54.1)四台相机以固定帧率拍摄图像且带有时间戳，所采集到的图像存入各自buffer中；
55.2)以其中一台相机为基准，获取其buffer中最新时刻的图像；
56.3)在其他三台相机的buffer中，各选取与该图像时间最相近的图像；
57.4)选取出的这四张图像为一个batch，作为神经网络的输入。
58.基于mask-rcnn网络的作业目标前景分割模块42改制模型建立：在感知算法研究基线的选择上，选择精度更高的两阶段目标检测算法，选用基于mask-rcnn的检测分割算法来实现作业目标的定位与分类。
59.采用mask-rcnn检测分割算法实现箱角线的前景分割。目标检测是用一个矩形框定位目标，其在图像中的位置仅有两个点(左上点与右下点)确定，而目标分割是从像素的
角度将不同的目标按区域分割开来，并用一个掩膜来标识出目标，其在图像中的位置由一组点(即每个像素的坐标)确定。使用目标检测在连续图像序列中定位目标有一个缺点：检测框会抖动。而检测信号的抖动则不利于轮胎吊的对位控制。相比于由两个点定位的目标检测，由一组点定位的目标分割则更加稳定。
60.mask-rcnn网络为两阶段目标检测与分割网络，第一个阶段提取图像特征并生成提议(proposals)，第二阶段分类提议并生成边界框和掩码。主要包括：
61.骨干网络(backbone)，通过残差网络(resnet50)对目标图像进行特征提取，再通过特征金字塔网络(feature pyramid network，fpn)进行多尺度特征融合；
62.敏感区域提议网络(region proposal network，rpn)，网络结构与faster-rcnn中的rpn类似，唯一的区别是输入为fpn的输出，该网络用以将每个anchor特征进行正负样本判断并粗定位；
63.敏感区域对齐(region of interest align，roi align)，相较于roi pooling，roi align采用运用双线性插值法来计算每个特征点的值，实现了特征聚集过程连续化了。在进行mask回归时，避免了像素位置偏移。
64.数据集采集：训练数据集采用ms-coco数据集和针对开底作业采集的箱角线数据集。用ms-coco数据集对感知模型进行预训练，使卷积神经网络对目标具有一定的认知，然后采用箱角线数据集对感知模型进行微调，提升识别定位精度。
65.箱角线数据集主要由两部分构成：1)从多个各港口中采集的箱角线图像数据，该数据集作为箱角线目标通用检测分割数据集，共10838张，其中训练集9758张，验证集1080张；2)在实际开底作业的港口场景下，针对性采集开底作业时的箱角线图像数据，该数据集作为微调数据集，用于实际作业场景下识别定位精度的提升，共6028张，其中训练集5004张，验证集1024张。
66.训练：在训练中，保持mask-rcnn中的超参数不变。不同的是：为提高模型实时性，将输入图像的分辨率缩放到640
×
640。
67.初始化：对于mask-rcnn的骨干网络，使用imagenet1k预训练权重进行初始化。对于一阶段与二阶段的分类与回归网络，均使用偏置b＝0和高斯方差为σ＝0.01的权重作为初始化。
68.优化器：采用随机梯度下降(sgd)优化器来训练整个网络，其中动量(momentum)设置为0.9，权重衰减(weightdecay)设置为0.0001。训练过程中，batchsize设置为4，且平均分配到两块2080ti显卡上。初始化学习率设置为0.001，随着训练进行，分别在第4k、6k和8k次迭代时将学习率除以10，实现学习率的动态下降。训练过程总共迭代10k次。在训练过程中，仅采用图像的水平翻转来增广数据集。(注意：上述训练过程为使用ms-coco进行预训练。在微调阶段，学习率全程设置为0.0001，其余保持不变)。
69.实验结果：在箱角线目标通用检测分割数据集上，ap精度到达96.04％，在实际开底工况的微调数据集上，ap精度到达99.49％。
70.基于mask-rcnn网络的作业目标前景分割模块42只输出分割结果，并不输出期望目标在图像中的位置。采用传统图像处理方法对感知结果进行分析，并输出作业目标在图像中的精确位置。
71.箱角线前景图像获取：将基于mask-rcnn网络的作业目标前景分割模块42得到的
箱角线掩膜保存到同一张图像上并进行二值化处理，得到箱角线前景图像，如图4中(a)、(b)所示。
72.canny边缘检测：首先对获取的箱角线前景二值图进行形态学处理，具体地：1)进行腐蚀操作，将一些小的噪声斑点去除；2)进行膨胀操作，将邻近区域进行连通处理，增强箱角线的完整性。最后对预处理后的前景图进行canny边缘检测，并获取轮廓的最小边界矩形框，如图5所示。
73.定位点选择：开底作业要求将集装箱吊放到箱角线标定的区域内。通过观察发现，当开底满足要求时，集装箱对箱角线的角点不会有遮挡。因此，本发明将箱角线的角点将为集装箱对位作业时的定位点，如图6中的点所示。
74.标准箱角线定位点提取：在开底对位作业过程中，定位点提取面临如下问题：
75.1)集装箱难免会对箱角线造成遮挡，致使箱角线角点消失，如图7所示；
76.2)尽管神经网络的性能十分优秀，但由于干扰因素(光照强度、电磁干扰等)的存在，加上神经网络的“黑盒”属性，感知结果仍具有不确定性，会出现误检(如图8所示)。即使误检的概率很低，但为了提高系统可靠性，这种情况仍不可忽略；
77.3)会有多个箱角线出现在相机视野中，canny边缘检测算法会检测到每个箱角线的轮廓(如图5所示)，这时需要筛选出期望箱角线。针对这些问题，本发明提出标准箱角线定位点提取算法。
78.针对问题1)与2)：对canny检测出的每个轮廓进行分析，只筛选出标准箱角线，如图9所示。对于标准箱角线，本发明给出3个判定标准：箱角线的纵横比(即箱角线最小边界矩形框的宽高比)、箱角线的开口方向和箱角线的形状(l型或f型)，只有同时满足这三个判定标准，才判定为标准箱角线。
79.对于左上、右上、左下、右下相机，期望箱角线的开口方向分别为右下、左下、右上、左上。根据标准箱角线判定条件，对箱角线进行判定及定位点提取(注：只有标准箱角线才进行定位点提取)，如图10所示。
80.由于只对标准箱角线进行定位点提取，因此可以有效解决遮挡和误检问题。标准箱角线判定标准设置的越苛刻，则误检率越低，但漏检率会升高。可以通过对判定标准的阈值调节，获取性能均衡的定位点提取算法。
81.若某个或某几个视角的相机未能识别出定位点，可根据其他相机的感知结果对集装箱相对箱角线的姿态进行推理，具体方法见逻辑控制模块的建立。
82.针对问题3)：吊具吊起集装箱时，吊具与集装箱、吊具与相机均为刚性连接，因此相机与集装箱的相对位置不会改变。换句话说，集装箱在相机画面上的位置是固定的。集装箱与箱角线对位作业时，需要获取箱角线与集装箱的位置。箱角线的位置即定位点，而对于集装箱的位置，由于集装箱在相机画面上的位置是固定的，因此可直接在图像上标定一个点作为集装箱的位置。经分析，本发明将集装箱的四个角作为集装箱位置的标定点，如图11中的点所示。
83.作业目标定位模块43采用深度学习与传统图像处理相结合的方法，极大的提高了模型的精度与可靠性，成功的将视觉应用于港口开放式生产环境。
84.再参考图2所示，运动决策单元5首先通过运动建模模块51对轮胎吊对位操作进行运动建模，然后根据运动模型及作业目标在图像中的位置计算偏差量，最后逻辑控制模块
52根据开底的作业流程，输出逻辑控制指令。目标检测分割模块4和运动决策模块5均通过人机交互界面6进行调参。
85.运动建模模块51建立运动建模模块
86.开底运动分析：若相机的安装高度、镜头焦距相同，并且各相机的cmos靶面中心点水平竖直对齐，cmos靶面各边平行，则四相机拼接成的图像可看做是一个相机拍摄的图像。在该理想情况下，可直接使用像素平面坐标系，如图12所示。其中，坐标原点为图像的左上点，x方向为大车运动方向，y方向为小车运动方向。
87.图12中，pctl，pctr，pcbl，pcbr为箱角线定位点，pbtl，pbtr，pbbl，pbbr为集装箱位置标定点。pbc为集装箱的中心点，pcc为箱角线定位区域的中心点。
88.对位作业时，对于大车方向偏差err_x与小车方向偏差err_y的计算公式如下：
[0089][0090]
点pbc与点pcc分别在x、y方向的坐标计算公式如下：
[0091][0092]
将公式(2)代入公式(1)，得：
[0093][0094]
四台相机中，标定点与定位点在x与y方向上位移(见图12)的计算公式如下：
[0095][0096]
将公式(4)代入公式(3)，得：
[0097][0098]
由公式(5)可知，err_x与err_y为四台相机中标定点与定位点在x与y方向上位移的平均值。
[0099]
对位作业时，对于旋转偏差量，可计算线段(pbbl,pbtr)与线段(pcbl,pctr)的夹
角。但实际应用发现，可用同一侧的标定点与定位点在x或y方向上位移的差来衡量。例如，选用左上和右上相机在y方向上位移的差作为旋转偏差量，公式如下：
[0100]
err_θ＝petl_y-pebr_y
ꢀꢀꢀ
(6)
[0101]
建立多相机融合定位坐标系：上述为相机在理想安装状态下的偏差量计算，但在实际应用中，相机很难安装到位，即使安装到位，随着轮胎吊循环作业，相机的安装位置也会由于震动而产生偏移，如图13所示。在该情况下，像素平面坐标系已不再适用。
[0102]
针对该问题，提出多相机融合定位坐标系，以箱角线的顶点(图中红色点)为原点，箱角线的两条边为x轴和y轴，如图13所示。
[0103]
可以这样构建坐标系的原因：1)无论相机怎么安装，每个相机画面中的集装箱与箱角线的相对位置关系是不会随相机的安装角度发生改变的；2)虽然4相机拼接画面看上去像是集装箱、箱角线发生了变形，但实际没有。因此，对于大车方向偏差err_x、小车方向偏差err_y以及旋转偏差_的计算公式依然可以使用公式(5)、(6)，只不过应在多相机融合定位坐标系下计算。
[0104]
建立逻辑控制模块52
[0105]
轮胎吊对位作业时，吊具微动的逻辑控制策略为：1)先进行旋转运动，直至运动到位；2)再进行小车方向运动，直至运动到位；3)最后进行大车方向运动，直到运动到位。
[0106]
根据该逻辑控制策略与计算出的偏差量即可进行开底作业，但在开底作业过程中，会出现集装箱遮挡箱角线的情况，导致无法检测出定位点。针对该种情况，可根据其余相机的识别情况，推理集装箱与箱角线的位置关系，具体策略如下：
[0107]
(1)无遮挡
[0108]
该状态下，err_x、err_y以及err_θ的计算公式同公式(5)、(6)。
[0109]
(2)只遮挡一个箱角线
[0110]
当仅有一个箱角线被遮挡，无法识别出定位点时，可根据其他三个相机中的定位点计算。以右上箱角线被遮挡为例，如图14所示。
[0111]
err_x、err_y计算公式如下：
[0112][0113]
err_θ计算公式如下：
[0114]
err_θ＝pebl_y-pebr_y
ꢀꢀꢀ
(8)
[0115]
其余三种情况下的计算方法类似。
[0116]
(3)只遮挡两个箱角线
[0117]
受限于集装箱与箱角线的几何关系，若有两个箱角线被同时遮挡，则被遮挡的箱角线必定位于同一侧，如图15所示。
[0118]
以同时遮挡上边两个箱角线为例(即图15的左上)，err_θ计算公式同公式(8)，err_x计算公式如下：
[0119][0120]
由于同一侧的两个定位点无法识别出，因此小车方向的偏差量err_y无法准确计
算出，但综合四台相机的识别情况，可以推理出小车方向的运动方向，该情况下，再设置一个步幅，即可控制小车朝正确方向运动。随着运动进行，遮挡会消失，之后即可按照公式(5)或(7)进行精确计算。
[0121]
(4)遮挡三或四个箱角线
[0122]
受限于集装箱与箱角线的几何关系，该情况不会出现。若出现该情况，则可认为是前景分割模块识别出错，这时将从自动控制跳转到远程人工作业。
[0123]
设计控制率
[0124]
上述计算出的err_x、err_y以及err_θ，其量纲都为像素，并不是实际控制所需的位置、速度等。如何将这些偏差量应用于轮胎吊控制系统，还需进行控制率设计。
[0125]
轮胎吊在进行对位作业时，吊运的货物重达几十吨，属于重型低速系统。现有人工操作的控制逻辑为：1)司机通过观察当前集装箱与箱角线的相对位置关系，判断下一时刻吊具的运动方向；2)操作相应的手柄，给出开关量，控制轮胎吊进行对位作业。重复步骤1)和2)，直至符合精度要求。
[0126]
本发明控制率的设计模拟人工作业，针对err_x、err_y、err_θ这3个控制量，设置固定步长：step_x，step_y，step_θ，控制率公式如下：
[0127][0128][0129][0130]
实验验证
[0131]
逻辑控制模块52实验：使用逻辑控制模块52对开底作业时的每帧图像进行运动决策，对于决策结果，本发明采用人工校验方法。最终，在4000帧图像中，决策准确率达到99.9％。
[0132]
运动控制实验：根据设计的控制率，轮胎吊沿大车、小车、旋转方向的运动控制曲线如图16中(a)、(b)、(c)所示。
[0133]
由图可知，三个方向的偏差量曲线都在向0接近，实验证明，该控制率能有效的控制开底作业。
[0134]
人机交互界面6采用html网页开发，调试人员只需打开浏览器，输入对应网址即可登录到人机交互界面6。人机交互界面6中提供了关键参数，方便调试人员针对不同的轮胎吊进行参数调节，以确保起重机视觉自动对位系统能正常工作。
[0135]
本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，而并非用作为对本发明的限定，只要在本发明的实质精神范围内，对以上所述实施例的变化、变型都将落在本发明的权利要求书范围内。