一种岸桥船箱排位自适应定位方法与流程

本发明涉及港口自动化控制，尤其涉及一种岸桥船箱排位自适应定位方法。

背景技术：

1、随着港口自动化程度不断发展，岸桥自动作业系统不断改进升级，传统的自动作业过程中，往往通过激光扫描仪扫描船上集装箱取代人眼获得集装箱在小车方向的位置，然后在已知船上各排位集装箱的位置的情况下，分析出吊具下方左邻贝、本贝、右邻贝各排集装箱高度。继而对吊具进行路径规划，完成自动作业。

2、岸桥作业吊具路径规很多都实现自动规划，基本上都是采用激光扫描仪设备(如sick511激光雷达，glaxy激光雷达)对河内岸桥船上集装箱及进行扫描建模，分析出吊具下方左邻贝、本贝、右邻贝各排集装箱高度，从而完成吊具自动路径规划。这种应用场景主要基于船上各排集装箱在小车方向的位置大致一定的情况下，通过定位出船上第一排集装箱中心在岸桥小车运动方向的位置，依据集装箱宽度(2.43m)继而推理出每一排在岸桥小车运动方向的位置。然后在已知船上各排位集装箱的位置的情况下，分析出吊具下方左邻贝、本贝、右邻贝各排集装箱高度。然而这种定位船箱各排位在小车方向的方法并不适合所有船型。实际上，内河的船型各种各样，大小也不一定，夹板宽度也不一定，加上船停泊的时候，船边距离岸边的距离也时常不一定，这就直接导致了船上第一排集装箱在小车方向的位置不固定，甚至会有很大的偏差，从而影响到船上各排集装箱在岸桥小车方向的定位，甚至导致船上集装箱各排位层高错位。

3、因此，有必要提供一种岸桥船箱排位自适应定位方法，改善由于船型、船夹板以及岸边与船边距离，差异导致的船上集装箱定位失败的问题，提高岸桥自动化作业的吊具路径规划的安全性和准确性。

技术实现思路

1、有鉴于此，本发明提出了一种对不同类型的船舶的夹板区域边界进行识别、便于寻找集装箱排布的起始位置的岸桥船箱排位自适应定位方法。

2、本发明的技术方案是这样实现的：本发明提供了一种岸桥船箱排位自适应定位方法，包括如下步骤：

3、感知数据采集，在龙门吊横梁上安装深度相机，并在岸顶桥小车底部安装激光扫描仪，并分别建立深度相机坐标系和激光扫描仪坐标系；龙门吊处设置plc，并建立plc处的参考坐标系；

4、深度相机获取夹板区域的rgb图像和深度图像，对rgb图像中的夹板区域进行定位，所述夹板区域位于船体边缘；

5、结合深度图像，将rgb图像中的夹板区域逐点求取对应在深度相机坐标系中三维坐标，得到深度相机的夹板点云，再将深度相机的夹板点云统一转换到plc处的参考坐标系中；

6、将激光扫描仪获取的船身点云转换到plc处的参考坐标系中，并在参考坐标系中定位并进行条件滤波，得到plc处的参考坐标系下激光扫描仪生成的船身点云中的夹板部分的点云；

7、根据plc处的参考坐标系下激光扫描仪生成的船身点云中的夹板部分的点云，进一步确定待放置的集装箱在岸顶桥小车运行方向上的位置。

8、在以上技术方案的基础上，优选的，所述对rgb图像中的夹板区域进行定位，是采用深度学习语义分割方法，对rgb图像中的夹板区域进行识别分隔，从而得到rgb图像中的夹板区域的像素点。

9、优选的，所述结合深度图像，将rgb图像中的夹板区域逐点求取对应在深度相机坐标系中三维坐标，得到深度相机的夹板点云，是采用如下公式进行换算：其中(u，v)为rgb图像的像素点，[xcyc zc]t是深度相机坐标系中三维坐标，zc表示深度，fx和fy为rgb图像的x轴和y轴方向的焦距，(u0，v0)为rgb图像的中心，m为内参矩阵符号；对深度相机获取夹板区域的rgb图像的各像素采用换算得到深度相机坐标系中三维坐标，即深度相机对应的深度相机的夹板点云。

10、进一步优选的，所述将深度相机的夹板点云统一转换到plc处的参考坐标系中，是采用如下转换关系：pplc＝rc2plc·pc+tc2plc，pplc为plc处的参考坐标系下的点云，维度为3×1；rc2plc为深度相机坐标系生成的夹板点云到plc处的参考坐标系下的点云的旋转矩阵，维度为3×3；pc为深度相机生成的深度相机的夹板点云，维度为3×1；tc2plc为深度相机坐标系的夹板点云到plc处的参考坐标系下的点云的平移矩阵，维度为3×1。

11、更进一步优选的，所述将激光扫描仪获取的船身点云转换到plc处的参考坐标系中，是采用如下转换关系：pplc＝rs2plc·ps+ts2plc，ps为激光扫描仪生成的船身点云，维度为3×1；rs2plc为激光扫描仪坐标系的船身点云到plc处的参考坐标系下的点云的旋转矩阵，维度为3×3；ts2plc为激光扫描仪坐标系的船身点云到plc处的参考坐标系下的点云的平移矩阵，维度为3×1。

12、再进一步优选的，所述在参考坐标系中定位并进行条件滤波，是将深度相机生成的深度相机的夹板点云、扫描仪采集的船身点云全部转到plc处的参考坐标系以后，通过对plc处的参考坐标系下深度相机生成的夹板点云进行统计滤波，过滤掉噪点，然后求取其包围盒，根据包围盒确定包围空间，然后对plc处的参考坐标系下的船身点云进行x、y和z三个轴向的条件滤波，滤波后得到的点云即为plc处的参考坐标系下激光扫描仪生成的船身点云中的夹板部分的点云。

13、优选的，还包括精定位步骤；具体是将plc处的参考坐标系下激光扫描仪生成的船身点云中的夹板部分的点云，使用三维平面模型的采样一致性算法对plc处的参考坐标系下激光扫描仪生成的船身点云中的夹板部分的点云进行进一步拟合，以拟合后的内点作为精定位后的plc处的参考坐标系下的激光扫描仪生成的船身点云中的夹板部分的点云。

14、进一步的优选的，所述根据plc处的参考坐标系下激光扫描仪生成的船身点云中的夹板部分的点云，进一步确定待放置的集装箱在岸顶桥小车运行方向上的位置，是将对plc处的参考坐标系下深度相机生成的深度相机的夹板点云进行包围盒提取，取在plc处的参考坐标系下，令y轴为岸顶桥小车的移动方向，包围盒空间范围内点云的最大y值为夹板的边界位置，记为ymax；令集装箱沿着岸顶桥小车运行方向的轴向尺寸为d，依据集装箱宽度继而推理出每一排在岸顶桥小车运动方向的位置，有rn＝ymax+(n-0.5)d，rn为集装箱在岸顶桥小车运动方向的坐标，n表示排位数。

15、本发明提供的一种岸桥船箱排位自适应定位方法，相对于现有技术，具有以下有益效果：

16、(1)本方案通过深度相机和激光扫描仪相结合的方式，对船身的非放置集装箱的夹板区域进行可靠识别，并以夹板区域的边界作为集装箱宽度排列的起始位置，实现了集装箱路径规划的安全性和可靠性；

17、(2)采用深度学习语义分割技术，对船体甲板部位进行训练和识别，提高对不同船舶边缘的夹板区域的分类和识别，提高划分类别的准确性。

技术特征：

1.一种岸桥船箱排位自适应定位方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的一种岸桥船箱排位自适应定位方法，其特征在于，所述对rgb图像中的夹板区域进行定位，是采用深度学习语义分割方法，对rgb图像中的夹板区域进行识别分隔，从而得到rgb图像中的夹板区域的像素点。

3.根据权利要求2所述的一种岸桥船箱排位自适应定位方法，其特征在于，所述结合深度图像，将rgb图像中的夹板区域逐点求取对应在深度相机坐标系中三维坐标，得到深度相机的夹板点云，是采用如下公式进行换算：其中(u，v)为rgb图像的像素点，[xcyc zc]t是深度相机坐标系中三维坐标，zc表示深度，fx和fy为rgb图像的x轴和y轴方向的焦距，(u0，v0)为rgb图像的中心，m为内参矩阵符号；对深度相机获取夹板区域的rgb图像的各像素采用换算得到深度相机坐标系中三维坐标，即深度相机对应的深度相机的夹板点云。

4.根据权利要求3所述的一种岸桥船箱排位自适应定位方法，其特征在于，所述将深度相机的夹板点云统一转换到plc处的参考坐标系中，是采用如下转换关系：pplc＝rc2plc·pc+tc2plc，pplc为plc处的参考坐标系下的点云，维度为3×参；rc2plc为深度相机坐标系生成的夹板点云到plc处的参考坐标系下的点云的旋转矩阵，维度为3×3；pc为深度相机生成的深度相机的夹板点云，维度为3×1；tc2plc为深度相机坐标系的夹板点云到plc处的参考坐标系下的点云的平移矩阵，维度为3×1。

5.根据权利要求4所述的一种岸桥船箱排位自适应定位方法，其特征在于，所述将激光扫描仪获取的船身点云转换到plc处的参考坐标系中，是采用如下转换关系：pplc＝rs2plc·ps+ts2plc，ps为激光扫描仪生成的船身点云，维度为3×1；rs2plc为激光扫描仪坐标系的船身点云到plc处的参考坐标系下的点云的旋转矩阵，维度为3×3；ts2plc为激光扫描仪坐标系的船身点云到plc处的参考坐标系下的点云的平移矩阵，维度为3×1。

6.根据权利要求5所述的一种岸桥船箱排位自适应定位方法，其特征在于，所述在参考坐标系中定位并进行条件滤波，是将深度相机生成的深度相机的夹板点云、扫描仪采集的船身点云全部转到plc处的参考坐标系以后，通过对plc处的参考坐标系下深度相机生成的夹板点云进行统计滤波，过滤掉噪点，然后求取其包围盒，根据包围盒确定包围空间，然后对plc处的参考坐标系下的船身点云进行x、y和z三个轴向的条件滤波，滤波后得到的点云即为plc处的参考坐标系下激光扫描仪生成的船身点云中的夹板部分的点云。

7.根据权利要求6所述的一种岸桥船箱排位自适应定位方法，其特征在于，还包括精定位步骤；具体是将plc处的参考坐标系下激光扫描仪生成的船身点云中的夹板部分的点云，使用三维平面模型的采样一致性算法对plc处的参考坐标系下激光扫描仪生成的船身点云中的夹板部分的点云进行进一步拟合，以拟合后的内点作为精定位后的plc处的参考坐标系下的激光扫描仪生成的船身点云中的夹板部分的点云。

8.根据权利要求6或者权利要求7任一项所述的一种岸桥船箱排位自适应定位方法，其特征在于，所述根据plc处的参考坐标系下激光扫描仪生成的船身点云中的夹板部分的点云，进一步确定待放置的集装箱在岸顶桥小车运行方向上的位置，是将对plc处的参考坐标系下深度相机生成的深度相机的夹板点云进行包围盒提取，取在plc处的参考坐标系下，令y轴为岸顶桥小车的移动方向，包围盒空间范围内点云的最大y值为夹板的边界位置，记为ymax；令集装箱沿着岸顶桥小车运行方向的轴向尺寸为d，依据集装箱宽度继而推理出每一排在岸顶桥小车运动方向的位置，有rn＝ymax+(n-0.5)d，rn为集装箱在岸顶桥小车运动方向的坐标，n表示排位数。

技术总结
本发明提供了一种岸桥船箱排位自适应定位方法，包括如下步骤：在龙门吊横梁上安装深度相机，并在岸顶桥小车底部安装激光扫描仪；建立PLC处的参考坐标系；深度相机获取夹板区域的RGB图像和深度图像，对RGB图像中的夹板区域进行定位；将RGB图像中的夹板区域逐点求取对应在深度相机坐标系中三维坐标，得到深度相机的夹板点云，再将深度相机的夹板点云统一转换到PLC处的参考坐标系中；将激光扫描仪获取的船身点云转换到PLC处的参考坐标系中，并在参考坐标系中定位并进行条件滤波，得到PLC处的参考坐标系下激光扫描仪生成的船身点云中的夹板部分的点云；进一步确定待放置的集装箱在岸顶桥小车运行方向上的位置。

技术研发人员：万金建,李恒,石先城,曹志俊,张涛
受保护的技术使用者：武汉港迪智能技术有限公司
技术研发日：
技术公布日：2024/1/14