一种基于激光雷达扫描仪的自动卸船系统及方法

本发明涉及激光雷达扫描处理，特别是一种基于激光雷达扫描仪的自动卸船系统及方法。

背景技术：

1、国际上abb公司于1983年推出了桥式抓斗卸船机自动操作系统，即抓斗摆动和性能优化器(gpo)。其功能主要包括全自动卸船操作、全自动操作时的卸船机过载控制、抓斗运行轨迹的优化计算以及抓斗摆动的控制。同时，这种自动操作系统配备了他们自行研发的卸船机，受到了广泛认可。此外，日本住友公司正在研发适应中小船舶卸船操作的压带式连续卸船机，其处理能力在300吨/小时到800吨/小时之间，并用以替代旋转型抓斗起重机。除此之外，国际上在桥式抓斗卸船机的自动化系统方面的研究较少，而国内却有较多的相关研究工作。国内桥式抓斗卸船机的广泛应用始于上个世纪九十年代，在此之前，连续卸船机一直是卸船设备的主力，而桥式抓斗卸船机由于其较高的生产效率成为主要选择的原因。国内专家在研究桥式卸船机在工程中应用的同时，着眼于改进机械和给料接料等部分的技术。在机械方面，做了差动齿轮减速器和拖绳小车的改进、模仿抓斗运行过程的完整模型，解决了抓斗在运行过程中的摆动问题。在给料、接料部分，通过仿真，找到了卸料过程的运动参数规律，改进了工艺参数和控制方法，解决了人工清理工作现场洒落的货物的问题；同时对给料系统进行了改造，解决了振动给料器出力偏低、激震相故障率高、料斗门卡涩、料斗格栅筛分粒度过大以及料斗衬板容易磨损脱落等问题，显着降低了事故率。

2、当前，国外在桥式卸船机自动化改进方面的焦点主要集中在abb公司和日本住友公司，它们的产品自动化程度相对较高，足以满足绝大多数用户的需求。然而，在这几乎形成垄断市场的情况下，产品价格一直飙升，变得不再适合引进。因此，国内对桥式卸船机的自动化设计迫切需要加速推进。

3、国内对桥式卸船机的改造存在以下几个问题：

4、1.设备出现问题后才进行改造提升，主要集中于解决问题部分，而不进行深入的研究和全面升级。

5、2.由于自动化改进处于起步阶段，许多改进尚未达到最初的预期效果，需要进一步改进和完善。

6、3.港口工作环境常常受大风和极寒等恶劣条件的影响，这导致难以保持设备的精度和稳定性，从而限制了自动化的改进。

技术实现思路

1、本发明所要解决的技术问题是克服现有技术的不足而提供一种基于激光雷达扫描仪的自动卸船系统及方法，本发明实现了码头自动卸煤，在保证安全稳定的同时大大节省了人力，大大加快了卸煤速度。

2、本发明为解决上述技术问题采用以下技术方案：

3、根据本发明提出的一种基于激光雷达扫描仪的自动卸船系统，包括点云预处理模块、平面提取模块、边界提取模块、船舱估算模块、煤堆提取模块、坐标换算模块和控制模块；其中，

4、点云预处理模块，用于对最初的原始点云数据进行预处理，并将预处理后的点云数据输出给平面提取模块；

5、平面提取模块，用于对预处理后的点云数据采用平面提取算法来拟合平面，获得拟合平面的点云集合，从拟合平面的点云集合中提取平面数据并将其输出至边界提取模块；

6、边界提取模块，用于从平面数据中提取船舱边界，并将提取出的船舱边界输出至船舱估算模块；

7、船舱估算模块，用于从船舱边界中提取出点云，估计出点云中代表船舱的船舱矩形的四个顶点的坐标信息，并将四个顶点的坐标信息输出至煤堆提取模块和坐标转换模块；

8、煤堆提取模块，用于结合最初的原始点云数据与预训练好的分割神经网络模型，对船舱下方的煤堆进行框选与提取，获取煤堆中的最高点位置与最低点位置，将最高点与最低点位置的坐标信息输出至坐标转换模块；

9、坐标转换模块，用于将船舱估算模块和煤堆提取模块所得的坐标信息转化为控制模块坐标系下的坐标信息，并将转化后的坐标信息传输至控制模块；

10、控制模块，用于根据转化后的坐标信息获得抓斗下落的目标点位置，并根据抓斗下落的目标点位置操控抓斗运行的位置。

11、作为本发明所述的一种基于激光雷达扫描仪的自动卸船系统进一步优化方案，船舱矩形的四个顶点坐标信息包括船舱矩形四个顶点的x、y、z轴坐标信息，船舱矩形四个顶点的x、y、z轴坐标信息的获得方法如下：

12、估计四个顶点的y轴坐标的方法为：求取船舱边界提取后所有点云y轴坐标的平均值，将该平均值默认为四个顶点的y轴坐标；

13、估计四个顶点的x轴坐标的方法为：以雷达坐标系原点出发，在其z轴方向搜索邻域阈值r内，找到距离原点的x轴左、右侧方向最近点，则距离原点的x轴方向左侧最近点的x坐标代表船舱矩形左侧上下两个顶点的x坐标，同理，x轴方向右侧最近点的x坐标代表船舱矩形右侧上下两个顶点的x坐标；

14、估计四个顶点的z轴坐标的方法为：以雷达坐标系原点出发，在其x轴方向r邻域内，找到距离原点的z轴方向上侧、下侧最近点，则距离原点的z轴方向上侧最近点的z坐标分别代表矩形上侧左右两个顶点的z坐标；距离原点的z轴方向下侧最近点的z坐标分别代表矩形下侧左右两个顶点的z坐标。

15、作为本发明所述的一种基于激光雷达扫描仪的自动卸船系统进一步优化方案，雷达坐标系是以雷达所在位置为原点，垂直于地面向下为y轴正方向，延码头向海为x轴正方向，垂直于码头向海则为z轴正方向；设定搜索邻域阈值r，在雷达坐标系x、z轴正、负方向r邻域内，依次遍历估算船舱矩形的四个顶点坐标信息。

16、作为本发明所述的一种基于激光雷达扫描仪的自动卸船系统进一步优化方案，预训练好的分割神经网络模型是通过以下方法获得的：

17、训练分割神经网络模型的方法：预先采集船舶点云数据，划分船舶点云数据为船体、船舱和煤堆三类，标注好所有船舶点云数据内每个点所对应的类别，对标注好的船舶点云数据进行增强，增强的方式为对船舶点云数据进行坐标轴旋转、过采样，从而完成训练数据集的制作；输入训练数据集至分割神经网络，通过多批次迭代完成分割神经网络模型的训练，生成预训练好的分割神经网络模型；

18、将预训练好的分割神经网络模型与最初的原始点云数据相结合，完成船舱下方煤堆的框选与提取，获取煤堆点云的最高点位置与最低点位置。

19、作为本发明所述的一种基于激光雷达扫描仪的自动卸船系统进一步优化方案，将船舱估算模块和煤堆提取模块所得的坐标信息转化为控制模块坐标系下的坐标信息，方法如下：

20、控制模块坐标系以卸船机所在地面为原点，垂直于地面向上为y轴正方向，垂直于码头向海为x轴正坐标，延码头向海则为z轴正坐标；

21、以抓斗p为共同检测目标，将抓斗p预放置于抓取初始位置，采用雷达和控制模块同时获取抓斗位置信息，记录抓斗分别在雷达坐标系、控制模块坐标系下的坐标信息，根据雷达坐标系以及控制模块坐标系的坐标轴方向设定，推导出控制模块坐标系与雷达坐标系之间的关系；

22、

23、其中，xk、yk、zk分别表示为第k个点云的x、y、z轴的坐标信息，1≤k≤6，第k个点云的x、y、z轴的坐标信息是指：当1≤k≤4时，第1至第4个点云的x、y、z轴的坐标信息是指船舱矩形的第1至第4四的顶点坐标信息对应控制模块坐标系下的x、y、z轴的坐标信息；当k＝5时，第5个点云的x、y、z轴的坐标信息是指煤堆最高点位置坐标信息对应控制模块坐标系下的x、y、z轴的坐标信息；当k＝6时，第6个点云的x、y、z轴的坐标信息是指煤堆最低点位置坐标信息对应控制模块坐标系下的x、y、z轴的坐标信息；xk、yk、zk分别表示为第k个点云在雷达坐标系下x、y、z轴的坐标信息，第k个点云在雷达坐标系下x、y、z轴的坐标信息是指：当1≤k≤4时，第1至第4个点云的x、y、z轴的坐标信息是指船舱矩形的第1至第4四的顶点坐标信息对应雷达坐标系下的x、y、z轴的坐标信息；当k＝5时，第5个点云的x、y、z轴的坐标信息是指煤堆最高点位置坐标信息对应雷达坐标系下的x、y、z轴的坐标信息；当k＝6时，第6个点云的x、y、z轴的坐标信息是指煤堆最低点位置坐标信息对应雷达坐标系下的x、y、z轴的坐标信息；x0为抓斗p在雷达坐标系下的x轴坐标，y0为抓斗p在雷达坐标系下的y轴坐标，z0为抓斗p在雷达坐标系下的z轴坐标；x0为抓斗p在控制模块坐标系下的x轴坐标，y0为抓斗p在控制模块坐标系下的y轴坐标，z0为抓斗p在控制模块坐标系下的z轴坐标。

24、一种基于激光雷达扫描仪的自动卸船方法，具体如下：

25、对最初的原始点云数据进行预处理；

26、对预处理后的点云数据采用平面提取算法来拟合平面，获得拟合平面的点云集合，从拟合平面的点云集合中提取平面数据；

27、从平面数据中提取船舱边界；

28、从船舱边界中提取出点云，估计出点云中代表船舱的船舱矩形的四个顶点坐标信息；

29、结合最初的原始点云数据与预训练好的分割神经网络模型，对船舱下方的煤堆进行框选与提取，获取煤堆中的最高点位置与最低点位置的坐标信息；

30、将点云中代表船舱的船舱矩形的四个顶点坐标信息、煤堆中的最高点位置与最低点位置的坐标信息转化为控制模块坐标系下的坐标信息；

31、根据转化后的坐标信息获得抓斗下落的目标点位置，并根据抓斗下落的目标点位置操控抓斗运行的位置。

32、本发明采用以上技术方案与现有技术相比，具有以下技术效果：

33、(1)系统所有算法将pcl库封装调用，结合c#便于可视化界面开发的优点，将点云信息呈现，同时也便于以后通过c#语言对点云进行处理。

34、(2)船舱坐标估计模块，通过对原点进行坐标轴方向最近点查询，找到代替船舱四角坐标的点云信息，实现点云内边框提取；

35、(3)坐标系转换统一模块，以两个坐标系内的共同点抓斗作为媒介，通过坐标轴方向旋转、偏移量计算实现由雷达坐标转换为控制模块坐标，进而通过udp协议进行命令与信息传输；

36、(4)基于激光雷达扫描仪的自动卸船系统能够满足不同船只类型、不同煤堆情况下的煤堆精准提取、成像与抓取建议，并且在保证安全、稳定、准确的同时保证算法时间在15秒以内，确保系统的卸煤效率。