一种多门机协作的整船建模方法与流程

1.本发明涉及港口门机装船设备技术领域，尤其涉及一种多门机协作的整船建模方法。


背景技术：

2.门座式起重机，简称门机是港口作业重要的岸边设备，港口散货用门机主要包括四大机构：起升机构、变幅机构、旋转机构和运行机构，能够分别实现抓斗的起升功能、臂架的收缩功能、门机的旋转功能和门机的平移功能，从而实现物料在岸侧与船侧之间进行转移。目前散货船型扫描建模方面，主要是通过激光雷达对作业区域进行扫描，建立单舱口扫描模型，从而获取舱口信息和舱内物料信息，实现对单舱口的自动化作业。目前这种船型扫描建模只能实现对单舱口的建模，无法获取整船的建模信息，多门机之间不能协同作业，因此存在自动化作业单一、作业效率低的问题。
3.公开号为cn101526617a的中国专利申请公开了一种装船机物位二维激光雷达自动检测方法，采用二维激光雷达对仓库尺寸进行识别，计算仓库坐标，指示大车精定位，使悬臂位于舱口的中心位置，但是该方案仅适用于一台装船机使用，并不适用于一台以上的门机。随着门机自动化作业需求的日益增强，需要实现多门机协同自动化作业，提高门机自动化效率。


技术实现要素：

4.有鉴于此，本发明提出了一种适用于多台门机的多门机协作的整船建模方法。
5.本发明的技术方案是这样实现的：本发明提供了一种多门机协作的整船建模方法，包括如下步骤：
6.s1：在至少三台不同的门机上配置扫描仪；在各门机的回转平台上分别安装带云台的三维激光雷达扫描仪，用于对货船作业区域进行扫描；在各门机的象鼻梁平台上安装面阵激光雷达扫描仪，用于扫描作业区域的舱内物料；
7.s2：至少三台不同的门机完成占位后，各门机上的三维激光雷达扫描仪获取船体点云，面阵激光雷达扫描仪获取物料点云；
8.s3：分别构建扫描仪坐标系、扫描仪所在门机的回转平台坐标系、门机坐标系和各门机共用的世界坐标系；
9.s4：对每一台门机，将三维激光雷达扫描仪获取的船体点云以及面阵激光雷达扫描仪获取的物料点云，进行一次点云配准，将一次点云配准后的船体点云与物料点云进行拼接合并，得到在当前门机坐标系下的完整点云pm；
10.s5：将每个门机坐标系下的完整点云及门机位置、速度和回转平台旋转角度信息传输给中控平台，将各门机坐标系下的完整点云进一步变换到同一个世界坐标系下，得到各门机坐标系下的完整点云pm在世界坐标系下的完整点云；
11.s6：对各门机坐标系下的完整点云pm在世界坐标系下的完整点云进行预处理后，
再进行二次点云配准，以一台门机在世界坐标系下的预处理后的完整点云为目标点云，剩余门机在世界坐标系下的预处理后的完整点云为源点云，进行拼接合并后，得到完整的整船点云。
12.在以上技术方案的基础上，优选的，步骤s3所述的构建各门机共用的世界坐标系，是以运行轨道的起点为原点，z轴垂直于水平面向上，y轴垂直于轨道指向海侧，x轴方向则可以根据右手定则确定；右手定则是以拇指指向z轴方向，中指指向y轴方向，食指的指向为x轴方向，拇指、食指和中指的指向相互垂直；各门机对应的门机坐标系的建立方法与世界坐标系的建立方法相同。
13.优选的，步骤s4所述对每一台门机，将三维激光雷达扫描仪获取的船体点云以及面阵激光雷达扫描仪获取的物料点云，进行一次点云配准，将一次点云配准后的船体点云与物料点云进行拼接合并，得到在当前门机坐标系下的完整点云pm，是令扫描仪坐标系与门机的回转平台坐标系之间的坐标变换矩阵为t1，令门机的回转平台坐标系到门机坐标系的坐标变换矩阵为t2；将扫描仪获得的船体点云与物料点云均转换到所在门机的门机坐标系下，得到门机坐标系下的预处理后的船体点云p
l1
和处理后的物料点云p
l2
；对所在门机的门机坐标系下的预处理后的船体点云p
l1
和物料点云p
l2
进行粗配准，以预处理后的船体点云p
l1
为目标点云，预处理后的物料点云p
l2
为源点云，采用pcl库提供的k4pcs配准算法，对所述目标点云和源点云进行粗配准，获取源点云到目标点云的第一粗配坐标变换矩阵t
m1
，然后根据第一粗配坐标变换矩阵t
m1
对预处理后的物料点云进行校准；然后进行精配准，再次以预处理后的船体点云p
l1
为目标点云，以粗配准校准后的预处理后的物料点云为源点云，采用pcl库提供的icp配准算法，获取第一精配坐标变换矩阵t
m2
，然后根据第一精配坐标变换矩阵t
m2
对已校准后的预处理后的物料点云再次进行校准，最终获取门机坐标系下的配准船体点云p
m1
和配准物料点云p
m2
，其中p
m1
＝t
m2
*t
m1
*t1*t2*p
l1
；p
m2
＝t
m2
*t
m1
*t1*t2*p
l2
；最后将门机坐标系下的配准船体点云p
m1
和配准物料点云p
m2
进行拼接合并，获取当前的门机坐标系下的完整点云pm。
14.进一步优选的，步骤s4所述将扫描仪获得的船体点云与物料点云均转换到所在门机的门机坐标系下，得到门机坐标系下的预处理后的船体点云p
l1
和处理后的物料点云p
l2
，还包括预处理步骤，具体是将扫描仪获得的船体点云与物料点云均转换到所在门机的门机坐标系下后，通过所在门机坐标系下的y轴坐标值，利用直通滤波切割去除海岸线以内的所在门机的门机坐标系下的船体点云和物料点云，再通过体素滤波进行下采样处理来稀疏直通滤波切割处理后的船体点云和物料点云，通过聚类算法剔除无关的部分，得到门机坐标系下的预处理后的船体点云p
l1
和处理后的物料点云p
l2
。
15.进一步优选的，步骤s5所述得到各门机下的完整点云pm在世界坐标系下的点云，是通过每个门机拼接后的完整点云pm及各门机位置，得到各门机的门机坐标系与世界坐标系的变换矩阵t
wm
，利用该变换矩阵将各门机坐标系下的完整点云pm变换为世界坐标系下的完整点云。
16.进一步优选的，步骤s6所述对各门机坐标系下的完整点云pm在世界坐标系下的完整点云进行预处理，是对至少三台不同的门机各门机坐标系下的完整点云pm变换为世界坐标系下的点云后，获取世界坐标系下的y轴坐标值，利用直通滤波切割去除海岸线以内的世界坐标系下的完整点云，再通过体素滤波进行下采样处理来稀疏直通滤波切割处理后的世
界坐标系下的完整点云，通过聚类算法剔除无关的部分，得到世界坐标系下的预处理后的完整点云pw。
17.进一步优选的，步骤s6所述进行二次点云配准，以一台门机在世界坐标系下的预处理后的完整点云为目标点云，剩余门机在世界坐标系下的预处理后的完整点云为源点云，进行拼接合并后，得到完整的整船点云，是令门机共有n台，选取一台门机在世界坐标系下的预处理后的完整点云作为目标点云，将剩余的n-1台门机在世界坐标系下的预处理后的完整点云分别作为源点云，采用pcl库提供的k4pcs配准算法，分别获取当前世界坐标系下的目标点云和各源点云进行粗配准的第二粗配坐标变换矩阵，根据第二粗配坐标变换矩阵对各源点云，即预处理后的完整点云进行粗配校准；然后以粗配校准后的预处理后的完整点云再次作为源点云，仍以在世界坐标系下的预处理后的完整点云作为目标点云，采用pcl库提供的icp配准算法，获取第二精配坐标变换矩阵，根据第二精配坐标变换矩阵对粗配校准后的预处理后的完整点云再次进行精配校准，得到精配校准后的预处理后的完整点云p
w2
、p
w3
、
……
、p
wn
，将精配校准后的预处理后的完整点云p
w2
、p
w3
、
……
、p
wn
与目标点云p
w1
进行拼接合并，得到完整的整船点云。
18.本发明提供的一种多门机协作的整船建模方法，相对于现有技术，具有以下有益效果：
19.(1)本方案首先对各门机不同位置采集的船体内外轮廓图像进行基于当前门机的图像拼合，然后将三台以上的门机各自的船体内外轮廓的图像进一步在同一个世界坐标系中再次拼合，从而实现多台门机共同进行整船建模，提高了整船建模的精度，便于多台门机协同作业；
20.(2)在门机坐标系下将当前门机不同位置获取的点云进行融合，以及各门机坐标系下的点云在世界坐标系下进行融合，均采用了预处理以及两级精度配准过程，使得点云配准的精度较高，而且兼顾了算法的处理速度，优化了计算量和模型的复杂度；
21.(3)本方案特别适用于单舱口及多舱口的船体的整体建模。
附图说明
22.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
23.图1为本发明一种多门机协作的整船建模方法的流程图；
24.图2为本发明一种多门机协作的整船建模方法的各门机上配置扫描仪的示意图；
25.图3为本发明一种多门机协作的整船建模方法的各门机与船体及舱口的一种位置示意图；
26.图4为本发明一种多门机协作的整船建模方法的获得在当前门机坐标系下的完整点云的流程图；
27.图5为本发明一种多门机协作的整船建模方法的对各门机坐标系下的完整点云得到完整的整船点云的流程图。
具体实施方式
28.下面将结合本发明实施方式，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
29.本发明的技术方案是这样实现的：如图1—5所示，本发明提供了一种多门机协作的整船建模方法，包括如下步骤：
30.s1：在至少三台不同的门机上配置扫描仪；在各门机的回转平台上分别安装带云台的三维激光雷达扫描仪，用于对货船作业区域进行扫描；在各门机的象鼻梁平台上安装面阵激光雷达扫描仪，用于扫描作业区域的舱内物料；如图2所示，门机的回转平台可以旋转，带云台的三维激光雷达扫描仪可以获取较大区域的视野并进行扫描；象鼻梁平台上安装的面阵激光雷达扫描仪，可以延伸至船体舱口的正上方，获取船体舱口轮廓以及舱内物料的轮廓。
31.s2：至少三台不同的门机完成占位后，各门机上的三维激光雷达扫描仪获取船体点云，面阵激光雷达扫描仪获取物料点云；
32.为了简化工作量，可以按图3所示的位置，将门机的回转平台、臂架或者象鼻梁平台均指向海侧的船体方向，多台门机可采用近似平行的姿态。
33.s3：分别构建扫描仪坐标系、扫描仪所在门机的回转平台坐标系、门机坐标系和各门机共用的世界坐标系；
34.扫描仪坐标系可以以其安装部位的平面建立正交的x轴或者y轴，并按与安装部位垂直的方向作为z轴；扫描仪所在门机的回转平台坐标系，可以以回转平台基座平面建立正交的x轴或者y轴，以回转平台的转轴作为z轴；各门机共用的世界坐标系，是以运行轨道的起点为原点，z轴垂直于水平面向上，y轴垂直于轨道指向海侧，x轴方向则可以根据右手定则确定；右手定则是以拇指指向z轴方向，中指指向y轴方向，食指的指向为x轴方向，拇指、食指和中指的指向相互垂直；各门机对应的门机坐标系的建立方法与世界坐标系的建立方法相同。
35.s4：对每一台门机，将三维激光雷达扫描仪获取的船体点云以及面阵激光雷达扫描仪获取的物料点云，进行一次点云配准，将一次点云配准后的船体点云与物料点云进行拼接合并，得到在当前门机坐标系下的完整点云pm；
36.具体内容是：令扫描仪坐标系与扫描仪所在的门机的回转平台坐标系之间的坐标变换矩阵为t1，令门机的回转平台坐标系到门机坐标系的坐标变换矩阵为t2；将扫描仪获得的船体点云与物料点云均转换到所在门机的门机坐标系下，得到门机坐标系下的预处理后的船体点云p
l1
和处理后的物料点云p
l2
；对所在门机的门机坐标系下的预处理后的船体点云p
l1
和物料点云p
l2
进行粗配准，以预处理后的船体点云p
l1
为目标点云，预处理后的物料点云p
l2
为源点云，采用pcl库提供的k4pcs配准算法，对所述目标点云和源点云进行粗配准，获取源点云到目标点云的第一粗配坐标变换矩阵t
m1
，然后根据第一粗配坐标变换矩阵t
m1
对预处理后的物料点云进行校准；然后进行精配准，再次以预处理后的船体点云p
l1
为目标点云，以粗配准校准后的预处理后的物料点云为源点云，采用pcl库提供的icp配准算法，获取第一精配坐标变换矩阵t
m2
，然后根据第一精配坐标变换矩阵t
m2
对已校准后的预处理后的
物料点云再次进行校准，最终获取门机坐标系下的配准船体点云p
m1
和配准物料点云p
m2
，其中p
m1
＝t
m2
*t
m1
*t1*t2*p
l1
；p
m2
＝t
m2
*t
m1
*t1*t2*p
l2
；最后将门机坐标系下的配准船体点云p
m1
和配准物料点云p
m2
进行拼接合并，获取当前的门机坐标系下的完整点云pm。在本方案的一个实施例中，使用了三台不同的门机，因此对于这三台门机，均需要采用上述步骤进行处理。
37.此处的粗配准采用的k4pcs配准算法，是在目标点云中选取共面的四点作为基准，采用k4pcs配准算法在源点云中寻找近似一致的共面四点对，近似一致是指两个四点对经过刚性变换后在容许的误差范围内对齐。由于四点对的放射不变性且唯一性，在源点云内寻找最优的全等四点对，k4pcs配准算法使用lcp策略寻找最优全等四点对进行匹配，获取全等四点对的旋转和平移变化参数，并进一步扩展应用到整个源点云中，从而应用k4pcs配准算法实现粗配准。k4pcs配准算法是一种开源算法，其代码容易取得。算法的输出是第一粗配坐标变换矩阵t
m1
。
38.icp配准算法的本质是基于最小二乘法的最优配准方法，精度高，不需要提取特征点，但是使用icp配准算法之前需要对两个点云完成粗配准，否则容易陷入局部最优解。该算法重复的选择对应关系点对，计算最优刚体变换这一过程，直到满足配准的收敛精度要求。该算法的输入是目标点云和源点云，以及停止迭代的标准；算法的输出是实现精配准的旋转和平移矩阵，即第一精配坐标变换矩阵t
m2
。物料点云直接使用门机的回转平台坐标系到门机坐标系的坐标变换矩阵t2进行坐标变换会存在一定的误差，因此，采用上述两步配准过程可以消除改误差。
39.出于提高点云配准的精度以及算法的处理速度考虑，有必要在点云配准前对船体点云与物料点云进一步进行预处理，也就是本步骤中“得到门机坐标系下的预处理后的船体点云p
l1
和处理后的物料点云p
l2”相应的预处理的过程。该预处理的过程，具体是将扫描仪获得的船体点云与物料点云均转换到所在门机的门机坐标系下后，通过所在门机坐标系下的y轴坐标值，利用直通滤波切割去除海岸线以内的所在门机的门机坐标系下的船体点云和物料点云，再通过体素滤波进行下采样处理来稀疏直通滤波切割处理后的船体点云和物料点云，通过聚类算法剔除无关的部分，得到门机坐标系下的预处理后的船体点云p
l1
和处理后的物料点云p
l2
。
40.其中，直通滤波切割，作用是过滤掉在指定维度上取值不在给定值域内的所有点，是指定一个维度及该维度下的阈值，通过遍历点云中的每个点，判断该点在指定维度上的值是否在值域内，删除不在值域内的点，遍历结束后留下符合要求的点，即构成直通滤波切割后的点。
41.体素滤波，是一种下采样的滤波方法，作用是使用体素化方法，减少点云数量，具体是采用体素格的中心点代替体素内的所有点云，这种方法比直接使用中心点要慢，但是精度更高，既可以减少点云数据，同时还保持点云的形状特征，在提高配准、曲面重建或者形状识别等算法的速度提升应用中很有效。
42.聚类算法，目的是搜索出点云中“聚在一起”的点云簇，从而感知对象的位置和轮廓，重用的聚类算法有2d点欧几里得聚类；使用聚类算法的目的是降低后续计算的计算量。上述直通滤波切割、体素滤波以及聚类算法，其使用的算法及代码都是开源的，对于本领域技术人员是容易获得的。
43.s5：将每个门机坐标系下的完整点云及门机位置、速度和回转平台旋转角度信息传输给中控平台，将各门机坐标系下的完整点云进一步变换到同一个世界坐标系下，得到各门机坐标系下的完整点云pm在世界坐标系下的完整点云；
44.此处获取各门机坐标系下的完整点云pm在世界坐标系下的完整点云，是通过ros系统，将每个门机拼接后的完整点云pm及各门机位置、速度以及旋转角度等运行参数发送到控制端，通过各门机的大车的当前位置信息，可以得到各门机的门机坐标系与世界坐标系的变换矩阵t
wm
，利用该变换矩阵将各门机坐标系下的完整点云pm变换为世界坐标系下的完整点云。
45.s6：对各门机坐标系下的完整点云pm在世界坐标系下的完整点云进行预处理后，再进行二次点云配准，以一台门机在世界坐标系下的预处理后的完整点云pw为目标点云，剩余门机在世界坐标系下的预处理后的完整点云pw为源点云，进行拼接合并后，得到完整的整船点云。
46.得到各门机坐标系下的完整点云pm在世界坐标系下的完整点云后，为了进一步融合世界坐标系下的各完整点，并构建整车点云，与步骤s4类似，进一步对各门机坐标系下的完整点云pm在世界坐标系下的完整点云分别进行完整点云的预处理、二次点云配准以及拼接合并过程。
47.其中，预处理过程，是对至少三台不同的门机各门机坐标系下的完整点云pm变换为世界坐标系下的点云后，获取世界坐标系下的y轴坐标值，利用直通滤波切割去除海岸线以内的世界坐标系下的完整点云，再通过体素滤波进行下采样处理来稀疏直通滤波切割处理后的世界坐标系下的完整点云，通过聚类算法剔除无关的部分，得到世界坐标系下的预处理后的完整点云pw。预处理过程的目的，也是为了提升后续二次点云配准的精度，并减少计算量而采用的。
48.以一种实施例为例，采用三台不同的门机的情形，这三台不同的门机在各自门机坐标系下拼接的完整点云分别为完整点云p
m1
、p
m2
和p
m3
；分别将这些门机坐标系下拼接的完整点云转换到世界坐标系下，得到完整点云在世界坐标系下的点云。采用步骤s4类似的预处理方法，对完整点云在世界坐标系下的点云，依次进行直通滤波切割、体素滤波和聚类算法，得到三组世界坐标系下的预处理后的完整点云。
49.然后进一步进行二次点云配准的过程，二次点云配准同样分为粗配准和精配准过程。同样以使用三台门机为例，n＝3，以一台门机在世界坐标系下的预处理后的完整点云p
w1
为目标点云，剩余门机在世界坐标系下的预处理后的完整点云为源点云，进行拼接合并后，得到完整的整船点云，是选取一台门机在世界坐标系下的预处理后的完整点云作为目标点云，将剩余的2台门机在世界坐标系下的预处理后的完整点云分别作为源点云，采用pcl库提供的k4pcs配准算法，分别获取当前世界坐标系下的目标点云和各源点云进行粗配准的第二粗配坐标变换矩阵t3，根据第二粗配坐标变换矩阵对各源点云，即预处理后的完整点云进行粗配校准；然后以粗配校准后的预处理后的完整点云再次作为源点云，仍以在世界坐标系下的预处理后的完整点云作为目标点云，采用pcl库提供的icp配准算法，获取第二精配坐标变换矩阵t4，根据第二精配坐标变换矩阵对粗配校准后的预处理后的完整点云再次进行精配校准，得到精配校准后的预处理后的完整点云p
w2
、p
w3
，将精配校准后的预处理后的完整点云p
w2
、p
w3
与目标点云p
w1
进行拼接合并，得到完整的整船点云。此处的p
w2
＝t3*
t4*t
wm
*p
m2
；p
w3
＝t3*t4*t
wm
*p
m3
。
50.需要说明的是，非目标点云的源点云均需要单独进行粗配准和精配准后，得到一组精配校准后的预处理后的完整点云；如果有两组非目标点云，即三台门机则执行两次以上步骤。当然，门机的数量除了三台以上，还可以超过三台，即n》3，则对于非目标点云所在的门机，共需要执行n-1次以上二次点云配准的过程。完成各二次点云配准后，将得到的n-1组精配校准后的预处理后的完整点云，均与目标点云p
w1
进行拼接合并，才能得到最终的完整的整船点云。需要说明的是，门机在世界坐标系下的预处理后的完整点云分别作为源点云在二次点云配准的过程中，第二粗配坐标变换矩阵t3与第二精配坐标变换矩阵t4，内容是不一样的。
51.以上所述仅为本发明的较佳实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。