一种塔式起重机多层次环境感知系统和方法与流程

本发明涉及塔式起重机数字化智能控制领域，尤其涉及一种塔式起重机多层次环境感知系统和方法。

背景技术：

1、塔式起重机作为建筑施工行业运输物品的关键设备，在工程建造领域使用广泛，其安全运维对建筑施工行业至关重要。当前塔式起重机主要依赖人工来完成，需要司机与信号工配合作业，其操作方式效率低下。此外，建筑施工环境更新频繁，吊物品种多样且缺少统一标准，运输过程中易与周边环境发生碰撞，给建筑施工造成安全隐患。

2、为保障塔机的运行的安全性与高效性，塔机自主避障及自动驾驶成为当前研究的热点问题。塔机自主避障依赖环境感知模块，利用激光雷达生成建筑环境三维地图是重要的手段之一。但是，由于塔机起升回落变化幅度大，采用单个激光雷达设备受限于其扫描分辨率，在高度存在较大变化的情况下，无法同时有效扫描到吊物及局部施工环境信息，并且由于建筑物等环境遮挡问题，存在扫描盲区，不利于分析计算障碍物到吊物之间的有效避障信息。

3、利用不同传感器组合的方式，对环境进行多维度感知重建，能够提高塔机及周边环境感知能力，并能充分利用多传感器的优势重建出更精细的施工场景三维地图。但是，如何充分利用多传感器的优势，实现多源数据深层次融合感知，也是急需解决的重要任务之一。

技术实现思路

1、本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种塔式起重机多层次环境感知系统和方法。

2、本发明解决其技术问题所采用的技术方案是：

3、本发明提供一种塔式起重机多层次环境感知系统，设置在塔机上，包括：吊物追踪激光雷达、局部环境感知激光雷达、组合导航模块、主控计算机以及无线通信模块；其中：

4、吊物追踪激光雷达，安装在塔臂小车位置，用于扫描吊物三维点云信息；

5、局部环境感知激光雷达，安装在吊钩位置，用于扫描吊物周边环境一定高度范围内的三维点云信息；

6、组合导航模块，分别安装在塔臂小车位置和吊钩位置，一个与吊物追踪激光雷达连接，另一个与局部环境感知激光雷达连接，用于获取激光雷达扫描的三维点云信息对应的gnss位置信息，并与三维点云信息进行融合；

7、无线通信模块，用于实现吊物追踪激光雷达、局部环境感知激光雷达、组合导航模块、塔机以及主控计算机之间的无线连接和数据传输通信；

8、主控计算机，设置于操作仓内，用于根据吊物追踪激光雷达和局部环境感知激光雷达采集到的三维点云信息以及对应的gnss位置信息，对塔机环境及吊物进行多层次感知重建，并计算塔机避障预警信息。

9、进一步地，本发明的吊物追踪激光雷达、局部环境感知激光雷达、组合导航模块构成塔机吊物及施工环境三维感知模块，该模块采用多个激光雷达设备及组合导航模块多层次扫描吊物及施工环境，为塔机自主避障提供三维地图支撑。

10、进一步地，本发明的该系统的主控计算机内设置有以下模块：

11、吊物识别及钢丝绳点云移除模块，用于利用gnss位置信息进行引导与辅助，实现吊物识别及钢丝绳点云移除功能；

12、多源激光点云配准模块，用于利用吊物追踪激光雷达和局部环境感知激光雷达采集到的三维点云信息以及对应的gnss位置信息，结合slam技术实时建图，独立进行语义分割并构建拓扑几何模型，对其进行粗配准，并在此基础上采用icp算法实现不同设备采集的三维点云信息的精配准；

13、点云融合简化及防碰撞预警计算模块，用于采用自适应八叉树体素结构建立多层级细节模型，结合误差权重累加求和的方式对三维点云信息进行融合及简化，实现防碰撞预警计算。

14、本发明提供一种塔式起重机多层次环境感知方法，包括以下步骤：

15、步骤1、通过吊物追踪激光雷达扫描吊物三维点云信息，通过局部环境感知激光雷达扫描吊物周边环境一定高度范围内的三维点云信息，并通过组合导航模块获取三维点云信息对应的gnss位置信息；

16、步骤2、利用gnss位置信息引导，实现吊物识别及钢丝绳点云移除；

17、步骤3、对步骤2处理后的三维点云信息，以及对应的gnss位置信息，结合slam技术实时进行三维地图重建；

18、步骤4、分别对吊物追踪激光雷达和局部环境感知激光雷达获取的三维点云信息进行slam建图优化，分别对优化后的点云进行语义分割并建立或更新其语义拓扑结构，根据语义拓扑结构进行粗配准，并在此基础上采用icp算法实现不同设备采集的点云的精配准；

19、步骤5、将步骤4处理后的点云划分为多层级的体素，体素中的点云由不同激光雷达设备采集的点云依据其误差大小进行加权求和得到；在大尺度的层次点云中去查询最邻近的点，若距离阈值小于所预先设置的阈值，则表示此处可能存在碰撞点的可能，则在更细层次继续执行阈值判断操作，直到最细层次为止，完成碰撞点预警计算。

20、进一步地，本发明的所述步骤2中的方法包括：

21、首先通过集成在两个激光雷达设备上的定位导航装置记录的当前gnss位置信息，来建立吊物待检测椎体缓冲区域，并在吊物待检测椎体缓冲区域中对点云进行聚类来提取吊物信息；然后，再建立圆柱体缓冲区域来提出里面的线状钢丝绳点云；完成吊物的识别及钢丝绳点云的移除。

22、进一步地，本发明的所述吊物的识别及钢丝绳点云的移除的方法具体包括：

23、利用附着在吊物追踪激光雷达及局部环境感知激光雷达的两个组合导航装置记录的gnss位置信息点p1和p2作为辅助信息，将p1和p2两点连成线段并向前延长l1米至p3，l1为距离阈值，即吊物到挂钩距离的估值；并以p1和p3组成的线段为中心轴，且以p1点为端点，生成与该中心轴夹角为α的圆锥曲面；在此曲面内，进行吊物识别跟踪以及钢丝绳点云剔除；对于吊物追踪激光雷达所扫描的当前帧点云，利用组合导航装置记录的gnss位置信息以及组合导航模块的imu记录的旋转矩阵，将点云旋转到全局坐标系下，并取出与在此曲面内的点云数据；对该点云数据进行距离聚类，并依据高程信息划分等间隔网格，依据网格中聚类点云的数量，取具有最大数量的聚类点云视为吊物信息，并计算吊物的包围盒；进一步，以吊物轴对齐包围盒的中心点与p1的连线为中心轴，以距离阈值r为半径生成一个圆柱体，将圆柱体内的点云视为钢丝绳的三维点云，并将其剔除。

24、进一步地，本发明的所述步骤3中的方法包括：

25、步骤31、提取三维点云信息的子关键帧，用于估计相对位姿转换关系；

26、步骤32、局部点云特征提取与匹配，用于子关键帧与全局地图的配准与优化；

27、步骤33、回环检测与全局优化，用于提高三维地图的精度，为后续自主避障功能的提供高精度地图数据支撑。

28、进一步地，本发明的所述步骤4中的方法包括：

29、步骤41、语义拓扑结构建立：

30、在两个激光雷达设备采集一定时间的三维点云信息并利用lio-sam建完地图之后，对优化后的点云进行语义分割，提取地面点云以及建筑物立面及其拓扑信息；设fc1、fc2、fc3为所提取的三个平面信息，其中fc1和fc2为建筑物立面信息，fc3为地面信息；n1、n2、n3分别为这三个平面对应的法向量；l1、l2、l3则是相邻两个平面相交的线段；依据三个平面及其对应的空间关系，构建无向拓扑结构语义图，其中图的节点对应一个平面结构，节点中记录平面的法向量信息；节点之间的连接边表示两个平面之间的空间关系，若平面之间存在相交关系，则连接平面对应的节点，并且连接边记录该两个平面相交的直线方向；对于后续新采集的激光点云数据，当lio-sam算法完成建图优化后，再对新加入的局部多帧点云数据进行语义分割，并将其语义拓扑结构更新到之前的无向图中，在新加入立面顶点的同时，重新计算该立面与相邻立面之间的空间关系，进而判断是否与相邻立面所表示的顶点相连；

31、步骤42、语义拓扑结构匹配：

32、利用激光点云的语义拓扑结构建立无向图，把点云配准问题转换为无向图的匹配问题，当两个点云正确配准时，此时无向图中匹配顶点记录的法向量以及对应边之间记录线段的方向向量之间的夹角保持最小；以无向图中顶点的法向量以及无向图连接边中记录的线段方向夹角作为匹配代价约束，采用无向图匹配算法来实现；当两个无向图匹配完成之后，利用匹配对中的边所记录的线段信息，采用非线性优化算法来估算两个重建地图点云之间的旋转平移矩阵，完成点云的粗配准；最终，利用icp算法进行精配准。

33、进一步地，本发明的所述步骤5中的方法包括：

34、针对精配准好的点云数据，采用体素的方式将其按照空间范围依次分别划分d1、2d1、4d1、8d1等多细节层次单元网格进行点云简化及防碰撞预警计算，其中d1为最小体素的尺度阈值；

35、计算精配准后的场景三维点云的包围盒，利用自适应八叉树结构构建d1m的体素网格；在每个体素单元内，依据不同激光雷达设备采集点云的误差进行点云加权求和，融合后的新点pm作为该体素的唯一三维点，加权融合计算公式如下：

36、

37、

38、其中w(pi+1)为待融合点pi+1的权重值，由该点的误差大小决定，为融合后点的权值，当一个体素中的所有点按照公式进行加权求均值后，再计算所有原始点到融合后的新三维点pm的距离，作为该点的包围球半径；

39、对融合后的体素进行下采样处理，利用当前体素八领域的融合点及权重，结合加权融合计算公式进行加权融合，并求出融合后三维点的新坐标及权值，并计算当前点的包围盒半径；重复执行，直到体素分辨率达到最大体素为止；

40、从最大体素开始计算，通过吊物的包围盒与体素记录的包围球进行求交测试，若有交集，则在对交集内的子体素依次执行包围球交集测试，直到遍历到最小体素，并计算与吊物包围盒的实际距离，并根据距离阈值做出相应预警判断。

41、本发明提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的塔式起重机多层次环境感知方法的步骤。

42、本发明产生的有益效果是：

43、1、本发明通过多个激光雷达组合方式，用以实现塔机吊物及环境的多层次感知与建模，结合激光点云的语义拓扑结构，实现多源激光点云的高精度配准及融合，有益于解决激光雷达因视角遮挡问题导致局部环境数据缺失，提高塔机的环境感知能力以及建模精度，实时计算吊物避障信息，为塔机的自主避障和自动驾驶提供重要支撑。

44、2、由于吊物追踪激光雷达重点扫描吊物及部分局部环境三维点云数据，在塔机作业期间，钢丝绳及吊物会在每帧点云中均出现，需要实时对吊物进行识别并对吊物及钢丝绳的三维点云进行清除，仅保留局部静态环境三维点云用于吊物追踪激光雷达点云数据的slam建图，本发明采用了一种gnss位置引导的吊物识别及钢丝绳点云移除方法，移除精度高。

45、3、在对吊物追踪激光雷达的每帧点云数据完成吊物识别及钢丝绳点云移除后，由于两个激光雷达设备分辨率及视场角存在差异，直接对此设备采集的激光点云进行配准及点云融合面临以下困难：一方面，两个不同型号激光设备采集的激光点云数据重叠度较小，不利于对这两种数据源进行配准平差；另一方面，两个不同信号激光设备采集的点云在尺度以及分辨率上存在差异，通过传统算法所提取特征点亦存在不一致的情况，同样增加了这两种数据源配准平差的难度。本发明提出了一种结合语义拓扑结构的多源激光点云配准方法，能够实现点云精确配准的效果。

46、4、为了便于数据传输及防碰撞计算，需要对冗余的点云数据进行简化处理。由于不同设备采集的点云数据的误差及分辨率均存在差异，在两种点云数据配准的基础上进行点云融合，需要进一步考虑误差的影响。本发明提出一种点云融合简化及防碰撞预警计算方法，能够在简化点云的数据量的同时提高防碰撞预警的计算效率，且能减小点云遍历搜索范围，提高防碰撞预警计算效率。