一种运输车辆装载点自动规划方法及系统与流程

本发明属于工程机械技术领域，具体涉及一种运输车辆装载点自动规划方法及系统。

背景技术：

随着人工智能的发展，人工控制机械的场景更多会由机械本身自动控制代替。在土石方工程领域里挖掘机向运输车辆装载物料是一种非常普遍的作业场景，装载过程中装载点的选取通常是由操作手根据经验来判断，装载效果往往依赖于个人习惯、经验、熟练程度等，从智能化的角度分析解决挖掘机选取装载的最优点的问题具有重要意义。合理的装载点能保证运输车辆车厢装载量最大化，载荷分布合理化，还能避免挖掘机装载时的物料抛洒。

现有技术存在以下缺陷：(1)根据操作手的经验预估，完全依赖操作手的个人习惯、经验和熟练程度，无法保证装载的载荷量最大化和载荷重心位置最优化。(2)现有技术中没有进行挖掘机装载点规划，无法实现装载车辆的最大载荷和最优载荷分布，无法避免挖掘机装载过程中的物料抛洒。

技术实现要素：

目的：为了克服现有技术中存在的不足，本发明提供一种运输车辆装载点自动规划方法及系统。

一种运输车辆装载点自动规划方法，其特征在于，包括：

获取挖掘机铲斗、运输车辆车厢的三维点云数据；

基于获取的挖掘机铲斗的三维点云数据，结合预设的铲斗参数，对铲斗物料进行三维体素建模得到铲斗的三维立体图，计算得到铲斗中物料体积信息；

基于获取的运输车辆车厢的三维点云数据，结合预设车厢参数，对运输车辆车厢进行表面凹凸性三维立体建模得到车厢内的三维立体深度直方图，计算得到车厢中物料信息，包括车厢中物料体积信息及车厢中物料载荷分布信息；

根据预设的车厢参数以及车厢内的三维立体深度直方图、车厢中物料信息和铲斗中物料体积信息，规划挖掘机铲斗在运输车辆车厢中的装载点。

进一步的，所述的运输车辆装载点自动规划方法，其特征在于，还包括：

对挖掘机铲斗、运输车辆车厢的三维点云数据进行融合处理，得到融合后的点云数据，对融合后的点云数据进行过滤及去除噪声点、离群点处理，然后对处理后的点云数据进行长方形拟合，分割出挖掘机铲斗、运输车辆车厢的点云信息，得到挖掘机铲斗、运输车辆车厢的点云信息；

对挖掘机铲斗、运输车辆车厢的点云信息进行三维体素网格化，网格化的单位长度与深度直方图的建立时候的单位长度相同。

进一步的，所述的运输车辆装载点自动规划方法，其特征在于，

将挖掘机铲斗、运输车辆车厢的三维点云数据进行三维体素网格化，设置网格的大小与车厢内的三维立体深度直方图的栅格大小相同，根据单位体素网格的体积得到当前挖掘机铲斗物料和运输车辆车厢内所占有的体素网格的数量；

根据每一铲斗物料体积所形成的网格化单位立方体的个数来对应在车厢中体素网格化的立方体数，通过深度直方图寻找合适的卸载点；

采用点云深度直方图的方法来对三维的点云凹凸性进行分析建模，更新车辆车厢的三维立体深度直方图。

进一步的，所述的运输车辆装载点自动规划方法，其特征在于，根据预设车厢参数、车厢内的三维立体深度直方图、车厢中物料信息和铲斗中物料体积信息，规划挖掘机铲斗在运输车辆车厢中的装载点，具体包括：

根据预设的车厢参数、车厢内的三维立体深度直方图、车厢中物料信息，根据设定的运输车辆车厢额定载荷的百分比作为阈值，对车厢中物料载荷与阈值进行比较，选取装载优先原则；

在铲斗的安全卸载范围内，根据铲斗中物料体积信息和选取的装载优先原则，对装载点进行规划。

进一步的，所述的运输车辆装载点自动规划方法，其特征在于，所述装载优先原则包括装满优先原则和重心优先原则，所述装满优先原则是指装载目标为物料平铺整个车厢，保证装载量最大化；所述重心优先原则是指装载目标为使得装载后的物料重心位置为理想重心位置；

根据设定的运输车辆车厢额定载荷的百分比作为阈值划分阶段对装载点进行规划：

第一阶段，车厢中物料载荷不超过所述阈值，装载点选取为装满优先原则；

第二阶段，车厢中物料载荷大于所述阈值，装载点选取为重心优先原则。

进一步的，所述的运输车辆装载点自动规划方法，其特征在于，在铲斗的安全卸载范围内，根据铲斗中物料体积信息和选取的装载优先原则，对装载点进行规划：

在车厢内的三维立体深度直方图的较深较大的凹区域或是重心偏移相对原点的对称区域的三维体素网格中，计算满足铲斗中物料体积的体素网格数量是否大于此时铲斗的体素网格数量，并且仍保持安全的装载范围，从而生成规划的装载点。

进一步的，所述的运输车辆装载点自动规划方法，其特征在于，还包括：获取激光雷达三维点云数据，并获取当前挖掘机的回转角度值，

基于当前挖掘机的回转角度值，判断挖掘机处于挖掘工位还是装载工位，进而判断获取的激光雷达三维点云数据为挖掘机铲斗三维点云数据或为运输车辆车厢三维点云数据。

另一方面，本发明还提供一种运输车辆装载点自动规划系统，包括：

数据获取模块，用于获取挖掘机铲斗、运输车辆车厢的三维点云数据；

计算规划模块，用于基于获取的挖掘机铲斗的三维点云数据，结合预设的铲斗参数，对铲斗物料进行三维体素建模得到铲斗的三维立体图，计算得到铲斗中物料体积信息；

基于获取的运输车辆车厢的三维点云数据，结合预设车厢参数，对运输车辆车厢进行表面凹凸性三维立体建模得到车厢内的三维立体深度直方图，计算得到车厢中物料信息，包括车厢中物料体积信息及车厢中物料载荷分布信息；

根据预设的车厢参数以及车厢内的三维立体深度直方图、车厢中物料信息和铲斗中物料体积信息，规划挖掘机铲斗在运输车辆车厢中的装载点。

进一步的，所述的运输车辆装载点自动规划系统，其特征在于，还包括数据处理模块，用于：

对挖掘机铲斗、运输车辆车厢的三维点云数据进行融合处理，得到融合后的点云数据，对融合后的点云数据进行过滤及去除噪声点、离群点处理，然后对处理后的点云数据进行长方形拟合，分割出挖掘机铲斗、运输车辆车厢的点云信息，得到挖掘机铲斗、运输车辆车厢的点云信息；

对挖掘机铲斗、运输车辆车厢的点云信息进行三维体素网格化，网格化的单位长度与深度直方图的建立时候的单位长度相同。

进一步的，所述的运输车辆装载点自动规划系统，还包括：

参数设定模块，用于设定输入挖掘机铲斗参数和运输车辆车厢参数。

数据采集模块，用于采集激光雷达扫描得到三维点云数据；

判断模块，基于当前挖掘机的回转角度值，判断挖掘机处于挖掘工位还是装载工位，进而判断获取的激光雷达三维点云数据为挖掘机铲斗三维点云数据或为运输车辆车厢三维点云数据；

显示模块，用于显示铲斗中物料体积信息和车厢中物料信息，并将铲斗的三维立体图、车厢内的三维立体深度直方图以及规划的装载点进行显示，以引导操作者装置进行合理装载。

技术方案：为解决上述技术问题，本发明采用的技术方案为：

有益效果：本发明提供的运输车辆装载点自动规划方法及系统，使用一个激光雷达在挖掘机作业的过程中对装载物料的铲斗和运输车辆的车厢进行扫描，对进行装载车辆的装载点规划。具有以下优点：

(1)减少挖掘机装载过程中的物料抛洒，增加挖掘机的装载效率。

(2)在最大化装载量的前提下，实现运输车辆装载物料的理想载荷分布，以提高运输车辆的工作效率和安全性。

(3)可以在挖掘机回转装载的过程中规划出合理的装载点，降低对操作员的经验依赖，减少失误，提高作业效率和质量。

附图说明

图1为实施例的控制系统框图；

图2为实施例激光雷达传感器在挖掘机上的安装示意图；

图3为实施例矿用卡车与挖掘机的位置关系图；

图4为实施例装载点自动规划方法的原理流程图。

具体实施方式

下面结合具体实施例对本发明作更进一步的说明。

本发明公开了一种运输车辆装载点自动规划方法及系统，使用一个激光雷达在挖掘机作业的过程中对装载物料的铲斗和运输车辆的车厢进行扫描，对挖掘机铲斗挖掘的物料和装载车辆车厢的物料的体积和凹凸性进行三维建模，反馈挖掘情况和车厢的装载情况；减少挖掘机装载过程中的物料抛洒，增加挖掘机的装载效率；在最大化装载量的前提下，实现运输车辆装载物料的理想载荷分布，以提高运输车辆的工作效率和安全性；可以在挖掘机回转装载的过程中规划出合理的装载点，降低对操作员的经验依赖，减少失误，提高作业效率和质量。

实施例1

本发明提供一种运输车辆装载点自动规划方法的基本步骤如下：

(1)通过显示器装置输入挖掘机的铲斗参数和运输车辆的车厢参数，并初始化车辆车厢的三维立体深度直方图；

(2)由挖掘机当前的回转角度判断，若此时是挖掘动作，依据挖掘机铲斗的参数和激光雷达扫描得到的点云数据融合预处理，去除噪声点及离群点；

(3)对点云数据进行长方形拟合，分割出挖掘机铲斗内的部分点云信息；

(4)依据处理后的挖掘机铲斗点云数据和铲斗参数，将挖掘机铲斗的点云数据进行三维体素网格化，得到当前铲斗内物料的体素网格数量以标定铲斗内物料的体积；

(5)依据上一循环更新的运输车辆车厢内的三维立体深度直方图，自动判断当前的装载点选取是装满优先原则还是重心优先原则；

(6)在铲斗的安全卸载范围内，根据已知的铲斗的体素网格数量和当前的装载优先原则，在点云的深度直方图的较深较大的凹区域或是重心偏移的区域的三维体素网格中计算可以满足铲斗体积的体素网格数量并且仍保持安全的装载范围，从而生成规划的装载点；

(7)由挖掘机当前的回转角度判断，若此时为装载动作，依据运输车辆的车厢参数和激光雷达扫描得到的点云数据融合预处理，去除噪声点及离群点；

(8)对点云数据进行长方形拟合，分割出运输车辆车厢内的部分点云信息；

(9)采用本发明提出的点云深度直方图的方法来对三维的点云凹凸性进行分析建模，更新车辆车厢的三维立体深度直方图；

(10)进入(2)开始下一循环。

装载点选取的计算中考虑了两种优先原则：装满优先和重心优先。既满足了运输车辆的装载量最大化，又满足了装载重心最优化。

在装载点选取的计算中考虑了铲斗卸载的安全范围限制，保证了在规划的装载点能满足挖掘机物料装载时减少抛洒，提高工作效率。

装载点规划方法根据目前车厢的容量、载荷分布以及挖掘机铲斗的当前挖掘量综合计算，保证每次规划都是当前作业情况的最优化。

构建深度直方图的方法可以对点云的深度信息以及相邻点的深度信息进行形象的表示，可以对物料的表面凹凸性进行有效的分析。解决物料表面的凹性区域的判断问题。

将矿用卡车的车厢进行三维体素网格化，网格化的单位长度与深度直方图的建立时候的单位长度相同。根据每一铲斗物料体积所形成的网格化单位立方体的个数来对应在车厢中体素网格化的立方体数。通过深度直方图寻找合适的卸载点。

挖掘机在挖掘回转过程中最佳装载点的自动规划，降低了对操作手经验和熟练程度的依赖。

实施例2

如图1所示，一种运输车辆装载点自动规划系统，包括：

包括至少一台多线激光雷达、一套回转编码器、一台计算规划模块和一台显示模块；

所述多线激光雷达用于对装有物料的铲斗和车厢进行三维点云扫描，并将扫描得到的原始三维点云数据通过网络通信的方式发送给计算规划模块。

所述回转编码器用于测量当前挖掘机上车的回转角度，并通过can通信方式或其他方式传输给计算规划模块。

所述计算规划模块通过can通信或其他通信方式获取当前挖掘机的回转角度值，判断该处理挖掘机铲斗还是处理运输车辆车厢的点云数据。通过网络通信的方式获取激光雷达扫描得到的三维点云数据，通过一系列算法对原始数据进行过滤，去除噪声点以及离群点，剔除铲斗和车厢以外的背景点，结合预先设置好的铲斗和车厢参数，对铲斗物料进行三维体素建模，对运输车辆车厢进行表面凹凸性三维立体建模，对铲斗在车厢中的位置进行二维平面建模，再依据制定的规划原则，计算出合理的装载点，发送给显示模块和其他控制装置。

所述显示模块通过vga视频传输连接线与计算规划模块连接，用于显示挖掘机铲斗和车厢的物料分布情况，并将计算规划模块处理的三维立体图形、规划的装载点显示给操作者，引导操作者或其他控制装置进行合理装载。

所述激光雷达设计安装位置，结合挖掘机的具体结构尺寸和激光雷达参数，将激光雷达安装挖掘机动臂下方，使得激光雷达的垂直扫描覆盖运输车装载作业区间。

为了获取铲斗和车厢的点云数据，需要将激光雷达安装在一个合理的扫描位置。本发明结合挖掘机、运输车辆的结构尺寸和激光雷达参数，激光雷达安装在挖掘机动臂下方，使得激光雷达的扫描范围能够同时覆盖回转过程中的挖掘机铲斗和运输车辆车厢作业区间。

为了实现挖掘机对运输车辆装载的装载点自动规划，本发明的计算过程如下：

首先，将挖掘机的铲斗体积参数和运输车辆的车厢参数输入计算规划模块，计算规划模块通过can通信或其他通信方式获取当前挖掘机的回转角度值，计算规划模块通过以太网通信方式或其他方式获取激光雷达扫描得到的点云数据。依据规定的回转角度阈值和预设参数判断此时的激光雷达点云数据是挖掘机铲斗点云数据还是运输车辆车厢点云数据。为得到完整的车厢信息采用点云融合的方式，将多次采集的信息进行拼接。在挖掘机装载的回转的过程中对运输车辆的车厢进行激光扫描，在挖掘机挖掘回转的过程中对铲斗进行激光扫描，计算规划模块对点云数据过滤，去除噪声点以及离群点。处理后的点云数据不仅包含挖掘机铲斗和车辆车厢的物料信息，也包含地面等信息。由此，为获得仅含有物料的点云，需要使车厢的物料点云与背景分开，结合输入的挖掘机铲斗参数和运输车辆车厢参数，本发明采用的算法是进行长方形拟合，将长方形拟合之外的点云部分都进行过滤处理。

其次，分析运输车辆车厢范围内和挖掘机铲斗范围内的三维点云的凹凸性。本申请发明了一种点云深度直方图的方法来表征三维点云的凹凸信息。将三维信息投影到二维栅格图上，将点云的深度信息作为权重赋给每一个栅格。生成的栅格图中，权值越大表示深度值越小，权值较大的栅格连在一起则是凸面的表示。为了形象的分析点云的凹凸性，计算栅格权与周围相邻栅格的权值之差，差值的正负代表凹凸的趋势，在区域的边缘栅格处迭代差值正负相同的栅格。最终，形成点云深度直方图，横坐标表示区域面积，纵坐标表示点云深度的差值。

进一步的，将挖掘机铲斗和运输车辆车厢的点云数据三维体素网格化，设置网格的大小与之前点云深度图的栅格大小相同，根据单位体素网格的体积得到当前挖掘机铲斗和运输车辆车厢内所占有的体素网格的数量。

根据生成的深度直方图和运输车辆车厢参数，采用装满优先和重心优先原则，分两个阶段对装载点进行规划：装满优先原则是指装载目标为物料平铺整个车厢，保证装载量最大化。重心优先原则是指装载目标为使得装载后的物料重心位置为理想重心位置(根据车辆性能参数确定，对应同一种型号的运输车辆，为固定值)。一般根据设定的运输车辆车厢额定载荷的百分比划分阶段，第一阶段装载点选取为装满优先原则，第二阶段装载点选取为重心优先原则。

最后，为避免装料的时候物料溢出或者倾洒到运输车辆车厢之外，设置安全装载区域，设置装载点与车沿的相对距离限制。由于挖掘机装载的时候，铲斗的动作会相对挖掘机位置外摆，因此设置距离挖掘机位置远的一侧车沿的距离限制参数较大(一般设置为挖掘机铲斗宽度的0.5倍)，距离挖掘机位置近的一侧车沿的距离限制参数较小(一般设置为挖掘机铲斗宽度的0.2倍)，确保挖掘机在卸料的过程中铲斗处于运输车辆车厢的范围内。

在一些实施例中，如图2所示，本系统具体实施利用矿用卡车作为装载物料的车，但不仅限用于矿用卡车作为运输车辆。在挖掘机作业过程中需要移动到指定点进行铲斗卸料，装载点选取直接影响装料过程时稳定性以及安全性。在装载之前需要对车厢进行有效的数据采集，在激光扫描时需要一个有利的固定位置，本申请研究对象为液压挖掘机，此挖掘机传感器的安装如图2，将激光扫描仪安装在挖掘机的大臂下方，这样在装载的过程中随着机械臂的移动激光扫描仪也可以得到车厢上方扫描的视角。这里选择的多线激光传感器ilris-36d激光雷达，其中as1为110度，对矿用卡车的车厢和挖掘机的铲斗进行扫描。

结合图3，矿用卡车在装料的时候位置是固定的，由于最后得到的是最优的装载位置，所以该系统设置矿车车厢理想载荷分布的重心位置为车厢的原点，如图3所示。本发明针对履带式液压挖掘机以及矿用卡车进行实例化，公开一种挖掘机装载时在运输车辆车厢上方有效选择卸载点的系统。

由于激光雷达的扫描的范围限制，无法一次性的扫描整个车厢区域，需要移动挖掘机的机械臂使得激光雷达可以全面的扫描到车厢不同的区域，然后应用icp算法进行点云的融合。icp算法就是基于最小二乘法的最优匹配方法，通过迭代得到符合目标函数要求的平移参数和旋转参数。对于3d中的两点pi＝(xi,yi,zi)和qi＝(xi,yi,zi)利用旋转矩阵和平移矩阵r和t，求最优解公式如下：

在匹配的过程中，保证控制点的点对配准成功，通过迭代求目标函数的最小值。经过变换，两个点云集得到位姿的匹配使得两者完全的对齐。

将融合后的点云数据进行预处理。激光雷达在扫描的时候会产生不均匀的点云数据以及稀疏的离群点。为去除离散使用statisticaloutlierremoval过滤器，此离群点移除法基于输入数据点到临近点的距离分布的计算。到临近点的平均距离在全局平均距离的范围之外，则视为离群点，并从数据集中移除。

预处理之后的点云数据除了车厢的信息还含有地面背景，车身等信息。由于矿用卡车的车厢是长方形，所以利用几何特点，将车厢分割出来。将三维的点云投影到二维上，拟合出长方形，得到长方形边界的点云信息。在三维点云中，根据得到的长方形边界点云的x和y二维坐标信息，保留长方形边界之内的点云从而分割出车厢的点云信息。

根据矿用卡车车厢的点云信息进行物料三维凹凸性分析，本申请提出了一种点云深度直方图的方法来表征三维物体凹凸性。首先，根据车厢内点云的z值最大以及最小之差为深度差，均分为255等分。因此，0-255代表不同的深度值。将三维信息投影到二维栅格图上，将点云的0-255深度值作为权重赋给每一个栅格。生成的栅格图中，权值越大表示深度值越小，权值较大的栅格连在一起则是凸面的表示。为了形象的分析点云的凹凸性，从k个权值较大或者较小的栅格点开始，计算栅格权值与周围相邻栅格的权值之差(差值的正负代表凹凸的趋势)，将差值相同的栅格划为同一区域。区域边界的栅格再作为起始栅格点进行求权值之差的操作，不断迭代直到差值正负相同的栅格划为同一区域。最终，形成点云深度直方图，横坐标表示区域面积，纵坐标表示点云深度的差值。

实施例3

结合图4，卡车车厢装载点规划的流程详述如下：

(1)通过显示器装置输入挖掘机的铲斗参数和运输车辆的车厢参数，并初始化车辆车厢的三维立体深度直方图；

(2)由挖掘机当前的回转角度判断：在某一装载工艺下：0度-90度为挖掘作业区间，此时只处理挖掘机铲斗点云数据；140度-230度为装载作业区间，此时只处理矿用卡车车厢点云数据。若此时是挖掘动作，依据挖掘机铲斗的参数和激光雷达扫描得到的点云数据融合预处理，去除噪声点及离群点；

(3)对点云数据进行长方形拟合，分割出挖掘机铲斗内的部分点云信息；

(4)将处理后的点云进行三维体素网格化。通过输入的点云数据创建一个三维体素栅格(可把体素栅格想象为微小的空间三维立方体的集合)，设置三维体素化的网格单位长度与深度直方图二维的栅格化单位长度相同。在三维体素网格中，设置含有点云即为1，不含有点云即为0；

(5)依据上一循环更新的运输车辆车厢内的三维立体深度直方图，自动判断当前的装载点选取是装满优先原则还是重心优先原则，这里选择的阈值为提前输入计算规划模块的矿用卡车额定载荷参数的70％；

(6)在铲斗的安全卸载范围内，根据已知的铲斗的体积和当前的装载优先原则，在点云的深度直方图的较深较大的凹区域或是重心偏移相对原点的对称区域的三维体素网格中计算可以满足铲斗体积的体素网格数量是否大于此时铲斗的体素网格数量，并且仍保持安全的装载范围(本实例的安全范围设置为距离车边沿0.3米)，从而生成规划的装载点；

(7)由挖掘机当前的回转角度判断，140度-230度为装载作业区间,若此时为装载动作，依据运输车辆的车厢参数和激光雷达扫描得到的点云数据融合预处理，去除噪声点及离群点；

(8)对点云数据进行长方形拟合，分割出运输车辆车厢内的部分点云信息；

(9)采用本发明提出的点云深度直方图的方法来对三维的点云凹凸性进行分析建模；

(10)进入(2)开始下一循环，即可实现装载点的循环规划。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。