吊装路径规划、模型训练方法、装置和起重机与流程

本公开涉及工程机械，特别涉及一种吊装路径规划、模型训练方法、装置和起重机。

背景技术：

1、履带起重机主要由承担起吊、回转等作业的上车部件与承担运动作业的履带行走机构组成，可以进行物料起吊、运输，装卸和安装等作业。

2、目前，针对履带起重机的智能控制，大多数的研究还只是着眼于通过网络信号传输现场作业环境画面，由驾驶员根据远程传输的现场作业环境画面对履带起重机进行操作控制。

3、相关技术中，还可通过示教法预先规划履带起重机臂架的移动轨迹，在使用时按照预先规划的移动轨迹控制臂架运动。

技术实现思路

1、本公开提出了一种吊装路径规划、模型训练方法、装置和起重机。

2、根据本公开的第一方面，提供了一种吊装路径规划方法，包括：获取起重机的吊装作业场景的图像数据和点云数据；基于所述起重机的吊装作业场景的图像数据和点云数据，确定目标物体与障碍物的位置中的至少一种、以及所述起重机的吊装部的位置；根据所述目标物体与障碍物的位置中的至少一种、以及所述起重机的吊装部的位置，利用吊装路径规划模型确定所述起重机的吊装路径，所述吊装路径规划模型为利用深度强化学习算法，对神经网络模型进行训练得到的。

3、在一些实施例中，所述根据目标物体与障碍物的位置中的至少一种、以及所述起重机的吊装部的位置，利用吊装路径规划模型确定所述起重机的吊装路径包括：根据所述起重机的吊装部的位置、目标物体的位置、以及障碍物的位置，构建所述起重机的状态矩阵；利用吊装路径规划模型对所述起重机的状态矩阵进行处理，以从预设的动作空间中确定所述起重机在所述状态矩阵下的最优动作；根据所述起重机在所述状态矩阵下的最优动作，对所述起重机的吊装部的位置进行更新；迭代执行矩阵构建步骤、动作确定步骤、以及位置更新步骤，并记录所述起重机在各个状态矩阵下的最优动作，直至所述起重机的吊装部到达目标物体的位置；根据所述起重机在各个状态矩阵下的最优动作，确定所述起重机的吊装路径。

4、在一些实施例中，所述预设的动作空间包括所述起重机的动臂在竖直平面上的顺时针旋转动作、所述起重机的动臂在竖直平面上的逆时针旋转动作、所述起重机的底盘在水平面上的顺时针旋转动作、以及所述起重机的底盘在水平面上的逆时针旋转动作。

5、在一些实施例中，所述起重机的吊装部到达目标物体的位置为：所述起重机的吊装部与目标物体之间的欧式距离小于预设距离阈值。

6、在一些实施例中，基于所述起重机的吊装作业场景的图像数据和点云数据，确定目标物体与障碍物的位置中的至少一种、以及所述起重机的吊装部的位置包括：对所述起重机的吊装作业场景的图像数据和点云数据进行配准、融合，以得到融合后的特征数据；利用预先训练好的目标检测模型，对所述融合后的特征数据进行检测；在检测出吊装作业场景包含吊装部、目标物体、以及障碍物的情况下，确定起重机的吊装部的位置、目标物体的位置、以及障碍物的位置。

7、在一些实施例中，所述神经网络模型包括预测网络和目标网络，其中，所述预测网络和目标网络都包括三个卷积层、两个全连接层、以及一个输出层。

8、根据本公开的第二方面，提出了一种吊装路径规划模型的训练方法，包括：获取起重机的吊装作业场景的样本图像和样本点云；根据所述起重机的吊装作业场景的样本图像和样本点云，确定目标物体与障碍物的位置中的至少一种、以及起重机的吊装部的位置；根据所述目标物体与障碍物的位置中的至少一种、以及所述起重机的吊装部的位置，利用深度强化学习算法，对神经网络模型进行训练，以得到吊装路径规划模型。

9、在一些实施例中，所述神经网络模型包括预测网络和目标网络，所述根据所述目标物体与障碍物的位置中的至少一种、以及所述起重机的吊装部的位置，利用深度强化学习算法，对神经网络模型进行训练，以得到吊装路径规划模型包括：根据所述起重机的吊装部的位置、目标物体的位置、以及障碍物的位置，构建所述起重机的状态矩阵；利用预测网络对所述起重机的状态矩阵进行处理，以从预设的动作空间中确定所述起重机在所述状态矩阵下的动作；确定所述起重机在所述状态矩阵下的动作的评分值；根据所述起重机在所述状态矩阵下的动作，确定所述起重机的更新后的状态矩阵；迭代执行动作确定、动作评分、状态矩阵更新步骤，并记录起重机的四元组样本信息至数据表中，所述四元组样本信息包括起重机的状态矩阵、起重机在所述状态矩阵下的动作、起重机在所述状态矩阵下的动作的评分值、以及起重机的更新后的状态矩阵；根据从所述数据表中随机取出的多个四元组样本信息，对所述预测网络和目标网络进行迭代训练，直至达到训练截止条件，并将最终训练后的预测网络作为所述吊装路径规划模型。

10、在一些实施例中，所述确定所述起重机在所述状态矩阵下的动作的评分值包括：根据所述起重机在所述状态矩阵下的动作，对所述起重机的吊装部的位置进行更新；根据更新后的所述起重机的位置、以及所述障碍物的位置，判断所述起重机是否碰到障碍物；在所述起重机未碰到障碍物的情况下，根据起重机的吊装部与目标物体之间的欧式距离，确定所述状态矩阵下的动作的评分值，其中，所述状态矩阵下的动作的评分值与所述起重机的吊装部与目标物体之间的欧式距离呈负相关。

11、在一些实施例中，所述确定所述起重机在所述状态矩阵下的动作的评分值还包括：在所述起重机碰到障碍物的情况下，根据预设惩罚值确定所述状态矩阵下的动作的评分值。

12、在一些实施例中，所述预设的动作空间包括所述起重机的动臂在竖直平面上的顺时针旋转动作、所述起重机的动臂在竖直平面上的逆时针旋转动作、所述起重机的底盘在水平面上的顺时针旋转动作、以及所述起重机的底盘在水平面上的逆时针旋转动作。

13、根据本公开的第三方面，提出了一种吊装路径规划装置，包括：获取模块，被配置为获取起重机的吊装作业场景的图像数据和点云数据；确定模块，被配置为基于所述起重机的吊装作业场景的图像数据和点云数据，确定目标物体与障碍物的位置中的至少一种、以及起重机的吊装部的位置；规划模块，被配置为根据所述目标物体与障碍物的位置中的至少一种、以及所述起重机的吊装部的位置，利用吊装路径规划模型确定所述起重机的吊装路径，所述吊装路径规划模型为利用深度强化学习算法，对神经网络模型进行训练得到的。

14、根据本公开的第四方面，提出了一种吊装路径规划模型的训练装置，包括：获取模块，被配置为获取起重机的吊装作业场景的样本图像和样本点云；确定模块，被配置为根据所述起重机的吊装作业场景的样本图像和样本点云，确定目标物体和障碍物的位置中的至少一种、以及起重机的吊装部的位置；训练模块，被配置为根据所述目标物体与障碍物的位置中的至少一种、以及所述起重机的吊装部的位置，利用深度强化学习算法，对神经网络模型进行训练，以得到吊装路径规划模型。

15、根据本公开的第五方面，提出了一种起重机，包括：如上所述的吊装路径规划装置，或者如上所述的吊装路径规划模型的训练装置。

16、根据本公开的第六方面，提供了一种电子设备，包括：存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器的指令，执行如上所述的吊装路径规划方法或如上所述的吊装路径规划模型的训练方法。

17、根据本公开的第七方面，提供了一种计算机可存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现如上所述的吊装路径规划方法或如上所述的吊装路径规划模型的训练方法。