一种船用吊机的吊装控制系统及其控制方法

1.本发明涉及船舶吊装，具体是涉及一种船用吊机的吊装控制系统及其控制方法。


背景技术：

2.船舶吊机广泛应用于海洋科考船、散货船、特种船只等。主要用于遥控无人潜水器(rov)的释放与回收、各类货物的装载卸载。普通吊机采用人工控制的方法，在遇到大风浪天气下，船舶摇晃会导致货物晃动，严重的导致货物撞击船舷侧或者吊机设备，造成经济损失和安全风险。
3.现有的一些智能吊装设备多采用常规pid算法以期望抵消货物的晃动和升沉运动，此算法需要针对不同的海况进行针对性调参，且调参过程复杂需要经验丰富的工程师登船辅助调参，需要消耗大量的人力物力。船舶吊机是十分复杂的机械结构，其有多个驱动器，如多个油缸和卷线装置，要求操作人员熟练操作多个驱动器以实现吊装，这就对操作人员的操作能力提出了较高的要求。


技术实现要素：

4.发明目的：针对以上缺点，本发明提供一种基于强化学习自动调整被吊货物吊装状态的船用吊机的吊装控制系统。
5.本发明还提供一种船用吊机吊装控制系统的控制方法。
6.技术方案：为解决上述问题，本发明采用一种船用吊机的吊装控制系统，包括数据采集模块、计算模块、执行模块，船用吊机包括若干吊装驱动器；所述数据采集模块用于获取被吊货物的实际吊装高度及实际吊装速度；所述计算模块用于计算被吊货物的预期吊装高度及预期吊装速度；并根据被吊货物的实际吊装高度、实际吊装速度、预期吊装高度、预期吊装速度，构建被吊货物的状态方程，得到被吊货物的吊装状态；然后使用ε-greedy算法选择若干吊装驱动器中的一个吊装驱动器执行动作；所述执行模块用于驱动计算模块中选择的吊装驱动器进行动作执行，调整被吊货物的吊装状态。
7.进一步的，所述船用吊机包括前小梁、滑轮、平行臂、座体，所述平行臂一端与座体铰接，平行臂另一端与前小梁一端铰接，前小梁另一端设置滑轮；若干吊装驱动器包括主油压缸、副液压油缸、设置于座体上的绞轮，绞轮上缠绕吊线，且吊线一端与绞轮固定连接，吊线另一端通过滑轮导向，所述主油压缸一端与座体铰接，另一端与平行臂臂身铰接，所述副液压油缸一端与平行臂铰接，另一端与前小梁梁身铰接。
8.进一步的，所述船用吊机还包括力补偿装置，所述力补偿装置包括配重块、中心杆和弹簧，所述中心杆一端连接配重块，中心杆另一端与平行臂臂身铰接，配重块与平行臂分别位于座体两侧，且座体上固定设置限位块，中心杆穿过限位块；所述中心杆上套设弹簧，弹簧位于限位块和配重块之间。
9.进一步的，所述前小梁上设置双目摄像头，所述双目摄像头用于获取被吊货物的位置图像。
10.进一步的，所述平行臂包括上平行臂和下平行臂，上平行臂和下平行臂的延伸方向始终平行，所述上平行臂和下平行臂之间设置过线滑孔，所述吊线穿过过线滑孔。
11.本发明还采用一种船用吊机吊装控制系统的控制方法，包括以下步骤：
12.步骤1：设定吊机工作状态；
13.步骤2：获取被吊货物的实际吊装高度及实际吊装速度；并计算此时被吊货物的预期吊装高度及预期吊装速度；
14.步骤3：根据被吊货物的实际吊装高度、实际吊装速度、预期吊装高度、预期吊装速度，构建被吊货物的状态方程，得到被吊货物的吊装状态；
15.步骤4：使用ε-greedy算法选择若干吊装驱动器中的一个吊装驱动器执行动作；
16.步骤5：根据步骤4中选择的吊装驱动器对被吊货物的吊装状态进行调整，然后重新返回步骤2，直到实现被吊货物的稳定吊装。
17.进一步的，所述步骤3中被吊货物的状态方程为：
18.s＝a(d-ds)+b(v-vs)+c
19.其中，a为吊装高度差增益，b为吊装速度差增益，c为额外增量项，d为被吊货物的实际吊装高度，v为被吊货物的实际吊装速度，ds为被吊货物的预期吊装高度，vs为被吊货物的预期吊装速度。
20.进一步的，所述吊装驱动器的执行动作归属于动作集合a， a＝{cy
p
,cyr,dy
p
,dyr,re
p
,rer}，其中cy
p
表示主油压缸的伸长，cyr表示主油压缸的缩短，dy
p
表示副液压油缸的伸长，dyr表示副液压油缸的缩短， re
p
表示绞轮上吊线的收紧，rer表示绞轮上吊线的放松。
21.进一步的，所述步骤5中吊装驱动器执行动作时，被吊货物进入新的吊装状态s'，ε-greedy算法中得到奖励r，更新该执行动作的价值函数:
22.q(s,a)＝q(s,a)+α(r+γmaxq(s',a)-q(s,a))
23.其中，α为学习速率，γ为折减系数，maxq(s',a)为新的吊装状态s'采取该执行动作时的最大价值。
24.进一步的，所述被吊货物新吊装状态的状态项值小于原吊装状态的状态项值，奖励r为正值奖励，且新吊装状态的状态项值越小，所得奖励r越大；被吊货物新吊装状态的状态项值大于原吊装状态的状态项值，奖励r为负值奖励。
25.有益效果：本发明相对于现有技术，其显著优点是通过强化学习，吊装控制系统具有自学习的功能，在不同海况下，选择价值最大的吊装状态调整执行动作，通过短时间内的迭代学习，获得伺服吊装的能力。将吊机上多个吊装驱动器可执行的动作归纳为动作集合供吊机在学习过程中选择，简化了多个驱动器控制逻辑和方法。
附图说明
26.图1所示为本发明中船用吊机的整体结构示意图；
27.图2所示为本发明中船用吊机的侧视图。
具体实施方式
28.实施例1
29.如图1和图2所示，本实施例中的一种船用吊机的吊装控制系统，包括数据采集模
块、计算模块、执行模块，船用吊机包括底座1、卷线装置2、力补偿装置3、平行梁臂装置4、前小梁装置5，吊装驱动器包括主油压缸6、副液压油缸 7、设置于座体101上的绞轮202。
30.底座1包括座体101、铰接轴102、铰接轴103、限位块104、绞轮固定孔 105和铰接孔106，铰接轴102、铰接轴103、限位块104位于同一竖直平面内，且座体101向上依次设置，绞轮固定孔105和铰接孔106分别位于铰接轴102 两侧。
31.卷线装置2包括吊线201、绞轮202、过线滑孔404和滑轮502，绞轮202 设置于座体101上的绞轮固定孔105处，且绞轮202相对座体101转动，绞轮 202上缠绕吊线，且吊线201一端与绞轮固定连接，吊线201另一端穿过过线滑孔404，通过滑轮502导向连接被吊货物，吊线采用钢缆，转动绞轮202实现吊线的收放。
32.平行梁臂装置4包括上平行臂401、下平行臂402、垂直梁403，垂直梁403 上设置上铰接孔405、下铰接孔406、铰接孔407，上平行臂401一端通过铰接轴103与座体101铰接，另一端通过上铰接孔405与垂直梁403铰接，下平行臂 402一端通过铰接轴102与座体101铰接，另一端通过下铰接孔406与垂直梁403 铰接，上平行臂401和下平行臂402的延伸方向始终平行，上平行臂401和下平行臂402之间设置若干过线滑孔404。主油压缸6一端通过铰接孔106与座体101 铰接，另一端与下平行臂402的臂身铰接，主油压缸6的伸缩带动上平行臂401 和下平行臂402相对座体101上下转动。
33.前小梁装置5包括前小梁501，前小梁501一端通过下铰接孔406与垂直梁 403铰接，另一端设置滑轮502。副液压油缸7一端通过铰接孔407与垂直梁403 铰接，另一端与前小梁501梁身铰接，副液压油缸7的伸缩带动前小梁501相对平行梁臂装置4上下转动。前小梁装置5上设置双目摄像头504，双目摄像头获取被吊货物的位置图像，根据图像计算被吊货物的吊装高度及吊装速度。
34.力补偿装置3包括配重块303、中心杆301和弹簧302，中心杆301一端连接配重块303，中心杆301另一端与平行臂臂身铰接，配重块303与平行臂分别位于座体101两侧，且中心杆301穿过限位块104；弹簧302预压套设于中心杆 301上，弹簧302位于限位块104和配重块303之间。
35.数据采集模块通过双目摄像头504获取的图像，得到被吊货物的实际吊装高度及实际吊装速度；
36.计算模块计算被吊货物的预期吊装高度及预期吊装速度；并根据被吊货物的实际吊装高度、实际吊装速度、预期吊装高度、预期吊装速度，构建被吊货物的状态方程，得到被吊货物的吊装状态；然后使用ε-greedy算法选择若干吊装驱动器中的一个吊装驱动器执行动作；
37.执行模块用于驱动计算模块中选择的吊装驱动器进行动作执行，调整被吊货物的吊装状态，对新的吊装状态再使用ε-greedy算法选择调整，实现货物的稳定吊装。
38.实施例2
39.本实施例中一种船用吊机吊装控制系统的控制方法，船用吊机结构采用实施例1中的结构，在此不再赘述，控制方法包括以下步骤：
40.步骤1：设定船用吊机工作状态，如保持货物相对吊装基准面(如海面或者甲板)稳定或以某一速度稳定上升或下降。吊装时，吊机吊臂伸出船舷侧吊取货物；
41.步骤2：通过前小梁上布置的双目摄像头计算出被吊货物与摄像头之间距离，得到
被吊货物与前小梁的距离d，以及前小梁与吊装基准面(如海面或者甲板)之间距离l，计算得到被吊货物的吊装高度d＝l-d，并计算得到货物垂直移动的速度v＝
△
d/
△
t，其中
△
d为时间点t1、t2的距离之差，
△
t为时间点t1、t2的长度；根据设定的吊机工作状态，计算此时被吊货物的预期吊装高度及预期吊装速度；
42.步骤3：根据被吊货物的实际吊装高度、实际吊装速度、预期吊装高度、预期吊装速度，构建被吊货物的状态方程，得到被吊货物的吊装状态；
43.被吊货物的状态方程为：
44.s＝a(d-ds)+b(v-vs)+c
45.其中，a为吊装高度差增益，b为吊装速度差增益，c为额外增量项，d为被吊货物的实际吊装高度，v为被吊货物的实际吊装速度，ds为被吊货物的预期吊装高度，vs为被吊货物的预期吊装速度。
46.步骤4：根据货物的距离和速度计算初始状态s，使用ε-greedy算法选择一个吊装驱动器的一个执行动作；吊装驱动器的执行动作归属于动作集合a， a＝{cy
p
,cyr,dy
p
,dyr,re
p
,rer}，其中cy
p
表示主油压缸的伸长，cyr表示主油压缸的缩短，dy
p
表示副液压油缸的伸长，dyr表示副液压油缸的缩短， re
p
表示绞轮上吊线的收紧，rer表示绞轮上吊线的放松。
47.步骤5：根据步骤4中选择的吊装驱动器对被吊货物的吊装状态进行调整，吊装驱动器执行动作时，被吊货物进入新的吊装状态s'，ε-greedy算法中得到奖励r，被吊货物新吊装状态的状态项值小于原吊装状态的状态项值，奖励r 为正值奖励，且新吊装状态的状态项值越小，所得奖励r越大；被吊货物新吊装状态的状态项值大于原吊装状态的状态项值，奖励r为负值奖励，更新吊装状态及该执行动作的价值函数:
48.q(s,a)＝q(s,a)+α(r+γmaxq(s',a)-q(s,a))
49.其中，α为学习速率，γ为折减系数，maxq(s',a)为新的吊装状态s'采取该执行动作时的最大价值，然后重新返回步骤2，经过前期一定量次数的训练后，使得吊机控制能够学习到每一种状态下的最大价值的选择，通过循环每次执行价值最大的动作，实现货物稳定在预期吊装高度或者以预期速度吊装的伺服吊装效果。