一种边装边卸模式下U型自动化集装箱码头集成调度优化方法

一种边装边卸模式下u型自动化集装箱码头集成调度优化方法
技术领域
1.本发明涉及船舶航运领域，具体涉及一种边装边卸模式下u型自动化集装箱码头集成调度优化方法。


背景技术：

2.近年来，集装箱船舶运载能力的大幅度增强实现了航运业运输效率的整体提升，自动化集装箱码头也得到了飞速的发展。
3.但是现有自动化码头场桥需要长距离的往复行驶、能源消耗高；场外集卡司机倒车进入交互区作业时，容易影响其它车道正常通行。因此一种新型的自动化集装箱码头布局被提出。在这种u型码头的布局下，agv可以进入堆场进行装卸作业，为了避免在堆场中转向而影响其他车道的正常行驶，水平运输设备采用可双向行驶的agv，但是运输路程边长，从而导致冲突和拥堵问题变多；另一方面，场桥采用双悬臂轨道吊，轨道吊在一侧悬臂下实现对agv的自动化作业，在另一侧悬臂下实现对外集卡的作业，agv进入堆场与双悬臂轨道吊直接进行交互，会产生相互等待时间，从而降低码头的装卸效率；此外，有研究表明自动化码头边装边卸的双循环模式比先卸后装的单循环模式效率高。因此，本发明主要研究u型码头边装边卸模式下的集成调度优化，与现有的自动化码头相比，u型码头高效经济，是未来自动化集装箱码头改造的方向。
4.目前，对于自动化码头的研究还存在着以下几个方面的不足：
5.(1)agv水平运输是自动化码头研究的瓶颈，也是必要解决的问题。大多数学者研究agv的无冲突路径规划问题时，并没有与其他设备结合起来进行集成研究，另外，一些学者在研究agv与其他设备的集成调度时，没有考虑agv的冲突情况，将其假设简化，其研究的内容并不符合码头作业的实际情况。
6.(2)在u型码头的布局中，agv会进入到堆场中与轨道吊直接进行交互，与现有的自动化集装箱码头有很大的区别，产生了新的agv冲突以及拥堵问题，现有技术中并没有考虑到这个问题。
7.(3)在u型码头中，场桥采用双悬臂轨道吊进行侧面装卸，与agv直接进行交互，这样就会产生agv等待双悬臂轨道吊的时间，会大大降低码头的装卸效率，而之前的研究对于自动化码头设备间等待时间的考虑较少，且这些研究大多只考虑了agv等待岸桥的时间，并没有考虑agv等待轨道吊的问题。


技术实现要素：

8.本发明的目的在于提供一种边装边卸模式下u型自动化集装箱码头集成调度优化方法，针对背景技术中提到的三个问题进行研究，在u型码头边装边卸作业模式下，对双小车岸桥、agv和双悬臂轨道吊的集成调度以及agv的无冲突路径规划进行研究。考虑agv进入堆场时的冲突和拥堵情况、双小车岸桥中转平台的容量约束、agv等待双悬臂轨道吊的时间
等因素，以最小化所有任务完工时间为目标，建立一种基于混合整数规划的多设备集成调度优化模型。
9.为了达到上述目的，本发明采用的技术方案如下：
10.一种边装边卸模式下u型自动化集装箱码头集成调度优化方法，该方法包括：
11.双小车岸桥装卸过程；
12.agv无冲突路径规划过程；
13.双悬臂轨道吊装卸过程；
14.分别对双小车岸桥装卸过程、agv无冲突路径规划过程和双悬臂轨道吊装卸过程进行建模，最后通过耦合协调模型实现双小车岸桥、agv和双悬臂轨道吊的集成调度。
15.可选地，双小车岸桥装卸过程，具体包括：
16.对于双小车岸桥装卸过程，本申请考虑双小车岸桥中转平台的容量约束情况，当中转平台上的集装箱达到堆放上限后，岸桥的主小车将停止从船舶上卸箱直到中转平台上有空余位置，装船时的情况与之相反；
[0017][0018][0019][0020][0021][0022][0023]
其中，式(1)表示卸船岸桥中转平台上的集装箱数量不能超过其容量；式(2)表示岸桥的岸侧小车需要等待海侧小车将集装箱放到中转平台上才能开始工作；式(3)表示agv在岸桥下的时间要大于岸桥的岸侧小车操作的时间；式(4)表示在装船任务中，agv到达岸桥与岸桥岸侧小车取箱的时刻关系；式(5)表示岸桥岸侧小车从agv上拿箱的时刻与完成装船任务时刻的关系；式(6)表示装船岸桥中转平台上的集装箱数量不能超过其容量。
[0024]
可选地，agv无冲突路径规划过程，具体包括：
[0025]
agv在水平运输环节中的路段包括两个部分，一个是agv进入堆场之前的路段，另一个是agv进入堆场的路段；在agv进入堆场之前的路段，两辆agv同时到达同一个路口而产生的交叉冲突；在agv进入堆场时，由于进入堆场的道路较窄，为了避免拥堵，对道路的车辆密度进行约束；
[0026]
在agv进入堆场之前，式(7)表示每个节点至多仅被访问一次，即agv路径不存在重复路段，避免环路死锁；式(8)表示路径g的长度d
g
为其所有节点的边之和；式(9)表示路径节点的冲突检测；式(10)表示agv行驶时间的冲突检测；
[0027][0028]
[0029][0030][0031]
当检测出agv冲突时，对冲突路径中的agv优先级进行判定；两台agv冲突，优先级低的等待，优先级高的先通过冲突路段，多台agv冲突，依次排队等待优先级高的agv先通行，以到达冲突节点的时间来判断agv的优先级，到达时间早的优先级高，加速通行，到达时间迟的优先级低，减速通行；
[0032][0033][0034][0035]
式(11)表示优先级低的agv从v减速到v1的距离l
s
，同时也是agv从v1加速回到v的距离；式(12)表示优先级高的agv从v加速到v2的距离l'
s
，同时也是agv从v2减速回到v的距离；式(13)表示优先级低的agv从距离冲突节点l
s
减速到v1，以v1匀速行驶到达冲突节点所消耗的时间与优先级高的agv从距离冲突节点l
″
s
时加速到v2，以v2匀速通过冲突节点的时间相同；
[0036][0037][0038][0039]
在agv进入堆场时，式(14)表示agv出堆场的时刻，其中t
out,ik
表示处理岸桥k执行的第i个集装箱的agv出堆场的时刻，t
in,ik
表示处理岸桥k执行的第i个集装箱的agv进堆场的时刻；式(15)表示连续两辆agv进入同一个堆场道路的时间关系；式(16)表示进入同一个堆场通道的第一辆agv与第mm辆agv之间的时间关系，其中mm表示进入堆场通道的车辆密度。
[0040]
可选地，双悬臂轨道吊装卸过程，具体包括：
[0041]
在u型自动化码头布局中，agv需要进入堆场与双悬臂轨道吊进行直接交互；当agv数量多，轨道吊数量少时，会出现agv等待轨道吊的情况，本申请通过控制agv和双悬臂轨道吊的速度，使得agv和双悬臂轨道吊能同时到达指定的贝位，实现agv与双悬臂轨道吊的时空同步，即在同一时间到达同一个装卸作业点，消除了agv和双悬臂轨道吊的相互等待时间；
[0042][0043]
[0044][0045][0046][0047][0048]
式(17)表示双悬臂轨道吊和agv在同一时刻到达同一贝位，消除了双悬臂轨道吊和agv之间的相互等待时间，实现时空同步；式(18)表示agv到指定贝位的时刻进入堆场的时刻之间的关系；式(19)表示双悬臂轨道吊将集装箱放到指定位置与完成任务时刻的关系；式(20)表示任务开始时刻的约束；式(21)表示双悬臂轨道吊开始拿箱的时刻与agv拿到箱子的时刻的关系；式(22)表示agv从堆场出发的时刻与到达岸桥的时刻的关系。
[0049]
可选地，通过耦合协调模型实现双小车岸桥、agv和双悬臂轨道吊的集成调度，具体包括：
[0050]
为了模拟完整的自动化集装箱码头的装卸过程，需要联合上述三个过程，最终使得完成所有任务的时间最短，通过该模型可以得出装船和卸船任务的最佳任务顺序以及agv的任务分配；
[0051][0052][0053][0054][0055][0056][0057][0058][0059][0060]
式(23)为该模型的目标函数，目的是使得完成全部任务的时间最短；式(24)表示同一agv完成一个卸船任务时刻与开始下一个装船任务时刻的关系；式(25)表示同一agv完成一个装船任务的时刻与开始下一个卸船任务的时刻关系；式(26)表示同一辆agv完成一个岸桥卸船任务后只能完成一个岸桥的装船任务；式(27)表示同一辆agv完成一个岸桥的装船任务后只能完成一个岸桥的卸船任务；式(28)表示每一个装卸任务只能由一辆agv去执行；式(29)表示每辆agv一次只能执行一个任务；式(30)表示每个集装箱最多只能堆存在
一个箱区中；式(31)表示双悬臂轨道吊每次只能装卸一个集装箱；
[0061]
可选地，当第一个任务为卸船任务，最后一个任务为装船任务时，具体的过程为：
[0062]
将第一个任务的开始时间和agv到达时间输入到双小车岸桥装卸过程中，随后经过计算将agv离开岸桥的时间r
ik
作为agv无冲突路径规划的输入，经过计算将agv到达指定贝位的时间h
ik
作为双悬臂轨道吊装卸过程的输入，经过计算将agv前往下一个装船任务的时间θ
ik
输入到耦合过程和agv无冲突路径规划中，再经过计算将agv到达装箱指定贝位的时间输入到双悬臂轨道吊装卸过程中，经过计算将agv离开堆场的时间θ
jl
输入到agv无冲突路径规划中，经过计算将agv到达岸桥下的时间p
jl
输入到双小车岸桥装卸过程中，经过计算将agv去卸船点的时间r
jl
输入到agv无冲突路径规划和耦合过程中，经过计算将agv到达岸桥下执行下一个卸船任务的时间点p
(i+1)k
输入到双小车岸桥装卸过程中，重复执行上述操作，直到所有任务均完成之后输出最终的任务完成时间。
[0063]
与现有技术相比，本发明至少具有以下优点之一：
[0064]
(1)本发明在u型自动化码头布局下研究双小车岸桥、agv和双悬臂轨道吊集成调度的问题。
[0065]
(2)本发明在u型自动化集装箱码头布局上通过控制agv和双悬臂轨道吊的速度消除交互时的等待时间，实现agv与双悬臂轨道吊的时空同步，即两种设备在同一时间到达同一装卸作业点，以往并没有在这种码头布局下研究，本发明的研究将促进该u型自动化集装箱码头的发展。
[0066]
(3)本发明考虑了边装边卸复杂作业模式，将无冲突的agv路径规划与自动化码头集成调度结合起来。
附图说明
[0067]
图1是本发明一实施例中u型自动化集装箱码头布局；
[0068]
图2是本发明一实施例中u型自动化集装箱集成调度模型耦合关系图；
[0069]
图3是本发明一实施例中u型自动化集装箱码头路径网络图；
[0070]
图4是本发明一实施例中基于强化学习的遗传超启发式算法流程图；
[0071]
图5是本发明一实施例中染色体编码示意图；
[0072]
图6是本发明一实施例中agv无冲突路径规划算法流程图；
[0073]
图7是本发明一实施例中rl
‑
gha算法在240个集装箱任务，不同agv数量的实验结果图；
[0074]
图8是本发明一实施例中30次运行下rl
‑
gha的性能框图。
具体实施方式
[0075]
以下结合附图1～8和具体实施方式对本发明作进一步详细说明。根据下面说明，本发明的优点和特征将更清楚。需要说明的是，附图采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施方式的目的。为了使本发明的目的、特征和优点能够更加明显易懂，请参阅附图。须知，本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大
小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容能涵盖的范围内。
[0076]
需要说明的是，在本申请中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、边装边卸模式下u型自动化集装箱码头集成调度优化方法、物品或者现场设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、边装边卸模式下u型自动化集装箱码头集成调度优化方法、物品或者现场设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、边装边卸模式下u型自动化集装箱码头集成调度优化方法、物品或者现场设备中还存在另外的相同要素。
[0077]
在自动化码头的作业中，需要多种设备协调作业才能完成整个码头的运作，其中水平运输是码头物流作业系统中的重要环节，衔接前沿岸桥和后方双悬臂轨道吊的工作。本实施例主要研究边装边卸模式下u型自动化码头的集成调度，目的是减少船舶在港口的总装卸时间。当船舶达到港口时，双小车岸桥的前小车先从船舶上取下集装箱，放至中转平台，随后双小车岸桥后小车将集装箱放至agv上，agv将集装箱运送至堆场指定的卸箱贝位后，双悬臂轨道吊将箱子放至指定的堆存点，然后agv前往装船任务的指定贝位，到达后双悬臂轨道吊将集装箱放至agv上，agv将集装箱运输至指定岸桥下，岸桥将集装箱放至船舶上，之后agv再前往下一个卸船岸桥下，如此循环，直到完成所有任务。通过上面的描述分析可以知道影响码头装卸效率的主要原因有：双小车岸桥装卸效率、agv水平运输的效率、agv等待双悬臂轨道吊的时间。本实施例综合考虑上述三个因素，构建集成调度模型。
[0078]
请参阅图2所示，本实施例提供的一种边装边卸模式下u型自动化集装箱码头集成调度优化方法，该方法包括：
[0079]
分别对双小车岸桥装卸过程、agv无冲突路径规划过程和双悬臂轨道吊装卸过程进行建模，最后通过耦合协调模型实现双小车岸桥、agv和双悬臂轨道吊的集成调度。
[0080]
本实施例中，双小车岸桥装卸过程，具体包括：
[0081]
对于双小车岸桥装卸过程，本申请考虑双小车岸桥中转平台的容量约束情况，当中转平台上的集装箱达到堆放上限后，岸桥的主小车将停止从船舶上卸箱直到中转平台上有空余位置，装船时的情况与之相反；
[0082][0083][0084][0085][0086][0087][0088]
其中，式(1)表示卸船岸桥中转平台上的集装箱数量不能超过其容量；式(2)表示
岸桥的岸侧小车需要等待海侧小车将集装箱放到中转平台上才能开始工作；式(3)表示agv在岸桥下的时间要大于岸桥的岸侧小车操作的时间；式(4)表示在装船任务中，agv到达岸桥与岸桥岸侧小车取箱的时刻关系；式(5)表示岸桥岸侧小车从agv上拿箱的时刻与完成装船任务时刻的关系；式(6)表示装船岸桥中转平台上的集装箱数量不能超过其容量。
[0089]
本实施例中，agv无冲突路径规划过程，具体包括：
[0090]
自动化集装箱码头中agv的导航定位是依据埋在agv运输场地中的磁钉，场中的每个磁钉的位置都是确定的；但是在实际的自动化集装箱码头的agv作业现场的磁钉铺设数量很大，且密集度高；如图3所示，在本申请的研究中为简化模型，选取关键磁钉点，磁钉所在的位置就是文中路径节点所在的位置；
[0091]
图3中一共有85个节点以模拟磁钉点。对双小车岸桥进行编号，岸桥的编号分别为qc1、qc2、qc3、qc4，b1、b2、b3、b4分别为agv进入堆场的节点，而84、94为agv离开堆场区的节点。图2中线段为有向线段，外围线段为逆时针方向，中间的相邻纵向线段方向相反。建立以上u型自动化集装箱码头路径网络图，agv按着路径规划上的节点就可以完成运输任务；
[0092]
agv在水平运输环节中的路段包括两个部分，一个是agv进入堆场之前的路段，另一个是agv进入堆场的路段；在agv进入堆场之前的路段，本申请考虑的冲突情况主要为两辆agv同时到达同一个路口而产生的交叉冲突；在agv进入堆场时，由于进入堆场的道路较窄，为了避免拥堵，对道路的车辆密度进行约束；
[0093]
在agv进入堆场之前，式(7)表示每个节点至多仅被访问一次，即agv路径不存在重复路段，避免环路死锁；式(8)表示路径g的长度d
g
为其所有节点的边之和；式(9)表示路径节点的冲突检测；式(10)表示agv行驶时间的冲突检测；
[0094][0095][0096][0097][0098]
当检测出agv冲突时，对冲突路径中的agv优先级进行判定；两台agv冲突，优先级低的等待，优先级高的先通过冲突路段，多台agv冲突，依次排队等待优先级高的agv先通行，以到达冲突节点的时间来判断agv的优先级，到达时间早的优先级高，加速通行，到达时间迟的优先级低，减速通行；
[0099][0100][0101][0102]
式(11)表示优先级低的agv从v减速到v1的距离l
s
，同时也是agv从v1加速回到v的距离；式(12)表示优先级高的agv从v加速到v2的距离l'
s
，同时也是agv从v2减速回到v的距
离；式(13)表示优先级低的agv从距离冲突节点l
s
减速到v1，以v1匀速行驶到达冲突节点所消耗的时间与优先级高的agv从距离冲突节点l
″
s
时加速到v2，以v2匀速通过冲突节点的时间相同；
[0103][0104][0105][0106]
在agv进入堆场时，式(14)表示agv出堆场的时刻，其中t
out,ik
表示处理岸桥k执行的第i个集装箱的agv出堆场的时刻，t
in,ik
表示处理岸桥k执行的第i个集装箱的agv进堆场的时刻；式(15)表示连续两辆agv进入同一个堆场道路的时间关系；式(16)表示进入同一个堆场通道的第一辆agv与第mm辆agv之间的时间关系，其中mm表示进入堆场通道的车辆密度。
[0107]
本实施例中，双悬臂轨道吊装卸过程，具体包括：
[0108]
在u型自动化码头布局中，agv需要进入堆场与双悬臂轨道吊进行直接交互(即agv直接行驶到指定贝位，随后双悬臂轨道吊将集装箱放到指定的堆存点)；当agv数量多，轨道吊数量少时，会出现agv等待轨道吊的情况，本申请通过控制agv和双悬臂轨道吊的速度，使得agv和双悬臂轨道吊能同时到达指定的贝位，实现agv与双悬臂轨道吊的时空同步，即在同一时间到达同一个装卸作业点，消除了agv和双悬臂轨道吊的相互等待时间；
[0109][0110][0111][0112][0113][0114][0115]
式(17)表示双悬臂轨道吊和agv在同一时刻到达同一贝位，消除了双悬臂轨道吊和agv之间的相互等待时间，实现时空同步；式(18)表示agv到指定贝位的时刻进入堆场的时刻之间的关系；式(19)表示双悬臂轨道吊将集装箱放到指定位置与完成任务时刻的关系；式(20)表示任务开始时刻的约束；式(21)表示双悬臂轨道吊开始拿箱的时刻与agv拿到箱子的时刻的关系；式(22)表示agv从堆场出发的时刻与到达岸桥的时刻的关系。
[0116]
本实施例中，分别对双小车岸桥装卸过程、agv无冲突路径规划过程和双悬臂轨道吊装卸过程进行建模，最后通过耦合协调模型实现双小车岸桥、agv和双悬臂轨道吊的集成调度，具体包括：
[0117]
为了模拟完整的自动化集装箱码头的装卸过程，需要联合上述三个过程，最终使得完成所有任务的时间最短，通过该模型可以得出装船和卸船任务的最佳任务顺序以及agv的任务分配；
[0118][0119][0120][0121][0122][0123][0124][0125][0126][0127]
式(23)为该模型的目标函数，目的是使得完成全部任务的时间最短；式(24)表示同一agv完成一个卸船任务时刻与开始下一个装船任务时刻的关系；式(25)表示同一agv完成一个装船任务的时刻与开始下一个卸船任务的时刻关系；式(26)表示同一辆agv完成一个岸桥卸船任务后只能完成一个岸桥的装船任务；式(27)表示同一辆agv完成一个岸桥的装船任务后只能完成一个岸桥的卸船任务；式(28)表示每一个装卸任务只能由一辆agv去执行；式(29)表示每辆agv一次只能执行一个任务；式(30)表示每个集装箱最多只能堆存在一个箱区中；式(31)表示双悬臂轨道吊每次只能装卸一个集装箱；
[0128]
本实施例中，当第一个任务为卸船任务，最后一个任务为装船任务时，具体的过程为：
[0129]
将第一个任务的开始时间和agv到达时间输入到双小车岸桥装卸过程中，随后经过计算将agv离开岸桥的时间r
ik
作为agv无冲突路径规划的输入，经过计算将agv到达指定贝位的时间h
ik
作为双悬臂轨道吊装卸过程的输入，经过计算将agv前往下一个装船任务的时间θ
ik
输入到耦合过程和agv无冲突路径规划中，再经过计算将agv到达装箱指定贝位的时间输入到双悬臂轨道吊装卸过程中，经过计算将agv离开堆场的时间θ
jl
输入到agv无冲突路径规划中，经过计算将agv到达岸桥下的时间p
jl
输入到双小车岸桥装卸过程中，经过计算将agv去卸船点的时间r
jl
输入到agv无冲突路径规划和耦合过程中，经过计算将agv到达岸桥下执行下一个卸船任务的时间点p
(i+1)k
输入到双小车岸桥装卸过程中，重复执行上述操作，直到所有任务均完成之后输出最终的任务完成时间。
[0130]
自动化码头的集成调度是一个np难问题，对于几百或几千个集装箱任务时，很难在有限时间内得到精确的解，因此本申请提出了一种基于强化学习的遗传超启发式算法，
用于在有限的时间内求解大规模问题。q学习(q
‑
learning)算法是一种与模型无关的强化学习算法，以马尔科夫决策过程(markov decision processes,mdps)为理论基础。
[0131]
本申请通过将q学习的奖惩机制与超启发式的思想相结合，以遗传算法为框架，设计了4种不同交叉和变异操作的组合，通过评价不同组合操作的表现来决定下一步组合操作的选择，实现了基于强化学习的遗传超启发式算法，算法流程图如图4所示。
[0132]
本申请考虑边装边卸模式下的自动化码头的装卸过程，因为所建立的模型需要区分岸桥、轨道吊和agv的任务，所以采用任务分配的形式进行染色体编码。为了简化模型，本申请假设岸桥和箱区已经配，当确定岸桥的装卸任务时，就已经确定了箱区的装卸任务。为了减少agv空驶的距离，本申请在模型假设中设定agv在完成一个卸船任务后，会进行下一个装船任务，当完成一个装船任务后会进行下一个卸船任务。染色体编码示意图如图5所示，灰度最高的表示agv编号，灰度中最低的表示装船任务，灰度位于二者之间的表示卸船任务。假设有2台岸桥，每台岸桥有3个装船任务和3个卸船任务；2个箱区，每个箱区有2台双悬臂轨道吊，1台负责装船任务，另1台负责卸船任务；3辆agv进行水平运输工作。1
‑
3表示岸桥1的任务，4
‑
6表示岸桥2的任务，agv的编号为1
‑
3。以agv1为例，具体装卸过程为：agv1先到岸桥1进行卸船任务，再到堆场1执行装船任务，再到岸桥2执行卸船任务，最后到堆场1执行装船任务。
[0133]
针对u型自动化码头的冲突和拥堵问题，由于码头的agv路网以磁钉布局，首先基于图3得出agv在各岸桥
‑
箱区间的行驶路径。其次，检测agv在行驶路径中的重叠路段及与其他路径的重叠次数。然后，当检测出agv申请下一行驶路段失败，则说明agv之间发生冲突，或可能发生冲突。最后，通过控制agv行驶速度，规避agv在行驶中可能发生的冲突碰撞，具体过程如图6所示。
[0134]
状态、动作和奖励是强化学习的三个基本要素，通过执行状态和动作的组合获得奖励并帮助算法趋向选择回报最大的动作。把执行低层启发式算法看成是动作action，把执行低层启发式算法之后的改进与否看成是状态state。如果执行动作之后的全局最优解得到改进，则给予r＝10的奖励，否则r
‑2→
r。
[0135]
由低层启发式操作组成的新算法用于搜索解空间,它的好坏决定了搜索能力和解的质量。本申请的低层启发式操作直接采用不同交叉变异组合方式的遗传算法，并且预留了操作空间，可以随时根据问题添加新的算法模块，遗传算法的选择操作采用最常见的“轮盘赌”方法，由于agv与具体任务没有进行匹配，因此我们只需对染色体的第一层进行交叉变异操作即可，变异概率采用自适应变异概率，由式(32)表示,其中α表示学习率，iter表示迭代次数，maxiters表示最大迭代次数。具体操作如表1和表2所示，每次选择1种交叉操作和1种变异操作组合成新的遗传算法，一共组成4种低层启发式算法。
[0136][0137]
表1可选择的交叉操作
[0138]
交叉操作描述单点交叉在染色体上随机选择一个交叉点进行交叉多点交叉在染色体上随机选择多个交叉点进行交叉
[0139]
表2可选择的变异操作
[0140][0141]
本申请的算法有两个部分需要用到终止条件，一个是遗传算法的终止条件，另一个是q学习的终止条件。对于遗传算法的终止条件，我们采用两种方式：(1)允许的最大进化代数。(2)当某一代染色体的适应度值的标准差低于一个较小值。对于q学习的终止条件为允许的最大学习次数。
[0142]
这一节对本申请所建立的模型以及提出的算法进行了实例验证，所有的实验都是在window10操作系统，intel(r)core(tm)i7
‑
8750h cpu@2.20ghz，16gb内存的电脑matlab(r2018b)版本上运行的。对于每种情况求解10次，以平均值作为最终的结果。
[0143]
模型参数设置：
[0144]
(1)集装箱任务数从40到2000个不等，agv的数量从10到50辆不等，4台岸桥，8台双悬臂轨道吊。
[0145]
(2)岸桥的前小车从船舶上取箱或者将中转平台上的箱子放到船舶上的时间服从(20，30)的均匀分布，岸桥的后小车将集装箱放到agv或从agv上取箱的时间均为20s，双悬臂轨道吊将箱子从agv拿到指定堆存点或者从指定堆存点放到agv上的时间服从(30，50)的均匀分布。集装箱在堆场的贝位服从(1，20)的均匀分布。
[0146]
(3)码头的水平运输区域长300m，宽120m，堆场一个贝位的长度为15m。中转平台的容量约束为3个。agv进入堆场的通道的车辆密度约束为总agv数量的20％，最少为3辆，最多为6辆。agv的长度为13m，两辆agv之间的安全距离为5m，匀速行驶速度为5m/s，agv的加速度和减速度都为0.5m/s2。
[0147]
算法参数设置：
[0148]
(1)遗传算法的交叉率为pc＝0.5，自适应变异概率中的学习率α＝18，种群规模为20，最大迭代次数为200。
[0149]
(2)强化学习的折扣因子γ＝0.8，学习率其中iter为迭代次数，maxiter为最大迭代数。
[0150]
实验结果：
[0151]
表3不同算法的目标函数值比较
[0152][0153]
[0154][0155]
为了验证模型和算法的有效性，本申请分别采用双层遗传算法(bga)、自适应遗传算法(aga)、混合遗传布谷鸟算法(gacs)、基于强化学习的遗传超启发式算法(rl
‑
gha)进行30组对比实验，从表中的实验结果可以看出：
[0156]
(1)提出的基于强化学习的遗传超启发式算法在求解过程中，能够稳定地获得大规模集装箱计算问题地近似最优解。例如在表3中地算例25和30，在集装箱任务为1200，agv数量为30时，其目标值为4805s，当集装箱任务为2000，agv数量为50时，其目标值为4918s，基本符合现阶段自动化码头作业系统调度的时间要求。
[0157]
(2)当集装箱任务增多时，码头的总装卸时间也随之增加；同等任务数时，agv的数量增加会使得总装卸时间减少，如图7所示，因此在一定程度上增加agv的数量可以显著提高装卸任务的效率，尤其是在大规模集装箱任务时。不同的集装箱任务数以及agv数量对码头总装卸时间有着显著的影响。
[0158]
为了测试所提出的rl
‑
gha的稳定性并分析随机效应的可能性，rl
‑
gha在2000个集装箱，50个agv，4个qc和8个双悬臂轨道吊的情况下运行30次，其中每次具有完全相同的参数设置。图8显示出了结果的框图。框图能够显示每一代中目标值的范围。每个框表示一代中的目标值。中心标记是中值(50百分位)，框的底部和顶部位于第25和第75百分位(分别为下四分位数和上四分位数)。每代中的框的端部是除极值之外的最大值和最小值。从图中可以看出，在30次运行下rl
‑
gha在前几代中目标值的变化范围较大，随着进化代数的叠加，rl
‑
gha朝着每代中的近似最优解靠拢，在45代左右时每代的50次运行基本都可以找到模型的近似最优解。
[0159]
模型参数：
[0160]
(1)集合
[0161]
u表示进口集装箱任务集合；l表示出口集装箱任务集合；v表示agv的集合；b表示箱区集合；q表示岸桥集合；n表示装卸集装箱任务集合，即n＝u∪l；g表示agv路径集合；n'
g
表示agv水平运输区域路径中路径g所有节点的集合；n”表示agv进入堆场的路径节点的集合；表示路径g1和路径g2中冲突节点的集合；表示agv在路径g1和路径g2中到达每一个冲突节点时间的集合；w
g(i',j')
表示表示路径g上第i'个节点到第j'个节点的距离；tc
g
表示路径g中agv到达冲突节点的时间集合；a表示agv集合；o
s
:o
s
＝q∪s，s表示一个虚拟的开始任务岸桥；o
f
:o
f
＝q∪f，f表示一个虚拟的结束岸桥；o:o＝o
s
∪o
f
。
[0162]
(2)参数
[0163]
t1表示岸侧小车将集装箱卸到agv上需要的时间，也表示将agv上的集装箱卸到中转平台上的时间；m表示岸桥中转平台的容量；g
ik
表示轨道吊将编号为k的岸桥的第i个集装箱卸到指定堆存点的时间，也表示将堆存点的集装箱装到agv上的时间；e
ik
表示海侧小车将编号为k的岸桥的第i个集装箱任务卸到中转平台上所需时间，也表示将中转平台上的集装箱装到船上的时间；φ
ik
表示由岸桥k处理的任务i在堆场位置；l
d
表示堆场一个贝位的长
度；t
i'j'
表示agv从节点i'行驶至节点j'所需的时间；d
i'j'
表示节点i'和节点j'之间的距离矩阵；c
gr
表示路径g中第r个冲突节点的编号；n
gr
表示路径g中冲突节点c
gr
在所有节点集合n'
g
中的位置；v表示agv的行驶速度；v'：表示轨道吊的行驶速度；m表示一个较大的整数；l1表示agv的长度；l
s
表示同一路径中agv的安全距离。
[0164]
(3)决策变量
[0165]
非0
‑
1变量
[0166]
u
ik
表示开始执行编号为k的岸桥的第i个集装箱任务的时刻；r
ik
表示编号为k的岸桥的岸侧小车从agv取走第i个集装箱或者将第i个集装箱放到agv上的时刻；p
ik
表示处理岸桥k的第i个集装箱的agv到达岸桥下的时刻；h
ik
表示agv将编号为k的岸桥的第i个集装箱运到指定贝位或到达装箱任务指定贝位的时刻；θ
ik
表示轨道吊开始将编号为k的岸桥的第i个集装箱从agv卸下的时刻，也表示将集装箱放到agv上的时刻；y
ik
表示轨道吊到达岸桥k的第i个集装箱任务装卸的指定贝位的时间；f
ik
表示表示完成编号为k的岸桥的第i个集装箱任务的时刻。
[0167]0‑
1变量
[0168]
x
ikjl
表示如果同一辆agv完成编号为k的岸桥的第i个任务后再去完成编号为l的岸桥的第j个任务则为1，否则为0。β
ikc
表示如果编号为k的岸桥的第i个任务由编号为c的agv去执行，那么β
ikc
＝1，否则β
ikc
＝0。z
i'j'
表示节点i',j'连通的堆场道路的车辆密度是否大于3，如果节点i',j'连通的辅助路少于3辆agv，那么z
i'j'
＝1。其中i',j'∈n”。a
i'j'
表示agv访问节点i'后访问节点j'则为1，否则为0。
[0169]
尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。