基于聚类处理和人工势场的船舶路径规划方法和装置

1.本发明涉及船舶自动驾驶技术，尤其是一种基于聚类处理和人工势场的船舶路径规划方法和装置。


背景技术：

2.船舶路径规划技术可以在保障船舶航行安全、有序的前提下，提供一条指向航行目的地的可行性航线，准确、可靠、智能的船舶路径规划方法对船舶辅助航行具有重要意义。传统的船舶路径规划算法往往需要依据航行环境建立与之对应的规划模型，这限制了算法的自适应性，不利于相关算法的实际应用。


技术实现要素：

3.为解决上述技术问题的至少之一，本发明的目的在于：提供一种基于聚类处理和人工势场的船舶路径规划方法和装置。
4.第一方面，本发明实施例提供了：
5.一种基于聚类处理和人工势场的船舶路径规划方法，包括以下步骤：
6.生成水域的通行环境的栅格地图，根据港口位置和历史航线设置起始点和目标点；
7.通过所述水域的ais历史报文，提取船舶坐标、航速和航向角数据；
8.根据所述船舶坐标、所述航速和所述航向角数据进行聚类处理，得到满足预设条件的通行线路的汇聚点；
9.根据所述通行线路的汇聚点，通过人工势场算法构造奖励势场函数，对船舶的航行策略设置奖励
‑
惩罚函数；
10.根据所述奖励
‑
惩罚函数构件强化学习模型，并对所述模型进行训练；
11.利用训练好的所述模型进行船舶的路径规划，得到推荐路径。
12.在部分实施例中，所述生成通行环境的栅格地图，根据港口位置和历史航线设置起始点和目标点，包括：
13.根据需要开展路径规划的水域的电子地图，确定航道范围边界，提取地图中各种碍航物位置信息，通过栅格法建模得到二维环境下的栅格地图，其中，栅格地图的平面直角坐标将用于构成强化学习模型的状态空间。
14.在部分实施例中，所述通过所述水域的ais历史报文，提取船舶坐标、航速和航向角数据，包括：
15.对所述水域原始的ais历史报文集进行预处理，得到所述船舶坐标、所述航速和所述航向角数据；其中，所述预处理包括：剔除漂移数据、提取船舶航迹点经纬度坐标、将经纬度坐标转换成栅格地图坐标、提取航迹点当前的航速和航向角数据、以及对缺失数据进行插值补全。
16.在部分实施例中，所述根据所述船舶坐标、所述航速和所述航向角数据进行聚类
处理，得到满足预设条件的通行线路和汇聚点包括：
17.根据航迹点坐标(x，y)，选取一定的时间间隔t，以直接密度可达半径r
t1
和密度阈值ρ
t1
作为参数，对所有航迹点按照密度值进行聚类处理，得到船舶航迹点分布的密度聚类中心(x，y)＝{(x1，y1)，(x2，y2)，...，(x
m
，y
m
)}；
18.根据船舶速度v，筛选出船速大于阈值v
t
的船舶作为运动船舶，选取同样的时间间隔t，以直接密度可达半径r
t2
和密度阈值ρ
t2
作为参数，对所有运动船舶按照速度值进行聚类处理，得到航速分布的密度聚类中心(x
v
，y
v
)＝{(x
v1
，y
v1
)，(x
v2
，y
v2
)，...，(x
vm
，y
vm
)}；
19.根据船舶航向角的变化率δθ，筛选出船舶航向变化大于阈值θ
t
的船舶作为变向船舶，选取同样的时间间隔t，以直接密度可达半径r
t3
和密度阈值ρ
t3
作为参数，对所有变向船舶按照航向角变化率进行聚类处理，得到船舶航向角变化率分布的密度聚类中心(x
θ
，y
θ
)＝{(x
θ1
，y
θ1
)，(x
θ2
，y
θ2
)，...，(x
θm
，y
θm
)}；
20.以航迹点分布的密度聚类中心(x，y)作为船舶主要通行线路，选取(x
u
，y
u
)＝{(x
u
，y
u
)|(x
u
，y
u
)∈((x，y)∩(x
v
，y
v
))∪((x，y)∩(x
θ
，y
θ
))}作为船舶航行的关键汇聚点。
21.在部分实施例中，所述根据所述通行线路的汇聚点，通过人工势场算法构造奖励势场函数，对船舶的航行策略设置奖励
‑
惩罚函数，具体包括：
22.选取船舶航行的关键汇聚点(x
c
，y
c
)作为人工势场法的势能场中心点，在栅格地图上构造奖励
‑
惩罚函数，确定船舶航行中途的惩罚
‑
激励策略。
23.在部分实施例中，所述根据所述奖励
‑
惩罚函数构件强化学习模型，并对所述模型进行训练，包括：
24.根据栅格地图上的奖励
‑
惩罚函数构建强化学习模型，在模型训练过程中，以船舶对周围环境状态的感知信息作为强化学习的输入状态，以离散化的船舶航行动作作为行为空间，在栅格地图上模拟船舶的各个状态转移信息，进行路径规划，其中，船舶航行的关键汇聚点(x
c
，y
c
)将作为中间关键节点。
25.第二方面，本发明实施例提供了：
26.一种基于聚类处理和人工势场的船舶路径规划装置，包括：
27.地图构建模块，用于生成水域的通行环境的栅格地图，根据港口位置和历史航线设置起始点和目标点；
28.数据预处理模块，用于通过所述水域的ais历史报文，提取船舶坐标、航速和航向角数据；
29.聚类分析模块，用于根据所述船舶坐标、所述航速和所述航向角数据进行聚类处理，得到满足预设条件的通行线路的汇聚点；
30.奖励设置模块，用于根据所述通行线路的汇聚点，通过人工势场算法构造奖励势场函数，对船舶的航行策略设置奖励
‑
惩罚函数；
31.模型训练模块，用于根据所述奖励
‑
惩罚函数构件强化学习模型，并对所述模型进行训练；
32.路径规划应用模块，用于利用训练好的所述模型进行船舶的路径规划，得到推荐路径。
33.在部分实施例中，所述生成通行环境的栅格地图，根据港口位置和历史航线设置起始点和目标点，包括：
34.根据需要开展路径规划的水域的电子地图，确定航道范围边界，提取地图中各种碍航物位置信息，通过栅格法建模得到二维环境下的栅格地图，其中，栅格地图的平面直角坐标将用于构成强化学习模型的状态空间。
35.在部分实施例中，所述通过所述水域的ais历史报文，提取船舶坐标、航速和航向角数据，包括：
36.对所述水域原始的ais历史报文集进行预处理，得到所述船舶坐标、所述航速和所述航向角数据；其中，所述预处理包括：剔除漂移数据、提取船舶航迹点经纬度坐标、将经纬度坐标转换成栅格地图坐标、提取航迹点当前的航速和航向角数据、以及对缺失数据进行插值补全。
37.在部分实施例中，所述根据所述船舶坐标、所述航速和所述航向角数据进行聚类处理，得到满足预设条件的通行线路和汇聚点包括：
38.根据航迹点坐标(x，y)，选取一定的时间间隔t，以直接密度可达半径r
t1
和密度阈值ρ
t1
作为参数，对所有航迹点按照密度值进行聚类处理，得到船舶航迹点分布的密度聚类中心(x，y)＝{(x1，y1)，(x2，y2)，...，(x
m
，y
m
)}；
39.根据船舶速度v，筛选出船速大于阈值v
t
的船舶作为运动船舶，选取同样的时间间隔t，以直接密度可达半径r
t2
和密度阈值ρ
t2
作为参数，对所有运动船舶按照速度值进行聚类处理，得到航速分布的密度聚类中心(x
v
，y
v
)＝{(x
v1
，y
v1
)，(x
v2
，y
v2
)，...，(x
vm
，y
vm
)}；
40.根据船舶航向角的变化率δθ，筛选出船舶航向变化大于阈值θ
t
的船舶作为变向船舶，选取同样的时间间隔t，以直接密度可达半径r
t3
和密度阈值ρ
t3
作为参数，对所有变向船舶按照航向角变化率进行聚类处理，得到船舶航向角变化率分布的密度聚类中心(x
θ
，y
θ
)＝{(x
θ1
，y
θ1
)，(x
θ2
，y
θ2
)，...，(x
θm
，y
θm
)}；
41.以航迹点分布的密度聚类中心(x，y)作为船舶主要通行线路，选取(x
u
，y
u
)＝{(x
u
，y
u
)|(x
u
，y
u
)∈((x，y)∩(x
v
，y
v
))∪((x，y)∩(x
θ
，y
θ
))}作为船舶航行的关键汇聚点。
42.本发明实施例的有益效果是：本发明以ais历史数据为基础，将聚类处理和人工势场方法与强化学习算法相结合，不仅克服了人工势场法所存在的局部极小值等问题，同时也提升了强化学习模型的决策能力，为强化学习方法在水上交通路径规划领域的应用提供了新的思路。
附图说明
43.图1示出了根据本申请实施例的基于聚类处理和人工势场的船舶路径规划方法流程图；
44.图2示出了基于ais历史数据进行聚类处理的流程图；
45.图3示出了基于聚类处理结果构造强化学习奖励势场函数的流程图。
具体实施方式
46.下面结合说明书附图和具体的实施例对本发明进行进一步的说明。
47.本发明引入了数据分析和人工智能技术，以期实现泛化能力更强的船舶路径规划方法。
48.密度聚类处理：聚类处理属于无监督学习方法中的一种，其中的密度聚类处理一
般假定类别可以通过样本分布的密集程度决定，同一类别的样本，在该类别任意样本周围不远处一定有同类别样本存在。将这些紧密相连的样本划分为一类，就可以得到一个聚类类别。通过将所有各组紧密相连的样本划为各个不同的类别，就可以得到最终的所有聚类类别结果。
49.路径规划：路径规划是指在具有障碍物或威胁区域的环境中，按照一定的评价标准，寻找一条从起始状态到目标状态的无碰撞最优路径。路径规划其实是一种满足多种约束条件的优化问题，其优化指标通常有时间最短、路程最优、能耗最低、风险最小等，因此，算法往往具有复杂性、随机性和多约束性等特点。
50.人工势场(artificial potential field，apf)：人工势场法将路径规划问题看成是运动目标在虚拟力场中的受力运动，障碍物或威胁区域对运动目标产生排斥力，目标点对其产生吸引力，运动目标则在合力的作用下，沿着势场的负梯度方向进行路径搜索，从而朝着目标点运动。该方法的优点在于规划路径较为光滑，避免了大角度的转弯造成运动目标出现航行危险；缺点是容易陷入极小值点，同时当目标点周围有较大障碍物时，障碍物斥力可能大于目标引力，导致运动目标不能到达目标点。
51.栅格法(grid method，gm)：栅格法是路径规划中最常用的环境建模方法之一，该方法将环境地图分为很多数量有限、大小相等的小栅格，用不同代码表示某一方格内是否有障碍物，最终搜索出能有效避开障碍物到达目标点的路径。
52.强化学习(reinforcement learning，rl)：强化学习又称再励学习、评价学习或增强学习，是一种新兴的人工智能研究方法，用于描述和解决智能体(agent)在与环境的交互过程中通过学习策略以达成回报最大化或实现特定目标的问题。强化学习可有效解决复杂物理系统的控制和决策问题，智能体每执行一次动作(action)，系统环境都会返回新的系统状态(state)并计算相应的奖励值(reward)，而智能体则根据当前状态，以输出能够最大化奖励期望值的控制动作为目标，在与系统环境交互过程中不断学习并改进动作策略。强化学习方法具有目标奖励稀疏的缺点，针对大范围路径规划任务的学习难度较大。
53.经过对现有路径规划方法的分析，可以发现传统方法大多没有过多关注对历史数据的挖掘和应用。而在水上交通中，船舶自动识别系统(automatic identification system，简称ais系统)能够为我们提供大量的船舶航行历史数据，并从中提取相应的船舶航行特征。这其实可以作为一种先验知识予以考虑，并添加至强化学习任务的奖励值计算过程中，从而提高船舶航行路径规划的精度和泛化性。因此，本发明以ais历史数据为基础，将聚类处理和人工势场方法与强化学习算法相结合，不仅克服了人工势场法所存在的局部极小值等问题，同时也提升了强化学习模型的决策能力，为强化学习方法在水上交通路径规划领域的应用提供了新的思路。
54.参照图1，本实施例公开了一种基于聚类处理和人工势场的船舶路径规划方法，包括以下步骤：
55.s1、生成水域的通行环境的栅格地图，根据港口位置和历史航线设置起始点和目标点。
56.具体地，根据任务水域经纬度来界定电子海图边界，针对该区域的海图开展栅格化，构建栅格地图，根据港口位置和传统航线设置起始点和目标点；
57.s2、通过所述水域的ais历史报文，提取船舶坐标、航速和航向角数据。
58.具体地，通过所述水域的ais(automatic identification system，船舶自动识别系统)历史报文，采集过往船舶的历史航迹数据，进行预处理，提取船舶坐标(经纬度)、航速和航向角数据，构建训练数据集；
59.所述的ais历史数据为原始数据，数据质量不高，存在部分数据缺失问题，因此需要进行预处理操作，包括：剔除漂移数据，根据船舶属性分类提取相应的船舶坐标(经纬度)、航速和航向角数据，统一数据格式，构建训练数据集，针对缺失数据进行插值补全。
60.s3、根据所述船舶坐标、所述航速和所述航向角数据进行聚类处理，得到满足预设条件的通行线路的汇聚点。
61.具体地，对训练数据集中的船舶坐标、航速和航向角数据进行聚类处理，得到船舶主要通行线路的关键汇聚点。
62.如图2，对经过预处理的航迹点坐标、航速和航向角三种数据，采用基于时空分布的密度聚类方法分别进行处理：
63.首先，根据航迹点坐标(x，y)，选取一定的时间间隔t，任取数据集中的一点，假设该数据时间标记为t，以时间t确定该数据集在时间区间[t
‑
t，t+t]内的ais历史数据，以直接密度可达半径r
t1
和密度阈值ρ
t1
作为参数，其中ρ
t1
＝ln(n)，n为进行该密度聚类时点集的数量值，对所有航迹点依次按照密度值进行聚类处理，已聚类的航迹点移出数据集，噪声点加入噪声集合，直至原始数据集为空，可得到船舶航迹点分布的密度聚类中心(x，y)＝{(x1，y1)，(x2，y2)，...，(x
m
，y
m
)}，这就是需要的聚类结果。
[0064]
其次，根据船舶速度v，筛选出船速大于阈值v
t
的船舶作为运动船舶，选取同样的时间间隔t，以直接密度可达半径r
t2
和密度阈值ρ
t2
作为参数，对所有运动船舶按照速度值进行聚类处理，得到航速分布的密度聚类中心(x
v
，y
v
)＝{(x
v1
，y
v1
)，(x
v2
，y
v2
)，...，(x
vm
，y
vm
)}；
[0065]
然后，根据船舶航向角的变化率δθ，筛选出船舶航向变化大于阈值θ
t
的船舶作为变向船舶，选取同样的时间间隔t，以直接密度可达半径r
t3
和密度阈值ρ
t3
作为参数，对所有变向船舶按照航向角变化率进行聚类处理，得到船舶航向角变化率分布的密度聚类中心(x
θ
，y
θ
)＝{(x
θ1
，y
θ1
)，(x
θ2
，y
θ2
)，...，(x
θm
，y
θm
)}。
[0066]
最后，以航迹点分布的密度聚类中心(x，y)作为船舶主要通行线路，选取(x
u
，y
u
)＝{(x
u
，y
u
)|(x
u
，y
u
)∈((x，y)∩(x
v
，y
v
))∪((x，y)∩(x
θ
，y
θ
))}作为船舶航行的关键汇聚点。
[0067]
s4、根据所述通行线路的汇聚点，通过人工势场算法构造奖励势场函数，对船舶的航行策略设置奖励
‑
惩罚函数。
[0068]
具体地，针对强化学习任务的奖励设置要求，根据船舶的主要通行线路和关键汇聚点，通过人工势场算法构造奖励势场函数，在所述水域内针对船舶的航行策略设置相应的奖励
‑
惩罚策略。
[0069]
如图3，在强化学习训练过程中，根据多种情况构造奖励势场函数：
[0070]
首先，在所规划的航行终止点位置设置终点奖励值r
t
，即船舶完成路径规划任务后得到奖励激励，当船舶航行至终止点时，给予奖励值r
t
＝100，作为完成路径规划任务的最终奖赏。
[0071]
其次，在航道边界及其他各种禁航水域设置禁行惩罚值r
f
，以确保船舶不得进入这些水域，若当前状态安全，则不对其设置惩罚奖励信息，若当前环境下具有碰撞风险，则
给出奖励值为r
f
＝
‑
100，且重置实验初始状态，其数学表达式如下：
[0072][0073]
式中，u为当前船舶与障碍物的距离，μ为在航船舶最小安全距离。
[0074]
再次，针对船舶航行方向进行判断，并给出航向奖励值r
d
，假设当前时刻船舶的坐标为(x
t
，y
t
)，船舶航行路径终止点的坐标为(x
g
，y
g
)，其曼哈顿距离为m1＝(x
g
‑
x
t
)2+(y
g
‑
y
t
)2，上一时刻船舶的坐标为(x
t
‑1，y
t
‑1)，其与船舶航行路径终止点(x
g
，y
g
)的曼哈顿距离为m2＝(x
g
‑
x
t
‑1)2+(y
g
‑
y
t
‑1)2，若m1＜m2，说明船舶正在朝向航线终止点航行，此时r
d
＝5，得到一个正的激励值，若m1＞m2，说明船舶远离目标点航行，此时r
d
＝
‑
1，得到一个负的惩罚值，其数学表达式如下：
[0075][0076]
然后，选取所提取的船舶航行的关键汇聚点(x
u
，y
u
)，作为人工势场的中心点构造奖励势场，添加人工势场激励值r
u
，引导船舶更快地向目标点搜索，其数学表达式如下：
[0077][0078]
式中，k表示为奖励尺度系数，ρ
i
为船舶当前位置至势场中心位置的距离，ρ
o
为该势场影响范围的半径，船舶当前位置距离奖励中心位置越近，奖励势能越大，当船舶将要与奖励中心位置重合时，势能将会无限制增大，为了避免这一情况，在距离势场中心距离小于ρ
d
的水域内均设置为固定奖励函数形式
[0079]
最后，根据当前位置受到的奖励r
t
，r
f
，r
d
，r
u
，求得当前的总奖励信息，求得当前的总奖励信息
[0080]
s5、根据所述奖励
‑
惩罚函数构件强化学习模型，并对所述模型进行训练。
[0081]
具体地，在强化学习训练中，需要对状态空间进行离散化处理，假定船舶航向角的合理范围为[
‑
β，β]，将其按角度范围均分为五个方向，依次选取每个方向上最近障碍物到本船的距离作为输入的状态信息，表示为[d1，d2，d3，d4]，为了减少计算量，状态信息d
i
按距离l进行离散化处理，其数学表达式如下：
[0082][0083]
在提取了状态信息d
i
以描述周围障碍物的分布情况后，还需进一步得知船舶与航线终止点的相对位置，在船舶当前位置与航线终止点之间连线，定义其与船舶当前前进方向的夹角为α，将其离散化，数学表达式如下：
[0084][0085]
将α和船舶当前所处位置信息(x，y)也引入到船舶状态信息向量中，可得s＝{x，y，d1，d2，d3，d4，α}，在路径规划任务场景下，船舶可选择离散的可达位置，作为船舶行为空间，以此可以完成状态信息的转移。
[0086]
在进行强化学习训练时，以当前观测到的环境信息作为当前状态s
t
，选择此时的行为a
t
，得到此时的奖励信息r
t
，移动至下一位置得到下一状态s
t+1
，存储这一状态转移过程(s
t
，a
t
，r
t
，s
t+1
)；同时以下一状态s
t+1
作为当前状态，探索下一位置，同样进行数据存储；如此不断反复这一过程直至到达结束状态。
[0087]
在得到一定的训练数据后，进行值函数更新，更新公式如下：
[0088][0089]
完成值函数更新之后，可采用梯度下降法对网络参数进行修正，得到更新后的网络参数θ，更新公式如下：
[0090][0091]
s6、利用训练好的所述模型进行船舶的路径规划，得到推荐路径。
[0092]
具体地，以密度聚类结果信息作为路径规划的中间节点，利用训练后的模型实现船舶的路径规划任务，输出最优路径。
[0093]
在部分实施例中，所述生成通行环境的栅格地图，根据港口位置和历史航线设置起始点和目标点，包括：
[0094]
根据需要开展路径规划的水域的电子地图，确定航道范围边界，提取地图中各种碍航物位置信息，通过栅格法建模得到二维环境下的栅格地图，其中，栅格地图的平面直角坐标将用于构成强化学习模型的状态空间。
[0095]
在部分实施例中，所述通过所述水域的ais历史报文，提取船舶坐标、航速和航向角数据，包括：
[0096]
对所述水域原始的ais历史报文集进行预处理，得到所述船舶坐标、所述航速和所述航向角数据；其中，所述预处理包括：剔除漂移数据、提取船舶航迹点经纬度坐标、将经纬度坐标转换成栅格地图坐标、提取航迹点当前的航速和航向角数据、以及对缺失数据进行插值补全。
[0097]
在部分实施例中，所述根据所述船舶坐标、所述航速和所述航向角数据进行聚类处理，得到满足预设条件的通行线路和汇聚点包括：
[0098]
根据航迹点坐标(x，y)，选取一定的时间间隔t，以直接密度可达半径r
t1
和密度阈值ρ
t1
作为参数，对所有航迹点按照密度值进行聚类处理，得到船舶航迹点分布的密度聚类中心(x，y)＝{(x1，y1)，(x2，y2)，...，(x
m
，y
m
)}。
[0099]
根据船舶速度v，筛选出船速大于阈值v
t
的船舶作为运动船舶，选取同样的时间间隔t，以直接密度可达半径r
t2
和密度阈值ρ
t2
作为参数，对所有运动船舶按照速度值进行聚类处理，得到航速分布的密度聚类中心(x
v
，y
v
)＝{(x
v1
，y
v1
)，(x
v2
，y
v2
)，...，(x
vm
，y
vm
)}。
[0100]
根据船舶航向角的变化率δθ，筛选出船舶航向变化大于阈值θ
t
的船舶作为变向船舶，选取同样的时间间隔t，以直接密度可达半径r
t3
和密度阈值ρ
t3
作为参数，对所有变向船舶按照航向角变化率进行聚类处理，得到船舶航向角变化率分布的密度聚类中心(x
θ
，y
θ
)＝{(x
θ1
，y
θ1
)，(x
θ2
，y
θ2
)，...，(x
θm
，y
θm
)}。
[0101]
以航迹点分布的密度聚类中心(x，y)作为船舶主要通行线路，选取(x
u
，y
u
)＝{(x
u
，y
u
)|(x
u
，y
u
)∈((x，y)∩(x
v
，y
v
))∪((x，y)∩(x
θ
，y
θ
))}作为船舶航行的关键汇聚点。
[0102]
在部分实施例中，所述根据所述通行线路的汇聚点，通过人工势场算法构造奖励势场函数，对船舶的航行策略设置奖励
‑
惩罚函数，具体包括：
[0103]
选取船舶航行的关键汇聚点(x
c
,y
c
)作为人工势场法的势能场中心点，在栅格地图上构造奖励
‑
惩罚函数，确定船舶航行中途的惩罚
‑
激励策略。
[0104]
在部分实施例中，所述根据所述奖励
‑
惩罚函数构件强化学习模型，并对所述模型进行训练，包括：
[0105]
根据栅格地图上的奖励
‑
惩罚函数构建强化学习模型，在模型训练过程中，以船舶对周围环境状态的感知信息作为强化学习的输入状态，以离散化的船舶航行动作作为行为空间，在栅格地图上模拟船舶的各个状态转移信息，进行路径规划，其中，船舶航行的关键汇聚点(x
c
,y
c
)将作为中间关键节点。
[0106]
本实施例公开了一种基于聚类处理和人工势场的船舶路径规划装置，包括：
[0107]
地图构建模块，用于生成水域的通行环境的栅格地图，根据港口位置和历史航线设置起始点和目标点。
[0108]
数据预处理模块，用于通过所述水域的ais历史报文，提取船舶坐标、航速和航向角数据。
[0109]
聚类分析模块，用于根据所述船舶坐标、所述航速和所述航向角数据进行聚类处理，得到满足预设条件的通行线路的汇聚点。
[0110]
奖励设置模块，用于根据所述通行线路的汇聚点，通过人工势场算法构造奖励势场函数，对船舶的航行策略设置奖励
‑
惩罚函数。
[0111]
模型训练模块，用于根据所述奖励
‑
惩罚函数构件强化学习模型，并对所述模型进行训练。
[0112]
路径规划应用模块，用于利用训练好的所述模型进行船舶的路径规划，得到推荐路径。
[0113]
具体地，上述模块的功能如下：
[0114]
地图构建模块，用于根据任务水域经纬度来界定电子海图边界，针对该区域的海图开展栅格化，构建栅格地图，根据港口位置和传统航线设置起始点和目标点；
[0115]
数据预处理模块，用于通过所述水域的ais(automatic identification system，船舶自动识别系统)历史报文，采集过往船舶的历史航迹数据，进行预处理，提取船舶坐标(经纬度)、航速和航向角数据，构建训练数据集。
[0116]
聚类分析模块，用于对训练数据集中的船舶坐标、航速和航向角数据进行聚类处
理，得到船舶主要通行线路的关键汇聚点。
[0117]
奖励设置模块，用于针对强化学习任务的奖励设置要求，根据船舶的主要通行线路和关键聚集点，通过人工势场算法构造奖励势场函数，在所述水域内针对船舶的航行策略设置奖励
‑
惩罚函数。
[0118]
模型训练模块，用于确定强化学习任务的状态、行为空间，根据所述奖励
‑
惩罚函数构建强化学习模型，开展训练，生成强化学习模型的最优控制参数。
[0119]
路径规划应用模块，用于以密度聚类结果信息作为路径规划的中间节点，利用训练后的模型实现船舶的路径规划任务，输出最优路径。
[0120]
在一些实施例中，地图构建模块具体实现以下功能：
[0121]
基于路径规划任务起止点的实际位置，确定规划任务所涉及水域的经纬度信息，在相应的电子海图中提取航道位置信息，开展栅格化处理，构建强化学习的地图环境，对栅格地图进行分析，确定任务水域中的航道边界以及各种禁航水域。
[0122]
在一些实施例中，数据预处理模块具体实现以下功能：
[0123]
采集路径规划任务水域内的ais历史数据，剔除漂移数据，根据船舶属性分类提取相应的船舶坐标(经纬度)、航速和航向角数据，统一数据格式，构建训练数据集，如若出现明显的船位数据缺失则进行插值。
[0124]
在剔除漂移数据过程中，首先根据航道边界范围，依次检测船舶的坐标数据，如若判断船位数据明显远离航线，甚至漂移至陆地上，则将其剔除；随后从所筛选数据中，根据船舶的类型、大小、长宽比、载货量、上下行、航行季节等不同属性，分类提取船舶坐标(经纬度)、时间、航速和航向角等关键信息；最终将所提取数据按照统一的格式，依次存储在数据缓冲区，以备后续直接提取调用。
[0125]
在ais数据插值过程中，首先确定ais数据的最大间隔距离x
l
，对同一船舶连续航迹点之间的实际距离x进行判断，若x＞x
l
，则对其进行插值补全；其次，判断该船舶所处水域的特点，如果是弯道水域则进行三次样条插值，否则就进行均值插值。
[0126]
在一些实施例中，聚类分析模块具体实现以下功能：
[0127]
对经过预处理的航迹点坐标、航速和航向角三种数据，采用基于时空分布的密度聚类方法分别进行处理：首先，根据航迹点坐标(x，y)，选取一定的时间间隔t，以直接密度可达半径r
t1
和密度阈值ρ
t1
作为参数，对所有航迹点按照密度值进行聚类处理，得到船舶航迹点分布的密度聚类中心(x，y)＝{(x1，y1)，(x2，y2)，...，(x
m
，y
m
)}；其次，根据船舶速度v，筛选出船速大于阈值v
t
的船舶作为运动船舶，选取同样的时间间隔t，以直接密度可达半径r
t2
和密度阈值ρ
t2
作为参数，对所有运动船舶按照速度值进行聚类处理，得到航速分布的密度聚类中心(x
v
，y
v
)＝{(x
v1
，y
v1
)，(x
v2
，y
v2
)，...，(x
vm
，y
vm
)}；然后，根据船舶航向角的变化率δθ，筛选出船舶航向变化大于阈值θ
t
的船舶作为变向船舶，选取同样的时间间隔t，以直接密度可达半径r
t3
和密度阈值ρ
t3
作为参数，对所有变向船舶按照航向角变化率进行聚类处理，得到船舶航向角变化率分布的密度聚类中心(x
θ
，y
θ
)＝{(x
θ1
，y
θ1
)，(x
θ2
，y
θ2
)，...，(x
θm
，y
θm
)}；最后，以航迹点分布的密度聚类中心(x，y)作为船舶主要通行线路，选取(x
u
，y
u
)＝{(x
u
，y
u
)|(x
u
，y
u
)∈((x，y)∩(x
v
，y
v
))∪((x，y)∩(x
θ
，y
θ
))}作为船舶航行的关键汇聚点。
[0128]
在一些实施例中，奖励设置模块具体实现以下功能：
[0129]
在强化学习训练过程中，根据多种情况构造奖励势场函数：
[0130]
首先，在所规划的目标位置点设置终点奖励值r
t
，即船舶完成路径规划任务后得到奖励激励。
[0131]
其次，在航道边界及其他各种禁航水域设置禁行惩罚值r
f
，以确保船舶不得进入这些水域。
[0132]
然后，针对船舶航行方向进行判断，并给出方向奖励值r
d
，以便引导船舶向着目标点的方向航行。
[0133]
最后，选取所提取的船舶航行的关键汇聚点(x
u
，y
u
)，作为人工势场的中心点构造奖励势场，添加人工势场激励值r
u
，引导船舶更快地向目标点搜索。
[0134]
在构造奖励势场过程中，采用人工引力势场的方式进行构造，当船舶进入到奖励势场的影响范围之后，该奖励势场给予船舶正向的奖励激励。
[0135]
在一些实施例中，模型训练模块实现以下功能：
[0136]
在船舶路径规划过程中，需要根据船舶的航行特点，确定船舶下一刻可到达的位置信息，对可达位置进行离散化处理，得到船舶的行为空间。
[0137]
在进行强化学习训练时，需要遵循以下迭代处理：以当前观测到的环境信息作为当前状态s
t
，选择此时的行为a
t
，得到此时的奖励信息r
t
，移动至下一位置得到下一状态s
t+1
，存储这一状态转移过程(s
t
，a
t
，r
t
，s
t+1
)；同时以下一状态s
t+1
作为当前状态，探索下一位置，同样进行数据存储；如此不断反复这一过程直至到达结束状态，并在得到一定的训练数据后，进行值函数更新。
[0138]
在一些实施例中，路径规划应用模块实现以下功能：
[0139]
在进行路径规划过程中，首先，需要从路径规划的起点出发，以船舶航行的关键汇聚点作为人工势场中的引力点，诱导船舶沿历史航迹线航线；其次，当到达当前汇聚点后，立即以下一个汇聚点作为中间目标，继续向前进行路径搜索，直至到达目标位置；最终，复现所得路径信息，完成路径规划任务。
[0140]
对于上述方法实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
[0141]
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。