一种基于开源AIS数据的海上交通网络挖掘方法及系统

本发明属于海上交通模式挖掘领域，具体涉及一种基于开源ais数据的海上交通网络挖掘方法及系统。

背景技术：

1、海洋是地球上最广阔的区域，约占地球表面积的71%。近年来，在经济全球化的背景下，国际贸易运输需求日益增长，海运成为国际贸易最重要的运输方式，占全球贸易的90%。为了提高航行的安全性和效率，各国海事机构不断努力提高海事态势感知（msa,maritime situational awareness）能力，并在海事智能服务方面开展了大量研究、如轨迹预测、异常检测和航线规划。海上交通网络挖掘是了解船舶海上交通行为和模式的关键课题，可以支持各类海事智能服务应用，对海事情报获取意义重大。

2、国际海事组织从本世纪初就开始推广自动识别系统（ais, automaticidentification system）设备，并规定在国际航线上行驶的所有总吨位超过300吨的商船都必须配备ais收发器。这些收发器可以向岸基站或卫星发送船舶的实时位置和移动信息，多年来已经收集了大量的船舶轨迹数据。有一些ais数据服务提供商从世界各地的ais收发器收集并汇总ais数据，并开源发布在互联网上，为海上智能化研究提供了数据支撑。

3、开源ais数据为海上交通网络挖掘提供了充足的数据。然而，从低质量数据中有效提取大面积的海上交通网络具有挑战性。首先，与陆地道路网络不同，船只在海上航行时有相当大的航行自由度，其实际轨迹往往与官方路线不同，因此海上交通网络具有更大的不确定性。其次，ais数据是近乎实时的数据，当关注区域较大时，必须对海量数据进行处理。此外，开源ais数据是多种数据来源汇总得到的，其中数据的噪声、密度和质量各不相同，直接从原始数据中进行规律挖掘可能会导致结果不准确。因此，必须控制ais原始数据的质量。

4、海上交通网络挖掘是对多船轨迹数据的压缩和抽象表征，重点是在无监督的情况下从复杂的ais数据中推导出相关海域的交通路线网络。目前的研究方法可分为三类：基于网格的方法、基于统计的方法和基于矢量的方法。

5、基于网格的方法将关注海域细分为网格空间，将原始轨迹数据离散存储在网格索引中，随后对每个网格中的运动特征进行汇总统计，完成交通模式表征。这种方法可以实现高效的查询操作，方便地图建模或概率统计分析。但该类方法也有一定的局限性。首先，网格大小必须预先确定，这使得该类方法难以表征不同空间尺度的交通模式。其次，虽然基于网格的方法在小尺度上运行良好，但随着关注区域的扩大，网格数量会大幅增加，从而增加计算负担，限制了对全球范围内海上交通的分析。

6、基于统计的方法侧重于使用定量建模工具对特定水域进行统计分析，例如使用自适应核密度估计（kde, kernel density estimation）估计船舶位置和速度分布，以及使用ornstein--uhlenbeck均值回归随机过程对船舶运动进行建模。这些方法有助于确定基本数据分布和阈值，协助完成异常检测和船舶行为预测，并便于估算海上交通容量和密度。虽然这些方法在海上交通研究中得到了广泛应用，但其泛化能力有限。

7、基于矢量的方法将轨迹表征为路径节点之间相互连接的线段，为大面积海域的交通模式提供了结构化的轻量级表示，这类方法有助于构建全球范围的海上交通网络。其中tread（traffic route extraction and anomaly detection）是一种经典的框架，该算法基于船舶静止点和进出点分类，并利用基于密度的增量噪声应用空间聚类（dbscan,density-based spatial clustering of applications with noise）方法对海洋特征区域进行聚类，从而提取特征区域之间的可航行轨迹，生成航线对象。一般来说，基于向量的方法能合理地表示海上交通网络，但现有的大多数方案侧重于航路点挖掘和轨迹分类，将海上交通网络简单描述为节点和连线的集合，缺少对海上特征区域和航线丰富语义信息的详细描述。

8、在现有海上交通网络挖掘方法中，有些方法擅长对局部海域航线进行精细建模，但难以扩展到大面积海域。另一些方法擅长从大面积海域提取矢量描述的交通网络，但缺乏对海上语义信息的详细描述。因此，当前迫切需要一种可行的方法从大面积低质量的ais数据中提取船舶的海上交通规律。

技术实现思路

1、本发明的目的在于克服现有海上交通网络挖掘方法难以扩展到大面积海域，缺乏对海上语义信息的详细描述的缺陷。

2、为了实现上述目的，本发明提出了一种基于开源ais数据的海上交通网络挖掘方法，包括：

3、步骤1：对ais数据进行预处理；

4、步骤2：利用地理信息和运动信息识别并分类停靠轨迹，基于停靠轨迹提取含有停靠功能语义分布的船舶停靠区域；通过筛选船舶转向处轨迹点，对关注区域进行空间划分，运用遗传算法提取船舶转向区域；所述船舶停靠区域和船舶转向区域的合集作为特征区域；

5、步骤3：根据特征区域构建有向图，去除噪声数据，通过核密度估计和三角分割方法生成航路边界和表征航线。

6、作为上述方法的一种改进，所述步骤1包括：

7、采用基于运动学的插值方法来估算缺失的轨迹点：

8、对于一条轨迹中的两个连续的轨迹点和，当它们之间的时间差大于设定时间间隔时，估算两点间丢失的轨迹点的位置和运动信息；表示的时间；表示的时间；估算方法如下：

9、以为原点建立局部坐标系，其中轴正方向为北，轴正方向为东；

10、计算和的球面距离和向量方向，得到在该坐标系下的坐标 ：

11、

12、其中， distance表示和之间的球面距离；course表示和之间的向量方向；

13、将船舶的速度分解到两个坐标轴方向上：

14、

15、其中，表示船舶对地航向；表示船舶的速度；表示分解到 x轴的速度；表示分解到 y轴的速度；

16、使用运动学方程估计和之间缺失的轨迹点的位置和运动信息：

17、

18、其中，表示船舶在 t时间 x轴方向的速度；表示船舶在 t时间 x轴的坐标；表示船舶在点 x轴方向的速度；表示船舶在点 x轴的坐标；表示船舶在 t时间 y轴方向的速度；表示船舶在 t时间 y轴的坐标；表示船舶在点 y轴方向的速度；表示船舶在点 y轴的坐标；、、和表示未知变量；

19、将和的速度和位置信息带入运动学方程中，求解、、和得到两点之间的运动学方程；

20、计算每个插值时刻：

21、

22、其中，表示第 i个插值时刻；

23、将每个插值时刻带入求解的运动学方程中，得到这些时刻下的位置和运动信息的估计值。

24、作为上述方法的一种改进，所述步骤1还包括：在估算缺失的轨迹点之前，对船舶轨迹数据进行清洗：

25、删除间隔时间小于第一设定时间阈值的轨迹；

26、计算轨迹中相邻两点之间的时间差值和直达速度与实际速度之间的速度差值，将结果分别与第一设定阈值和第二设定阈值进行比对，当时间差值大于或速度差值大于时从这两点之间分割轨迹；

27、遍历所有分割得到的轨迹段，并将相邻两点之间的时间差值小于，且直达速度与实际速度之间的速度差值小于的轨迹段进行合并；

28、再次删除间隔时间小于设定时间阈值的轨迹。

29、作为上述方法的一种改进，所述提取船舶停靠区域，包括：

30、将预处理后的ais数据，筛选出停靠点，输入训练好的梯度提升模型，输出船舶停靠类型；所述船舶停靠类型包括泊停和锚停；

31、构建船舶停靠区域。

32、作为上述方法的一种改进，筛选停靠点的过程包括：

33、将速度小于设定速度阈值的轨迹点作为停靠点；

34、排除海水深度大于设定深度阈值的停靠点；

35、排除以停靠点为圆心设定半径的圆形区域与最近陆地相交面积小于设定面积阈值的停靠点；

36、当两个停靠点之间的距离小于设定距离阈值或两个停靠点之间的间隔时间小于第二设定时间阈值时，排除这两个停靠点；

37、排除停靠时间小于第三设定时间阈值的停靠点。

38、作为上述方法的一种改进，所述梯度提升模型的训练过程包括：

39、将筛选的停靠点数据处理成特征向量；所述特征向量包括：距离的均值、距离的标准差、距离的85分位、速度的均值、速度的标准差、速度的85分位、轨迹圆度、海岸线内轨迹点的比例、平均海水深度和船舶类型；

40、使用处理后的特征向量和分类标签训练梯度提升模型，直到其在测试集上满足分类精度要求。

41、作为上述方法的一种改进，所述构建船舶停靠区域，包括：

42、针对每个停靠点组成的停靠轨迹，生成外包凸多边形作为基础停靠点位，递归合并所有相交的停靠点位，构造出若干离散的停靠船位；

43、统计每个停靠船位的停靠船次、停靠总时长、停靠过的船舶数量以及船舶类型数量，去除频次低于设定频次阈值的噪声船位；

44、采用点序搜索算法对停靠船位进行聚类，形成停靠区域；

45、使用克里金插值算法拟合停靠区域内部的停靠类型的地理分布；构建船舶停靠区域。

46、作为上述方法的一种改进，所述提取船舶转向区域，包括：

47、利用累计和算法对船舶出航轨迹进行简化，去除直线行驶部分的轨迹点，只保留转向处的轨迹点；

48、采用四叉树进行空间剖分，将关注区域划分成若干子空间；

49、使用遗传算法提取每个子空间内的主要转向区域，并使用点序搜索聚类方法，融合区域边界处的转向区域提取结果。

50、作为上述方法的一种改进，所述根据特征区域构建有向图，包括：

51、将关注区域划分为等经纬度的网格，并将特征区域对应到网格中；

52、对于每一个轨迹点，先获取其所在网格和8邻域网格内的特征区域，再根据特征区域中心和轨迹点的距离进行二次筛选，得到候选特征区域；

53、采用射线法依次判断轨迹点是否位于候选特征区域之中，得到轨迹点所属的特征区域；

54、构建以特征区域作为节点，连接特征区域的航迹为边的有向图。

55、作为上述方法的一种改进，所述生成航路边界和表征航线，包括：

56、利用核密度估计有向图中轨迹点的概率密度分布；

57、采用局部等面积剖分的方法对每条航路进行网格化处理，将每个轨迹点都分配到网格中，采用高斯核进行计算，确定航路边界；

58、使用德劳内三角化方法，构建航路三角网络；

59、根据三角形的重心坐标的核密度估计值过滤掉航路外的三角形；

60、根据三角形共享边的数量将其分为三类：单邻居三角形、双邻居三角形和三邻居三角形；单邻居三角形位于航道的出入口，三邻居三角形位于航道的交叉口，而双邻居三角形则位于航道上；

61、计算每个三角形的邻居数量和其内部核密度估计最大值的位置，找到距离出发点最近的单邻居三角形作为起点，采用深度优先搜索的方式递归地寻找到连接所有三角形的路径，剪去短于设定长度阈值的岔路分支；

62、采用萨维茨基-戈洛宁滤波算法对保留的路径进行平滑处理，得到表征航线。

63、本技术还提供一种基于开源ais数据的海上交通网络挖掘系统，基于上述方法实现，所述系统包括：

64、数据预处理模块，用于对ais数据进行预处理；

65、获取特征区域模块，用于利用地理信息和运动信息识别并分类停靠轨迹，基于停靠轨迹提取含有停靠功能语义分布的船舶停靠区域；通过筛选船舶转向处轨迹点，对关注区域进行空间划分，运用遗传算法提取船舶转向区域；所述船舶停靠区域和船舶转向区域的合集作为特征区域；和

66、生成航路边界和表征航线模块，用于根据特征区域构建有向图，去除噪声数据，通过核密度估计和三角分割方法生成航路边界和表征航线。

67、与现有技术相比，本发明的优势在于：

68、1、提出了一套完整的可以从低质量ais数据中准确提取大面积海域的交通网络的无监督挖掘框架，该框架包含数据预处理、特征区域提取和海上交通网络生成三个部分，易于应用到海上智能服务的多个领域，具有提取精度高、人工监督成本低、规律语义丰富等优点；

69、2、针对锚停和泊停行为的区别，本方法创新性的利用地理和运动信息完成对船舶锚停轨迹和泊停轨迹的提取，并构建了具有功能分布的海上停靠区域，实现了对海上停靠规律的深入挖掘；

70、3、针对海上数据密度分布不均匀的特点，提出了基于四叉树解剖和遗传算法的海上转向区域挖掘方法，该方法可以在极大加速转向区域挖掘效率的同时，保证挖掘精度不会受到数据密度分布的影响。