一种历史航线数据处理方法及系统与流程

本发明涉及船舶航运，具体涉及一种历史航线数据处理方法及系统。

背景技术：

1、目前航运可视化系统中，会针对历史航线进行热力图形式的绘制及展示以供用户参考分析，分析出哪些航线较为繁忙，通行的做法是根据ais历史数据，综合港口信息等辅助内容进行航线的计算从而在电子海图上绘制。

2、但这种做法存在以下几个问题，ais原始历史数据非常庞大，查询、处理都需要较长的时间，且绘制热力图的方法较为生硬，无法进行复杂条件下的处理，无法兼顾速度及美观，此外往往在绘制的过程中，需要动用高性能机器，有些系统就只绘制低分辨率的航线图，无法做到放大查看精细航线数据。

技术实现思路

1、为了解决现有技术中存在的数据处理时间长及绘制分辨率低等问题，本发明提供了一种历史航线数据处理方法，基于ais历史航行数据和港口数据，通过采用特定的计算方法并结合sas算法对航线轨迹数据还原，以及采用网格划分、标记以及稠密与非稠密网格判断及处理方法对航线轨迹数据进行处理，实现了数据的高效传输，提高了数据的处理速度。本发明还涉及一种历史航线数据处理系统。

2、本发明的技术方案如下：

3、一种历史航线数据处理方法，其特征在于，包括以下步骤：

4、数据采集步骤：采集船舶ais历史航行数据和港口数据；

5、数据清洗步骤：根据采集的港口数据中的起始港和结束港的经纬度数据计算得到两港球面距离，根据两港球面距离计算出港间距，并根据港间距与两港边界系数的乘积得到航线的边界范围，将航线的实际距离在所述边界范围外的航线剔除，然后根据剔除后的ais历史航行数据统计航线平均距离，根据所述航线平均距离设定距离阈值范围，将在距离阈值范围外的航线剔除，进而实现对ais历史航行数据中异常数据的清洗；

6、航线轨迹还原步骤：从清洗后的ais历史航行数据中提取出按时间排序的坐标点信息，剔除无用的坐标点信息，保留关键节点的坐标点信息，对于剩余的ais历史航行数据，利用sas算法进行稀疏，将关键节点的坐标点信息按照时间顺序插入到稀疏结果中，得到还原的多个历史航线轨迹，并构成历史航线轨迹数据集；

7、网格划分及标记步骤：按照第一空间分辨率分别将历史航线轨迹数据集中各个历史航线轨迹的起始轨迹点和目标轨迹点之间的区域划分为互不相交的网格，并分别计算出各个航线轨迹数据中所有轨迹点的相似度，将相似度大于预设阈值的轨迹点划分至同一网格内，根据每个网格含有的轨迹点数量计算出每个网格的密度，将各个网格的密度与预设密度阈值进行比较，将密度大于等于预设最大密度阈值的网格标记为稠密网格，将密度小于预设最小密度阈值的网格剔除；

8、非稠密网格处理步骤：将密度处于最大密度阈值和最小密度阈值之间的网格标记为非稠密网格，并将非稠密网格的第一空间分辨率缩小得到第二空间分辨率，再重复网格划分及标记步骤按照第二空间分辨率分别将各个历史航线轨迹的起始轨迹点和目标轨迹点之间的区域划分为互不相交的网格，并计算出每个网格的密度以及对各个网格进行标记和剔除，直至空间分辨率小于预设分辨率阈值或不存在非稠密网格时，则结束划分；

9、稠密及非稠密网格判断步骤：将空间分辨率小于预设分辨率阈值的非稠密网格和稠密网格均标记为未处理，扫描所有网格，判断某个未处理网格是稠密网格或非稠密网格，若判断该网格是非稠密网格，则将该非稠密网格标记为已处理，并继续判断下一个未处理网格是稠密网格或非稠密网格，直至判断出稠密网格为止；

10、稠密网格处理步骤：若判断该网格是稠密网格，则创建一个与该稠密网格关联的队列，并将该稠密网格放入该队列中等待处理，遍历该稠密网格的所有相邻网格，若该稠密网格的所有相邻网格中存在至少一个稠密网格，则将该队列中的该稠密网格提取出来与其相邻的某个稠密网格进行合并处理以形成一个簇；

11、相邻网格处理步骤：若该稠密网格的所有相邻网格中存在多个稠密网格，则将各个稠密网格分别对应创建一个与其关联的队列，并按照稠密网格处理步骤依次遍历各个稠密网格的所有相邻稠密网格，将各个稠密网格与其相邻的某个稠密网格进行合并处理并形成多个簇，直至合并处理完所有稠密网格为止；若该稠密网格的所有相邻网格中不存在稠密网格，将该稠密网格从该队列中提取出来单独形成一个簇并将该稠密网格标记为已处理；

12、航线轨迹数据处理步骤：按稠密及非稠密网格判断步骤继续判断下一个未处理网格是稠密网格或非稠密网格，直至判断出的所有非稠密网格均标记为已处理，再将判断出的所有稠密网格均继续执行稠密网格处理步骤和相邻网格处理步骤，直至所有稠密网格均与其相邻的稠密网格完成合并处理，以及所有未完成合并处理的稠密网格被标记为已处理后得到多个簇，以完成历史航线轨迹数据的处理。

13、优选地，所述航线轨迹还原步骤中，还将还原后的航线轨迹数据根据hausdorff距离方法，通过多轮迭代对相似度匹配或接近的全量航线历史数据进行验证，保证其准确性。

14、优选地，所述网格划分及标记步骤中，还根据网格的密度对网格的大小进行动态调整，对密度高的网格进行放大，对密度小的网格进行拆分并使用拆分后更小的网格。

15、优选地，所述航线轨迹还原步骤中，所述关键节点包括起始港和目的港。

16、优选地，所述航线轨迹还原步骤中，所述无用的坐标点信息包括靠泊和锚泊。

17、一种历史航线数据处理系统，其特征在于，包括依次连接的数据采集模块、数据清洗模块、航线轨迹还原模块、网格划分及标记模块、非稠密网格处理模块、稠密及非稠密网格判断模块、稠密网格处理模块、相邻网格处理模块和航线轨迹数据处理模块，

18、所述数据采集模块，采集船舶ais历史航行数据和港口数据；

19、所述数据清洗模块，根据采集的港口数据中的起始港和结束港的经纬度数据计算得到两港球面距离，根据两港球面距离计算出港间距，并根据港间距与两港边界系数的乘积得到航线的边界范围，将航线的实际距离在所述边界范围外的航线剔除，然后根据剔除后的ais历史航行数据统计航线平均距离，根据所述航线平均距离设定距离阈值范围，将在距离阈值范围外的航线剔除，进而实现对ais历史航行数据中异常数据的清洗；

20、所述航线轨迹还原模块，从清洗后的ais历史航行数据中提取出按时间排序的坐标点信息，剔除无用的坐标点信息，保留关键节点的坐标点信息，对于剩余的ais历史航行数据，利用sas算法进行稀疏，将关键节点的坐标点信息按照时间顺序插入到稀疏结果中，得到还原的多个历史航线轨迹，并构成历史航线轨迹数据集；

21、所述网格划分及标记模块，按照第一空间分辨率分别将历史航线轨迹数据集中各个历史航线轨迹的起始轨迹点和目标轨迹点之间的区域划分为互不相交的网格，并分别计算出各个航线轨迹数据中所有轨迹点的相似度，将相似度大于预设阈值的轨迹点划分至同一网格内，根据每个网格含有的轨迹点数量计算出每个网格的密度，将各个网格的密度与预设密度阈值进行比较，将密度大于等于预设最大密度阈值的网格标记为稠密网格，将密度小于预设最小密度阈值的网格剔除；

22、所述非稠密网格处理模块，将密度处于最大密度阈值和最小密度阈值之间的网格标记为非稠密网格，并将非稠密网格的第一空间分辨率缩小得到第二空间分辨率，再重复网格划分及标记模块的工作按照第二空间分辨率分别将各个历史航线轨迹的起始轨迹点和目标轨迹点之间的区域划分为互不相交的网格，并计算出每个网格的密度以及对各个网格进行标记和剔除，直至空间分辨率小于预设分辨率阈值或不存在非稠密网格时，则结束划分；

23、所述稠密及非稠密网格判断模块，将空间分辨率小于预设分辨率阈值的非稠密网格和稠密网格均标记为未处理，扫描所有网格，判断某个未处理网格是稠密网格或非稠密网格，若判断该网格是非稠密网格，则将该非稠密网格标记为已处理，并继续判断下一个未处理网格是稠密网格或非稠密网格，直至判断出稠密网格为止；

24、所述稠密网格处理模块，若判断该网格是稠密网格，则创建一个与该稠密网格关联的队列，并将该稠密网格放入该队列中等待处理，遍历该稠密网格的所有相邻网格，若该稠密网格的所有相邻网格中存在至少一个稠密网格，则将该队列中的该稠密网格提取出来与其相邻的某个稠密网格进行合并处理以形成一个簇；

25、所述相邻网格处理模块，若该稠密网格的所有相邻网格中存在多个稠密网格，则将各个稠密网格分别对应创建一个与其关联的队列，并按照稠密网格处理模块的工作依次遍历各个稠密网格的所有相邻稠密网格，将各个稠密网格与其相邻的某个稠密网格进行合并处理并形成多个簇，直至合并处理完所有稠密网格为止；若该稠密网格的所有相邻网格中不存在稠密网格，将该稠密网格从该队列中提取出来单独形成一个簇并将该稠密网格标记为已处理；

26、所述航线轨迹数据处理模块，按稠密及非稠密网格判断模块继续判断下一个未处理网格是稠密网格或非稠密网格，直至判断出的所有非稠密网格均标记为已处理，再将判断出的所有稠密网格依次输入至稠密网格处理模块和相邻网格处理模块进行处理，直至所有稠密网格均与其相邻的稠密网格完成合并处理，以及所有稠密网格处理完成后得到多个簇，以完成历史航线轨迹数据的处理。

27、优选地，在所述航线轨迹还原模块中，还将还原后的航线轨迹数据根据hausdorff距离方法，通过多轮迭代对相似度匹配或接近的全量航线历史数据进行验证，保证其准确性。

28、优选地，所述网格划分及标记模块中，还根据网格的密度对网格的大小进行动态调整，对密度高的网格进行放大，对密度小的网格进行拆分并使用拆分后更小的网格。

29、优选地，所述关键节点包括起始港和目的港。

30、优选地，所述无用的坐标点信息包括靠泊和锚泊。

31、本发明的有益效果为：

32、本发明提供的一种历史航线数据处理方法，首先采集船舶ais历史航行数据和港口数据；并根据采集的港口数据中的起始港和结束港的经纬度数据计算得到两港球面距离，根据两港球面距离计算出港间距，并根据港间距与两港边界系数的乘积得到航线的边界范围，将航线的实际距离在边界范围外的航线剔除，然后根据剔除后的ais历史航行数据统计航线平均距离，根据该平均距离设定距离阈值范围并进行对比，将在距离阈值范围外的航线剔除，进而实现对ais历史航行数据中异常数据的清洗；然后从清洗后的ais历史航行数据中提取出按时间排序的坐标点信息，剔除无用的坐标点信息，保留关键节点的坐标点信息，即从海量ais历史航行记录中摘取坐标信息，对于剩余的ais历史航行数据，利用sas(sparse a*search)算法进行稀疏，将关键节点的坐标点信息按照时间顺序插入到稀疏结果中，得到还原的航线轨迹数据，形成了高精度的历史航线；最后按照空间分辨率分别将历史航线轨迹数据集中各个历史航线轨迹的起始轨迹点和目标轨迹点之间的区域划分为互不相交的网格单元，并分别计算出各个航线轨迹数据中所有轨迹点的相似度，将相似度大于预设阈值的轨迹点划分至同一网格内，使每个空间单元中的信息不依赖整个航线数据，只与网格相关，以便于后续进行数据的独立查询，以及有利于并行处理及增量更新，然后采用网格划分、标记以及特定的稠密与非稠密网格的一系列逻辑判断及处理方法对航线轨迹数据进行处理，完成航线轨迹数据的处理，使计算量大幅减少，有效提高了计算效率。本发明在获得船舶的ais历史数据后，综合船型、海峡节点等实际需求，根据船舶的港口信息、船舶信息、时间信息、穿越节点筛选等，获取准确的航线相关信息，综合进行真实航线的还原，可以针对计算的每条历史航线，根据大量的历史数据论证其准确性，提高海量数据在电子海图上的绘制效率，并采用特定的数据处理方法对航线轨迹数据进行处理，提高了数据的处理速度，实现了数据的高效传输，极大提高了后续航线热力图绘制的分辨率，以及数据的准备时间和数据绘制时间，为全球航线热力图的快速绘制做铺垫。

33、为了用户能有一个良好的使用体验，保证在复杂条件下的航线检索、绘制速度，本发明历史航线数据处理方法可理解为是一种基于网格聚合的多分辨率建立反向索引的处理模式，即把待处理的地理空间数据量化为有限数目的单元，这些单元形成了网格结构，所有的聚合操作均在网格上进行，其特点是收敛速度快且时间独立于数据对象的数目，仅依赖于量化空间中的单元数目。每个网格分辨率自动根据航线的叠加相似度进行调整，并对高频度的相似量化空间进行热度标记、进行缓存从而减少计算量。其优点如下：每个空间单元中的信息不依赖整个航线数据，只与网格相关，所以可以进行独立查询；网格结构有利于并行处理及增量更新；计算量大幅减少，提高了海量数据准确聚合的效率。

34、为进一步提高处理速度，在聚合完成的数据集中，可进一步根据复杂条件的有限集合，对完成的数据集进行反向索引的建立及存储。在处理用户输入的复杂条件时，根据指定的条件，从多维度反向查找对应的数据集得到多个数据集的索引进行并集计算，即可得到满足条件的航线数据集合，因这个集合仍然具有空间数据的特征，与网格聚合方法相近，对其进行符合web展示的空间分辨率处理，处理结果即可进行并行化的绘制工作，从而达到展示速度优化的效果。

35、本发明还涉及一种历史航线数据处理系统，该系统与上述的历史航线数据处理方法相对应，可理解为是一种实现上述历史航线数据处理方法的系统，包括依次连接的数据采集模块、数据清洗模块、航线轨迹还原模块、网格划分及标记模块、非稠密网格处理模块、稠密及非稠密网格判断模块、稠密网格处理模块、相邻网格处理模块和航线轨迹数据处理模块，各模块相互协同工作，极大提高了后续航线热力图绘制的数据准备时间，数据绘制时间，从而在更短时间内，完成数据的处理。