一种AIS数据处理方法

一种ais数据处理方法
技术领域
1.本发明涉及一种数据处理方法，尤其是涉及一种ais数据处理方法。


背景技术：

2.随着船舶普遍装备自动识别系统(automatic identification system,ais)的出现，海上交通及相关研究领域进入了“大数据”时代。ais数据包含多种信息，具有多源、海量、快速增长等特征，对其进行挖掘具有广泛的应用价值。ais数据挖掘在水上交通管理、航路规划、安全监督、航运经济等方面有广泛的应用，而高质量的ais数据是这些应用的核心基础。但是，由于环境干扰、设备因素、使用不当、信号传输等原因，ais数据中不可避免地存在数据噪声，即存在异常数据，使得很多原始ais数据无法反映真实的船舶动态规律。为了保证ais数据的应用价值与挖掘质量，需要对ais数据进行处理，将其内异常数据修复或者剔除。
3.目前，针对ais异常数据的ais数据处理方法相对较少，大致分为两类：基于单船单轨迹的ais数据处理方法和基于统计模型的ais数据处理方法。其中，基于单船单轨迹的ais数据处理方法依据船舶的ais数据，如船舶自身位置、速度与航向等，判断异常数据并进行修复，该处理方法比较简单，不需要历史数据，但依赖于判别模型，无法在高速采样ais数据信息的小区域内应用，普适性较弱；基于统计模型的ais数据处理方法主要采用给定的ais数据集，建立船舶正常行为的统计模型，再应用统计模型对目标实例进行判断，如根据分类统计、历史轨迹统计、网格数据特征统计等处理异常数据，该处理方法具有较强的普适性，但在使用时仍需进行数据的物理完整性、空间逻辑完整性和时间精度识别等，处理过程比较复杂。


技术实现要素：

4.本发明所要解决的技术问题是提供一种处理过程简单，且普适性强的ais数据处理方法。
5.本发明解决上述技术问题所采用的技术方案为：一种ais数据处理方法，包括以下步骤：
6.1)从交通运输部航海保障中心数据库获取以asii格式存储的原始ais数据集，运用ais decoder软件对原始ais数据集进行解码得到由多条ais数据构成的解码ais数据集，每条ais数据结构包含：发送时间(time stamp)、船名(ship name)、海上移动服务标识(maritime mobile service identity，mmsi)、经度(longitude)、纬度(latitude)、航速(speed)、航向(course)、船艏向(heading)、转向速率(turn of rotation)、船舶状态(status)、船舶尺度、吃水以及目的港；
7.2)设定船速门槛阈值v
limitsp
和经纬度门槛阈值，经纬度门槛阈值包括经度最小值longitude_west、经度最大值longitude_east、纬度最小值latitude_south和纬度最大值latitude_north，其中，船速门槛阈值v
limitsp
等于15kn，经度最小值longitude_west为研究
水域西边界经度，经度最大值longitude_east为研究水域东边界经度，纬度最小值latitude_south为研究水域南边界纬度，纬度最大值latitude_north为研究水域北边界纬度；
8.3)采用船速门槛阈值v
limitsp
和经纬度门槛阈值对解码ais数据集进行数据筛选，具体为：将航速大于15kn的ais数据、经度不在研究水域区域的ais数据和纬度不在研究水域区域的ais数据从解码ais数据集中剔除，得到筛选解码ais数据集；
9.4)统计筛选解码ais数据集中海上移动服务标识(maritime mobile service identity,mmsi)的个数，即研究水域区域内船舶的数量，将其记为m，对筛选解码ais数据集中所有的ais数据以mmsi为基准进行主排序，以发送时间为基准进行升序排序，得到由m组排序ais数据组成的排序解码ais数据集，m组排序ais数据对应为m条船舶的ais数据记录，与m个mmsi一一对应；
10.5)将第k个mmsi对应的第k组排序ais数据中ais数据记录的条数记为n
k
，k＝1，2，
…
，m，将第k组排序ais数据中第j
k
条ais数据记录和第j
k
+1条ais数据记录之间的距离间隔记为j
k
＝1，2，
…
，n
k
‑
1，表示第k个mmsi对应的船位点更新距离间隔，采用式(1)计算
[0011][0012]
式(1)中，为第k组排序ais数据中第j
k
+1条ais数据记录的经度值，为第k组排序ais数据中第j
k
条ais数据记录的经度值，为第k组排序ais数据中第j
k
+1条ais数据记录的纬度值，为第k组排序ais数据中第j
k
条ais数据记录的纬度值；
[0013]
6)采用式(2)和式(3)计算排序解码ais数据集中所有相邻两条ais数据记录的距离间隔的均值μ和标准差σ：
[0014][0015][0016]
7)将排序解码ais数据集中每组排序ais数据中所有距离间隔大于μ+3σ的前后两条ais数据均标记为异常数据；
[0017]
8)将标记为异常数据的每条ais数据均从排序解码ais数据集中剔除，得到处理后的ais数据集，ais数据处理完成，该处理后的ais数据集可更好地用于绘制船舶轨迹。
[0018]
与现有技术相比，本发明的优点在于通过设定船速门槛阈值v
limitsp
和经纬度门槛阈值对解码ais数据集进行数据筛选，得到筛选解码ais数据集，然后统计筛选解码ais数据集中海上移动服务标识的个数，对筛选解码ais数据集中所有的ais数据以mmsi为基准进行主排序，以发送时间为基准进行升序排序，得到由m组排序ais数据组成的排序解码ais数据集，然后基于排序解码ais数据集，根据数据更新距离(即每组排序ais数据中相邻两条ais
数据之间的距离间隔)的均值μ和标准差σ确定关键性阈值指标μ+3σ，将每组排序ais数据中所有距离间隔大于μ+3σ的前后两条ais数据均标记为异常数据，将标记为异常数据的每条ais数据均从排序解码ais数据集中剔除，得到处理后的ais数据集，该处理后的ais数据集可更好地用于绘制船舶轨迹，本发明的方法没有剔除船速为0的ais数据记录，因此处理后的ais数据集还可用于分析船舶停泊及锚泊规律，根据数据更新距离的均值及标准差确定关键性阈值指标，可同时消除水上移动通信业务标识码(maritime mobile service identify，mmsi)误共用、ais信息更新时间不完整问题与ais位置信息异常所导致的距离更新异常问题，数据处理过程简单，计算效率高，普适性、可移植性强，可直接应用于样本地区之外的任何大小的其他水域的ais数据的预处理。
附图说明
[0019]
图1为本发明的ais数据处理方法中船位点更新距离间隔频次统计及其曲线拟合图；
[0020]
图2为研究水域内未经处理的原始ais数据集显示的船舶轨迹图；
[0021]
图3为采用本发明的ais数据处理方法处理后得到的ais数据集显示的船舶轨迹分布图。
具体实施方式
[0022]
以下结合附图实施例对本发明作进一步详细描述。
[0023]
实施例：一种ais数据处理方法，包括以下步骤：
[0024]
1)从交通运输部航海保障中心数据库获取以asii格式存储的原始ais数据集，运用ais decoder软件对原始ais数据集进行解码得到由多条ais数据构成的解码ais数据集，每条ais数据结构包含：发送时间(time stamp)、船名(ship name)、海上移动服务标识(maritime mobile service identity，mmsi)、经度(longitude)、纬度(latitude)、航速(speed)、航向(course)、船艏向(heading)、转向速率(turn of rotation)、船舶状态(status)、船舶尺度、吃水以及目的港；
[0025]
2)设定船速门槛阈值v
limitsp
和经纬度门槛阈值，经纬度门槛阈值包括经度最小值longitude_west、经度最大值longitude_east、纬度最小值latitude_south和纬度最大值latitude_north，其中，船速门槛阈值v
limitsp
等于15kn，经度最小值longitude_west为研究水域西边界经度，经度最大值longitude_east为研究水域东边界经度，纬度最小值latitude_south为研究水域南边界纬度，纬度最大值latitude_north为研究水域北边界纬度；
[0026]
3)采用船速门槛阈值v
limitsp
和经纬度门槛阈值对解码ais数据集进行数据筛选，具体为：将航速大于15kn的ais数据、经度不在研究水域区域的ais数据和纬度不在研究水域区域的ais数据从解码ais数据集中剔除，得到筛选解码ais数据集；
[0027]
4)统计筛选解码ais数据集中海上移动服务标识(maritime mobile service identity,mmsi)的个数，即研究水域区域内船舶的数量，将其记为m，对筛选解码ais数据集中所有的ais数据以mmsi为基准进行主排序，以发送时间为基准进行升序排序，得到由m组排序ais数据组成的排序解码ais数据集，m组排序ais数据对应为m条船舶的ais数据记录，
与m个mmsi一一对应；
[0028]
5)将第k个mmsi对应的第k组排序ais数据中ais数据记录的条数记为n
k
，k＝1，2，
…
，m，将第k组排序ais数据中第j
k
条ais数据记录和第j
k
+1条ais数据记录之间的距离间隔记为j
k
＝1，2，
…
，n
k
‑
1，表示第k个mmsi对应的船位点更新距离间隔，采用式(1)计算
[0029][0030]
式(1)中，为第k组排序ais数据中第j
k
+1条ais数据记录的经度值，为第k组排序ais数据中第j
k
条ais数据记录的经度值，为第k组排序ais数据中第j
k
+1条ais数据记录的纬度值，为第k组排序ais数据中第j
k
条ais数据记录的纬度值；
[0031]
6)采用式(2)和式(3)计算排序解码ais数据集中所有相邻两条ais数据记录的距离间隔的均值μ(即船位点更新距离间隔的均值)和标准差σ：
[0032][0033][0034]
7)将排序解码ais数据集中每组排序ais数据中所有距离间隔大于μ+3σ的前后两条ais数据记录均标记为异常数据；
[0035]
8)将标记为异常数据的每条ais数据记录均从排序解码ais数据集中剔除，得到处理后的ais数据集，ais数据处理完成，该处理后的ais数据集可更好地用于绘制船舶轨迹。
[0036]
本发明的ais数据处理方法中船位点更新距离间隔频次统计及其曲线拟合图如图1所示，分析图1可知：ais数据拟合效果好，能够有效地解决ais数据处理过程中mmsi误共用、ais信息更新时间不完整与ais位置信息异常等问题。研究水域内未经处理的原始ais数据集显示的船舶轨迹图如图2所示，采用本发明的ais数据处理方法处理后得到的ais数据集显示的船舶轨迹分布图如图3所示。分析图2和图3可知，相较于图2，图3中明显消除了大量数据噪声，ais异常数据处理效果理想，更好地反映出船舶动态规律。