一种基于AIS大数据的海运统计系统及其统计方法与流程

本发明涉及海运大数据管理技术领域，尤其涉及一种基于ais大数据的海运统计系统及其统计方法。

背景技术：

海洋交通运输业是海洋经济的基础产业和支柱产业，国际间的贸易绝大部分通过海运来实现，海运统计是提供海洋交通运输产业运行情况的重要工具，对科学制定产业政策、促进产业持续健康发展具有重要作用。当前，作为政府统计中的部门统计，海运统计采用全面调查的方式，遵循统计方案制定、制度设计、调查采集、数据整理上报、数据审核、数据分析、数据发布的流程开展，并形成了船舶及其航行、港口作业、货品运输及对外贸易等方面的统计指标。其中，海关总署负责制定与设计海运货物对外贸易统计实施方案及《海关统计调查制度》，各海运物流公司将海运进出口货物的报关单报送给海关统计部门，各级海关统计部门通过电子及人工的方式对报送数据进行审核，最后汇交至海关总署进行数据汇总与统计分析，形成的对外贸易统计产品由海关总署以快讯、月报、年鉴等的形式按月、按年进行发布；交通运输部负责制定与设计海运船舶航行、港口作业及货运量、客运量等方面的统计实施方案及《港口综合统计报表制度》，各沿海港口以统计报表的形式按月、季、年报送相关数据，并由各港口行政管理部门及各地区交通运输部门进行收集、审核并汇交至交通运输部，最后由交通运输部对数据进行汇总与统计分析，形成月度、季度、半年、年度港口海运统计分析产品并对外发布。

现有的海运统计方法与制度没有有效的运用和发挥大数据技术的作用，在海运相关数据信息的分析挖掘，统计产品的开发使用上与现代化统计工作要求存在巨大差距，总体上，仍存在数据收集处理速度缓慢、数据质量不高、数据发布滞后、时效性不强等的问题。

(1)效率低下

海运统计需要的指标众多，数据量庞大，数据收集工程量大，需耗费大量的人力物力。每到数据报送期，各地基层统计人员都要联系港口企业、海运物流公司在报送系统中进行报表填报，填报后再逐级进行数据审核，国家层面需收集汇总审核好全国各地的数据后，才能进行数据发布，效率低。

(2)数据质量难以保证

现有海运统计数据从生产、收集到处理发布，需要被调查者的配合参与，需要统计人员采集数据和处理分析数据，中间环节多，这样就容易产生人为误差，如果被调查港口公司或物流企业配合度不高或者拒报、漏报、瞒报、错报统计数据，或者部分基层统计人员法律意识淡薄、责任心不强，导致最终汇总的数据与实际情况差距较大，那么统计数据质量将更难保证。人为误差和提供错误数据源等情况都将影响统计数据质量，而海运统计人员通过对这些误差数据处理分析，生成的统计产品和发布的统计信息，更将会与实际状况偏离较大，引起社会公众对海运统计数据信息的质疑，也会对我国海运官方统计数据的权威性产生冲击。

(3)数据发布滞后、时效性不强

受现有海运统计方法、制度与统计流程的限制，海关对外贸易统计月报数据通常在每月25日左右公布，统计年鉴在7月底才能发布；交通运输部港口统计月报数据也在每月20日左右公布。但是，当今海运贸易中的原材料、产品价格、材料消耗等均处于快速动态变化中，现有海运统计数据的时效性已不能满足复杂多变的国际国内贸易过程，及政府、行业、企业、学者等各方面的应用需要。

技术实现要素：

本发明的目的在于克服现有技术的不足之处，提出一种基于ais大数据的海运统计系统及其统计方法，采用ais大数据平台作为技术基础构建海运大数据统计系统，其目标是基于实时与历史ais数据，结合船舶档案、港口资料、调研数据等挖掘知识库，辅以在线加工，通过不断的数据挖掘和经验积累，形成特定的基础数据库和数据分析模型，最终自动化定时输出港口、海上通道及货品运量等统计指标，以及各类商品、船舶相关的动态信息，并支持开放式编辑运算、可视化交互展示和报表导出。

本发明的目的是通过以下技术方案实现的：

一种基于ais大数据的海运统计系统，该统计系统包括数据源模块，数据接入处理模块，数据存储管理模块，数据计算分析模块及数据展示应用模块，其中数据源模块向数据接入处理模块提供实时ais数据和历史ais数据，且数据源模块向数据存储管理模块提供基础支撑数据；数据接入处理模块对实时ais数据和历史ais数据进行清洗筛选后存入数据存储管理模块中；数据计算分析模块调取数据管理模块的实时ais数据，并且将计算处理后的信息反馈给数据存储管理模块储存；数据展示应用模块由数据分析模块提供分析服务并由数据存储管理模块的基础支撑数据提供数据支撑。

一种基于ais大数据的海运统计系统所采用的统计方法，包括以下步骤：步骤1，构建大数据平台；步骤2，ais数据接入；步骤3，ais数据清洗；步骤4，数据仓库构建；步骤5，大数据挖掘分析模型构建；步骤6，航行事件分析；步骤7，航次挖掘；步骤8，统计指标生成。

而且，步骤1中的大数据平台包括基础设施层、数据资源层、数据分析层和服务封装层四个部分，其中基础设施层管理数据源模块的基础支撑数据；数据资源层管理数据源模块的实时ais数据和历史ais数据，以及数据存储管理模块；数据分析层管理数据计算分析模块；服务封装层管理数据展示应用模块；

步骤1中包括以下子步骤：

步骤1.1，构建数据源模块，该数据源模块包括实时ais数据、历史ais数据，以及船舶档案、港口、泊位、海上通道、电子海图的基础支撑数据；

步骤1.2，构建数据接入处理模块，该数据接入处理模块包括flink流数据处理引擎及flume日志采集器；对于实时ais数据，首先搭建流数据处理框架，通过tcp协议接入外部实时ais数据源，并统一交由kafka消息中间件进行存储并分发给flink流数据处理引擎进行多机多线程处理；flink流数据处理引擎首先需要完成ais数据的清洗工作，去除整合位置，吃水，目的地的无效数据与重复数据，并与上一条ais数据对比补全航行相关数据，同时，flink流数据处理引擎还将处理后的ais数据存储到ais日志文件中，并由flume日志采集器定时获取ais日志文件并合并到ais月日志文件中；对于历史ais数据，采用etl工具kettle执行批量任务抽取报文文件，并进行清洗，去重，去无效的批量操作，形成统一格式的待处理文件，同样将处理结果存储到ais日志文件中；

步骤1.3，构建数据存储管理模块，该数据存储管理模块包括redis及h2gis内存数据库、hive，hbase及mysql，其中对于flink流数据处理引擎处理后的实时ais数据，一方面以“mmsi+日期”为key存储到redis内存数据库中，供spark离线任务进行航行事件生成和进出海上通道判断的实时性分析工作；另一方面，在h2gis内存数据库中记录船舶最近一次的位置，满足后期实时显示船舶当前位置的需求，对清洗后形成ais日志文件，通过flume自动导入到hive数据仓库中，方便后期问题回溯，并为数据计算分析提供支撑；基于hbase存储通过数据计算分析形成的航迹线，航行事件，航次信息和数据集市；船舶档案，港口，泊位的基础支撑数据，需在进行数据挖掘分析时需频繁调用，由基于关系型数据库mysql进行存储；

步骤1.4，构建数据计算模块，该数据计算模块包括spark事件分析方法、geomesa时空大数据处理引擎及kylin，其中首先利用spark事件分析任务批量从redis内存数据库及hive中提取ais航迹点数据，结合mysql中的船舶档案，港口，泊位的基础支撑数据，进行分析形成航行事件数据并存储到hbase中，然后通过spark航次分析任务从hbase中获取待分析的航行事件并分析形成航次数据并存储在数据存储管理模块的hbase中；数据集市是最终呈现的统计指标表与维度表，包括港口统计，通道统计，货品统计方面，其多维数据统计查询通过分析型数据仓库kylin提供的接口实现，hive和hbase服务于kylin，为kylin提供数据，并用hbase存放kylin生成的cube；利用geomesa时空大数据处理引擎，通过读取存储于hbase和hive中的ais数据，建立时空索引并基于spark进行计算分析，进而实现单船轨迹回放，多船航迹热力图，航迹线拟合的空间大数据分析，并具备ogc标准服务接口数据访问能力，满足后期数据展示应用的需求；

步骤1.5，构建数据展示应用模块，该数据展示应用模块包括统计图表，统计报表和地图可视化展示，其基于ureport2报表引擎和echarts可视化库，读取存储在hbase中的航次数据和统计指标数据，实现报表化服务和图表可视化服务；以h2gis中的实时ais点位数据及hbase中的航迹线数据为基础，结合geomesa时空大数据处理引擎的空间分析服务，利用geoserver地图服务器发布形成标准地图服务，基于openlayers地图库，实现海量船舶ais航迹点及航迹线的地图可视分析服务。

而且，步骤2在构建的大数据平台基础上，采集获取实时ais数据和历史ais数据，实时ais数据是指实时产生并在较短时间间隔动态增加的流式ais大数据，实时ais数据基于大数据平台的流数据处理引擎通过tcp协议接入；历史ais数据指过去某个时间段内所有船舶发送的ais数据，以文件的形式存储，数据格式为标准ais原始报文，对历史ais数据采用etl工具kettle执行批量任务进行抽取的方式接入。

而且，步骤3对采集获取的实时和历史ais数据进行清洗工作，包括去除整合位置、吃水、目的地的无效数据与重复数据，并与按时间排序的上一条ais数据对比补全航行相关数据；清洗后的ais数据存储到ais日志文件中，并由flume日志采集器定时获取ais日志文件并合并到ais月日志文件中。

而且，步骤4对清洗后的ais数据基于大数据平台进行存储管理，同时，针对全球港口和泊位数据，通过人工实地调研或基于遥感影像绘制，以及基于中心坐标按指定半径画圆的方法构建电子围栏，为后期航行事件分析和航次挖掘奠定基础，最后，将港口、泊位及其电子围栏，以及船舶档案数据同样纳入大数据平台存储管理，完成数据仓库构建。

而且，步骤5构建包含电子围栏分析、泊位补全、泊位商品标识、航行事件分析、航次挖掘、航次载货量计算的模型算法在内的ais大数据挖掘分析模型；

而且，步骤6基于大数据平台的数据仓库存储的ais航迹点数据、船舶档案，港口、泊位及其电子围栏数据，首先根据ais数据中的mmsi作为船舶的身份标识划分船舶，并将每条船舶的ais轨迹点数据按时间升序排列，然后利用上述步骤中构建的大数据挖掘分析模型，通过挖掘分析，将船舶每个ais轨迹点对应为预装航行中、准备装货、正在装货、装货完成、卸货航行中、准备卸货、正在卸货、卸货完成8种航行状态，最后给每个ais轨迹点添加航行状态标识。

而且，步骤7在航行事件分析的基础上，首先按时间升序排列每条船舶的ais数据，然后分析每条ais数据的航行状态标识，将船舶航行划分为从预装航行中到卸货完成的航次段，最后分析并记录每个航次的进港时间、离港时间，以及装货港口、卸货港口、途径海上航线、载货类型和载货量的信息，形成航次数据，作为统计指标生成的基础。

而且，步骤8在航次挖掘形成的航次数据基础上，首先根据航次的装卸货港口将航次划分到不同的港口，然后将进离港时间在预先设定的统计周期的航次筛选出来，最后根据航次数据的装货港口、卸货港口、途径海上航线、载货类型、载货量的信息，并结合船舶档案数据，形成多维度港口统计指标。

本发明的优点和技术效果是：

本发明的一种基于ais大数据的海运统计系统及其统计方法，具有明显优于现有技术的可操作性和实用性，其具体效果如下：

(1)提高工作效率

ais数据是船舶运行过程中实时产生且通过卫星或岸基基站自动接收，数据的采集获取、处理、存储、挖掘分析、统计产品制作均由统一的大数据平台自动化实现，减少了数据人工报表填报、逐级审核上报、汇总统计等中间过程，极大的减少了人力物力耗费，缩短了海运统计指标和产品生产的时间周期，提高了工作效率。

(2)提高统计数据的准确性、可靠性

海事部门规定，海运船舶必须安装船载ais设备，且航行过程特别是进离港期间必须开启，因此，与传统海运统计方法相比，本发明提出的方法减少了人工报送中拒报、漏报、瞒报、错报统计数据的情况，也减少了在逐级上报等中间环节可能出现的人为误差，本发明形成的海运统计数据更加客观，准确性和可靠性也更高。

(3)提高统计数据的时效性

船舶ais数据是实时产生的，本发明提出的方法可以接入实时ais数据，并可以对数据进行即时处理和分析，也可以产生即时的海运统计指标产品，并能提供任意统计周期特别是高频(月、旬、侯、天等)指标产品，大大缩短了统计数据生产周期，统计数据的时效性大大提高。

附图说明

图1为现有海运统计方法流程图；

图2为本发明的基于ais大数据的海运统计方法的技术路线图；

图3为本发明的ais大数据平台总体架构图；

图4为本发明的ais大数据平台数据架构图。

具体实施方式

为能进一步了解本发明的内容、特点及功效，兹例举以下实施例，并配合附图详细说明如下。需要说明的是，本实施例是描述性的，不是限定性的，不能由此限定本发明的保护范围。

本发明提出了一种基于ais大数据的海运统计系统及其统计方法，围绕海洋交通运输产业统计的核心内容，运用大数据挖掘分析技术开展海运对外贸易、港口与大宗货品统计指标的生成，具体实施步骤包括：

(1)大数据平台构建

ais大数据平台的建设是实现海运大数据统计的技术基础，其目标是基于实时与历史ais数据，结合船舶档案、港口资料、调研数据等挖掘知识库，辅以在线加工，通过不断的数据挖掘和经验积累，形成特定的基础数据库和数据分析模型。最终自动化定时输出港口、海上通道及货品运量等统计指标，以及各类商品、船舶相关的动态信息，并支持开放式编辑运算、可视化交互展示和报表导出。

1)平台总体架构

秉承“高内聚低耦合”的设计理念，ais大数据平台包括基础设施层、数据资源层、数据分析层和服务封装层四个部分。

基础设施层：由网络、主机、存储、安全等设备组成，为大数据平台的存储和计算提供基础软硬件支撑，也为基于大数据平台的各类应用系统运行提供基础支撑环境。数据资源层：实现包括实时ais数据和历史ais数据的采集、抽取转换和清洗，并基于大数据存储架构满足各类基础数据、过程数据和成果数据存储管理、查询检索等的需求。数据分析层：集成大数据分析模型算法，基于数据存储层中的各类数据，通过挖掘分析，生成船舶航行事件、航次、航迹等，并最终形成各类航运统计指标。服务封装层：负责根据不同需求对各种大数据处理和分析功能进行封装并对外提供服务。

2)平台数据架构

基于大数据平台总体架构，结合ais海运统计技术路线，实现对大数据平台的数据流程设计，如图4所示，包括数据源、数据接入处理、数据存储管理、数据计算分析和数据展示应用五个部分。

数据源：包括实时ais数据、历史ais数据，以及船舶档案、港口、泊位、海上通道、电子海图等基础支撑数据。

数据接入处理：对实时ais数据，首先搭建流数据处理框架，通过tcp协议接入外部实时ais数据源，并统一交由kafka消息中间件进行存储(kafka实现高吞吐的同时可以保证准确的发送给flink流数据处理引擎，避免因flink出现故障导致数据丢失的问题)并分发给flink进行多机多线程处理。flink流数据处理引擎首先需要完成ais数据的清洗工作，包括去除无效数据与重复数据，整合位置、吃水、目的地等，并与上一条ais数据对比补全航行相关数据，同时，flink还将处理后的ais数据存储到ais日志文件中，并由flume日志采集器定时获取ais日志文件并合并到ais月日志文件中；对历史ais数据，采用etl工具kettle执行批量任务抽取报文文件，并进行清洗、去重、去无效等批操作，形成统一格式的待处理文件，同样将处理结果存储到ais日志文件中。

数据存储管理：对flink处理后的实时ais数据，一方面以“mmsi+日期”为key存储到redis内存数据库中，供spark离线任务进行航行事件生成和进出海上通道判断等实时性分析工作；另一方面，在空间内存数据库h2gis中记录船舶最近一次的位置，满足后期实时显示船舶当前位置的需求。对清洗后形成ais日志文件，通过flume自动导入到hive数据仓库中，方便后期问题回溯，并为数据计算分析提供支撑。基于hbase存储通过数据计算分析形成的航迹线、航行事件、航次信息和数据集市。船舶档案、港口、泊位等基础支撑数据，整体数据量不大，且在进行数据挖掘分析时需频繁调用，因此基于关系型数据库mysql进行存储。

数据计算分析：首先利用spark事件分析任务批量从redis内存数据库及hive中提取ais航迹点数据，结合mysql中的船舶档案、港口、泊位等基础支撑数据，进行分析形成航行事件数据并存储到hbase中，然后通过spark航次分析任务从hbase中获取待分析的航行事件并分析形成航次数据并存储在hbase中。数据集市是最终呈现的统计指标表与维度表，包括港口统计、通道统计、货品统计等方面，其多维数据统计查询通过分析型数据仓库kylin提供的接口实现，hive和hbase服务于kylin，为kylin提供数据，并用hbase存放kylin生成的cube。利用geomesa时空大数据处理引擎，通过读取存储于hbase和hive中的ais数据，建立时空索引并基于spark进行计算分析，进而实现单船轨迹回放、多船航迹热力图、航迹线拟合等空间大数据分析，并具备ogc标准服务接口数据访问能力，满足后期数据展示应用的需求。

数据展示应用：以数据存储和分析计算服务为支撑，实现分析结果的统计图表、统计报表和地图可视化展示。基于ureport2报表引擎和echarts可视化库，读取存储在hbase中的航次数据和统计指标数据，实现报表化服务和图表可视化服务。以h2gis中的实时ais点位数据及hbase中的航迹线数据为基础，结合geomesa的空间分析服务，利用geoserver地图服务器发布形成标准地图服务，基于openlayers地图库，实现海量船舶ais航迹点及航迹线的地图可视分析服务。

(2)ais数据接入

在构建的大数据平台基础上，实现对实时ais数据和历史ais数据的采集获取。实时ais数据是指实时产生并在较短时间间隔(一般不超过10分钟)动态增加的流式ais大数据，实时ais数据基于大数据平台的流数据处理引擎通过tcp协议接入。历史ais数据指过去某个时间段内所有船舶发送的ais数据，以文件的形式存储，数据格式为标准ais原始报文，对历史ais数据采用etl工具kettle执行批量任务进行抽取的方式接入。

(3)ais数据清洗

对采集获取的实时和历史ais数据进行清洗工作，包括去除无效数据与重复数据，整合位置、吃水、目的地等，并与按时间排序的上一条ais数据对比补全航行相关数据；清洗后的ais数据存储到ais日志文件中，并由flume日志采集器定时获取ais日志文件并合并到ais月日志文件中。

(4)数据仓库构建

对清洗后的ais数据基于大数据平台进行存储管理，同时，针对全球港口和泊位数据，通过人工实地调研或基于遥感影像绘制，以及基于中心坐标按指定半径画圆的方法构建电子围栏，为后期航行事件分析和航次挖掘奠定基础，最后，将港口、泊位及其电子围栏，以及船舶档案数据同样纳入大数据平台存储管理，完成数据仓库构建。

(5)大数据挖掘分析模型构建

构建包含电子围栏分析、泊位补全、泊位商品标识、航行事件分析、航次挖掘、航次载货量计算等模型算法在内的ais大数据挖掘分析模型。电子围栏分析是将港口和泊位的电子围栏，与ais航迹点进行相交判断，是进行航行事件分析的基础；泊位补全算法是基于海量长时间序列的静态ais数据，利用hadoop中的聚类分析算法，识别泊位位置，用以补充完整商业采购及人工调研的泊位数据库；泊位商品标识利用神经网络和关联规则算法，通过船舶航次停靠泊位与部分已知泊位的装卸货及货品类型标签来推测其他泊位的装卸货及货品类型标签；航行事件分析算法分4个步骤，首先判断船舶ais轨迹点数据的航行状态和航速，然后与港口、泊位的电子围栏进行相交计算，其次根据港口、泊位的装卸货标识及船舶吃水值对船舶装卸货状态及货品类型进行判断，最后形成包含8中航行状态并按时间升序排列的船舶航行事件；航次挖掘通过按时间升序排列并分析船舶事件，将船舶每个航行周期分析出来对应到不同的运输航次；航次载货量计算通过计算船舶某航次装卸货前后的吃水差，结合船舶档案中的满载吃水和载重吨计算得到该航次船舶载货量。

(6)航行事件分析

基于大数据平台的数据仓库存储的ais航迹点数据、船舶档案，港口、泊位及其电子围栏数据，首先根据ais数据中的mmsi作为船舶的身份标识划分船舶，并将每条船舶的ais轨迹点数据按时间升序排列，然后利用上述步骤中构建的大数据挖掘分析模型，通过挖掘分析，将船舶每个ais轨迹点对应为预装航行中、准备装货、正在装货、装货完成、卸货航行中、准备卸货、正在卸货、卸货完成8种航行状态，最后给每个ais轨迹点添加航行状态标识。

(7)航次挖掘

在航行事件分析的基础上，首先按时间升序排列每条船舶的ais数据，然后分析每条ais数据的航行状态标识，将船舶航行划分为从预装航行中到卸货完成的航次段，最后分析并记录每个航次的进港时间、离港时间，以及装货港口、卸货港口、途径海上航线、载货类型和载货量等信息，形成航次数据，作为统计指标生成的基础。

(8)统计指标生成

在航次挖掘形成的航次数据基础上，首先根据航次的装卸货港口将航次划分到不同的港口，然后将进离港时间在预先设定的统计周期(如月、季、半年、年等)的航次筛选出来，最后根据航次数据的装货港口、卸货港口、途径海上航线、载货类型、载货量等信息，并结合船舶档案数据，形成多维度港口统计指标；对外贸易统计在港口统计的基础上，首先将卸货港是中国沿海港口、装货港是其他国家港口的航次作为进口统计的内容，然后将装货港是中国沿海港口、卸货港是其他国家港口的航次作为出口统计的内容，最后汇总中国所有港口的进口统计和出口统计结果，并形成货物进出口量、经过海上航线、进出口来源国等统计指标；大宗货品统计则是建立在港口统计和对外贸易统计的基础上，按货品类型(如铁矿石、煤炭、原油、大豆、lng、lpg等)将各港口统计结果指标进行汇总，并区分出口和进口、内贸与外贸进行统计。

为更清楚的说明本发明的具体使用方式，下面提供一种实例：

本发明研究了一套基于ais大数据的海运统计方法，提出了面向海运统计的ais大数据平台构建方法并系统化应用，构建了海运统计ais大数据挖掘分析模型，形成了ais数据接入、清洗、存储管理、挖掘分析、指标产品生成等一整套的技术解决方案，可以为海洋经济管理提供高质量、及时准确的海洋交通运输业统计指标产品。

(1)高效自动化的海运大数据统计实现方法与系统

针对传统海运统计中间环节多、效率低下、数据质量难以保障、统计数据生产周期长、时效性低等的问题，提出基于ais大数据开展海运统计的方法，并给出了包括大数据平台构建、数据接入、数据清洗、数据仓库构建、大数据挖掘分析模型、航行事件分析、航次挖掘和统计指标生成在内的完整的技术流程和技术方案，并将上述流程和方案系统化应用，为海洋经济管理提供了即时化、准确化的海洋交通运输业大数据统计指标和产品支撑。

(2)面向海运大数据统计的ais大数据平台构建技术方法

为实现基于ais的海运大数据统计，基于分布式存储和计算框架，采用数据采集处理层、数据存储层、数据分析层和服务封装层的4层体系架构，提出ais大数据平台的构建技术方法，满足了实时ais流数据采集、历史ais文件抽取、数据清洗、数据存储管理、数据挖掘分析、统计分析、可视化展示及应用服务的需要。

(3)用于实现海运统计的ais大数据挖掘分析模型

构建了包含电子围栏分析、泊位补全、泊位商品标识、航行事件分析、航次挖掘、航次载货量计算等模型算法在内的ais大数据挖掘分析模型，并集成到大数据平台中，满足了ais大数据挖掘分析和统计分析的需要。

最后，本发明优选的，本发明的未尽述之处均采用现有技术中的成熟产品及成熟技术手段。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。