本发明属于海上船舶定位,涉及一种基于大数据和ai运算的船舶目标处理方法。
背景技术:
1、当前沿海地区拥有大量船舶,在进行船舶管理过程中,涉及大量船舶目标动态数据的处理,数据每1-3秒更新一次,以一省大约有2万只船舶目标估算,通过不同的雷达、ais来源,以及北斗数据来源,原始目标数据每秒大约有6-8万条,而且要在大量的船舶目标中发现异常船舶目标,需要进行大量数据的实时算法运算,但目前的算法船舶目标融合效率低,运行速度慢,轨迹回放实时性差,不能满足船舶数据实时处理的需求。
技术实现思路
1、本发明的目的是提出一种基于大数据和ai运算的船舶目标处理方法,解决目前大量船舶目标融合效率低,算法运行速度慢的,轨迹回放实时性差的问题。
2、本发明的技术方案如下:
3、一种基于大数据和ai运算的船舶目标处理方法,其特征在于,包括:
4、(1)船舶目标对接:对不同类型的船舶来源,利用kafka的高吞吐量的分布式发布订阅消息技术特点,通过主流的消息队列kafka来完成数据的收集和分发;
5、(2)算法模型训练:由flume建立数据仓库,经hive进行格式化存储用来进行数据提取、转化、加载,充分利用hadoop中的大规模数据的机制确保算法模型的有效训练;
6、(3)算法实时运算:由flink完成数据清洗和数据转换以及轨迹压缩和数据回放,将数据转存至elasticsearch中,进行大量数据的快速检索。
7、本发明提出的技术架构相比现有算法效率更高、运行更稳、速度更快,可有效解决大量船舶目标融合效率低,算法运行速度慢,轨迹回放实时性差的问题。
1.一种基于大数据和ai运算的船舶目标处理方法,其特征在于,包括: