一种基于大数据和AI运算的船舶目标处理方法与流程

文档序号:34218340发布日期:2023-05-19 20:13阅读:32来源:国知局

本发明属于海上船舶定位,涉及一种基于大数据和ai运算的船舶目标处理方法。


背景技术:

1、当前沿海地区拥有大量船舶,在进行船舶管理过程中,涉及大量船舶目标动态数据的处理,数据每1-3秒更新一次,以一省大约有2万只船舶目标估算,通过不同的雷达、ais来源,以及北斗数据来源,原始目标数据每秒大约有6-8万条,而且要在大量的船舶目标中发现异常船舶目标,需要进行大量数据的实时算法运算,但目前的算法船舶目标融合效率低,运行速度慢,轨迹回放实时性差,不能满足船舶数据实时处理的需求。


技术实现思路

1、本发明的目的是提出一种基于大数据和ai运算的船舶目标处理方法,解决目前大量船舶目标融合效率低,算法运行速度慢的,轨迹回放实时性差的问题。

2、本发明的技术方案如下:

3、一种基于大数据和ai运算的船舶目标处理方法,其特征在于,包括:

4、(1)船舶目标对接:对不同类型的船舶来源,利用kafka的高吞吐量的分布式发布订阅消息技术特点,通过主流的消息队列kafka来完成数据的收集和分发;

5、(2)算法模型训练:由flume建立数据仓库,经hive进行格式化存储用来进行数据提取、转化、加载,充分利用hadoop中的大规模数据的机制确保算法模型的有效训练;

6、(3)算法实时运算:由flink完成数据清洗和数据转换以及轨迹压缩和数据回放,将数据转存至elasticsearch中,进行大量数据的快速检索。

7、本发明提出的技术架构相比现有算法效率更高、运行更稳、速度更快,可有效解决大量船舶目标融合效率低,算法运行速度慢,轨迹回放实时性差的问题。



技术特征:

1.一种基于大数据和ai运算的船舶目标处理方法,其特征在于,包括:


技术总结
本发明涉及一种基于大数据和AI运算的船舶目标处理方法,包括:船舶目标对接,对不同类型的船舶来源,通过主流的消息队列Kafka来完成数据的收集和分发;算法模型训练,由flume建立数据仓库,经Hive进行格式化存储用来进行数据提取、转化、加载,充分利用Hadoop中的大规模数据的机制确保算法模型的有效训练;算法实时运算,由Flink完成数据清洗和数据转换以及轨迹压缩和数据回放,将数据转存至ElasticSearch中,进行大量数据的快速检索。本发明可有效解决大量船舶目标融合效率低、算法运行速度慢、轨迹回放实时性差的问题。

技术研发人员:张树环
受保护的技术使用者:北京航天长峰科技工业集团有限公司
技术研发日:
技术公布日:2024/1/12
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1