一种船舶大数据处理方法和系统与流程

本技术属于船舶，特别涉及一种船舶大数据处理方法和系统。

背景技术：

1、海洋气象探测从海洋大数据中探索气象规律，关于海洋的有效数据获取是海洋气象学研究的基础。现有技术中对于海洋气象的观测方法主要包括宏观观测和微观观测，宏观观测主要是通过气象卫星每隔一定时间按统一规定的方式和内容进行观测并发布报告；微观观测包括船舶气象仪、浮标气象站、地面气象观测。

2、气象卫星的气象观测存在以下缺点：首先是分辨率较低，其数据获取地球大气及天气信息的方式是通过测量辐射或图像观测而来的，因此其分辨率有限，通常是针对宏观地理范围发布宏观气象观测报告，而无法提供更为微观细致的天气信息；其次是云雾遮挡影响：由于天气的变化和云雾等自然现象，卫星气象数据的获取会受到影响。船舶气象观测是典型的微观观测方法，其已积累了长久的历史使用记录，为气象情报做出大量贡献，但是其存在着若干显而易见的缺点：空间分布不均匀，时间分布不连续，仅建立在船舶气象观测的海洋气象探测并不能够精确反应目标地点、目标时间的气象状况。因此，宏观气象数据精度无法达到应用需求、微观气象数据缺失及不准确的实际缺陷亟待解决。

技术实现思路

1、针对现有技术存在的问题，本发明提供一种船舶大数据处理方法和系统，其具体为：该方法包括如下步骤：

2、s100，船舶主控系统基于船联网向控制中心发送请求获取海洋气象状况指令；所述指令携带目标地址坐标信息及目标时间信息；

3、s110，控制中心解析指令中目标地址坐标信息，若目标地址坐标信息覆盖范围大于等于预设阈值，则执行s120；若目标地址坐标信息覆盖范围小于所述预设阈值，则执行s130；

4、s120，获取所述目标地址坐标信息、目标时间信息对应的卫星气象数据，并返回卫星气象数据对应的目标地址海洋气象状况，结束方法执行；

5、s130，获取所述目标地址坐标信息对应的卫星气象数据,确定所述卫星气象数据对应的目标地址卫星观测海洋气象状况；确定目标地址坐标信息的扩展覆盖范围，确定预设时间段为时间范围，获取在所述时间范围内行驶过所述扩展覆盖范围的船舶数据集合；将船舶数据集合输入预设气象大数据模型，基于所述气象大数据模型输出所述目标地址坐标信息、目标时间信息的模型预测海洋气象状况；基于模型预测海洋气象状况对海洋气象状况进行矫正融合得到综合海洋气象状况，向所述船舶主控系统返回综合海洋气象状况。

6、一实施例中，所述矫正融合操作算法为：

7、综合海洋气象状况=ω1*卫星观测海洋气象状况+ω2*模型预测海洋气象状况

8、其中，ω1及ω2为加权系数，两者之和为1，且ω1与目标地址坐标信息覆盖范围正相关，当目标地址坐标信息覆盖范围大于等于所述预设阈值，则ω1取1、ω2取0。

9、一实施例中，所述确定目标地址坐标信息的扩展覆盖范围，具体包括：

10、确定所述目标地址坐标信息覆盖范围的质心；

11、确定所述目标地址坐标信息距离所述质心的最远点；

12、以所述质心为圆心，所述质心到最远点的距离为半径作圆，确定所述扩展覆盖范围。

13、一实施例中，所述气象大数据模型的训练步骤包括：

14、s1301：构建训练样本集合；所述样本集合包含n维数据，每种数据包含的数量为m，对n维数据中的每种数据进行加权归一化处理，所述加权归一化处理包括：基于数据的来源地址相对于扩展覆盖范围中心的距离值设置权重矫正值，数据的来源地址位于扩展覆盖范围的边缘时对应最小权重矫正值，数据来源地址为扩展覆盖范围中心时对应最大权重矫正值；包含权重矫正值的样本数据进行归一化处理；对加权归一化处理后的n维数据中的每种数据以0进行缺数填补，形成n×m的样本集合；

15、s1302：将训练样本数据和对应气象状况标签输入lstm网络，训练得到气象状况预测lstm模型，所述lstm网络的记忆单元包含三个门控单元，所述门控单元包括遗忘门，输入门和输出门；

16、

17、其中，w，b分别表示对应门控的权重和偏置，σ表示激活函数sigmod，ft为遗忘门控制信号，it为输入门控制信号，为新单元信息，ct为当前单元信息，ct-1为上一单元信息，ot为输出门控制信号，ht为当前单元输出值，ht-1为上一单元输出值，xt为当前输入数据；

18、其中，气象数据与目标数据来源的时间、坐标存在强相关性，选择使用交叉熵损失函数作为训练的损失函数；输入门权重矩阵基于样本数据的权重矫正值进行矫正；

19、s1303：基于验证集合对训练得到气象状况预测lstm模型进行验证。

20、一实施例中，所述船舶数据集合包括定位数据和定量数据，所述定位数据包括数据发生时间和数据来源坐标，所述定量数据包括风向数据组、风力数据组、气压数据组、气温数据组、相对湿度数据组、降雨量数据组、波浪周期及振幅数据组、光照度数据组中的一种或其组合。

21、本技术还提供一种船舶大数据处理系统，包括如下模块：

22、指令生成模块，用于船舶主控系统基于船联网向控制中心发送请求获取海洋气象状况指令；所述指令携带目标地址坐标信息及目标时间信息；

23、范围判断模块，用于控制中心解析指令中目标地址坐标信息，若目标地址坐标信息覆盖范围大于等于预设阈值，则控制执行第一海洋气象状况获取模块；若目标地址坐标信息覆盖范围小于所述预设阈值，则控制执行第二海洋气象状况获取模块；

24、第一海洋气象状况获取模块，用于获取所述目标地址坐标信息、目标时间信息对应的卫星气象数据，并返回卫星气象数据对应的目标地址海洋气象状况，结束方法执行；

25、第二海洋气象状况获取模块，用于获取所述目标地址坐标信息对应的卫星气象数据,确定所述卫星气象数据对应的目标地址卫星观测海洋气象状况；确定目标地址坐标信息的扩展覆盖范围，确定预设时间段为时间范围，获取在所述时间范围内行驶过所述扩展覆盖范围的船舶数据集合；将船舶数据集合输入预设气象大数据模型，基于所述气象大数据模型输出所述目标地址坐标信息、目标时间信息的模型预测海洋气象状况；基于模型预测海洋气象状况对海洋气象状况进行矫正融合得到综合海洋气象状况，向所述船舶主控系统返回综合海洋气象状况。

26、一实施例中，还包括矫正融合操作模块，用于执行矫正融合操作算法：

27、综合海洋气象状况=ω1*卫星观测海洋气象状况+ω2*模型预测海洋气象状况

28、其中，ω1及ω2为加权系数，两者之和为1，且ω1与目标地址坐标信息覆盖范围正相关，当目标地址坐标信息覆盖范围大于等于所述预设阈值，则ω1取1、ω2取0。

29、一实施例中，还包括扩展覆盖范围获取模块，用于执行以下步骤：

30、确定所述目标地址坐标信息覆盖范围的质心；

31、确定所述目标地址坐标信息距离所述质心的最远点；

32、以所述质心为圆心，所述质心到最远点的距离为半径作圆，确定所述扩展覆盖范围。

33、一实施例中，还包括气象大数据模型训练模块，包括以下子模块：

34、样本构建子模块：用于构建训练样本集合；所述样本集合包含n维数据，每种数据包含的数量为m，对n维数据中的每种数据进行加权归一化处理，所述加权归一化处理是指，基于数据的来源地址相对于扩展覆盖范围中心的距离值设置权重矫正值，数据的来源地址位于扩展覆盖范围的边缘时对应最小权重矫正值，数据来源地址为扩展覆盖范围中心时对应最大权重矫正值；包含权重矫正值的样本数据进行归一化处理；对加权归一化处理后的n维数据中的每种数据以0进行缺数填补，形成n×m的样本集合；

35、训练子模块：将训练样本数据和对应气象状况标签输入lstm网络，训练得到气象状况预测lstm模型，所述lstm网络的记忆单元包含三个门控单元，所述门控单元包括遗忘门，输入门和输出门；

36、

37、其中，w，b分别表示对应门控的权重和偏置，σ表示激活函数sigmod，ft为遗忘门控制信号，it为输入门控制信号，为新单元信息，ct为当前单元信息，ct-1为上一单元信息，ot为输出门控制信号，ht为当前单元输出值，ht-1为上一单元输出值，xt为当前输入数据；

38、其中，气象数据与目标数据来源的时间、坐标存在强相关性，选择使用交叉熵损失函数作为训练的损失函数；输入门权重矩阵基于样本数据的权重矫正值进行矫正；

39、验证和调参子模块：基于验证集合对训练得到气象状况预测lstm模型进行验证。

40、一实施例中，所述船舶数据集合包括定位数据和定量数据，所述定位数据包括数据发生时间和数据来源坐标，所述定量数据包括风向数据组、风力数据组、气压数据组、气温数据组、相对湿度数据组、降雨量数据组、波浪周期及振幅数据组、光照度数据组中的一种或其组合。

41、本发明采用上述方法或系统可至少达到以下效果：

42、（1）基于目标区域范围的不同情况确定宏观气象数据和微观气象数据的组合，其中微观气象数据以船舶大数据为基础，通过气象大数据模型的训练、验证并进行气象预测，得到微观气象状况，从而将不同层级的气象数据进行融合，最终能够得到对应于不同区域范围层级的更为精确的气象数据和气象状况。

43、（2）在处理船舶大数据时，根据船舶数据的来源地址设置权重矫正值，训练模型基于样本数据的权重矫正值进行参数矫正，进一步提升了训练得到的模型精度以及预测精度。

44、（3）在获得的海洋气象状况为多种不同气象状况时，根据不同气象对应的区域进行区域的重新划分并确定重新划分的气象状况，进一步提升了获得的气象数据和气象状况的精确度。